红帽公司在美国波士顿举办全球峰会，宣布启动全新开源项目llm-d，旨在满足生成式AI大规模推理需求。该项目由红帽与CoreWeave、谷歌云、IBM Research、NVIDIA等合作伙伴共同打造，并获得加州大学伯克利分校和芝加哥大学的支持。
红帽公司总裁兼首席执行官Matt Hicks在峰会上表示，红帽的使命是为客户提供真正的选择和灵活性，其交付的每一层都保持开放且值得信赖。这种开放性催生了vLLM、Kubernetes、OpenShift等项目中的大规模协作与共享标准生态。
红帽高级副总裁兼首席产品官Ashesh Badani补充道，开源不仅仅是一个许可证，更重要的是背后社区的支持。新发布的llm-d项目正是这一理念的体现，只有在共同创建并持续维护的前提下，开放才真正有意义。
红帽推出的llm-d项目旨在让生产型生成式AI像Linux一样无处不在。该项目采用原生Kubernetes架构、基于vLLM的分布式推理和智能AI感知网络路由，能够增强大语言模型（LLM）推理云的能力，满足苛刻的生产服务级目标（SLO），为AI推理解锁大规模生产。
据知名市场调研机构预测，到2028年，80%以上的数据中心工作负载加速器将专门部署用于推理，而不是训练用途。随着推理模型日益复杂和规模不断扩大，其对资源需求的持续攀升限制了集中式推理的可行性，并可能因成本过高和延迟过长而使AI创新陷入瓶颈。红帽及其行业合作伙伴正通过llm-d项目应对这一挑战。
llm-d项目提供了多项创新，包括vLLM作为开源领域的事实标准推理服务器、预填充和解码分离、键值缓存卸载、由Kubernetes驱动的集群和控制器以及AI感知网络路由等。这些创新使得llm-d能够将先进的推理能力集成到现有企业IT基础设施中，满足关键业务工作负载的各种服务需求，同时部署创新技术以最大限度地提高效率，并显著降低与高性能AI加速器相关的总拥有成本（TCO）。
红帽在峰会上还强调了生态合作的重要性。红帽从上游社区做起，将成果延伸到ISV、系统集成商以及云服务商，现在RHEL与OpenShift已能在AWS、微软Azure、谷歌云、IBM云直接订购。红帽认识到，在快速发展的生成式AI推理领域，充满活力且易于访问的社区至关重要。
红帽高级副总裁兼首席营收官Andrew Brown表示，红帽支持任何云、任何连接器、任何模型，没有锁定，客户因此能快速迁移并扩展。这一切都建立在开源之上，进一步加深了客户的信任。红帽通过两条路径原生支持AI Agent，包括确保Agent运行时在OpenShift与RHEL上都能高效工作，以及将Agent能力融入自家产品组合。
红帽首席技术官兼全球工程高级副总裁Chris Wright透露，vLLM已成为开源领域的事实标准推理服务器，为新兴的前沿模型提供Day 0模型支持，并支持各种加速器。他相信，开放将继续带来更快速、更优质的安全改进，因为透明度允许任何人审计代码并修复漏洞。
在亚太地区，红帽凭借Red Hat AI Inference Server拿下了不少新客户。这套平台支持任何模型、任何连接器、任何云，即使只有两名工程师，也能在本地小型集群上迅速搭起生成式AI。同时，红帽的老客户也在借助Project AI把大语言模型以容器式工件封装，在多云之间自由迁移。
红帽的打法是先帮客户压低AI成本，再提供一个高韧性、高安全的平台来补强现有环境。这一理念在亚太地区非常受认可，系统集成商和ISV已经排队启动试点，有多个概念验证（PoC）将在本季度落地。
