llm-d 1.0正式发布：简化大规模生产环境AI推理

llm-d项目贡献者已正式发布llm-d 1.0版本，这是一款专为生产环境大型语言模型推理设计的开源软件。该项目由红帽、IBM、Google Cloud、CoreWeave和英伟达共同创立，现由云原生计算基金会（CNCF）治理。

支持者表示，新版本旨在帮助组织在大规模运行AI工作负载的同时，有效控制基础设施使用和操作复杂性。llm-d专注于分布式推理，即模型训练后的服务环节，专为现代基础设施构建，支持vLLM和SGLang等多种模型服务器。

1.0版本新增了多租户服务质量保障、零停机操作、稳定配置API以及“感知代理”服务能力。这些功能旨在帮助运营商管理混合集群，兼顾对延迟敏感的用户请求和低预测性的代理任务。

随着代理型工作负载资源需求增长，系统在多回合和平行任务中反复访问上下文，导致资源消耗往往超过生成最终输出，加剧了延迟、吞吐量、内存和成本压力。为此，该软件集成了前缀缓存、负载感知路由、KV缓存卸载、预填充与解码分离、专家并行性及批量异步推理等功能，为日常生产操作提供更稳定的基础。

目前，该项目拥有来自25个以上组织的500多名贡献者。发布的案例数据显示了其成本和吞吐量收益：

IBM研究部：结合开放前沿模型与llm-d探索量子纠错硬件，推理成本比全专有设置低11.5倍，前缀缓存命中率约98%，混合服务成本约为每百万token 0.11美元。
英伟达GPU部署：研究人员部署了7530亿参数的开源模型GLM 5.2。在并行运行数百个会话的基准测试中，系统峰值每分钟输出超660万个token，并实现多达3000个并发编码代理服务的零抢占。

项目贡献者指出，按当前云租赁费率，该部署的单token成本比同等商业API定价低5到10倍，节省主要体现在代理工作负载常见的输入密集型流量模式中。

CNCF首席技术官Chris Aniszczyk表示，AI推理正迅速成为核心云原生工作负载，llm-d 1.0通过将开源推理能力与规模化生产需求结合，提升了高性能开源推理的操作成熟度。

红帽AI首席技术官Brian Stevens指出，随着企业从AI实验迈向全面生产，瓶颈已转移至管理复杂代理工作负载的经济性和可靠性。llm-d 1.0提供了标准化、加固的核心分布式推理平台，助力企业优化硬件性能并应对运营成本。

在行业应用方面，DigitalOcean将其作为无服务器推理和管理代理服务的基础；JetBrains已在Junie Lite计划的生产环境中运行该软件以处理大量流量；Roblox则利用其Kubernetes原生基础，实现跨云端和本地GPU的解耦服务及缓存感知路由，避免绑定单一推理引擎。

IBM研究部AI原生系统副总裁Priya Nagpurkar强调，llm-d 1.0是创建分布式推理开放基础的重要里程碑，有助于组织从AI基础设施中获取更多价值，并在代理工作负载日益普遍的背景下，通过开放技术提高性能、降低成本并加速创新。