Google发布llm-d 1.0分布式推理栈

Google Cloud 在 PyTorch Conference 上发布 llm-d 1.0，这是一个开源的、Kubernetes 原生的分布式 LLM 推理栈，已进入 CNCF Sandbox。该项目由 Google 与 Red Hat、IBM 等共同发起，超过 25 个组织的 500 多名贡献者参与。 据 Google 介绍，用户可保留现有推理引擎、模型和集群，只采用所需的 serving 组件与配置；在 GKE 上可用经验证的 Helm charts 部署 llm-d 1.0。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。