Google Cloud Blog·· 4 小时前精选AI 评分60
Google Cloud 发布 llm-d 1.0 开源分布式 LLM 推理栈
Announcing llm-d 1.0: Open distributed inference for agents on Google Cloud TPUs and GPUs
AI 摘要
Google Cloud 在 PyTorch Conference 上发布 llm-d 1.0，这是与 Red Hat、IBM 等共建的 Kubernetes 原生开源分布式 LLM 推理栈，已进入 CNCF Sandbox。
推荐理由
原文给出了 llm-d 1.0 在路由、KV cache 卸载和预填充/解码分离上的具体能力与基准数据，自建推理服务的团队可据此评估改造路径。
来源：Google Cloud Blog · cloud.google.com
标题、AI 摘要与推荐理由由 AI 根据公开来源生成，可能存在错误或遗漏，重要信息请以原文为准；原文版权归来源方所有，不构成对任何企业、产品或政策的评价或投资建议。详见使用规则。