Google Cloud Blog·· 3 小时前AI 评分40
ZenteiQ 借助 GKE Inference Gateway 将批量推理吞吐提升 4 倍
ZenteiQ scales batch inference 4x with GKE Inference Gateway powered by llm-d
AI 摘要
印度科学理工学院孵化的 AI 初创公司 ZenteiQ 在 GKE Inference Gateway（由 llm-d 驱动）上把批量推理聚合吞吐提升 4.07 倍，每 1000 块加速器日生成 token 量从 14.7 亿增至 59.7 亿。
来源：Google Cloud Blog · cloud.google.com
标题、AI 摘要与推荐理由由 AI 根据公开来源生成，可能存在错误或遗漏，重要信息请以原文为准；原文版权归来源方所有，不构成对任何企业、产品或政策的评价或投资建议。详见使用规则。