ZenteiQ用GKE推理网关提升批量推理吞吐4倍

印度科学理工学院孵化的 AI 初创公司 ZenteiQ 在 vLLM 加速器池前部署了由 llm-d 驱动的 GKE Inference Gateway，批量推理聚合吞吐提升 4.07 倍，每 1000 块加速器日生成 token 量从 14.7 亿增至 59.7 亿。 ZenteiQ 称，此举是采纳 Google Cloud 的建议，目的是在不改变其科学方法和流水线设计的前提下解决路由瓶颈；由于算力分配固定，加速器用于生成和验证训练数据的时间会挤占预训练。 ZenteiQ 表示，在把科学基础模型从 90 亿参数扩展到 350 亿参数及更大规模后，计划将同一套 GKE Inference Gateway 和 llm-d 路由设置用于后训练强化学习与自动数值求解器评估循环。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。