智东西10月12日消息,近日,智谱在其AI编程工具ZCode中,低调启动了高速旗舰模型GLM-5.3 HighSpeed的测试工作。
X平台上的AI编程博主Leo透露,他已灰度体验该模型,其输出速率竟能突破490 tokens/s。
每秒490个token意味着什么?当前,大模型API评测平台AI Ping的数据显示,DeepSeek V4.1 Flash官方API的输出速度为121.34 tokens/s,而智谱官方的GLM-5.3 API速度为70.84 tokens/s。换言之,GLM-5.3 HighSpeed的速度达到了国内主流模型的数倍之多。
GLM-5.3 HighSpeed目前仅对ZCode订阅用户随机开放,且没有明确的内测申请入口。其内测展现的极速仅作参考,最终需看实际上线后对外规模化服务的实际表现。
ZCode灰度测试GLM-5.3 HighSpeed(图源:X平台@leo114119)
实际上,GLM-5.3 HighSpeed在一个月前已出现在开源编程智能体Pi harness的官网上,该模型的输入输出价格尚未公布。
从模型基础信息看,GLM-5.3 HighSpeed拥有100万个token的上下文窗口,最多可一次性输出131072个token,这与GLM-5.3的参数一致。
这并非智谱首次推出高速旗舰模型。今年5月,GLM-5.1曾推出面向部分企业用户的高速版API“GLM-5.1-highspeed”,模型输出速度达到400 tokens/s。
当时,智谱展示了高速模型在实际生产场景的价值。一个Coding Agent任务往往需要经历数十轮模型调用,单轮响应慢几秒,整体耗时可能拉长十几分钟。
更快速的模型能为写代码过程“开10倍速”,模型能一边理解工程上下文,一边持续生成代码与修改方案,用户刚输入需求,函数、接口与调用链已同步展开,迭代速度明显提升。
这种输出速度主要源于软硬件基础设施的优化。此前,GLM 5.1 Highspeed模型API由智谱GLM团队与TileRT团队联合打造,该API在推理引擎、调度系统与底层基础设施三个层面进行了系统级优化:
在推理引擎层,研究团队针对GLM-5.1的架构特点,重写了核心推理路径,有效提升了单卡吞吐能力;
在调度系统层,他们通过动态批处理、请求合并和KV缓存调度优化,显著降低高并发场景下的尾延迟;
最后,在基础设施层,团队围绕推理集群部署、网络链路、负载均衡进行协同优化,确保高速输出成为稳定可用的生产级能力。
TileRT的核心思路是放弃传统Runtime层的动态算子调度,将整个推理计算图在编译期静态编排成一个常驻GPU的persistent Engine Kernel,从而将调度、访存和同步开销压至最低。
如今,提升模型推理速度已成为不少厂商关注的重点,除了推出专门的快速模型,将旗舰模型速度再拔高一个量级也正成为新的竞争方向。对于游戏开发者而言,借助高速模型提升代码迭代效率,可参考九游游戏大全中的相关工具推荐。
本文来自微信公众号“智东西”(ID:zhidxcom),作者:陈骏达,编辑:李水清,36氪经授权发布。