载入中… | 今日精选 · 实时更新
每日精选全球 AI 与科技资讯
编辑部 · 北京时间 每日 08:00 更新
首页 ›

NC大模型生成速度达文本扩散21倍

· · 阅读 5 分钟

斯坦福大学Hazy Research于2026年10月12日发布博客,公布一款非自回归NC大语言模型(NC LLM)的生成速度数据,其token输出速度为文本扩散模型的21倍。

文本扩散模型属于非自回归生成路线,从随机噪声出发,经过多轮去噪逐步还原完整token序列,每轮更新全部序列位置。自回归模型生成每个token都依赖前序输出,前向计算次数随序列长度线性增加。两条路径在速度上的差异,主要来自并行度与解码轮数。LLM的标准解码路径是自回归,文本扩散是在离散token上做并行生成的替代方案。

对比对象明确是文本扩散模型,并非自回归模型。自回归路线的速度基线没有被纳入此次比较,21倍测的是非自回归路线内部的速度差。

仅凭当前公开信息,无法确认测试任务、模型参数规模和硬件配置,代码与权重链接也未出现。21倍无法换算成绝对每秒token数,复现该倍数至少需要batch size、序列长度和GPU型号等参数。

Hacker News上该博客的讨论帖显示为1点、0条评论。

· END ·