
据机器之心14分钟前的报道,斯坦福大学与 Together AI 的研究者提出了一种既不同于自回归,也不同于扩散的第三种文本生成范式,命名为 NCM。
关键数据:在若干实验中,
以相近或更好的质量,实现了相对扩散语言模型 10—31 倍的生成速度。
这个数字值得细看。因为它说的不是"比GPT快31倍",而是"比扩散模型快31倍"——而扩散模型本身,就是为了追求速度才出现的方向。
第一代:自回归(Autoregressive)。
这是当前所有主流大模型的工作方式——GPT、Claude、DeepSeek 都是这个路子。
它的机制很直观:一个词一个词地往外蹦。 生成第100个词时,模型会把前99个词都读一遍,然后预测第100个最可能是什么。
优点是质量高、逻辑连贯。缺点是串行——必须等第100个词算完,才能算第101个。
这就带来了根本性的性能瓶颈:生成一段1000字的文本,需要跑1000次前向计算。 上下文越长、回答越长,等待越久。
这里还有个容易被忽略的成本结构:生成的总计算量,与输出长度大致呈平方关系。
原因不难理解:生成第1000个词时,要把前面999个词读一遍;生成第1001个词时,要读1000个。每多生成一个词,都要把前面的内容重新算一次。 输出越长,单位成本越高。
这也是为什么长文档生成、长代码生成那么贵——不完全是内容难,是机制决定的。
第二代:扩散语言模型(Diffusion LM)。
思路借鉴自图像生成。图像扩散模型的工作方式是"从噪声中逐步去噪",最后得到清晰的图——而且整个过程可以并行。
把这个思路搬到文本上:不是逐字生成,而是先铺一片"噪声token",然后多轮并行修正,逐步收敛成合理文本。
这条路的核心卖点是并行带来的速度。但难点也很明确:文本是离散的、有严格语法结构的,不像图像的像素可以平滑过渡。 并行修正容易破坏连贯性。
这就是为什么扩散语言模型一直在"速度"和"质量"之间找平衡。
关于 NCM 的具体机制,目前公开的细节还不多,但有一条信息很关键——它是"先写提纲,再生成内容"的路子。
这个思路值得琢磨。
自回归是"从左到右,一步一步走"。 扩散是"全局铺开,反复修正"。 NCM 看起来是先确定整体结构,再填充细节——有点像写文章时先列大纲、再逐段展开。
据机器之心的报道,它的效果是:以相近或更好的质量,速度相对扩散语言模型提升 10—31 倍。
这个量级如果成立,意义不小。因为速度不是"体验优化",它直接决定成本。
很多人把生成速度当成体验问题——"回答快一点更舒服"。但对产业来说,它是成本问题。
第一,推理成本与生成长度成正比。
前面几篇里提过一个现象:AI编程场景下的token消耗远超预期。而生成速度提高一个量级,意味着同样的算力可以产出更多的内容——直接换算成账单上的数字。
第二,有些场景对速度是刚需。
实时翻译、语音对话、游戏NPC、实时编程补全——这些场景里,几百毫秒和几秒的差别,决定了产品能不能用。
第三,Agent场景把"生成次数"放大了。
一个Agent任务可能包含几十上百次模型调用。每次调用的延迟,会在这个循环里被反复放大。单次生成快一倍,整个任务的耗时可能缩短近一半。
说点冷静的话。
第一,实验室里的速度优势,和工程上的可用性,是两件事。
扩散模型前几年也讲过快几十倍,但迟迟没能替代自回归路线。原因在于:真实场景里的约束比论文里的测试复杂得多——长文本的一致性、指令跟随的稳定性、工具调用的格式可靠性,这些都会在工程落地时消耗掉一部分优势。
第二,改范式意味着重建整套生态。
自回归路线的生态已经非常成熟:推理框架、KV缓存、量化方案、硬件适配、工具链、微调方法——全都围绕它优化了好几年。
换一种生成范式,等于这些积累要重建一遍。 这也是新范式落地慢的主要原因:不是技术不行,是迁移成本太高。
第三,质量上"相近或更好"这个表述,需要更多验证。
单次基准测试的表现,和"在成千上万种真实任务上都靠得住",中间还隔着大量验证工作。
第一,理解范式,有助于判断趋势。
过去几年,"大模型"这个词几乎等同于"自回归Transformer"。而现在的进展说明:这条路不是唯一解,也不一定是终局。
理解这一点,在看技术新闻时就不容易被"又一个颠覆性突破"带节奏——你能分清哪些是在做增量优化,哪些是在挑战底层假设。
第二,如果有实时性需求,这类进展值得跟进。
做实时对话、实时翻译、游戏AI、编程补全的团队,是速度收益最直接的受益方。可以关注这类新范式的开源实现——哪怕先不用于生产,跑个 benchmark 也能建立判断。
第三,成本模型的优化空间,可能不只在"少用token"上。
前面写的成本话题里,优化手段集中在"精简上下文、提高缓存命中"——这些都是在现有范式内省钱。
而生成范式的变化,是换一套算法。如果速度真的提升一个量级,它对成本的影响会超过所有工程优化手段的叠加。
这也是为什么这类研究值得关注:工程优化的收益有上限,范式创新的收益没有。
不过要分清"关注"和"投入"。判断一项新范式值不值得压资源,有个简单的观察点:看它的开源实现有没有出现,以及有没有团队拿它在真实业务上跑通。
论文里的数字是起点,工程上的验证才是分水岭。在分水岭出现之前,跟进了解、保持关注就够了。
最后说个观察。
过去两年,AI领域最热闹的是"能力"——谁的模型更聪明、谁的上下文更长、谁的Agent更强。
但最近一年,动作开始往"效率"上转:推理框架优化、模型自我调优(前面写过 Google 的 Argon)、量化与蒸馏、以及这次的生成范式。
这个转向很自然。当能力差距缩小到一定程度,竞争重心必然从"能不能做到"转向"做一次要多少钱"。
在这个背景下看 NCM,它的价值不在于"31倍"这个数字本身,而在于它指出的方向:
当优化到一定程度,最大的收益往往来自"换一个方法",而不是"把现有方法再压榨一点"。
更新时间:2026-10-16
本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828
© CopyRight All Rights Reserved.
Powered By 61893.com 闽ICP备11008920号
闽公网安备35020302034844号