人工智能初创公司Inception Labs近日推出全球首个基于扩散模型架构的推理大模型Mercury 2,彻底弃用主流Transformer架构。该模型以全局优化替代逐Token生成方式,在英伟达Blackwell GPU驱动下,实测生成速度达每秒1009个Token,有望突破传统大模型性能瓶颈,开启文本生成范式新变革。
当行业还在围绕Transformer架构的参数规模、微调技术反复深耕时,Inception Labs抛出了一颗架构创新的“重磅炸弹”——一款完全脱离Transformer路径的推理大模型Mercury 2正式亮相,直接挑战当下大模型的底层技术范式。
传统大语言模型依托Transformer架构,普遍采用“逐Token生成”的模式:从第一个字符开始,根据前文概率分布依次推导后续每个内容,这种串行逻辑在处理长文本或复杂推理时,不仅速度受限,还容易出现上下文脱节、逻辑漏洞的问题。
Mercury 2彻底颠覆了这一范式。它不再像“打字员”一样逐字输出,而是更像一位经验丰富的“编辑”:通过扩散模型的底层逻辑,对文本进行全局层面的优化与重写。这种并行处理逻辑,让模型能够同时考虑文本的整体结构、逻辑关联和表达风格,从根源上解决串行生成的固有缺陷。
Transformer架构自2017年问世以来,几乎成为所有主流大模型的“标配”,但随着模型参数规模不断扩大,其性能提升的边际效应逐渐减弱,训练和推理成本却呈指数级增长。逐Token生成的串行机制,更是成为制约大模型推理速度和长文本处理能力的核心瓶颈。
Inception Labs选择用扩散模型替代Transformer,正是瞄准了这一瓶颈。扩散模型原本在图像生成领域大放异彩,通过逐步去噪还原高质量图像;而Mercury 2则将这一逻辑迁移至文本生成——从随机噪声中逐步迭代出符合要求的完整文本,整个过程无需依赖自注意力机制的串行推导,天然具备全局优化的属性。
根据公开的实测数据,Mercury 2在英伟达Blackwell GPU的驱动下,文本生成速度达到了每秒1009个Token。这一数据远超同量级Transformer架构大模型的推理速度,在复杂逻辑推理、长文本创作等场景中,优势更为明显——用户无需等待模型逐字“思考”,短时间内就能得到结构完整、逻辑连贯的文本输出。
除了速度提升,扩散模型的全局处理方式还让Mercury 2在文本一致性、逻辑严谨性上表现更优。比如在撰写科技论文、长篇叙事时,模型能够更好地保持上下文的逻辑链,减少传统大模型常见的“前言不搭后语”问题。
Mercury 2的发布,标志着大模型架构创新迎来了新的可能性。尽管Transformer架构目前仍占据主导地位,但Inception Labs的尝试,为行业提供了一条突破性能瓶颈的新路径。不过,扩散模型在文本生成领域的大规模应用仍面临挑战:比如训练数据的适配、模型的轻量化部署,以及如何平衡全局优化和细节精准度的问题。
未来,随着更多厂商跟进探索扩散模型在大语言模型中的应用,或许会引发新一轮架构革命。Mercury 2的出现,是否会像当年Transformer替代RNN一样,开启大模型的下一个时代?这一问题的答案,值得整个行业持续关注。