登录体验完整功能(收藏、点赞、评论等)

突破Transformer天花板?Inception发布全球首个扩散架构推理大模型Mercury 2

人工智能初创公司Inception Labs近日推出全球首个基于扩散模型架构的推理大模型Mercury 2,彻底弃用主流Transformer架构。该模型以全局优化替代逐Token生成方式,在英伟达Blackwell GPU驱动下,实测生成速度达每秒1009个Token,有望突破传统大模型性能瓶颈,开启文本生成范式新变革。

当行业还在围绕Transformer架构的参数规模、微调技术反复深耕时,Inception Labs抛出了一颗架构创新的“重磅炸弹”——一款完全脱离Transformer路径的推理大模型Mercury 2正式亮相,直接挑战当下大模型的底层技术范式。

传统大语言模型依托Transformer架构,普遍采用“逐Token生成”的模式:从第一个字符开始,根据前文概率分布依次推导后续每个内容,这种串行逻辑在处理长文本或复杂推理时,不仅速度受限,还容易出现上下文脱节、逻辑漏洞的问题。

Mercury 2彻底颠覆了这一范式。它不再像“打字员”一样逐字输出,而是更像一位经验丰富的“编辑”:通过扩散模型的底层逻辑,对文本进行全局层面的优化与重写。这种并行处理逻辑,让模型能够同时考虑文本的整体结构、逻辑关联和表达风格,从根源上解决串行生成的固有缺陷。

Transformer架构自2017年问世以来,几乎成为所有主流大模型的“标配”,但随着模型参数规模不断扩大,其性能提升的边际效应逐渐减弱,训练和推理成本却呈指数级增长。逐Token生成的串行机制,更是成为制约大模型推理速度和长文本处理能力的核心瓶颈。

Inception Labs选择用扩散模型替代Transformer,正是瞄准了这一瓶颈。扩散模型原本在图像生成领域大放异彩,通过逐步去噪还原高质量图像;而Mercury 2则将这一逻辑迁移至文本生成——从随机噪声中逐步迭代出符合要求的完整文本,整个过程无需依赖自注意力机制的串行推导,天然具备全局优化的属性。

!
本文内容来源于公开互联网信息,并包含平台新增内容及用户发布内容,旨在进行知识整理与分享。文中所有信息与观点均仅供参考,不代表任何官方或特定立场,亦不构成任何操作或决策建议,请读者谨慎甄别,详情请见完整免责声明
相关资讯
AI小创