Inception Labs发布全球首个扩散式推理大模型Mercury 2,弃用Transformer

1 天前 AI快讯 2

人工智能初创公司Inception Labs近日推出全球首个基于扩散模型的推理大模型Mercury 2,弃用当前主流的Transformer架构。该模型可同时对多文本块进行全局优化与重写,在英伟达Blackwell GPU驱动下实测生成速度达每秒1009个Token,为大语言模型的架构创新开辟了新路径。

当行业仍在围绕Transformer架构做参数堆叠、垂直场景微调时,Inception Labs的最新动作正在打破技术共识。这家初创公司跳出了统治大模型赛道数年的框架,以扩散模型为底层逻辑重构文本推理模型,为AI技术演进注入了全新变量。

过去十年,Transformer架构凭借自注意力机制在序列数据处理上的高效性,成为大语言模型的标准配置——从OpenAI的GPT系列到谷歌Gemini,核心底层均未脱离这一框架。而Mercury 2则另辟蹊径,将此前多用于图像生成的扩散模型技术,成功迁移至文本推理场景。
与Transformer聚焦局部序列的自注意力不同,扩散模型通过逐步去噪的方式生成文本,天然具备全局语义优化能力。Mercury 2能够同时对多个独立文本块进行跨段落的语义梳理与重写,这在长文档处理、多文本关联推理等场景中,具备传统Transformer模型难以比拟的优势。

除了架构上的颠覆,Mercury 2的实测性能也交出了亮眼成绩单。根据第三方平台的测试数据,在英伟达最新的Blackwell GPU驱动下,Mercury 2的文本生成速度达到每秒1009个Token,追上了主流Transformer大模型的推理效率。
更关键的是,在多文本块并行处理的场景中,Mercury 2的全局优化能力无需依赖局部文本拼接,能够以更低时间成本完成跨段落的语义整合,这为企业级用户处理批量文档、长文本摘要等任务提供了新的高效选择。

在大模型赛道逐渐被巨头垄断的当下,多数初创公司选择在Transformer架构基础上做垂直场景优化,或是压缩推理成本。Inception Labs直接从底层架构入手的尝试,为行业提供了另一种可能:突破现有技术框架的束缚,或许是初创公司实现差异化竞争的关键。
当然,扩散模型在文本推理领域的应用仍处于早期阶段,Mercury 2能否在复杂任务中持续证明可靠性、实现规模化落地,仍需时间检验。但这一尝试无疑为大语言模型的技术演进打开了新的想象空间,也让行业开始重新思考:Transformer是否真的是不可替代的最优解?

所属分类
×

微信二维码

请选择您要添加的方式

AI小创