登录体验完整功能(收藏、点赞、评论等) — 已累计有 8990 人加入

让AI触手可及,让应用激发潜能

Zyphra发布MoE扩散模型ZAYA1-8B,推理提速最高7.7倍

近日,AI技术公司Zyphra正式发布ZAYA1-8B-Diffusion-Preview,这是全球首个从自回归大语言模型(LLM)转换而来的混合专家(MoE)扩散模型。该模型通过MoE架构对生成逻辑进行优化,实现了最高7.7倍的推理速度提升,为长期受限于效率问题的生成式AI实时场景落地提供了新的技术解决方案,引发AI产业圈对扩散模型效率升级路径的广泛讨论。

当前,生成式AI已渗透到图像生成、音频创作、虚拟内容制作等多个领域,但传统扩散模型因依赖迭代式生成逻辑,推理速度慢、资源消耗高的痛点始终存在。尤其在需要实时响应的场景,比如直播虚拟道具生成、AR内容渲染等,模型效率不足成为落地的核心瓶颈。行业此前尝试过蒸馏、量化等方法优化模型,但往往在提速的同时牺牲了部分生成质量,难以兼顾速度与效果。

Zyphra此次发布的ZAYA1-8B-Diffusion-Preview,最核心的突破在于首个从自回归LLM转换而来的MoE扩散模型。混合专家(MoE)架构的核心是通过多个“专家”子模型分工处理不同生成任务,仅激活相关子模型即可完成推理,从而大幅降低计算开销。Zyphra将成熟的自回归LLM的生成逻辑迁移至MoE扩散模型,既保留了LLM在语义理解和内容连贯性上的优势,又通过MoE架构实现了最高7.7倍的推理提速,解决了此前提速与质量难以兼顾的行业难题。

免责声明:本网站AI资讯内容仅供学习参考,不构成任何建议,不对信息准确性与完整性负责。
相关资讯