2026年7月，英伟达正式推出300亿参数混合专家架构音文统一大模型Audex（全称Nemotron-Labs-Audex-30B-A3B）。该模型在保留原有Nemotron系列骨干大模型成熟文本推理能力的基础上，首次实现音频理解、音频生成能力的原生集成，解决了此前跨模态模型能力偏科、多模块调用成本高的行业痛点，目前相关模型权重已面向开发者开放。
作为近年来语音AI领域呼声最高的技术方向之一，端到端音文统一大模型的落地一直面临技术瓶颈。过去两年多模态大模型的落地主要集中在图文领域，音文交互场景长期依赖“ASR语音识别-文本大模型推理-TTS语音生成”的多模块拼接方案。
这套方案不仅部署成本高、响应延迟长，还容易出现上下文衔接偏差、风格不统一的问题：比如智能客服回复的语音情绪和文本内容不匹配，有声书生成需要手动调整多轮参数才能符合文本情感，行业一直期待端到端的音文统一大模型出现。
登录后解锁全文，体验收藏、点赞、评论等完整功能
立即登录
滇公网安备 53252802528133号