7月9日英伟达正式发布全新大语言模型Nemotron-Labs-3-Puzzle-75B-A9B，该模型基于原有Nemotron-3-Super通过迭代拼图压缩技术研发，采用混合MoE架构，在用户吞吐量完全匹配的前提下实现2.03倍服务器端吞吐量提升，大幅降低大模型推理成本，为企业级AI应用规模化落地提供了更高性价比的算力底座选项。
在当前大模型商业化竞速阶段，推理算力成本已经占到AI企业运营成本的60%以上，如何在不损失用户响应速度、输出质量的前提下提升算力效率，是全行业共同攻坚的核心命题。英伟达此次推出的新模型，正是瞄准这一行业痛点给出的针对性方案。
过去两年大模型参数规模的快速扩张，直接推高了部署端的算力门槛。对面向C端的对话AI、AIGC工具而言，峰值期的用户请求往往需要调用数倍于平日的服务器资源，闲置算力的浪费进一步拉高了平均成本；对ToB的企业级AI服务、智能体应用而言，高频次的推理调用成本，已经成为不少中小企业落地大模型的最大阻碍。
登录后解锁全文，体验收藏、点赞、评论等完整功能
立即登录
滇公网安备 53252802528133号