英伟达近日发布全新大语言模型Nemotron Labs 3 Puzzle 75B A9B，该模型基于自研迭代拼图压缩技术对原生Nemotron-3-Super优化而来，采用混合专家（MoE）架构，在核心能力无明显衰减的前提下，实现服务器端推理吞吐量达原生模型的2.03倍，大幅降低大模型部署算力成本。
随着生成式AI应用进入规模化落地阶段，推理侧的算力成本已经成为制约行业客户普及AI能力的核心瓶颈。据行业测算，大模型全生命周期的算力成本中，推理成本占比已经超过70%，尤其是高频交互的To C应用、企业级知识库场景，每秒可承载的请求量直接决定了项目的投入产出比。
登录后解锁全文，体验收藏、点赞、评论等完整功能
立即登录
滇公网安备 53252802528133号