登录体验完整功能(收藏、点赞、评论等) — 已累计有 9602 人加入

Cohere发布218B稀疏MoE大模型 面向Agent仅需2块H100运行

近日,加拿大企业级AI厂商Cohere正式发布全新开源大模型产品Command A+,这款总参数量达218B的稀疏MoE架构专用模型,面向Agent智能体工作流场景优化,仅需2块H100 GPU即可完成部署运行,大幅拉低了高能力智能体应用的落地门槛,为缺乏重算力资源的中小企业提供了低门槛的私有大模型选型。

过去一年多,AI Agent已经从概念验证阶段进入规模化落地的关键窗口期,但大量尝试落地智能体应用的团队都面临着难以调和的矛盾——想要获得足够支撑多轮工具调用、长链路任务规划的推理能力,往往需要部署千亿级总参数的大模型,对应的硬件成本让不少团队望而却步。

当下AI Agent的落地场景覆盖了从自动办公辅助到工业运维巡检、全流程自动化客服等多个赛道,绝大多数对数据隐私有较高要求的企业,都不愿意将内部业务数据上传到公有大模型的API接口,私有部署成为这类用户的刚性需求。

但此前市场上同性能级别的开源大模型,最低部署门槛普遍要求至少8台H100 GPU组成算力集群,单硬件采购成本就超过百万,绝大多数中小AI创业团队、传统企业的内部IT部门都难以承担这样的投入。

作为深耕企业级大模型赛道多年的厂商,Cohere推出的Command系列一直是全球企业客户部署私有大模型的核心选型之一,本次新发布的Command A+针对性解决了Agent场景的部署痛点。

免责声明:本网站AI资讯内容仅供学习参考,不构成任何建议,不对信息准确性与完整性负责。
相关资讯