近日，芯片厂商AMD正式发布全开源混合专家（MoE）大语言模型Instella-MoE-16B-A3B。该模型总参数规模达16B，单Token推理过程中仅激活2.8B参数，全程基于AMD Instinct系列GPU训练完成，模型权重、训练框架、部署工具均完全开放，为大模型轻量化部署、边缘侧AI落地提供了新的技术路径。
在大模型商业化落地逐步进入“成本优先”的竞争周期，兼顾效果与推理效率的MoE结构已经成为业内公认的主流技术方向，而硬件厂商的下场布局，更是进一步加快了这类技术的普及速度。
此前行业内推出的MoE大模型大多存在开源不彻底的问题：部分模型仅开放推理接口不开放权重，部分模型训练、部署工具高度绑定特定厂商硬件，无形中抬高了中小开发者的使用门槛。对于大量需要本地化部署大模型的企业而言，既需要模型效果达到可用标准，也需要尽可能降低推理硬件的投入成本，而现有开源模型很难同时满足这两个需求。
登录后解锁全文，体验收藏、点赞、评论等完整功能
立即登录
滇公网安备 53252802528133号