Meta旗下开源AI工具xFormers推出全新内存优化Transformer搭建方案，通过融合打包序列（Packed Sequences）、分组查询注意力（GQA）、ALiBi位置偏置、SwiGLU激活函数、因果注意力五项前沿技术，可在同等推理精度下，将Transformer模型内存占用最高降低62%，训练速度提升38%，为大语言模型、多模态模型的端侧部署提供了新的技术路径。
当前大语言模型、多模态模型的参数规模快速扩张，Transformer架构作为绝大多数AI模型的核心底座，其注意力模块的内存开销已占模型整体运行内存的70%以上。无论是千亿参数模型的训练成本压缩，还是10B级以下小模型的端侧部署，降低Transformer的内存占用都是行业公认的核心需求。
登录后解锁全文，体验收藏、点赞、评论等完整功能
立即登录
滇公网安备 53252802528133号