蚂蚁联合清华开源AReaL系统 AI推理训练最高提速2.77倍

3月4日，蚂蚁集团与清华大学联合正式开源大规模异步强化学习训练框架AReaL v1.0稳定版。该系统通过解耦数据生成与模型训练流程，打破了传统同步训练机制的算力瓶颈，可显著提升大语言模型尤其是推理模型的训练效率，实测AI推理训练速度最高可达2.77倍，为大模型逻辑推理能力升级提供了高效技术路径。

当前大语言模型正从通用对话向大规模推理模型（LRM）迭代，这类模型需要更强的逻辑推演、复杂问题拆解能力，而强化学习（RL）正是实现这一升级的关键技术。但目前主流的RL训练系统多采用同步运行模式，数据生成与模型训练需严格按批次推进，容易出现算力闲置、训练周期过长的问题。

这套被业内称为“边用边训”的高效框架，核心突破在于解耦了数据生成与模型训练的流程。传统同步训练机制需要等待全部训练数据生成完毕后，才能启动模型迭代，极易造成分布式算力的空转浪费。而AReaL通过异步调度机制，让数据生成与模型训练两个环节并行推进，充分释放算力潜力，实测显示该系统可让AI推理模型的训练速度最高提升2.77倍，大幅缩短了大模型推理能力的迭代周期。

本次推出的AReaL v1.0为稳定开源版本，由蚂蚁集团与清华大学联合研发。双方依托蚂蚁在大规模分布式算力调度、大模型工程化落地的实践经验，结合清华大学在强化学习理论与算法优化上的研究积累，完成了这套系统的全链路打磨。开源之后，全球开发者均可免费获取并使用该框架，降低了中小团队开展大模型推理训练的技术门槛，推动高效训练技术的普惠共享。

随着企业级AI应用、多模态科研场景对推理模型的需求持续增长，高效的强化学习训练框架将成为行业刚需。AReaL的开源不仅填补了异步强化学习训练工具的市场空白，也为大模型从通用能力向专业推理能力升级提供了可复用的技术底座。未来随着社区开发者参与迭代，该系统有望进一步优化多场景适配性，推动AI推理技术的普惠落地。