京东开源48亿参数JoyAI-LLM-Flash，突破大模型规模化瓶颈

京东开源48亿参数JoyAI-LLM-Flash，突破大模型规模化瓶颈

2月14日，京东在全球知名AI开发者社区Hugging Face正式开源最新大语言模型JoyAI-LLM-Flash。这款模型以48亿总参数搭配3亿激活参数的轻量化设计，历经20万亿文本Token预训练，在知识理解、逻辑推理及编程能力上表现突出，更凭借自研FiberPO优化框架突破混合专家模型（MoE）规模扩展不稳定的行业痛点，实现吞吐量1.3-1.7倍的显著提升。

2月14日的开源动作，是京东在大模型高效能落地赛道上的一次重磅输出。不同于行业中单纯追求参数规模或极致轻量化的路径，JoyAI-LLM-Flash选择了“大总参储备+小激活参运行”的平衡策略：48亿总参数让模型得以通过20万亿文本Token的预训练沉淀海量前沿知识，覆盖科技、金融、编程等多个领域；而仅3亿的激活参数，又极大降低了推理阶段的算力消耗，为中小开发者和企业级场景的快速部署扫清了成本障碍。

在核心技术层面，JoyAI-LLM-Flash最引人关注的是全新FiberPO优化框架的应用——这是业内首次将数学领域的纤维丛理论引入大模型强化学习训练。传统MoE模型在规模扩展时，常因不同专家模块的协作失衡出现训练震荡、性能波动的问题，而纤维丛理论为模型的专家分配机制搭建了一套严谨的数学约束体系，让每个输入Token都能更精准地匹配对应专家模块，从底层逻辑上解决了规模化不稳定的顽疾。

配合FiberPO框架的，还有京东自研的Muon优化器和稠密多Token预测（MTP）技术。Muon优化器针对MoE模型的稀疏激活特性做了针对性调整，能在训练过程中动态优化参数更新节奏；而MTP技术则打破了传统单Token预测的效率瓶颈，让模型一次能处理多个Token的预测任务。二者协同作用下，JoyAI-LLM-Flash的吞吐量比非MTP版本提升了1.3倍至1.7倍，这意味着在相同算力资源下，模型能处理更多并发请求，对于在线智能客服、实时代码辅助这类高流量场景而言，效率提升直接转化为业务价值。

从架构细节来看，JoyAI-LLM-Flash采用40层MoE架构，支持128K上下文长度和129K词表大小。128K的超长上下文能力，让模型能轻松处理万字级合同解析、长篇技术文档总结等复杂任务，无需对文本做分段截断；而129K的大词表，则覆盖了更多垂直领域的专业术语和生僻表达，进一步强化了模型在细分场景的适配能力。

当前，大模型行业正从“参数竞赛”转向“效能竞赛”，如何在保证模型能力的前提下降低落地成本，是所有玩家面临的核心挑战。JoyAI-LLM-Flash的开源，不仅为行业提供了一个可复用的高效能大模型样本，更通过FiberPO框架的技术创新，为MoE模型的规模化发展开辟了新的技术路径。对于京东自身而言，这款模型也将成为其智能供应链、智能客服等业务场景的核心支撑，进一步强化技术与业务的协同效应。随着大模型技术逐步走向普惠，这类兼顾能力与效率的开源模型，将成为推动AI技术在千行百业落地的重要力量。