登录体验完整功能(收藏、点赞、评论等) — 已累计有 13403 人加入

字节筹备5万亿参数超大模型 张一鸣明确要求严禁蒸馏训练

详情页推荐

字节跳动正筹备训练参数规模超5万亿的超大语言模型,该参数规模超过月之暗面K3的2.8万亿、阿里Qwen 3.8-Max的2.4万亿,为目前国内已知规划中参数规模最高的大模型。项目目前处于早期阶段,由Seed Foundation负责人项亮与预训练数据负责人沈科牵头推进,字节创始人张一鸣内部明确要求严禁模型蒸馏,坚持长期主义研发路线。

配图

---

2026年以来,国内大模型行业的竞争已经从“有没有”转向“强不强”,头部厂商的主力模型参数普遍落在2-3万亿区间,不管是微调技巧还是榜单表现,都已经陷入瓶颈,很难和竞品拉开实质性差距。8月初,字节跳动的新模型规划被内部曝光,迅速引发行业关注,其核心逻辑是直接跳出了现有竞争区间,试图用数倍于同行的参数规模,直接建立代差优势。

据了解,这款规划中的5万亿参数大模型如果顺利落地,将成为国内参数规模最大的大语言模型,远超当前公开的参数最高的两款产品:月之暗面Kimi K3的2.8万亿参数、阿里Qwen 3.8-Max的2.4万亿参数。

免责声明:本网站AI资讯内容仅供学习参考,不构成任何建议,不对信息准确性与完整性负责。