近日腾讯正式开源PyTorch原生的统一训练框架AngelSpec，该框架针对Hy3大模型架构设计，同时支持MTP训练优化与块并行投机解码能力，内置DFly、D-cut两大核心优化策略，可同时降低大模型训练阶段算力损耗、提升推理阶段响应速度，为大模型落地的成本控制与体验升级提供了新的开源技术方案。
当前大模型商业化落地的核心矛盾，始终卡在训练成本高、推理延迟长两个环节：动辄数十亿参数的模型训练需要消耗数百张GPU卡的算力资源，而推理端为了保障输出流畅度，又需要进一步牺牲算力换取响应速度，行业一直期待有统一架构可以同时优化两个环节的效率，降低整体落地成本。
登录后解锁全文，体验收藏、点赞、评论等完整功能
立即登录
滇公网安备 53252802528133号