近日，AI初创公司Liquid AI正式推出LFM2.5-DSpark Draft系列模型，该系列基于推测解码技术对原有LFM2.5大语言模型进行优化，在完全不改变模型输出结果的前提下，解码速度最高提升3.18倍，有望大幅降低大语言模型推理成本，提升各类端侧、云端AI应用的响应效率。
推理速度慢、算力成本高一直是制约大语言模型规模化落地的核心瓶颈，尤其是在高并发的企业级服务场景和算力有限的消费级端侧设备上，更快的解码速度直接决定了用户体验与运营投入的平衡点，行业长期以来都在探索不损失模型效果的提速方案。
本次Liquid AI推出的DSpark系列模型，核心是为原有LFM2.5基座模型新增了推测解码（Speculative Decoding）模块。和业内常见的量化、剪枝等会一定程度损失模型输出质量的优化方案不同，推测解码通过轻量小模型提前预测后续生成token、再由基座模型一次性批量验证的技术路径，既不会改变基座模型的原有输出结果，也不需要对基座进行额外重训练，适配成本极低。
登录后解锁全文，体验收藏、点赞、评论等完整功能
立即登录
滇公网安备 53252802528133号