AI大模型厂商DeepSeek于近日正式发布开源推测解码框架DSpark，针对旗下DeepSeek-V4大模型的单用户生成场景做专属优化，相较此前行业主流的MTP-1框架实现60%-85%的推理速度提升。目前该框架已开放全部技术细节，可大幅降低大模型部署成本、优化用户交互体验，为全球大模型推理优化领域提供了新的落地方案。
---
大模型落地过程中，推理侧的延迟与成本问题，已经成为制约C端用户体验、B端规模化部署的核心障碍。据行业测算，大模型业务的整体成本中，推理侧算力支出占比已经超过7成，哪怕是10%的推理效率提升，都能为头部厂商省下每年数亿元的算力投入。
登录后解锁全文，体验收藏、点赞、评论等完整功能
立即登录
滇公网安备 53252802528133号