DeepSeek推出DualPath推理方案 基本消除大模型KV缓存I/O开销

2月26日，AI企业DeepSeek正式发布全新DualPath推理系统方案，直击当前大语言模型在智能体应用场景中的关键性能短板——KV缓存存储I/O瓶颈。该方案通过独创双路径加载机制，可显著提升系统吞吐量，基本消除KV缓存的I/O开销，为大模型落地复杂智能体场景扫清核心技术障碍。

当你使用AI智能体完成多轮代码调试、多模态内容生成或复杂任务规划时，是否遇到过对话卡顿、响应延迟飙升的情况？背后的核心诱因之一，正是大语言模型推理阶段的KV缓存存储I/O瓶颈。2月26日，专注于大模型底层技术的AI企业DeepSeek，正式推出了针对性的解决方案——DualPath推理系统。

KV缓存是大语言模型实现多轮对话、长上下文理解的核心组件：它负责存储模型推理过程中生成的每一个token的键（Key）与值（Value），避免模型每一轮对话都重新计算历史上下文，大幅降低推理耗时。但在智能体这类需要频繁进行多轮交互、工具调用的复杂场景中，KV缓存的规模会随对话轮次快速膨胀，磁盘与内存之间的I/O交互开销占比甚至能达到推理总耗时的70%以上，直接导致系统吞吐量下降、延迟升高，成为大模型商业化落地智能体场景的核心障碍。