登录体验完整功能(收藏、点赞、评论等) — 已累计有 13118 人加入

OpenRouter发布缓存+路由双技术 最高压减多轮Agent调用成本43%

详情页推荐

2026年7月,AI模型聚合服务平台OpenRouter正式推出提示词缓存(Prompt Caching)与粘性路由(Sticky Routing)技术组合,通过复用多轮对话中重复的系统指令、工具定义等内容,大幅降低智能体多轮交互的token消耗成本,目前该技术适配Anthropic Claude Sonnet 4.6等主流模型,缓存读取成本最低仅为正常输入的0.1倍,可将多轮Agent整体调用成本最高降至原有水平的1/1.75。

配图

不少开发过长周期Agent应用的团队都有过类似的体验:一个连续运行10轮的客服智能体,仅系统提示词、工具定义等固定内容的token消耗,就占到了整体输入成本的70%以上——这些内容每一轮交互都要重复上传、重复计费,早已是行业公认的成本黑洞。

在智能体的多轮对话逻辑中,系统提示词、工具调用规则、核心策略指令等内容往往贯穿整个会话周期,几乎不会发生变化。但按照传统的大模型计费规则,每一次交互的全量输入内容都会被纳入计费范围,即使唯一变化的只有最新的用户查询或工具返回结果,固定内容依然会按轮次重复收费。

以6轮会话为例,固定内容的计费次数可达6次,轮次越多,无效成本占比越高,这也直接导致了不少需要长期运行的Agent应用难以规模化落地。

免责声明:本网站AI资讯内容仅供学习参考,不构成任何建议,不对信息准确性与完整性负责。