大模型应用向检索增强问答、长程Agent等场景延伸过程中，超长上下文预填充算力成本高、首token延迟波动大的痛点突出。近日小红书联合北京大学、上海交通大学共同推出面向混合注意力大模型的位置无关缓存技术HYPIC，可将首token延迟降低3.25倍，大幅降低大模型长上下文服务的运行成本，为高并发长文本场景落地提供新的技术路径。
当前大模型服务的核心场景已经从早期的短文本单轮对话，转向检索增强生成（RAG）、多文档摘要、长程智能体等复杂任务，这类任务的用户请求prompt通常由检索文档、技能说明、历史交互记录等数十个语义独立的片段拼接而成，长度普遍达到数万甚至数十万token量级。
这类超长上下文场景下，预填充（prefill）阶段的算力消耗已经占据单请求总开销的70%以上，成为拉高服务商运营成本的核心因素。更影响用户体验的是，一旦出现缓存未命中，请求的首token延迟（TTFT）往往会飙升至数十秒，直接导致交互卡顿甚至超时失败，是当前长文本大模型落地的主要阻碍之一。
登录后解锁全文，体验收藏、点赞、评论等完整功能
立即登录
滇公网安备 53252802528133号