高质量的长文本压缩,需要同时兼顾“信息与查询的相关性”和“信息单元间的多样性”

7 小时前 AI快讯 1

32倍压缩率下性能反超25%,阿里COMI破解长文本压缩难题登ICLR2026

阿里巴巴未来生活实验室研发的COMI长文本压缩框架在ICLR 2026上正式亮相,成功破解高压缩率下性能断崖下跌的行业难题。该框架在32倍压缩率下,相比现有主流方法性能反超25个百分点,核心创新在于跳出仅关注“相关性”的传统思路,同时优化信息的“相关性”与“多样性”,避免冗余相似信息干扰模型决策。

当大模型处理32K长度的学术论文、合同文书等长文本时,若要将其压缩至1K规模以提升推理效率,现有压缩方法往往遭遇“翻车”:模型不仅无法精准响应查询,甚至会生成完全错误的结果。这一困扰AI行业已久的长文本压缩痛点,如今被阿里巴巴未来生活实验室的研究团队彻底破解,相关成果已入选顶级学术会议ICLR 2026

当前主流的长文本上下文压缩方法,普遍将“与查询的相关性”作为信息筛选的唯一核心指标。但在高压缩率场景下——比如将32K长文本压缩至1K,这种思路会陷入“信息内卷”的陷阱:系统会密集保留大量语义高度相似的冗余token,看似覆盖了与查询相关的内容,实则这些重复信息无法叠加有效价值,反而会相互干扰,让大模型在冗余信息中迷失方向,最终导致性能断崖式下跌。

阿里巴巴未来生活实验室的研究团队通过分析发现,问题的根源在于传统压缩目标的根本错位。为此,他们提出了颠覆性的优化思路:高质量的长文本压缩,需要同时兼顾“信息与查询的相关性”和“信息单元间的多样性”

基于这一思路,团队研发了COMI(Coarse-to-fine Multi-Interest Optimization)框架,采用粗到细的两层筛选机制:首先从长文本中快速圈定与查询相关的信息片段,再通过精细化的语义比对,剔除其中内容重复、语义雷同的冗余部分,确保每一个保留的token都能为模型提供独特的有效信息。

实验数据验证了这一思路的有效性:COMI框架在32倍压缩率下,相比现有最优压缩方法,性能反超25个百分点,彻底打破了“高压缩率必然伴随性能暴跌”的行业固有认知。

此次COMI框架入选ICLR 2026,不仅代表其在学术层面的创新性获得认可,更具备广阔的产业落地前景。

对于依赖长文档处理的场景——比如企业内部知识库问答、法律文书智能解析、长对话式客服系统等,COMI框架能在大幅降低上下文窗口占用、削减模型推理成本的同时,保障输出结果的准确性与可靠性。此外,该框架的“相关性+多样性”双优化思路,也为多模态内容压缩提供了新的借鉴方向,未来有望扩展至长视频、多模态混合文档的高效处理场景。

所属分类
×

微信二维码

请选择您要添加的方式

AI小创