arXiv · cs.LG 机器学习· Lukas Haverbeck, Carmen Amo Alonso, Andres Felipe Posada-Moreno, Sebastian Trimpe, Marco Pavone·· 4 小时前精选AI 评分70
论文分析 KV cache 压缩的极小极大风险，并给出因果掩码下的设计原则
The risk of KV cache compression
AI 导读
作者从理论上刻画了 KV cache 压缩的极小极大风险，用 cache 的内在可压缩性说明何时能实现准确压缩。结论指出，一旦注意力能精确检索单个 token，压缩只有在利用未来 query 信息时才能稳定优于随机采样，无论 cache 本身多冗余。基于此，作者提出因果掩码下的压缩设计原则，并实现为兼顾 prefill 与自回归解码的实用算法，该工作已被 NeurIPS 2026 接收。
推荐理由
论文用极小极大风险刻画 KV cache 的可压缩性，并给出因果掩码下的设计原则与可落地算法，为压缩方法提供理论依据。
来源：arXiv · cs.LG 机器学习 · arxiv.org