https://n.cqs.es/tags/llm/Recent content in LLM on Costa的生活技术实验室Hugozh-hansTue, 02 Jun 2026 14:26:00 +0800https://n.cqs.es/posts/2026/2026-1-kv-cache/Tue, 02 Jun 2026 14:26:00 +0800https://n.cqs.es/posts/2026/2026-1-kv-cache/<h2 class="group head-tag" id="-论文解读">📄 论文解读<a data-title-of-head class="group-hover:after:content-['__#'] no-underline hover:text-[--hs-text-color-hover]" href="#-%e8%ae%ba%e6%96%87%e8%a7%a3%e8%af%bb"></a></h2><p><strong>KV Cache Optimization Strategies for Scalable and Efficient LLM Inference</strong> Yichun Xu, Navjot K. Khaira, Tejinder Singh（Dell Technologies） arXiv:2603.20397 · 2026 年 3 月 24 日 · 24 页 · 78 篇引用</p> <h2 class="group head-tag" id="为什么-kv-cache-是个问题">为什么 KV cache 是个问题<a data-title-of-head class="group-hover:after:content-['__#'] no-underline hover:text-[--hs-text-color-hover]" href="#%e4%b8%ba%e4%bb%80%e4%b9%88-kv-cache-%e6%98%af%e4%b8%aa%e9%97%ae%e9%a2%98"></a></h2><ul> <li>自回归生成时每生成一个 token 都要&quot;看到&quot;前面所有 token 的 K/V 向量</li> <li>不缓存的话，每个 step 都要从 0 重算所有历史 token → O(N²)</li> <li>缓存后，<strong>KV cache 的内存随上下文长度线性增长</strong>：<code>KV 大小 = 2·H·D·L·B·N</code></li> <li>上下文从 2K 涨到 100K、1M、10M 后，KV cache 直接吃掉所有 GPU 显存，推理变慢、变贵、变得不可部署</li> </ul> <img src="https://n.cqs.es/images/posts/2026/2026-1-kv-cache_cover.webp" alt="Transformer self-attention with KV cache" loading="lazy" style="width:70%;" /> <h2 class="group head-tag" id="五大技术分类">五大技术分类<a data-title-of-head class="group-hover:after:content-['__#'] no-underline hover:text-[--hs-text-color-hover]" href="#%e4%ba%94%e5%a4%a7%e6%8a%80%e6%9c%af%e5%88%86%e7%b1%bb"></a></h2><table> <thead> <tr> <th>#</th> <th>类别</th> <th>一句话原理</th> <th>代表工作</th> <th>典型收益</th> </tr> </thead> <tbody> <tr> <td>1</td> <td><strong>Cache Eviction</strong>（驱逐）</td> <td>生成过程中丢掉&quot;不重要&quot;的 token</td> <td>H₂O、SnapKV、Ada-KV</td> <td>内存砍 80%+，精度几乎不掉</td> </tr> <tr> <td>2</td> <td><strong>Cache Compression</strong>（压缩）</td> <td>把 KV 量化到 2-4 bit 或低秩投影</td> <td>KIVI、KVQuant、Palu</td> <td>内存 ×4~×8，lossless 或 &lt; 2% 精度损失</td> </tr> <tr> <td>3</td> <td><strong>Hybrid Memory</strong>（混合内存）</td> <td>KV 主体放 CPU/SSD，GPU 上只留热点</td> <td>vLLM/PagedAttention、FlexGen、Oneiros</td> <td>单卡跑巨型模型、batch 大 6×、吞吐 3~33×</td> </tr> <tr> <td>4</td> <td><strong>New Attention</strong>（新型注意力）</td> <td>改 attention 算法本身，O(N²) → O(N log N)</td> <td>Linear、Log-Linear、Kimi Linear</td> <td>6.3× 吞吐 + 75% 内存下降（Kimi 数据）</td> </tr> <tr> <td>5</td> <td><strong>Combination</strong>（组合拳）</td> <td>上面 4 类挑几种拼起来</td> <td>RocketKV、KVzip、ShadowKV、TailorKV</td> <td>综合最优</td> </tr> </tbody> </table> <h2 class="group head-tag" id="七大部署场景--推荐方法">七大部署场景 × 推荐方法<a data-title-of-head class="group-hover:after:content-['__#'] no-underline hover:text-[--hs-text-color-hover]" href="#%e4%b8%83%e5%a4%a7%e9%83%a8%e7%bd%b2%e5%9c%ba%e6%99%af--%e6%8e%a8%e8%8d%90%e6%96%b9%e6%b3%95"></a></h2><table> <thead> <tr> <th>场景</th> <th>推荐</th> <th>理由</th> </tr> </thead> <tbody> <tr> <td>超长上下文（&gt;1M）单请求</td> <td>Eviction + Compression；Kimi Linear</td> <td>显存是瓶颈，必须砍 cache 大小</td> </tr> <tr> <td>最少改动现有模型</td> <td>Ada-KV、SnapKV、KIVI</td> <td>全部 fine-tuning-free、plug-and-play</td> </tr> <tr> <td>高吞吐数据中心</td> <td>PagedAttention/vLLM、Oneiros、ShadowKV</td> <td>batch 大、lossless、充分利用多租户</td> </tr> <tr> <td>边缘/低显存设备</td> <td>InfiniPot、TailorKV</td> <td>单卡 24GB 跑 8B/128K</td> </tr> <tr> <td>多轮对话</td> <td>RocketKV-MT、KVzip、ShadowKV</td> <td>不能像 H₂O 那样永久丢 token</td> </tr> <tr> <td>Prefill-heavy（长 prompt 编码）</td> <td>NACL、HashEvict、LayerKV、MiniCache</td> <td>关注 TTFT（首 token 延迟）</td> </tr> <tr> <td>精度敏感推理</td> <td>PagedAttention</td> <td>无损 offload；不推荐 eviction/compression/linear attention</td> </tr> </tbody> </table> <h2 class="group head-tag" id="核心结论">核心结论<a data-title-of-head class="group-hover:after:content-['__#'] no-underline hover:text-[--hs-text-color-hover]" href="#%e6%a0%b8%e5%bf%83%e7%bb%93%e8%ae%ba"></a></h2><p><strong>没有银弹。</strong></p>