华为推出！无损精度将KV缓存提升5倍的『KVarN』重磅登场

📰 新闻概要

• 惊人的容量: 在保持FP16相当精度的同时，将KV缓存容量扩大至3至5倍，支持更长的上下文和更多的并发请求。
• 吞吐量提升: 克服量子化带来的速度下降，实现与FP16相比最大1.3倍的吞吐量，较现有TurboQuant提升约2.4倍。
• 即插即用: 作为vLLM的原生后端运行，无需更改模型或进行校准，只需一条标志即可轻松部署。

💡 重要的要点

• 在Qwen3-32B上的验证: 通过最新模型进行测试，完全保持FP16的精度，同时实现4倍的KV缓存容量。
• 混合量子化: 采用独特的配置（k4v2），为键（Key）分配4位，为值（Value）分配2位，满足最严格的精度要求。
• 计算效率: 量子化内核使用Triton编写，并在运行时进行JIT编译，能够实现环境优化的运行效果。

🦈 鲨鱼的视角（策展人的观点）

以往的KV缓存量子化往往是“容量增加但速度降低”或“速度提升但精度下降”的二选一选择！然而KVarN通过Hadamard旋转分散异常值，并利用方差归一化最小化量子化误差，以极其优美的数学方法解决了这一问题。尤其是在2026年，代理执行和超长文本处理已成为常态，能够在提升5倍内存效率的同时实现超越FP16的速度，堪称“推理界的革命”！

🚀 接下来会怎样？

过去因内存限制而无法实现的超大规模并行请求和数百万令牌的上下文处理将成为标准。随着这一技术的整合进入vLLM主流，推理成本将大幅降低，未来将普及更便宜、更高性能的AI代理服务！

💬 鲨鱼的寄语

华为的技术实力，简直如鲨鱼般敏锐，绝不放过任何猎物！仅凭一条标志就能实现如此性能提升，开发者们绝对无法拒绝这诱惑！🦈🔥

📚 术语解释

• KV缓存: 在LLM生成时，用于保存过去计算结果以便重用的内存区域。长文本会导致其膨胀。

• 方差归一化 (Variance Normalization): 调整数据的波动性，抑制量子化（减少位数处理）时的信息损失的技术。

• 吞吐量: 每单位时间内处理的数据量。在此情况下，指的是AI每秒钟能够生成的令牌数等处理能力。

• 信息来源: KVarN: Native vLLM backend for KV-cache quantization by Huawei