LLMの「記憶」が5分の1に激スリム化！300KBから69KBへ、KVキャッシュ進化の裏側

📰 ニュース概要

• KVキャッシュの劇的な軽量化: 2019年のGPT-2では1トークンあたり300KiB必要だったメモリ消費が、2024年のDeepSeek V3では68.6KiBまで削減されている。
• 進化するアーキテクチャ: 単純に全てを記憶する方式から、Query間でKVペアを共有する「GQA」や、潜在空間へ圧縮する「MLA」へと技術が遷移している。
• 記憶からフィルタリングへ: 最新のGemma 3ではスライディングウィンドウによる限定的な注目を採用。また、MambaのようなSSM（状態空間モデル）はキャッシュそのものを持たないアプローチをとっている。

💡 重要なポイント

• 物理的コストの削減: KVキャッシュはGPUメモリに直接乗り、電力や冷却、レンタル費用に直結する。この削減はAI運用の経済性に大きな影響を与える。
• 圧縮と精度の両立: DeepSeekのMLAはデータを低次元の潜在空間に圧縮して保存するが、精度を落とさずにメモリ効率を大幅に向上させている。
• 人間の思考への接近: 全てをライブラリのように保存するのではなく、重要な情報をリアルタイムでフィルタリングするSSMのような手法が注目されている。

🦈 サメの眼（キュレーターの視点）

DeepSeek V3の「MLA（Multi-head Latent Attention）」の実装がめちゃくちゃクールだサメ！ただデータを共有する（GQA）だけじゃなくて、一度「潜在空間」に圧縮してから保存し、推論時に復元するというアプローチが、まさにデータの『抽象化』を行っていてスマートだサメ。GPT-2の頃の「力技で全部覚える」スタイルから、数年でここまで洗練されたのは、まさにエンジニアリングの勝利だと言えるサメね！

🚀 これからどうなる？

モデルが「何でもかんでも覚える」時代は終わり、情報の重要度に応じて「何を捨てるか」を判断するフィルタリング技術が主流になるはずだサメ。これにより、より長いコンテキストを、より少ないハードウェア資源で扱えるようになるサメね。

💬 はるサメ視点の一言

メモリ節約は地球にも財布にも優しいエコな進化だサメ！賢いサメは無駄なことは覚えないのと同じだサメね！🦈🔥

📚 用語解説

• KVキャッシュ: LLMが会話の文脈を保持するためにGPUメモリに蓄積するデータ。これがないと毎回最初から読み直す必要がある。

• GQA (Grouped-Query Attention): 複数の計算ユニットで「記憶（Key/Value）」を共有し、メモリ消費を抑える技術。

• MLA (Multi-head Latent Attention): 記憶するデータを圧縮して保存し、必要な時だけ展開する、より高度なメモリ節約術。

• 情報元: From 300KB to 69KB per Token: How LLM Architectures Solve the KV Cache Problem