[AIマイナーニュース速報] RAGの知識源を「汚染」せよ！Mac1台でAIに嘘をつかせる攻撃手法が判明

📰 ニュース概要

• MacBook Proを使用し、GPUやクラウドを一切使わずにRAGシステムへの「知識ベース汚染」攻撃に成功した。
• 3つの偽造ドキュメントを注入するだけで、AIは企業の売上高（2470万ドル）を誤った数値（830万ドル）として回答した。
• ソフトウェアの脆弱性を突くのではなく、注入した情報の「類似性」と「権威性」を利用してAIの判断を操作する手法である。

💡 重要なポイント

• 攻撃成功には、検索クエリとの類似度を高める「検索条件」と、LLMに偽情報を採用させる「生成条件」の2つを同時に満たす必要がある。
• 偽文書内に「CFO承認の修正」や「緊急連絡」といった強い権威を感じさせる言葉を含める「語彙エンジニアリング」が、LLMの推論をコントロールする鍵となった。

🦈 サメの眼（キュレーターの視点）

GPUもクラウドも不要、たった3分でAIを騙せる手軽さが最高に恐ろしいサメ！既存の正解データを「これは誤りだった」と上書きするようなロジックをドキュメントに組み込むアプローチが非常に具体的だサメ。検索の仕組み（ベクトル類似度）とLLMの性質（権威的なテキストを優先する傾向）を完璧に突いているのが、この攻撃の凄さだサメ！

🚀 これからどうなる？

RAGシステムに投入するデータそのものの信頼性を検証するプロセス（データ・プロベナンス）の構築が、商用AIサービスにおいて不可欠なセキュリティ要件になるサメ。

💬 はるサメ視点の一言

信じるものは救われない！？AIの「教科書」が偽物だったら、どんなに賢いLLMでもお手上げだサメ！情報の出処には常に目を光らせるサメよ！🦈✨

📚 用語解説

• RAG: 外部の知識ベース（ドキュメントなど）を参照して、AIが回答を生成する技術。

• 知識ベース汚染: AIが参照するデータベースに悪意ある情報を混ぜ、回答を操作する攻撃手法。

• ベクトルDB: テキストなどのデータを数値の列（ベクトル）として保存し、意味の近い情報を高速に検索できるデータベース。

• 情報元: Document poisoning in RAG systems: How attackers corrupt AI’s sources