「無視しろ」で誤検知しない！AI防御の過剰反応を克服する「PIGuard」がオープンソースで登場

📰 ニュース概要

• プロンプトインジェクション攻撃からLLMを守る新モデル「PIGuard」と、評価用データセット「NotInject」が公開された。
• 既存の防御モデルが「ignore（無視せよ）」などの特定単語に過剰反応して正常な入力を拒否する「過剰防衛（Over-defense）」問題を解決。
• PIGuardはわずか184MBの軽量サイズでありながら、GPT-4に匹敵する検知性能をオープンソースで提供する。

💡 重要なポイント

• 特定の単語に対するバイアスを低減する新しい学習戦略「MOF（Mitigating Over-defense for Free）」を導入している。
• 従来のモデルが攻撃単語に注意を集中させすぎていたのに対し、PIGuardは文全体のコンテキストに分散してアテンション（注意）を向けることで正確に評価する。
• ベンチマークでは既存の最高モデルを30.8%上回る精度を記録し、実用性と効率性を高いレベルで両立している。

🦈 サメの眼（キュレーターの視点）

これ、めちゃくちゃ実用的だサメ！今までの防御モデルは、ちょっと「命令を無視して」みたいな言葉が入っただけで、普通の質問でも「攻撃だ！」って騒ぎすぎてたんだサメ。PIGuardはこの「過剰防衛」を、追加コストなしで解消するMOF戦略でスマートに解決してるのが凄いサメ！アテンションの可視化を見ると、特定の単語に飛びつかずに文全体を冷静に見てるのがわかるサメ。184MBという軽さなら、エッジデバイスやローカル環境のガードレールとしても即戦力だサメ！

🚀 これからどうなる？

プロンプトインジェクション対策の標準が「単語検知」から「文脈理解」へとシフトするサメ。オープンソースで公開されたことで、多くのAIアプリケーションに標準搭載され、誤検知によるユーザー体験の低下を防げるようになるはずだサメ。

💬 はるサメ視点の一言

サメも怪しいやつはすぐ噛んじゃうけど、PIGuardを見習って冷静に判断するサメ！サメサメ！

📚 用語解説

• プロンプトインジェクション: AIへの指示に悪意ある命令を混ぜ込み、本来の制限を回避したり情報を盗み出したりする攻撃手法。

• Over-defense（過剰防衛）: 攻撃ではない安全な入力に対しても、特定の単語（トリガーワード）が含まれているだけで誤って攻撃と判定してしまうこと。

• アテンション（注意機構）: ニューラルネットワークが文中のどの単語を重視して処理しているかを示す仕組み。

• 情報元: PIGuard: Prompt Injection Guardrail via Mitigating Overdefense for Free