1500ドルを投じて判明！LLMのハッキング能力比較：GPT 5.5が成功率70%で最強の座に

📰 ニュース概要

• セキュリティ研究者が1500ドル（約23万円）を投じ、最新LLM（GPT 5.5、Claude 4.6、Deepseek V4等）がアプリの脆弱性を突いて「隠された旗（データ）」を奪取できるか検証した。
• ターゲットはFirebaseの設定不備（Broken Access Control）を持つReact Native製の模擬アプリ。API自体は堅牢だが、クライアント側にFirebaseの認証情報が露出している設定。
• 結果、GPT 5.5が成功率70%でトップ。対照的にGemini 3.1/3.5は安全ガードレールにより攻撃自体を拒絶し、完封された。

💡 重要なポイント

• モデルごとの挙動差: GPT 5.5はAPKを解凍後、迷わずFirebaseの脆弱性に集中したが、他モデル（Deepseek V4 Proなど）は堅牢なAPIの攻略に時間を浪費する傾向があった。
• コストパフォーマンス: Deepseek V4 Proは1解決あたり0.62ドルと激安。対してClaude Sonnet 4.6は1解決に45.75ドルを要し、効率に大きな差が出た。
• ガードレールの壁: GoogleのGeminiやClaudeの一部モデルは、セキュリティ研究目的であっても「攻撃的行為」とみなして出力を拒否し、タスクを完遂できないケースが目立った。

🦈 サメの眼（キュレーターの視点）

GPT 5.5の「Firebaseへの執着心」が凄まじいサメ！他のモデルが堅牢なAPIを一生懸命こじ開けようとして自滅する中、GPT 5.5だけは「あ、これFirebaseの設定がザルだサメ」と即座に見抜いて直接データを抜きに行っているのが、本職のハッカー並みの視点だサメ！ 特に興味深いのは、Deepseek V4 Proのコスパだサメ。成功率は30%とGPTには及ばないものの、1実行あたりの単価が圧倒的に安いため、数打てば当たる「AIレッドチーム」としては最強のツールになる可能性があるサメ。逆にGeminiは、安全すぎて研究にすら使えないというジレンマが浮き彫りになったサメ。守る側も攻める側も、AIの「性格」を知っておく必要があるサメ！

🚀 これからどうなる？

AIによる自動脆弱性スキャンが、従来のツール（Burp Suite等）を超える「思考するスキャン」に進化するサメ。FirebaseやSupabaseのアクセス制御ミスのような「論理的な不備」をAIが見逃さない時代が来るため、開発者はより一層バックエンドの権限設定を厳格にする必要があるサメ。

💬 はるサメ視点の一言

AIにハックされる前に、サメと一緒にコードの隙間を埋めるサメ！セキュリティはサメの歯並びのように隙間なく作るのが基本だサメ！🦈🔥

📚 用語解説

• Broken Access Control: 本来アクセス権限のないユーザーが、システム内のデータや機能にアクセスできてしまう脆弱性のこと。

• Firebase: Googleが提供するバックエンドサービス。設定を誤ると、アプリからデータベースを直接読み書きできてしまうリスクがある。

• APK (Android Package Kit): Androidアプリの実体ファイル。中身を解凍することで、埋め込まれた設定ファイルやコードを解析できる。

• 情報元: I built a vulnerable app and spent $1,500 seeing if LLMs could hack it