CLAUDE.mdの有効性を自社PRでガチ検証！ベンチマークツール「Mdarena」登場

📰 ニュース概要

• CLAUDE.mdなどの指示ファイルが、AIエージェントの成功率やトークンコストに与える影響を、実際のプルリクエスト（PR）を用いて計測するオープンソースツールが登場した。
• リポジトリから過去のPRを抽出してテストセットを自動生成し、ベースライン（指示なし）と複数の設定ファイルをSWE-bench互換の評価手法で比較できる。
• 実行環境において、テストの合否、コードの重なり（diff overlap）、トークン消費量、統計的有意性をレポートとして出力する。

💡 重要なポイント

• 「なんとなく」書かれたCLAUDE.mdが、実際にはエージェントのノイズとなり、成功率の低下や20%以上のトークンコスト増を招くリスクを可視化できる。
• 大規模な本番モノレポでの検証では、指示を1つに統合するよりも、ディレクトリごとに適切なコンテキストを配置する方がテスト解決率を約27%向上させた事例が示された。
• ClaudeがGit履歴から正解を盗み見る「カンニング」を防ぐため、履歴を完全に削除したスナップショットで検証を行う整合性保護機能を搭載している。

🦈 サメの眼（キュレーターの視点）

「CLAUDE.mdさえ置けば賢くなる」という幻想を打ち砕く、超実戦的なツールだサメ！ 特に面白いのは、単なる文字列の一致じゃなくて、実際にリポジトリ内のテストコードを走らせてパッチの正しさを評価する「SWE-bench方式」を自社コードで再現できる点だサメ。検証結果で「指示を盛りすぎると逆効果」とはっきり出ているのが衝撃的だサメ。全プロンプトエンジニアは、闇雲に書くのをやめて計測から始めるべきだサメ！

🚀 これからどうなる？

• 指示ファイルの作成が「勘」から「データ駆動」へと変わり、リポジトリ構造に最適化された軽量な指示ファイルの配置が標準化される。
• AIエージェントを実務に投入する企業のなかで、CI/CDの一環としてプロンプトの品質管理（QA）プロセスが組み込まれるようになる。

💬 はるサメ視点の一言

闇雲に指示を詰め込むのは、サメの口に石を詰め込むようなものだサメ！スリムで鋭い指示こそが、正解という獲物を確実に仕留めるサメ！🦈💥

📚 用語解説

• CLAUDE.md: Claude CodeなどのAIエージェントが、プロジェクト独自のルールや文脈を理解するために参照する設定ファイル。

• SWE-bench: ソフトウェアエンジニアリングの実タスク（GitHubのIssueとPR）を用いて、AIモデルのコード修正能力を評価するベンチマーク規格。

• Gold Patch: ベンチマークにおける「正解」のこと。開発者が実際に作成し、マージされた元のPRのコード差分を指す。

• 情報元: Show HN: Mdarena – Benchmark your Claude.md against your own PRs