未知の脆弱性を暴け！LLMのガチ実戦力を測る「N-Day-Bench」爆誕

📰 ニュース概要

• 実世界の脆弱性（N-Days）発見能力を測定: 各モデルの知識カットオフ日以降に公開された実際のコードベースの脆弱性を特定できるかを評価する。
• 公平かつ厳格な評価環境: すべてのモデルに同一のハーネス（実行環境）とコンテキストが与えられ、報酬ハッキングの余地を排除している。
• 継続的なアップデート: テストケースは毎月更新され、評価対象のモデルセットも常に最新バージョンとチェックポイントにアップグレードされる。

💡 重要なポイント

• Winfunc Researchによるプロジェクトであり、LLMが単なる知識の丸暗記ではなく、未知のコードに対して論理的な脆弱性診断を行えるかを可視化する。
• すべての実行トレースが公開されており、モデルがどのように脆弱性を見つけたか、あるいは失敗したかを誰でも閲覧可能。

🦈 サメの眼（キュレーターの視点）

AIが過去のデータを学習しているのは当たり前だサメ！でも、このベンチマークの凄さは「学習データに存在しないはずの未来の脆弱性」を解かせる点にあるサメ。まさにLLMの「地頭の良さ」と「サイバー戦の実力」を丸裸にする試みだサメ！ 特に、毎月課題が入れ替わる「アダプティブ（適応型）」な仕組みは、モデル開発者にとって逃げ場のないガチンコ勝負を強いることになるサメ。トレースが全公開されているのも、技術的な透明性が高くて非常に具体的で信頼できるサメ！

🚀 これからどうなる？

モデルの更新に合わせてテスト側も進化し続けるため、AIによる自動脆弱性診断（Autonomous Vulnerability Discovery）の精度が急速に高まるサメ。将来的には、人間が気づかないゼロデイ脆弱性の発見にもLLMが不可欠な存在になるはずだサメ！

💬 はるサメ視点の一言

カンニング不可のガチ試験！サメも知らない海域を泳ぐようなスリルがあるサメ！AIの進化から目が離せないサメ！🦈🔥

📚 用語解説

• N-Day: すでに公開・特定されているが、まだ修正が完全に行き渡っていない可能性のある脆弱性のこと。

• 知識カットオフ (Knowledge cut-off): AIモデルが学習を終えた日付のこと。これ以降の情報はモデルの内部知識には存在しない。

• ハーネス (Harness): ソフトウェアやモデルのテストを自動実行するための環境やフレームワークのこと。

• 情報元: N-Day-Bench – Can LLMs find real vulnerabilities in real codebases?