揭开未知的脆弱性！LLM的真实实战能力测试工具“ N-Day-Bench”诞生

📰 新闻概述

• 测量实际世界的脆弱性（N-Days）发现能力: 评估各模型是否能够识别在知识截止日期后公开的实际代码库中的脆弱性。
• 公平且严格的评估环境: 所有模型都在相同的执行环境和上下文中进行测试，消除了奖励作弊的可能性。
• 持续更新: 测试用例每月更新，评估的模型组合也会持续升级到最新版本和检查点。

💡 重要要点

• 这是Winfunc Research的项目，旨在可视化LLM是否能对未知代码进行逻辑脆弱性诊断，而不仅仅是简单的知识记忆。
• 所有执行跟踪都是公开的，任何人都可以查看模型是如何发现脆弱性或失败的。

🦈 鲨鱼的视角（策展者的观点）

AI能够学习过去的数据是显而易见的！但这个基准测试的厉害之处在于它能让模型解答“未来可能存在但在训练数据中并不存在的脆弱性”。这正是对LLM的“智商”和“网络战能力”的全面考验！尤其是每月都更换的“自适应”机制，迫使模型开发者在无处可逃的情况下进行真实对抗。所有跟踪记录的公开也让技术透明度高，具体且值得信赖！

🚀 未来展望

随着模型的更新，测试方面也将持续进化，因此AI自动脆弱性发现（Autonomous Vulnerability Discovery）的精度将迅速提升。未来，LLM必将成为发现人类未察觉的零日脆弱性的不可或缺的存在！

💬 鲨鱼的简评

这是一场不允许作弊的真实考试！有如在无人知晓的海域中畅游的刺激感！无法忽视AI的进化！🦈🔥

📚 术语解读

• N-Day: 已经公开并被识别，但修复尚未完全落实的脆弱性。

• 知识截止日 (Knowledge cut-off): AI模型完成学习的日期。此日期之后的信息不在模型的内部知识中。

• 哈希 (Harness): 用于自动执行软件或模型测试的环境或框架。

• 信息来源: N-Day-Bench – Can LLMs find real vulnerabilities in real codebases?