验证CLAUDE.md的有效性！基准工具“Mdarena”来袭

📰 新闻概述

• 一个开源工具问世，旨在衡量指令文件如AI代理的成功率和令牌成本的影响，通过实际的拉取请求（PR）进行测试。
• 该工具从存储库中提取历史PR，自动生成测试集，并能够使用SWE-bench兼容的评估方法比较基线（无指令）和多个配置文件。
• 在执行环境中，工具将测试结果、代码重叠（diff overlap）、令牌消耗量以及统计显著性作为报告输出。

💡 重要信息

• “随意”编写的CLAUDE.md可能会成为代理的噪音，从而降低成功率，并带来超过20%的令牌成本增加风险，这一点通过可视化得以揭示。
• 在大规模的生产单一代码库中，研究表明将指令整合为一个比起在每个目录中配置适当的上下文，测试解决率提升了约27%。
• 为了防止Claude从Git历史中“作弊”，该工具配备了完整删除历史记录的快照验证一致性保护功能。

🦈 鲨鱼视角（策展人的看法）

这是一款颠覆“只要放置CLAUDE.md就能聪明起来”幻想的超实用工具！特别有趣的是，它不仅是简单的字符串匹配，而是能够实际运行存储库中的测试代码，以评估补丁的正确性，完美复现了“SWE-bench方式”。验证结果清晰表明“过多指令适得其反”，这一点让人震惊。所有的提示工程师都应该停止盲目编写，从测量开始！🦈

🚀 未来展望

• 指令文件的创建将从“凭感觉”转变为“数据驱动”，并且优化后的轻量级指令文件配置将成为标准。
• 在投入AI代理的企业中，质量控制（QA）过程作为CI/CD的一部分将逐渐被纳入提示的管理。

💬 鲨鱼的一句忠告

盲目填充指令就像往鲨鱼嘴里塞石头！精简而锐利的指令才能确保捕获到正确的猎物！🦈💥

📚 术语释义

• CLAUDE.md: AI代理如Claude Code所参考的配置文件，用于理解项目独特的规则和上下文。

• SWE-bench: 采用软件工程的实际任务（如GitHub的Issue和PR）来评估AI模型代码修正能力的基准标准。

• Gold Patch: 基准测试中的“正确答案”，指开发者实际创建并合并的原始PR的代码差异。

• 信息来源: Show HN: Mdarena – Benchmark your Claude.md against your own PRs