榜单不再分高下

1问题

想象你在挑一款能自动写代码的 AI 助手。你打开排行榜，第一名写着 "解决率 98%"，第二名写着 "97.5%"。你觉得第一名肯定更牛，对吧？但在 Coding Agents 这个领域，这个数字游戏可能已经失效了。这就好比两个厨师做菜，一个尝起来咸了一点点，另一个淡了一点点，但食客其实吃不出区别，甚至可能觉得它们就是同一道菜。当排行榜上的差距缩小到统计误差的范围内时，所谓的 "冠军" 就不再是一个客观事实，而更像是一种幻觉。这篇论文要告诉你的故事，不是关于如何做出更强的 AI，而是关于为什么我们现在的排名机制在 Top 30 名里彻底失灵了。

2翻译

让我们回到那个选助手的场景。作者并没有去重新跑一次那些复杂的 AI 测试（那样太贵太慢），而是做了一场 "法医鉴定"。他们拿来了 SWE-bench 这个权威测试集里的前 254 个提交结果，像侦探一样把它们拆解开来。

首先看头部竞争者。排在第一和第二的两家巨头，分别在 500 个考题里解决了 396 道题。乍一看差不多，但如果我们把目光投向前十名的选手，你会发现一个惊人的重合：有 285 道题，这十个大佬全都做对了；还有 51 道题，这十个大佬全都做砸了。这意味着什么？意味着在前 30% 的实力区间里，大家面对的是完全相同的题目池。真正能分出胜负的，只剩下那 164 道题。这就像百米赛跑，前九个人都在同一时间撞线，最后靠那零点几秒的肉眼难辨的差异来排座次，公平吗？

更扎心的发现是 "平台效应"。作者发现，AI 的表现极度依赖它运行的环境（模型 + 代码脚手架的组合）。有的组合能让分数波动近 30 个百分点，而整个前三十名的总分差才 8.8 个百分点。也就是说，换个工作台对分数的影响，比换一个顶级黑客还大。

最后的判决很残酷：用严格的统计检验（McNemar 检验）去比较相邻排名的两对选手，在置信度 95% 的标准下，竟然没有一个配对能被统计学区分开。换句话说，在统计学眼里，排名第 1 和第 2 的区别，等同于随机抽签的结果。这不是技术的差距，这是测量的噪声。

3核心概念

在这个故事里，有三个关键道具，理解了它们，你就看懂了这场 "排名危机"。

共享成功集 (Shared Success Set)

这是指那些被所有或绝大多数顶级方案都正确解决的题目集合。在这个故事里，它是衡量 "门槛" 的尺子。当共享成功集占比极高（如本例中的 285/500）时，说明大家都在同一水平线上刷基础题。区分胜负的关键不再是 "谁能做对"，而是 "谁能做对剩下的那部分难题"。如果连难题池都没怎么变，那排名的意义就大打折扣。

模型-脚手架交互效应 (Model-Scaffold Interaction)

这是一个设计选择级别的概念。通常人们认为模型决定智能上限，脚手架只是工具。但数据显示，脚手架（即运行代码的环境、库版本、提示词模板等）与模型的配合程度，会产生巨大的方差。这不是一个简单的加法关系，而是乘法关系。选错脚手架，再强的模型也会掉链子；选对脚手架，模型表现可能暴涨。这解释了为什么不同团队之间的直接横向对比往往是不公平的——因为他们的 "工作台" 不一样。

非拒绝不等于等价 (Non-rejection ≠ Equivalence)

这是统计思维的核心反转。传统看法是：如果 P 值大于 0.05（即不能拒绝零假设），我们就认为没有差异。但在本故事中，作者指出这是一种误读。"没有检测到差异" 不等于 "确实没有差异"，更不等于 "两者等价"。可能是因为数据量不够大，也可能是因为噪声太大。把 "无法区分" 错误地解读为 "实力相当"，是许多科技新闻误导公众的根源。真正的严谨做法是报告 "分辨率不足"，而不是宣布 "并列冠军"。

4洞见

当技术突破进入平台期，微小的分数波动往往反映的是测量系统的噪声而非能力的真实跃迁；承认 "不可区分性" 比强行制造 "伪排名" 更具科学价值。

5博导审稿

选题眼光极佳。大家忙着卷分数，他冷眼旁观去拆台，这种逆向思维非常有洞察力。困境真实且紧迫，随着 SOTA 逼近极限，Leaderboard 的信用破产是迟早的事。方法成熟度方面，虽然没有提出新的算法，但这种基于观测数据的审计框架非常扎实。不过有一个隐忧：这种事后审计依赖于公共排行榜数据的可用性，对于私有化部署的内部基准测试，这套逻辑能否直接迁移尚需验证。实验诚意满分，数字硬碰硬，没有水文。写作功力中等，数据密度极大，阅读门槛稍高，需要读者有一定统计学背景才能完全消化那些 p 值和 Holm 校正的细节。判决：Strong Accept。这是一篇能够改变领域评价标准的方法论文章，比再多一篇刷点 0.1% 的论文都有价值。

6启发

这意味着你可以___迁移： 如果你正在构建自己的内部 AI 评测体系，不要只看总分。引入 "共享难度分析"，找出哪些题目是大家都对的 "送分题"，哪些是真正具有区分度的 "鉴别题"。只统计后者的分布。混搭： 将 "模型-脚手架交互检测" 模块集成到你的 CI/CD 流程中。在对比两个新模型之前，先确保它们的运行环境一致性经过严格校准，否则差异可能毫无意义。反转： 停止发布精确到小数点后两位的排名。改为发布 "梯队图"。明确标注出哪些选手处于 "统计不可区分组"，让用户明白，在这些梯队内的选择，更多是基于易用性或价格，而非能力的高下。