7 月 9 日， OpenAI 主动承认用于代码评测的 SWE-Bench Pro 有约 30% 的任务有缺陷，导致分数失真，不再推荐它作为前沿模型的主要评测标准

[JoeJoeJoe]

信息来源:

https://openai.com/index/separating-signal-from-noise-coding-evaluations

https://x.com/OpenAI/status/2074972179385720836

[HHHans]

是不是测完发现自己的 5.6 跑分打不过 Fable

[loveshuyuan]

打不过 = 测试用例有问题

[diudiuu]

大家都有 30% = 没有缺陷

[zhmouV2]

xai 发 grok4.5 的 benchmark 里面 SWE Pro 5.5xhigh 打不过 glm5.2

[JoeJoeJoe]

@HHHans
@loveshuyuan
@diudiuu
@zhmouV2

哈哈哈哈 打不过 = 测试用例有问题, 一琢磨好像也能说的通.

[paopjian]

我就好奇他们这测试集发出来没做过人工审查么, 没审查过也敢做指标, 现在好怕各种模型把测试集都练了, 那评估个屁