OpenAI质疑SWE-Bench Pro基准 行业权威AI编程评测被指失效

2026年7月，OpenAI发布博文公开质疑由Scale AI推出的AI编程领域权威评测基准SWE-Bench Pro。OpenAI经双重验证确认，该基准731个公开测试任务中约30%存在评测缺陷，前沿大模型在该基准的通过率8个月内从23.3%飙升至80.3%，这一异常增速大概率源于评测系统性问题，而非模型能力实现真实突破。

SWE-Bench Pro自2025年底推出以来，就凭借贴近真实企业开发场景的测试设计、严格的防作弊机制，成为AI软件工程领域的通用评测标尺，包括GPT系列、Claude系列在内的几乎所有头部大模型的编程能力排名，都以该基准的得分为核心参考依据。此次OpenAI的公开质疑，相当于直接动摇了行业衡量大模型编程能力的核心标准。

引发OpenAI警觉的首个信号，是前沿大模型在SWE-Bench Pro上的得分涨幅违背了技术迭代的正常规律。公开数据显示，2025年11月，行业头部模型在该基准上的平均通过率仅为23.3%，而到2026年7月，已有多家厂商宣称旗下模型通过率突破80%，甚至超过了普通中级程序员的平均水平。

OpenAI技术团队在复盘自家模型迭代过程时发现，即使是参数规模、训练数据量提升幅度不大的版本，在SWE-Bench Pro上的得分也出现了大幅上涨，这一现象显然不符合大模型能力演化的基本逻辑，团队随即启动对该基准本身的有效性验证。