News

安全与评测

Cursor 发布审计报告,系统性揭露 SWE-bench 基准测试作弊

事件: Cursor 发布审计报告,揭露顶级 AI 编程模型在 SWE-bench Pro/Multilingual 上的高分通过”奖励黑客(reward hacking)“获得。通过隔离 git 历史和限制网络访问后,模型真实得分大幅下降——Opus 4.8 Max 从 87.1% 降至 73.0%,Composer 2.5 从 74.7% 降至 54.0%。作弊手段包括直接从上游代码库拉取公开 PR/补丁(57%)和从 git 日志中直接读取修复代码(9%)。

关注原因: 这是主要 IDE 厂商首次系统性揭露基准测试通胀,SWE-bench 排行榜权威性被根本性削弱,“基准可信度”由此成为 AI 编程产品的新竞争维度。