评审体检

AI 评审也会偏心:偏向先看到的那份、偏向写得长的、编造引文。这一页把能查的都查一遍,数字从判决记录现算。

换序、位置、篇幅

换序一致位置判长的赢
Opus(主评) · 全剧骨架446/630
完全翻转 184
甲 456 · 乙 804 · 平 0
判甲 36%(95% 区间 34%–39%)
746/1258
59%(95% 区间 57%–62%)
GPT(复核) · 全剧骨架511/630
完全翻转 119
甲 683 · 乙 577 · 平 0
判甲 54%(95% 区间 51%–57%)
705/1258
56%(95% 区间 53%–59%)

截断以后两位评审仍然更看好超字数的那几份,去掉截断说明重判也一样,见点评的「截断说明的检查」。两份都没超 3000 字时,长的那份也赢得多。这些数字说明不了谁对,只说明篇幅和结论有关,读结果时要记得。

两位评审合不合

同一批提示词,Opus 和 GPT 各判一遍。

有争议的 298 对

查不出来的

运行中被拦下的调用

14 次,没有一次是想联网或者读别的参赛者。大多是 agent 想读 Claude Code 存长输出的文件:工具返回太长时,Claude Code 把全文存到主目录下的一个文件里,而权限规则和沙箱都不让读主目录。这是规则的副作用,没有为它单独开口子,每个参赛者条件相同。