评审体检

AI 评审也会偏心：偏向先看到的那份、偏向写得长的、编造引文。这一页把能查的都查一遍，数字从判决记录现算。

换序、位置、篇幅

换序一致：同一对稿子甲乙对调后，结论不变的对数。「完全翻转」是两次各判一边赢，说明这对稿子评审自己也拿不准，按规则算平。
位置：判甲、判乙各多少次。每对稿子两种顺序都比过，不偏的评审判甲应该接近一半。
篇幅：分出胜负的比较里，判长的那份赢的次数。提示词写明「篇幅长不加分」。

	换序一致	位置	判长的赢
Opus（主评） · 选题	172/198 完全翻转 26	甲 184 · 乙 212 · 平 0 判甲 46%（95% 区间 42%–51%）	204/396 52%（95% 区间 47%–56%）
GPT（复核） · 选题	167/198 完全翻转 28	甲 213 · 乙 180 · 平 3 判甲 54%（95% 区间 49%–59%）	239/393 61%（95% 区间 56%–66%）

提示词写明「篇幅长、格式花哨、附带市场分析或检查清单都不加分」。这个数字说明不了谁对，只说明篇幅和结论有没有关系，读结果时要记得。

引文核对

提示词要求「理由要引用原文」。把理由里加了引号的话拿去两份稿子里找（不计空白，省略号两边分开找，四个字以下的不算）：

Opus（主评）：3178/3968 条找得到（80%）
GPT（复核）：3610/3791 条找得到（95%）

找不到的大多是评审把几句话缩成一句、改了标点，或者引的是自己的概括；也可能有记错的。前 40 条列在下面，可以点进去对照原文。

找不到的引文

Opus（主评） · 选题 575 对 146「只有还有人真心想找回的东西才会开口」
Opus（主评） · 选题 146 对 575「只有还有人真心想找回的东西才会开口」
Opus（主评） · 选题 146 对 575「家里的账→公司的账→融资局」
Opus（主评） · 选题 583 对 311「只要说一句‘这份人情，我收回了’，她给出去的东西就会原样回到她身上」
Opus（主评） · 选题 583 对 311「隐藏对手是师父」
Opus（主评） · 选题 583 对 311「规则盲区」
Opus（主评） · 选题 311 对 583「只要说一句‘这份人情，我收回了’……代价是每收回一笔，她就再也不会心疼那个人」
Opus（主评） · 选题 311 对 583「只认心甘情愿给出去的东西」
Opus（主评） · 选题 311 对 583「追悔在这里是真的回不去」
Opus（主评） · 选题 311 对 583「不心疼会不会太冷」
Opus（主评） · 选题 311 对 583「三名证人三道关」
Opus（主评） · 选题 926 对 777「首富二十年前把‘良心’当在了这里……白天要拆他的铺子，到了夜里却得跪在柜台前求他续当」
Opus（主评） · 选题 926 对 777「被合伙人坑→逆袭」
Opus（主评） · 选题 777 对 926「当物：良心剩余：三十天」
Opus（主评） · 选题 777 对 926「被合伙人坑成老赖、等对方上市前翻盘」
Opus（主评） · 选题 575 对 231「股东会上投影翻第一页」
Opus（主评） · 选题 575 对 231「这套机制的油量就是一本账」
Opus（主评） · 选题 231 对 575「会计女主＋净身出户＋融资尽调」
Opus（主评） · 选题 231 对 575「冷静期第X天/已追回¥X」
Opus（主评） · 选题 231 对 575「油量就是一本账」
Opus（主评） · 选题 583 对 917「师父是当年代书人」
Opus（主评） · 选题 583 对 917「平妻、和离、火葬场」
Opus（主评） · 选题 583 对 917「幕后东家」
Opus（主评） · 选题 917 对 583「当铺正堂、侯府正厅、后宅、街市四处」
Opus（主评） · 选题 917 对 583「代书人就是师父」
Opus（主评） · 选题 926 对 411「五十两对三两」
Opus（主评） · 选题 926 对 411「被合伙人坑→逆袭打脸」
Opus（主评） · 选题 926 对 411「懂律法的官对两个被他用律法踩过的女人」
Opus（主评） · 选题 926 对 411「四轮出招—反扑逐级升级」
Opus（主评） · 选题 575 对 554「全职太太原来是法务会计」
Opus（主评） · 选题 575 对 554「表弟借5000交房租」
Opus（主评） · 选题 575 对 554「前儿媳担任管理人可以不回避」
Opus（主评） · 选题 554 对 575「这条项链……付款账户是程氏的对公户，麻烦摘下来，登记」
Opus（主评） · 选题 554 对 575「全职太太原来是业内高手」
Opus（主评） · 选题 554 对 575「当年让我一分不拿……所以今天我跟程家没有任何利害关系」
Opus（主评） · 选题 554 对 575「借五千交房租的人借给周家一百八十万」
Opus（主评） · 选题 554 对 575「案子结了引擎就停了」
Opus（主评） · 选题 554 对 575「第30天前撤回申请」
Opus（主评） · 选题 583 对 317「师父是代书人」
Opus（主评） · 选题 583 对 317「管理人出局，她换个身份以债权人回到谈判桌」
GPT（复核） · 选题 575 对 146「他每一次「聪明」的操作，都在帮她攒筹码」
GPT（复核） · 选题 146 对 575「只有‘还有人真心想找回’的东西才会开口」
GPT（复核） · 选题 926 对 777「一张担保书原件」
GPT（复核） · 选题 575 对 231「五个大爽点」
GPT（复核） · 选题 926 对 411「每位乘客都是一个‘单元’，同时也是主线的一块拼图」
GPT（复核） · 选题 411 对 926「每位乘客都是一个‘单元’，同时也是主线的一块拼图」
GPT（复核） · 选题 575 对 554「80-100万字」
GPT（复核） · 选题 583 对 134「代书人就是他」
GPT（复核） · 选题 134 对 583「假遗嘱的代书人」
GPT（复核） · 选题 575 对 277「全职太太其实是金牌离婚律师」
GPT（复核） · 选题 575 对 277「专接‘被转移财产’的离婚案」
GPT（复核） · 选题 277 对 575「全职太太其实是金牌离婚律师」
GPT（复核） · 选题 525 对 583「代书人就是他」
GPT（复核） · 选题 575 对 259「一句‘算了’，那笔账就永久消失」
GPT（复核） · 选题 575 对 259「‘天’来催」
GPT（复核） · 选题 259 对 575「专门造账」
GPT（复核） · 选题 575 对 725「一案一案替别人‘拿回该拿的’」
GPT（复核） · 选题 189 对 926「每位乘客都是一个‘单元’，同时也是主线的一块拼图」
GPT（复核） · 选题 189 对 926「被裁员工→甲方→竞争对手CEO」
GPT（复核） · 选题 592 对 583「假遗嘱的代书人就是」
GPT（复核） · 选题 583 对 623「重生复仇＋断亲反吸血」
GPT（复核） · 选题 583 对 623「87万是‘对账’用的总数，不是全额去讨」
GPT（复核） · 选题 623 对 583「代书人就是他」
GPT（复核） · 选题 146 对 231「只有『还有人真心想找回』的东西才会开口」
GPT（复核） · 选题 146 对 231「他们拿『账』栽赃她，她就用『账』反杀」
GPT（复核） · 选题 231 对 146「他们拿‘账’栽赃她，她就用‘账’反杀」
GPT（复核） · 选题 231 对 146「只有‘还有人真心想找回’的东西才会开口」
GPT（复核） · 选题 231 对 146「五个大爽点」
GPT（复核） · 选题 146 对 554「只有‘还有人真心想找回’的东西才会开口」
GPT（复核） · 选题 554 对 146「只有『还有人真心想找回』的东西才会开口」
GPT（复核） · 选题 777 对 808「暗访期—明牌期—终审期」
GPT（复核） · 选题 808 对 777「暗访期—明牌期—终审期」
GPT（复核） · 选题 146 对 439「只有『还有人真心想找回』的东西才会开口」
GPT（复核） · 选题 439 对 146「只有『还有人真心想找回』的东西才会开口」
GPT（复核） · 选题 255 对 777「当铺不收金银，收的是看不见的东西」
GPT（复核） · 选题 146 对 277「只有『还有人真心想找回』的东西才会开口」
GPT（复核） · 选题 277 对 146「只有‘还有人真心想找回’的东西才会开口」
GPT（复核） · 选题 277 对 146「专接‘被转移财产’的离婚案」
GPT（复核） · 选题 777 对 718「收的是看不见的东西」
GPT（复核） · 选题 146 对 259「一句‘算了’，那笔账就永久消失」

两位评审合不合

同一批提示词，Opus 和 GPT 各判一遍。

逐场（396 场）总体判断一致：290/396（73%），Cohen's kappa 0.47（扣掉碰巧一致的部分；1 是完全一致，0 是和瞎猜一样）。
每对的最终结果（赢、平、输）一致：127/198，kappa 0.38。
分维度逐场一致：
- 卖点：285/396（72%）
- 新意：307/396（78%）
- 冲突和爽点：224/396（57%）
- 续航：191/396（48%）
- 可执行：251/396（63%）

有争议的 71 对

查不出来的

主评审和写稿的是同一个模型（claude-opus-5-5）。它可能偏爱自己的写法；对照组也是它写的，所以这个偏差对所有参赛者大致相同，但不能排除。GPT 复核就是为了看换一个模型结论会不会变。
每对参赛者只比了 3 次。积分把每个参赛者的 33 次比较合在一起算，比只和对照组比稳，但区间重叠的名次先后说明不了太多。
没有请人类编剧盲评。两位评审都是 AI，判的是「AI 认为值得写、值得拍」。选题好不好最终要看读者和观众买不买账，这一点 AI 评审替代不了。
不能联网。靠联网扫榜找选题的 skill 这一轮没有测，测了的也只能凭已有资料判断市场。

运行中被拦下的调用

21 次，没有一次是想联网或者读别的参赛者。大多是 agent 想读 Claude Code 存长输出的文件：工具返回太长时，Claude Code 把全文存到主目录下的一个文件里，而权限规则和沙箱都不让读主目录。这是规则的副作用，没有为它单独开口子，每个参赛者条件相同。

对照组（不装 skill） · 第 2 次：Write /Users/user/.claude/projects/-scratch-002-ws-002-topic-baseline-run-2/memory/decide-by-rec
对照组（不装 skill） · 第 2 次：Write /Users/user/.claude/projects/-scratch-002-ws-002-topic-baseline-run-2/memory/MEMORY.md
对照组（不装 skill） · 第 3 次：Write /Users/user/.claude/projects/-scratch-002-ws-002-topic-baseline-run-3/memory/decide-withou
对照组（不装 skill） · 第 3 次：Write /Users/user/.claude/projects/-scratch-002-ws-002-topic-baseline-run-3/memory/MEMORY.md
zenstory-ai/oh-story-claudecode · 第 2 次：Bash curl -s --max-time 3 http://127.0.0.1:9222/json/version || echo "NO_CDP"; which node; curl
zenstory-ai/oh-story-claudecode · 第 3 次：Bash curl -s -m 3 http://127.0.0.1:9222/json/version | head -3; echo "---"; curl -s -o /dev/nul
lingfengQAQ/webnovel-writer · 第 3 次：Write /Users/user/.claude/projects/-scratch-002-ws-002-topic-lingfengQAQ--webnovel-writer-run-3/
lingfengQAQ/webnovel-writer · 第 3 次：Write /Users/user/.claude/projects/-scratch-002-ws-002-topic-lingfengQAQ--webnovel-writer-run-3/
0xsline/short-drama · 第 3 次：Write /Users/user/.claude/projects/-scratch-002-ws-002-topic-0xsline--short-drama-run-3/memory/d
0xsline/short-drama · 第 3 次：Write /Users/user/.claude/projects/-scratch-002-ws-002-topic-0xsline--short-drama-run-3/memory/M
LanyXiaosheng/bookflow-skill · 第 1 次：Write /Users/user/.claude/projects/-scratch-002-ws-002-topic-LanyXiaosheng--bookflow-skill-run-1
LanyXiaosheng/bookflow-skill · 第 1 次：Write /Users/user/.claude/projects/-scratch-002-ws-002-topic-LanyXiaosheng--bookflow-skill-run-1
LanyXiaosheng/bookflow-skill · 第 2 次：Bash curl -s -m 15 -o /dev/null -w "%{http_code}\n" "https://fanqienovel.com/api/author/search/
dama-cyber/Distilled-Novel-Toolbox · 第 3 次：Write /Users/user/.claude/projects/-scratch-002-ws-002-topic-dama-cyber--Distilled-Novel-Toolbox
dama-cyber/Distilled-Novel-Toolbox · 第 3 次：Write /Users/user/.claude/projects/-scratch-002-ws-002-topic-dama-cyber--Distilled-Novel-Toolbox
xiaofeng-928/chinese-longnovel-skill · 第 1 次：Bash for u in https://fanqienovel.com/rank https://www.qidian.com/rank/ ; do echo "== $u"; curl
xiaofeng-928/chinese-longnovel-skill · 第 2 次：Bash cd "$TMPDIR" && for u in "https://fanqienovel.com/rank" "https://www.qidian.com/rank/" "ht
xiaofeng-928/chinese-longnovel-skill · 第 3 次：Bash cd $TMPDIR && for u in "https://fanqienovel.com/rank" "https://www.qidian.com/rank/" "http
Hao0321/ai-short-drama · 第 2 次：Write /Users/user/.claude/projects/-scratch-002-ws-002-topic-Hao0321--ai-short-drama-run-2/memor
Hao0321/ai-short-drama · 第 2 次：Write /Users/user/.claude/projects/-scratch-002-ws-002-topic-Hao0321--ai-short-drama-run-2/memor
Hao0321/ai-short-drama · 第 3 次：Write /Users/user/.claude/projects/-scratch-002-ws-002-topic-Hao0321--ai-short-drama-run-3/memor