评审体检

AI 评审也会偏心：偏向先看到的那份、偏向写得长的、编造引文。这一页把能查的都查一遍，数字从判决记录现算。

换序、位置、篇幅

换序一致：同一对稿子甲乙对调后，结论不变的对数。「完全翻转」是两次各判一边赢，说明这对稿子评审自己也拿不准，按规则算平。
位置：判甲、判乙各多少次。每对稿子两种顺序都比过，不偏的评审判甲应该接近一半。
篇幅：分出胜负的比较里，判长的那份赢的次数。提示词写明「篇幅长不加分」。

	换序一致	位置	判长的赢
Opus（主评） · 剧本	27/30 完全翻转 3	甲 33 · 乙 27 · 平 0 判甲 55%（95% 区间 42%–67%）	19/60 32%（95% 区间 21%–44%）
Opus（主评） · 人物大纲	23/30 完全翻转 7	甲 35 · 乙 25 · 平 0 判甲 58%（95% 区间 46%–70%）	39/60 65%（95% 区间 52%–76%）
GPT（复核） · 剧本	27/30 完全翻转 3	甲 31 · 乙 29 · 平 0 判甲 52%（95% 区间 39%–64%）	11/60 18%（95% 区间 11%–30%）
GPT（复核） · 人物大纲	27/30 完全翻转 1	甲 29 · 乙 29 · 平 2 判甲 50%（95% 区间 38%–62%）	38/58 66%（95% 区间 53%–76%）

剧本项目里评审更常判短的赢，和提示词要求「按每集 1–2 分钟衡量，超时算缺点」一致；人物大纲项目里长的更常赢。这两个数字说明不了谁对，只说明篇幅和结论有关，读结果时要记得。

引文核对

提示词要求「理由要引用原文」。把理由里加了引号的话拿去两份稿子里找（不计空白，省略号两边分开找，四个字以下的不算）：

Opus（主评）：1303/1476 条找得到（88%）
GPT（复核）：1102/1143 条找得到（96%）

找不到的大多是评审把几句话缩成一句、改了标点，或者引的是自己的概括；也可能有记错的。前 40 条列在下面，可以点进去对照原文。

找不到的引文

Opus（主评） · 剧本 190 对 277「‘报表’两个字您会写吗？」
Opus（主评） · 剧本 190 对 277「爽债D01」
Opus（主评） · 剧本 954 对 493「00:00:00手机震了一下」
Opus（主评） · 剧本 954 对 493「这锅汤比你的年纪还大」
Opus（主评） · 剧本 493 对 954「婆婆摸黑抬缸」
Opus（主评） · 剧本 493 对 954「这锅汤比你的年纪还大」
Opus（主评） · 剧本 493 对 954「爽债D1」
Opus（主评） · 剧本 881 对 885「D01爽债」
Opus（主评） · 剧本 885 对 881「新开爽债：D01」
Opus（主评） · 剧本 431 对 190「情节节奏/情感节奏」
Opus（主评） · 剧本 190 对 431「情节节奏/情感节奏」
Opus（主评） · 剧本 484 对 493「60秒自毁的短信」
Opus（主评） · 剧本 484 对 493「情节节奏/情感节奏」
Opus（主评） · 剧本 190 对 282「前天夜里十点十七分，借护士的手机打的……你说‘骗子死全家’」
Opus（主评） · 剧本 307 对 493「发件人：沈知意（本机）」
Opus（主评） · 剧本 493 对 307「发件人：沈知意（本机）」
Opus（主评） · 剧本 493 对 307「¥1.00小票」
Opus（主评） · 剧本 190 对 151「原来我身边，全是谎话」
Opus（主评） · 剧本 543 对 493「来自明天的短信」
Opus（主评） · 剧本 543 对 493「她那三成股份——就是我的了」
Opus（主评） · 剧本 493 对 543「跪下。擦干净了，我就用你」
Opus（主评） · 剧本 493 对 543「她丈夫说了——她没有妈」
Opus（主评） · 剧本 493 对 543「她那三成股份——就是我的了」
Opus（主评） · 剧本 426 对 885「救猫咪/情绪欠条」
Opus（主评） · 剧本 885 对 426「带疤的手把辞职信拍在桌心」
Opus（主评） · 剧本 885 对 426「【AI生成】标识+备案号」
Opus（主评） · 剧本 190 对 874「预估90.8秒/目标90秒·认领爽点：闯场」
Opus（主评） · 剧本 170 对 493「盒底有一道细细的缝」
Opus（主评） · 剧本 493 对 170「发件人：沈知意（本机）」
Opus（主评） · 剧本 493 对 170「盒底有一道细细的缝」
Opus（主评） · 剧本 539 对 190「约110秒/120秒」
Opus（主评） · 剧本 539 对 190「第4集预告（可选）」
Opus（主评） · 剧本 190 对 539「第4集预告画面（可选）」
Opus（主评） · 剧本 224 对 493「发件人：沈知意（本机）」
Opus（主评） · 剧本 493 对 224「来自明天的短信」
Opus（主评） · 剧本 493 对 224「茶盘摔碎、老太太手指一跳」
Opus（主评） · 剧本 244 对 885「你从来不叫我妈。你打字，从来不打句号」
Opus（主评） · 剧本 885 对 244「你从来不叫我妈。你打字，从来不打句号」
Opus（主评） · 剧本 977 对 493「发件人：沈知意（本机）」
Opus（主评） · 剧本 977 对 493「七轮自审PASS」
GPT（复核） · 剧本 954 对 493「发件人：沈知意（本机）」
GPT（复核） · 剧本 493 对 954「发件人：沈知意（本机）」
GPT（复核） · 剧本 484 对 493「发件人：沈知意（本机）」
GPT（复核） · 剧本 484 对 493「又一股死人味／洗过了／洗不掉」
GPT（复核） · 剧本 493 对 484「发件人：沈知意（本机）」
GPT（复核） · 剧本 307 对 493「发件人：沈知意（本机）」
GPT（复核） · 剧本 493 对 543「发件人：沈知意（本机）」
GPT（复核） · 剧本 885 对 426「香气‘轰’地窜起」
GPT（复核） · 剧本 170 对 493「发件人：沈知意（本机）」
GPT（复核） · 剧本 493 对 977「发件人：沈知意（本机）」
GPT（复核） · 剧本 416 对 493「发件人：沈知意（本机）」
GPT（复核） · 剧本 626 对 885「协议被狠狠拍在寿桃上」
GPT（复核） · 剧本 885 对 626「协议被狠狠拍在寿桃上」
GPT（复核） · 剧本 453 对 493「发件人：沈知意（本机）」
GPT（复核） · 剧本 453 对 493「封皮写着‘沈记’。您认得字。」
GPT（复核） · 剧本 493 对 453「发件人：沈知意（本机）」
GPT（复核） · 剧本 493 对 453「封皮写着‘沈记’。您认得字」
GPT（复核） · 人物大纲 954 对 493「有人在冒充‘明天的自己’」
GPT（复核） · 人物大纲 307 对 493「有人……冒充‘明天的你’」
GPT（复核） · 人物大纲 369 对 885「证明‘我从没结过婚’」
GPT（复核） · 人物大纲 885 对 369「恭喜你，你又有老婆了」
GPT（复核） · 人物大纲 493 对 543「要林晚死」
GPT（复核） · 人物大纲 493 对 543「这个‘晚’字，是什么意思」
GPT（复核） · 人物大纲 190 对 874「【钩子】【悬念】」
GPT（复核） · 人物大纲 170 对 493「收件时间全在‘过去’」
GPT（复核） · 人物大纲 661 对 885「放下‘替人扛’的执念」
GPT（复核） · 人物大纲 885 对 661「放下‘替人扛’的执念」
GPT（复核） · 人物大纲 224 对 493「故意说假话让她‘看’」
GPT（复核） · 人物大纲 224 对 493「收件时间全在‘过去’」
GPT（复核） · 人物大纲 977 对 493「2008年用‘吴建’的名字上了大学，今年考进江州市教育局」
GPT（复核） · 人物大纲 493 对 977「2008年用‘吴建’的名字上了大学，今年考进江州市教育局」
GPT（复核） · 人物大纲 190 对 445「已过validate_series.pyS8检查」
GPT（复核） · 人物大纲 493 对 416「儿子却对他说‘爸，你去’」
GPT（复核） · 人物大纲 626 对 885「放下‘替人扛’的执念」
GPT（复核） · 人物大纲 885 对 626「放下‘替人扛’的执念」
GPT（复核） · 人物大纲 917 对 190「已写入■.json」
GPT（复核） · 人物大纲 190 对 917「每逢‘七’」
GPT（复核） · 人物大纲 795 对 493「多了一道『丿』」
GPT（复核） · 人物大纲 891 对 190「被动自证→主动入局→掌控规则」
GPT（复核） · 人物大纲 453 对 493「不盲信任何声音，包括‘自己的声音’」

两位评审合不合

同一批提示词，Opus 和 GPT 各判一遍。

逐场（120 场）总体判断一致：95/120（79%），Cohen's kappa 0.59（扣掉碰巧一致的部分；1 是完全一致，0 是和瞎猜一样）。
每对的最终结果（赢、平、输）一致：42/60，kappa 0.32。
分维度逐场一致：
- 钩子：27/60（45%）
- 对白：43/60（72%）
- AI 味：46/60（77%）
- 可拍性：53/60（88%）
- 人物：53/60（88%）
- 新意：43/60（72%）
- 结构：27/60（45%）
- 卡点：24/60（40%）

有争议的 18 对

查不出来的

主评审和写稿的是同一个模型（claude-opus-5-5）。它可能偏爱自己的写法；对照组也是它写的，所以这个偏差对 skill 和对照组大致相同，但不能排除。GPT 复核就是为了看换一个模型结论会不会变。
每个 skill 只跑了 3 次，区间很宽，只能看方向。
没有请人类编剧盲评。两位评审都是 AI，判的是「AI 认为的好」。
评审只比和对照组的胜负，skill 之间没有直接比过，所以不排名次。

运行中被拦下的调用

6 次，没有一次是想联网或者读别的参赛者。大多是 agent 想读 Claude Code 存长输出的文件：工具返回太长时，Claude Code 把全文存到主目录下的一个文件里，而权限规则和沙箱都不让读主目录。这是规则的副作用，没有为它单独开口子，每个参赛者条件相同。

shuohao-skills · 第 3 次：Read /Users/user/.claude/projects/-scratch-evals2-ws-001-open-brief-eternityspring--shuohao-ski
drama-skills · 第 1 次：Read /Users/user/.claude/projects/-scratch-evals2-ws-001-open-brief-zenstory-ai--drama-skills-r
short-drama-factory · 第 2 次：Bash cd "/scratch/evals2/ws/001-open-brief/lixiaoxiao9888-create__short-drama-factory/run-2" &&
hongguo-shortdrama-screenwriting · 第 1 次：Read /Users/user/.claude/projects/-scratch-evals2-ws-001-open-brief-zhu5859243-free--hongguo-sh
hongguo-shortdrama-screenwriting · 第 2 次：Bash cd /Users/user/.claude/projects/-scratch-evals2-ws-001-open-brief-zhu5859243-free--hongguo
hongguo-shortdrama-screenwriting · 第 3 次：Read /Users/user/.claude/projects/-scratch-evals2-ws-001-open-brief-zhu5859243-free--hongguo-sh