第三轮实测记录：全剧骨架类 skill · 同一张选题卡

这一页把第三轮实测的全过程摆出来：给了 agent 什么、每次运行它做了什么、评审看到了什么、怎么判的。每一步都能点开看原始的输入和输出。页面上的数字都是生成网站时从仓库里的原始数据现算的。

结论和逐个点评见实测页。这里只放过程和证据。

1. 1. 需求同一张选题卡《验尸官的婚礼》：给 60 集竖屏短剧写全剧骨架，全部由 AI 拍，只交骨架，3000 字以内
2. 2. 运行 63 次20 个 skill 加 1 个不装 skill 的对照组，各跑 3 次，同一个模型、同一条开场指令和固定回复，按 API 价格折算共 $238.77
3. 3. 找出骨架交付每次运行都只交了一份全剧骨架；超过 3000 字的 10 份截到 3000 字，后面注明截掉了
4. 4. 匿名打包 63 份随机三位编号，抹掉 skill 名、仓库名和作者名
5. 5. 盲比 630 对21 个参赛者（含对照组）两两比，第 n 次运行对第 n 次运行，甲乙对调各比一次：Opus（主评） 1260 次，GPT（复核） 1260 次
6. 6. 积分两种顺序都判它赢才算赢，记 1 分；都判对方赢算输；其余算平，记 0.5 分
7. 7. 评审体检换序是否一致、偏不偏甲、偏不偏长稿、两位评审合不合
8. 8. 过程记录安全检查、沙箱自检、试点，按时间排，附原始日志

给 agent 的全部输入

每次运行都在一个新建的空目录里，目录里只有这份需求（premise.md）和装好的 skill。

需求原文（premise.md）

这是一张选题卡。它要拍成 60 集竖屏短剧，每集 1–2 分钟，全部由 AI 拍。
请交一份全剧骨架：整部剧怎么走，用来管住后面的分集大纲和剧本。
只交骨架，不写分集大纲和剧本正文，3000 字以内。

《验尸官的婚礼》

标签：女频、大女主、复仇、悬疑、豪门

一句话卖点：被退婚的女法医去参加前未婚夫的婚礼，一眼认出新郎是替身：真新郎三年前就躺在她的解剖台上。

观众代入谁：林晚，被当众退婚的女法医，冷静、专业，靠本事翻盘

爽点落在谁脸上：沈家一家，和三年前逼她签字的周启年

故事靠什么往前推：每一集她都要拿出一样看得见的证据：一道疤、一张切片、一段录音。沈家每次都想办法毁掉证据、抹黑她；她每赢一次，就离“三年前是谁杀了沈峥”更近一步，也离她自己签过的那份假报告更近一步。

人物：
- **林晚**（女主 · 法医）
  - 样子：28 岁，齐耳短发，素颜，常穿一件深灰长风衣；左手腕戴一块男式旧机械表，表带磨白了。说话不抬声调。
  - 小传：市法医中心的法医，干了七年。四年前和沈家长子沈峥订婚，一年前被“沈峥”当众退婚，说她天天摸死人、晦气。三年前她解剖过一具无名男尸，最初写的是“他杀”，被周启年逼着改成“意外”，签了字，这是她心里的一根刺。冷静，嘴不饶人，认证据不认人。
- **程野**（新郎 · 顶着沈峥的脸的替身）
  - 样子：30 岁，和沈峥一样的脸、一样的金丝眼镜；婚礼上一直戴着白手套，左手虎口光洁，没有疤。
  - 小传：欠了一身赌债的模仿演员。三年前被宋家找去整容，学沈峥说话、走路、签名，替他活着。他不知道沈峥是怎么死的，只知道自己哪天没用了，也会“意外”。
- **沈砚**（沈家二少 · 沈峥的弟弟）
  - 样子：26 岁，寸头，西装从来不扣扣子，右耳一枚黑耳钉，笑起来像什么都不在乎。
  - 小传：从小跟在哥哥后面。三年前哥哥从国外“养病”回来，他第一个觉得不对，可没人信他。那晚游艇上他也在，喝醉了，什么都记不清，这件事他谁都没说。一开始不信林晚这个法医，后来成了她在沈家唯一的内应。
- **苏曼丽**（新娘 · 苏家千金）
  - 样子：26 岁，长卷发，永远带着全妆，酒红色指甲。
  - 小传：苏家和沈氏一起做港口生意，她嫁进沈家是两家的买卖。新婚夜她就觉得丈夫不对，却不敢说。前期带头踩林晚，答谢宴上偷偷把求救的房卡塞给她；为了家里的生意，后面还会反水一次。
- **周启年**（法医中心主任 · 三年前逼她签字的人）
  - 样子：55 岁，花白背头，老花镜挂在胸前，腕上一块和工资不相称的金表。
  - 小传：林晚的老领导。三年前收了宋知远的钱，把那具无名男尸的结论从“他杀”改成“意外”，逼林晚签字，三天内火化。
- **宋婉仪**（沈家主母 · 沈峥、沈砚的母亲）
  - 样子：52 岁，盘发，素色旗袍，珍珠耳环，说话永远轻声细语。
  - 小传：丈夫早逝，靠弟弟宋知远撑起沈氏。按老爷子的遗嘱，长孙沈峥三十岁接手沈氏一半的股份，人没了就归二房。三年前儿子“落水”，她为了保住股份找人顶替了他，一直以为儿子是意外死的。
- **宋知远**（宋婉仪的弟弟 · 沈氏海外业务负责人）
  - 样子：48 岁，高个子，笑容和气，袖口总是一对船锚形状的银袖扣。
  - 小传：沈家人眼里最可靠的舅舅。借沈氏的海外港口洗钱，三年前被沈峥发现，在游艇上用扳手砸了他的后脑，推下海；之后买通周启年改了结论，又让姐姐以为是意外。全剧最后的对手。

结局：宋知远认罪伏法，宋婉仪交出沈氏，程野带着妹妹去自首。林晚当庭推翻自己三年前签的报告，重新写下“死者沈峥，他杀”，签上自己的名字。最后一场，她把那块表放在沈峥的墓前。

开场指令

• 对照组：我要给一部短剧写全剧骨架，要求在 premise.md 里，写好存成文件放在当前目录。
• 有入口 skill 的：/入口skill名 我要给一部短剧写全剧骨架，要求在 premise.md 里，写好存成文件放在当前目录。，入口写在 contestants.toml。仓库里有专门做全剧骨架（总纲、全剧大纲、系列圣经）的 skill，入口就用它；那一步只能从主入口走到的，就用主入口
• 工具箱型、没有单一入口的：我要用已安装的 skill 给一部短剧写全剧骨架，要求在 premise.md 里，写好存成文件放在当前目录。

之后每一轮的固定回复

如果要我在几个方案里选，就选你最推荐的那个；其他要我定的，都按你推荐的来，不用再问我。请继续，直到 premise.md 要的全剧骨架写成文件；骨架之后的分集大纲和剧本不用写。

固定回复和第二轮一样，让它选自己最推荐的方案；只多了半句「骨架之后的分集大纲和剧本不用写」，把需求里的「只交骨架」重说一遍，对所有参赛者一样。

什么时候停

一轮结束后，如果 agent 没在提问、这一轮也没再改文件，而且目录里已经有产出，就算写完；连续三轮没改文件也停；最多 12 轮。代码见 evals/run.py。

环境和权限

agent

Claude Code 2.1.314，无头模式（claude -p），模型 claude-opus-5-5，推理强度 high

设置来源

只读工作目录里的项目设置（--setting-sources project），不连任何 MCP，不读运行者本机的个人指令和记忆

权限模式

dontAsk：不在允许清单里的工具一律拒绝，不会停下来问人

允许

Bash、Skill、TodoWrite、Agent、Edit(/<工作目录>/**)、Write(/<工作目录>/**)

拒绝

WebFetch、WebSearch、Read(~/**)、Edit(~/**)、Write(~/**)、Read(/<其他参赛者的工作目录>/**)、Read(/<克隆的仓库>/**)、Read(/<日志目录>/**)

命令行

python3 3.14、node 26 可用，没装 matplotlib 之类的第三方库；沙箱里不能联网，装不了包

Bash 全部放行，但每条命令都关在系统沙箱（macOS Seatbelt）里：不能联网，不能读运行者的主目录，不能读别的参赛者的目录，只能写自己的工作目录。沙箱设置（尖括号是每次运行的实际路径）：

{
  "sandbox": {
    "enabled": true,
    "failIfUnavailable": true,
    "autoAllowBashIfSandboxed": true,
    "allowUnsandboxedCommands": false,
    "network": {
      "allowedDomains": [],
      "allowLocalBinding": false
    },
    "filesystem": {
      "denyRead": [
        "~/",
        "<所有工作目录的上一级>"
      ],
      "allowRead": [
        "<工作目录>"
      ]
    }
  }
}

这套设置是怎么定下来的、试过哪些不行，见过程记录。

63 次运行

点进去能看到这次运行的每一轮、每一次工具调用和它的返回、写出的全部文件。

积分：所有参赛者两两比

每个参赛者和另外 20 个各比 3 次（第 n 次运行对第 n 次运行），一共 60 次。一次比较里，两种先后顺序都判它赢才算赢，记 1 分；都判对方赢算输；其余算平，记 0.5 分。名次以主评审 Opus 为准，GPT 是复核；两位评审结论不同的对子在盲比列表里标「有争议」。

按 Opus 的积分排，同分并列。「赢的比例」是赢的次数占全部比较的比例，括号里是 95% 置信区间：区间重叠很多的两个参赛者，名次先后说明不了太多。

对阵表（Opus）

每格是行里的参赛者对列里的参赛者，三次比较的「赢-平-输」。每一场的稿子和判决在盲比列表。

怎么核对

• 全部原始数据在 GitHub：每次运行的产出、问答记录、原始日志（logs/）、评审看到的匿名稿（blind/）、编号和出处的对应表（blind_key.json）、每份骨架的字数（lengths.json）、每一场比较的判决，以及去掉截断说明的对照（duels-nonote.jsonl、duels-nonote-gpt.jsonl、judge-raw-nonote/）。
• 原始日志公开前用 clean_logs.py 清理过：去掉本机路径、用户名、额度用量和 Claude Code 的内部记录，其余原样保留。删了什么写在脚本开头。
• MANIFEST.sha256 记着这一轮每个文件的 sha256 指纹。运行 python3 evals/verify.py 003-skeleton 会逐个核对指纹，重建每一场评审的提示词，和两位评审调用时记下的提示词指纹比对（去掉截断说明的对照也比），再把本页的数字重算一遍。
• skill 作者如果觉得自己的 skill 装错了、跑错了或者记录有误，可以在 GitHub 提 issue，我们会对着原始日志核对，公开答复。