第 22 章
可验证性：核对的成本交出去之后，还要花多少时间确认
交给代理的事，委托人仍要说明与核对。核对一份结果所需的时间，如果是自己完成所需时间的四分之一，放大倍数就不可能超过 4 倍。因此，最适合交出的是核对比生成便宜得多的任务：代码可以用测试检验，计算可以重算，引用可以点开原文；而研究结论与投资判断，核对几乎与重做一样费力。降低核对成本有三个办法：事先写清验收标准，把展示的单位从冗长的思考过程换成关键行动与证据，按风险高低分配核对的力度。核对还有一个隐患：结果大多正确时，核对的人会逐渐松懈。
一、核对给放大倍数设了上限
委托人交出一件事之后，仍要付出两笔投入：说清楚要什么，以及确认交回来的结果是对的。即使代理瞬间完成、从不出错，这两笔投入也省不掉。设核对一份结果所需的时间是自己完成所需时间的 r 倍，放大倍数就不会超过 1 ÷ r。帕特瓦尔丹等人（2025）在 GDPval 测评中让各行业专家审阅模型的成果，审阅平均用时约为专家自己完成用时的四分之一；仅此一项，放大倍数的上限就只有约 3.7 倍。结果难以核验时，委托人只能二选一：认真核对，核对时间进入分母，倍数掉向 1；不核对，倍数看起来很高，但质量风险没有计价，出错时信任随之崩塌。
核对的时间给放大倍数设了上限
一项自己完成需要 100 分钟的任务，假设代理瞬间完成、从不出错。拖动核对所需的时间占自己完成时间的比例，看放大倍数的上限。
核对所需时间占自己完成时间的比例
放大倍数上限 ＝ 100 ÷（说明 ＋ 核对）；纵轴为对数刻度。参照点：GDPval 测评中专家审阅模型成果的用时约为自己完成的四分之一（Patwardhan 等，2025）。
二、敢不敢交：违约后果与结果可验证性
委托人愿意交出多少，取决于对代理能否履约、是否尽责的判断。决定这一判断的不是事务的价值，而是两件事：出错的后果有多大、能否撤回；单次的结果能否及时判定对错。作者按这两个维度对 332 项工作活动逐项判定（作者估算），可以分出四个区域。放手区的活动最多，110 项，约占工作时间的 39%：后果多可补救，结果可以当场或逐件核对，信任在大量可核验的履约中快速积累；设计计算机系统与应用、排查计算机故障都在这里，结果可以用测试当场检验。逐笔核验区 69 项，约占 21%：后果较大，但生效前可以核对，授权可以随着履约记录逐步放开。过程证据区 41 项，约占 11%：后果较大，结果又要很长时间才能判定。其余的感知区约占 12%：后果较轻，但对错难以判定，信任靠感知形成，容易高估。两位编码者判定跨越分界的活动约占 17%，不计入任何区域。
与金融相关的活动横跨这几个区域。分析市场与行业状况的后果较轻，但对错要很久才能判定，落在感知区；监控财务数据与活动可以逐件核对；执行金融交易的后果重大、不可撤回，但订单的要素在生效前当场可以判定，落在逐笔核验区的一角；提供财务建议、制定财务规划落在过程证据区。信任的建立因此有先后：先从后果较轻的分析与监测开始积累履约记录，交易执行在生效前逐笔确认，再进入建议与全权管理，依靠事先的约定、记录每次行动当时依据的过程证据，以及利益一致，逐步提高授权。这与信任理论的划分一致：迈耶、戴维斯与斯库尔曼（1995）把可信性分为能力、善意与正直，结果可以核验时，能力可以直接检验；结果难以核验时，委托人只能依据正直（是否遵守约定）与善意（利益是否一致）作判断。
敢不敢交：违约后果 × 结果可验证性（作者估算）
332 项工作活动按两个维度落在网格里，圆的大小是工作时间占比。点选一格查看其中的活动；切换到金融相关，看信任建立的顺序。
重播
全部活动
与金融相关
作者估算：每项活动由两位编码者按 1～4 档独立判定两个维度，取平均；两人判定跨越分界的活动落在中间的分界带，不计入任何区域。违约后果的线性加权 κ 为 0.72，结果可验证性为 0.83。方法与数据见附录：作者估算的方法与数据 。
三、核对比生成便宜的任务
有些任务，找出答案很难，确认答案却很容易：解一道数独需要反复尝试，检查一个填好的数独只需逐行逐列看一遍。计算机科学用“验证与求解的难度差”刻画这类问题（库克，1971）。代理最能放大的，正是这种核对远比生成便宜的任务：代码可以用测试检验，数字可以用程序重算，引用可以点开原文对照。相反，一份研究结论是否合理、一项投资判断是否正确，核对往往与重做一样费力，而投资结果又要很长时间才能揭晓。同样的代理，在前一类任务上的放大倍数远高于后一类。
核对比生成便宜的任务，最适合交出
横轴是自己完成所需的时间，纵轴是核对一份现成结果所需的时间（均为对数刻度）。对角线以下，核对比生成便宜。点按一项查看说明。
重播
示意位置，表示相对关系。验证与求解的难度差见 Cook（1971）。
四、说清楚：把验收标准写在前面
说明的投入同样在分母之中，而且说不清楚的代价会在后面成倍放大。博姆与巴西利（2001）总结软件工程的经验：在交付之后才发现并修正的需求错误，代价常常是在需求阶段就修正的数十倍乃至上百倍。交给代理也是如此。只说“帮我看看这只基金怎么样”，交回来的结果很可能不是想要的，需要来回几轮；事先写明比较的对象、期限、指标与什么算完成，一次就能交回可以验收的结果，核对也有了明确的清单。
说不清楚的代价在后面
同一个需求：比较两只基金。切换交代方式，看来回几轮、总共花了多少时间。
重播
只说“帮我看看”
写明验收标准
示意数字。需求错误越晚发现、修正代价越高，见 Boehm 与 Basili（2001）。
五、透明的单位：从思考过程到关键行动与证据
代理可以展示它的思考过程，但冗长的推理文字很难核对：读完要花很长时间，而且这些文字未必反映它实际的依据。特平等人（2023）的实验发现，当提示中暗含某种倾向时，模型会被这种倾向带偏，而它写出的推理过程却几乎从不提及这一点（426 条解释中只有 1 条提到）。更便于核对的单位，是关键行动与证据：查询了哪些数据、来自哪里、截止到什么时间，做了哪些计算、结果是多少，改动了什么、为什么改。每一项都可以单独点开核验，核对者只需要检查与结论有关的几处。
展示什么，决定了核对要花多久
代理完成了“比较两只基金近三年的费用与回撤”。切换展示方式，比较读完所需的时间，以及可以单独核验的项目。
重播
展示思考过程
展示关键行动与证据
示意。推理文字未必反映模型实际的依据，见 Turpin、Michael、Perez 与 Bowman（2023）。
六、按风险分级核对
并非每一份结果都需要同样仔细地核对。审计与质量控制早就采用分层抽样（奈曼，1934）：先按风险把对象分层，高风险的全部检查，低风险的随机抽查。交给代理的工作也可以这样分配核对的力度：涉及资金划转、改变持仓、对外发出的结果逐项确认；内部参考的整理与摘要按比例抽查。这样，有限的核对时间集中在错误代价最大的地方。
按风险分配核对的力度
代理交回 100 份结果，其中 10 份涉及资金或持仓（高风险），90 份是内部参考（低风险）。一个错误在高风险结果中造成的损失是低风险的 20 倍。切换核对方式。
重播
全部核对
随机抽查两成
按风险分层
示意数字：高风险结果中有 2 份含错误，低风险结果中有 5 份含错误；被核对的错误都能被发现。分层抽样的思路见 Neyman（1934）。
七、核对的人会松懈
代理的结果越是大多正确，核对的人越容易松懈。帕拉休拉曼与曼泽（2010）把这种现象称为自动化偏差与自满：人们倾向于接受自动化系统的建议，减少独立的核查，在系统偶尔出错时没能发现。对策来自安全检查领域的经验：定期插入已知答案的考题，测量核对者是否还能发现错误；把核对结果记录下来，让核对本身也可以被核对。
示意曲线：每周 100 份结果。自动化带来的自满与偏差见 Parasuraman 与 Manzey（2010）。
八、对产品设计的含义
降低核对成本，比提高生成速度更能提高放大倍数：选择容易核对的任务，事先写清验收标准，展示关键行动与证据，按风险分配核对，并防止核对松懈。
本章小结：让核对变得便宜而可靠
六条设计要求，各自对应本章的一个机制。
重播 核对给倍数设了上限 从核对比生成便宜的任务做起 优先承接可以用测试、重算与原文对照来核对的任务。
不核对的倍数是虚的 不以省掉核对来抬高倍数 结果难以核验时，要么把核对算进投入，要么把未经核对的风险讲清楚。
敢不敢交 按后果与可验证性安排授权的先后 先放手可当场核验的事，交易执行逐笔确认，建议与全权管理依靠约定与过程记录。
说不清楚代价在后面 事先写清验收标准 把对象、期限、指标与格式写成清单，交回时按清单逐项验收。
思考过程难以核对 以关键行动与证据为展示单位 每个数字与结论都可以点开出处，核对者只看与结论有关的几处。
核对会松懈 按风险分级核对，并检查核对本身 涉及资金与持仓的结果逐项确认，其余抽查；定期混入考题，记录核对结果。
口径与局限
违约后果与结果可验证性的判定为作者估算：两位编码者为两个互不参照的大语言模型实例，按同一口径对 332 项活动逐项判定，取平均；违约后果的线性加权 κ 为 0.72，结果可验证性为 0.83。 判定按该活动最典型的情形作出，同一活动在不同场景中的后果可能相差很大。 参考文献
Mayer, R. C., Davis, J. H., & Schoorman, F. D. (1995). An integrative model of organizational trust. Academy of Management Review , 20(3), 709–734. Patwardhan, T., et al. (2025). GDPval: Evaluating AI model performance on real-world economically valuable tasks. arXiv:2510.04374. Cook, S. A. (1971). The complexity of theorem-proving procedures. Proceedings of the Third Annual ACM Symposium on Theory of Computing , 151–158. Boehm, B., & Basili, V. R. (2001). Software defect reduction top 10 list. Computer , 34(1), 135–137. Turpin, M., Michael, J., Perez, E., & Bowman, S. R. (2023). Language models don't always say what they think: Unfaithful explanations in chain-of-thought prompting. Advances in Neural Information Processing Systems , 36. Neyman, J. (1934). On the two different aspects of the representative method: The method of stratified sampling and the method of purposive selection. Journal of the Royal Statistical Society , 97(4), 558–625. Parasuraman, R., & Manzey, D. H. (2010). Complacency and bias in human use of automation: An attentional integration. Human Factors , 52(3), 381–410.