产品×金融×AI：AI 时代的金融产品第三部分　AI：代理能替人做多少English
第 21 章

能力从哪里来、在哪里失效可靠性决定返工的多少

代理的能力来自三处：模型在训练中获得的知识与推理能力，任务提供的上下文，以及可以调用的工具。它在四种情形下失效：任务越长，每一步的小误差累积得越多；任务落在能力边界之外，代理却显得同样有把握；缺乏依据时，代理倾向于给出一个看似合理的答案而不是说不知道；信息太多时，关键的内容反而被忽略。可靠性决定了委托人要花多少时间发现错误与返工。提高可靠性的办法，是缩短每一段无人检查的过程，让代理在没有把握时停下来，并用工具核验能够核验的部分。

一、能力的三个来源

一项任务，例如“比较两只基金近三年的费用与最大回撤”，需要三样东西。模型提供理解问题、组织步骤与写出结论的能力；上下文提供完成这件事所需的信息，例如基金的名称、委托人关心的期限；工具提供模型本身做不到的事，例如查询最新的净值数据、精确地计算回撤。三者缺一，结果都会出问题：没有上下文，回答只能泛泛而谈；没有工具，数字可能是凭记忆编出来的；模型能力不足，步骤本身就会出错。希克等人（2023）与高等人（2023）的研究表明，让模型调用计算器、检索或执行程序，可以明显减少计算与事实类错误：工具既扩展了能力，也提供了核验的手段。

能力的三个来源

任务：比较两只基金近三年的费用与最大回撤。勾选或取消三个来源，看代理给出的结果怎样变化。

示意。工具对计算与事实类错误的作用见 Schick 等（2023）与 Gao 等（2023）。

二、长任务中的误差累积

一项任务由许多步骤组成，每一步都有一定的出错概率。如果每一步的正确率是 99%，一项 10 步的任务全部正确的概率约为 90%，100 步的任务只有约 37%。这就是长任务难以交给代理的原因：单步的可靠性看起来很高，累积起来却很低。在过程中加入检查点可以改变这一点：每完成一段就核验一次，发现错误立即纠正，错误就不会一路传递下去。检查越容易自动完成，例如用程序核对计算结果、用测试核对代码，长任务就越可靠。

每一步都很可靠，整件事却未必

调节每一步的正确率与步骤数，看整件事全部正确的概率。打开检查点：每 10 步核验一次，九成的错误能被发现并纠正。

没有检查点有检查点

示意计算：没有检查点时，整体成功率 ＝ 单步正确率的 n 次方；有检查点时，每 10 步为一段，一段出错后有 90% 的概率被发现并纠正，按段数连乘（不足一段按比例计）。

三、能独立完成多长的任务

METR 的研究者用“时间跨度”衡量代理的能力：代理能以一定把握完成的任务，相当于人类专业人员需要多长时间完成（夸等，2025）。他们发现，任务的人类用时越长，代理的成功率越低。在 2019 年至 2025 年间，代理能以五成把握完成的任务时长大约每七个月翻一番；2023 年以来增速更快，约每四个月翻一番，2026 年上半年的测量值已明显高于按七个月外推的水平（METR，2026）。同一个代理，以五成把握能完成的任务，比以八成把握能完成的任务长好几倍。对委托人而言，后一个数字更有意义：一项只有一半把握完成的任务，交出去之后仍需逐项检查。

代理能独立完成多长的任务

纵轴是任务由人类专业人员完成所需的时间（对数刻度）。曲线是代理能以一定把握完成的任务时长随时间的变化，虚线是按旧速度的外推。切换把握程度，并对照三类金融任务的长度。

实线与圆点为 METR 的时间跨度测量（任务集 v1.1，取各时点表现最好的模型），方法见 Kwa 等（2025）。五成把握的时间跨度在 2019—2025 年约每 7 个月翻一番，2023 年以来加快到约每 4 个月翻一番。虚线是自 2025 年初（约 1 小时）按每 7 个月翻一番的外推，2026 年的测量值已高于这条线。八成把握的时间跨度约为五成把握的四分之一至十分之一；超过 16 小时的测量值可靠性较低（METR，2026）。

四、锯齿状的能力边界

代理的能力边界并不整齐。德拉夸等人（2023）让波士顿咨询公司的 758 名顾问完成一组任务：落在代理能力范围之内的任务，使用代理的顾问完成得更多、更快，质量也更高；而一项看起来难度相近、却落在能力范围之外的任务，使用代理的顾问得出正确结论的比例反而比不使用的低约 19 个百分点。他们称之为“锯齿状的技术前沿”：哪些任务在边界之内，从任务的外观很难判断，而代理在边界内外表现出的把握程度几乎相同。

锯齿状的能力边界

十二项看起来难度相近的任务，锯齿线是代理的能力边界。切换是否使用代理，看边界内外的结果怎样变化。

边界之内边界之外代理表现出的把握

示意。实验结果来自 Dell'Acqua 等（2023）对 758 名咨询顾问的研究：边界之内的任务，使用代理者多完成 12.2%、快 25.1%、质量高 40% 以上；边界之外的任务，使用代理者得出正确结论的比例低约 19 个百分点。

五、没有把握时，代理倾向于猜

代理在缺乏依据时，常常给出一个流畅而错误的答案，这被称为幻觉。卡莱等人（2025）从评分规则解释了它的来源：多数测评只按答对的比例计分，答“不知道”得零分，答错也是零分，于是在没有把握时，猜测总比承认不知道得分更高；模型在这样的测评中被训练，也就学会了猜。如果答错要扣分，而承认不知道不扣分，只有在把握足够大时作答才是值得的。对金融产品而言，规则应当明确：没有数据就说没有数据，不能确定就说明不确定的地方。

评分规则决定代理会不会猜

代理对一个问题有一定把握。选择评分规则，拖动把握程度，比较作答与回答“不知道”的期望得分。

答对得 1 分，回答“不知道”得 0 分。答错扣 c 分时，只有把握超过 c ÷ (1 ＋ c) 才值得作答。思路见 Kalai 等（2025）。

六、信息太多时，关键内容被忽略

给代理更多的上下文，并不总是更好。刘等人（2024）的实验发现，当关键信息位于一长串材料的开头或结尾时，模型能较好地利用它；位于中间时，表现明显下降，呈现出 U 形。上下文越长，这种现象越明显。对金融任务而言，一份年报、几十条新闻与一年的交易记录全部放进上下文，关键的一条可能恰好被淹没。更可靠的做法，是先按任务筛选出相关的信息，再交给模型处理，并要求它标明每个结论来自哪一处材料。

关键信息放在中间，最容易被忽略

给模型 20 份材料，其中只有一份包含答案。拖动这份材料所在的位置，看回答的正确率；打开“先筛选相关材料”，比较效果。

示意曲线，形态依据 Liu 等（2024）在多文档问答实验中的发现：关键信息位于开头或结尾时正确率较高，位于中间时明显下降。

七、对产品设计的含义

可靠性来自过程的设计，而不只来自更强的模型：缩短无人检查的段落，让代理在没有把握时停下来，用工具核验能核验的部分。

本章小结：用过程设计换取可靠性

四条设计要求，各自对应本章的一个机制。

三个来源缺一不可让代理拿到上下文，并用工具算数与查数

数字从数据源与计算中得出，注明来源与截止时间；不靠模型凭记忆给出。

误差随步骤累积缩短每一段无人检查的过程

把长任务拆成可以核验的段落，每段结束时自动或由用户检查。

能力边界参差不齐标明适用范围，越界时降级

对代理已知做不好的任务明确说明，交给人或换成更保守的处理。

没有把握时会猜奖励说“不知道”

没有数据就说没有数据，不确定处单独标出；评测时对答错扣分。

口径与局限

参考文献