您尚未登录/注册
首页>科技
AI智能体能预知自己会失败吗?
科技行者 2026-11-16 15:12:08

你有没有想过,一个正在干活的AI助手,心里到底有没有"数"?

比如它正在帮你订机票、整理文件、玩一个需要走十几步才能通关的文字游戏。走到第三步的时候,它要是能老老实实告诉你"这次大概率要翻车了",你是不是能提前喊停,省得它瞎折腾半小时最后给你一个烂摊子?

这听起来是个很朴素的需求。但现实是,现在的AI智能体几乎做不到这件事。它们嘴上说的"我有80%的把握",往往跟它实际成功的概率没什么关系。这篇来自SAP研究员Ashutosh Hathidara的论文,就是想解决这个具体又棘手的问题:怎么让AI说出的"信心值",真的能预测它这一局任务最终是输是赢。

**问题出在哪:自信和靠谱是两件事**

先说清楚一件事,这不是AI第一次被要求"说出自己的信心"。此前已经有不少研究在做这个方向,比如RLCR这类工作,用强化学习训练模型在回答问题时附带一个置信度数字,然后拿这个数字去对照"这个答案对不对"。

这套路在单轮问答里挺好用。你问模型一个数学题,它答完顺手说"我有90%把握",然后你拿标准答案一核对,对了就说明它信心没吹牛,错了就说明它过于自信。简单明了。

但智能体干的活不是这种一问一答的事。它要在一个长达几十步的任务里不断行动,比如在家庭模拟环境里走来走去找东西、在网购平台里挑商品下单。这种任务的麻烦在哪?

**长程任务**:需要连续多步决策才能完成的任务,比如先开门再拿钥匙再开车,中间任何一步出岔子都可能导致整个任务失败。

长程任务里,"这一步对不对"这个问题根本问不出答案。因为通向目标的路不止一条,这一步往左走和往右走可能都是对的,只是走法不同。你没法像判数学题一样判断某一步是"正确"还是"错误"。真正能衡量的,只有这一整局任务最后到底成没成。

论文把这个思路讲得很直白:之前的方法训练出来的置信度,预测的是"当前这一步是不是对的",而真正有用的信心信号,应该预测的是"这一局最终会不会成功"。这两件事听起来像,其实是两种完全不同的目标,训练出来的结果也会截然不同。

这就好比你问一个正在爬山的向导"你这一步踩得稳不稳",和问他"我们今天能不能爬到山顶",是两个完全不同的问题。踩得稳的向导,也可能带错路爬到悬崖边;一步踩得不太稳的向导,可能稍微调整一下照样登顶。如果你只训练向导去回答第一个问题,那你永远不知道第二个问题的答案,而对一个要爬山的人来说,第二个问题才是真正要命的。

**核心方法:把一群"同班同学"的成绩单拿来打分**

那这篇论文怎么解决这件事?答案藏在一个叫GRPO的训练机制里。

**GRPO**:group-relative policy optimization(群组相对策略优化),一种强化学习训练方式,让模型针对同一个任务采样出多条不同的行动轨迹,然后拿这几条轨迹互相比较打分,而不是跟一个绝对标准比。

具体来说,面对同一个任务,模型会被要求"重复做"这件事G次(论文里G等于6到8),每一次尝试走出一条完整的路径,最后得到一个成功或失败的结果。这G次尝试,就天然构成了一个"对照组":有的成功了,有的失败了。

论文的关键洞察是,这个对照组里本来就带着现成的"标签",不需要额外花钱标注。既然每条轨迹走到底都有一个成功/失败的结果,那这条轨迹里的每一步,都可以被打上这个最终结果的烙印。第一步也好,第十步也好,只要属于这条成功的轨迹,就被标记为"属于一次成功";属于失败轨迹的每一步,就被标记为"属于一次失败"。

然后用一个叫**布里尔分数**的东西去给每一步的置信度打分。

**布里尔分数**:一种经典的"适当评分规则",公式是1减去(置信度减去实际结果)的平方。如果你说的信心值和最终是否成功越接近,分数越高;说得越离谱,分数越低。它的数学性质保证了,模型想要拿到最高分,唯一的办法就是老老实实说出真实的概率,耍滑头、乱报数字都讨不到好处。

这个设计的巧妙之处在于,它逼着模型没办法通过"永远说我很有信心"或者"永远说我没把握"来混日子。因为布里尔分数是严格的,瞎报高分遇到失败会被重罚,瞎报低分遇到成功也会被重罚。唯一的最优策略,就是诚实地报告自己心里对这件事的真实把握。

这就像一个总是把考试成绩夸大的学生,第一次模拟考他说"我这次肯定能考第一",结果考了倒数,老师当场揭穿;第二次他学聪明了说"我这次大概六七成把握能进前十",结果真考进了前十,老师就不会特意戳破他。时间长了,这个学生发现,唯一不会被戳破、也不会被骂保守的说法,就是说出自己心里真实的概率。如果没有这种"说谎必被抓"的机制,学生大概率会一直夸大其词,因为吹牛不花钱,而被当场打假才是真正的成本。

论文把这个打分机制和GRPO的分组对比结合起来,构造出一个叫**群组相对优势**的指标,这个指标同时考虑两件事:这条轨迹的最终结果比这组平均水平好还是差,以及这一步报的置信度打分比这组平均水平高还是低。模型就是靠着不断优化这个联合指标,一点点学会把"嘴上说的把握"和"实际会不会成功"对齐。

**离线训练和在线训练,两条腿走路**

论文做了两种训练方式。

一种叫**离线强化学习**,用的是提前录好的、没有经过训练的旧模型跑出来的轨迹记录,不需要让模型实际跟环境互动,直接在这些历史记录上做训练。另一种叫**在线强化学习**,让模型真实地在环境里跑,用自己当下跑出来的轨迹来训练自己。

这两种方式各有各的用处。离线训练相对省事省钱,因为不需要实时跟一个复杂的游戏环境打交道,拿现成的日志就能练;但它的局限是,每条录好的轨迹只有一次尝试,没办法比较"同一个任务里成功的那次和失败的那次有什么不同"。在线训练贵一些,但能真正做到让模型自己产生多条尝试、互相比较,这是更接近论文核心思路的玩法。

实验用了三个环境来验证:**ALFWorld**(模拟家庭环境里完成日常任务,比如找东西、开关设备)、**TextWorld**(纯文字冒险游戏环境)和**WebShop**(模拟网购场景,让智能体根据需求挑商品)。模型主干用的是阿里云的开源模型Qwen2.5-7B-Instruct,外加LoRA这种轻量级微调技术,不用改动整个模型的全部参数就能完成训练。

**离线训练的结果:从"瞎猜"到"真有点准"**

先看离线训练这条线的结果。

论文用一个叫**AUROC**的指标来衡量预测准不准。

**AUROC**:一种常用来衡量二分类预测好坏的统计量,取值在0.5到1之间,0.5相当于瞎猜,1代表完美区分成功和失败。可以理解成,随机挑一个成功的例子和一个失败的例子,模型给出的置信度能把这两者正确排序的概率。

训练之前,三个环境里的AUROC分别是0.517(ALFWorld)、0.578(TextWorld)、0.462(WebShop),基本等于瞎猜,毕竟0.5就是纯随机水平。训练之后,这三个数字分别涨到了0.681、0.722、0.850。WebShop这个环境涨得最猛,从接近瞎猜直接干到了0.85。

数字之外,论文还看了一个更直观的指标:如果你只挑模型最有信心的那前10%的步骤去执行,这些步骤的实际成功率会比平均水平高多少倍。训练前,这个倍数只有1.1到1.6倍,差不多算是"信心稍微有点用,但也没多大用"。训练之后,三个环境都稳定在4.3倍左右。这意味着什么?

意味着如果你是一个负责审批的人,只看模型最自信的那一批决策,训练前你拦下来的风险跟瞎抽没差多少;训练后,你挑出来的这批决策,踩雷的概率只有平均水平的四分之一不到。这是实打实的筛选能力,不是纸面上的数字好看。

有一个挺有意思的发现:在训练之前,模型嘴上说的信心值其实不如一个"免费"的信号靠谱,这个信号叫**负平均词元熵**,大致可以理解为模型在生成每个词的时候"犹豫不决"的程度,犹豫越少说明模型越确定。训练之前,这个犹豫程度居然比模型主动报告的信心值还能更准地预测成不成功。但训练之后,情况反过来了,模型报告的信心值反超了这个犹豫程度指标。原因是训练让模型的输出变得更"自信满满"(不管对错),导致犹豫程度这个信号本身失效了,而真正学会了诚实表达的置信度反倒成了更可靠的那个。

论文也做了不少对照实验来检验这个结论的稳健性。比如换了六种不同的打分规则(球形分数、对数分数、L1距离等等),结果发现只要有打分机制存在,不管具体用哪种公式,效果都差不多,AUROC都落在0.82到0.88之间;但如果完全不给打分奖励,只靠任务本身的奖励去训练,AUROC只有0.559,基本没什么提升。这说明关键不在于用哪个具体公式,而在于"是否存在一个把置信度跟结果挂钩的奖励机制"这件事本身。

**在线训练:真实世界里的信心校准**

离线训练证明了方法可行,但真正的考验是让模型在真实互动的环境里训练。

论文在ALFWorld上跑了120轮在线训练,每轮抽4个任务,每个任务跑6次尝试。这里引入了一个新概念叫**期望校准误差(ECE)**。

**期望校准误差**:把模型报出的信心值分成几个区间(比如0到10%、10%到20%……),看每个区间里的实际成功率跟区间中值差多远,差得越小说明模型越"自知"。举个例子,如果模型说"我有70%把握",这类情况真实成功率就应该接近70%,而不是30%或99%。

训练之前,ALFWorld环境下模型的ECE高达0.42,这是个相当离谱的数字,相当于模型嘴上说的话跟实际情况差了一大截。经过四种不同的校准奖励训练之后,这个数字全部降到了0.12以下,最好的一组甚至只有0.053。

更实际的指标是**选择性执行**,也就是只挑那些模型最有信心的步骤去真正执行,看成功率如何。训练前,模型最自信的前10%步骤成功率是49.3%;训练之后,这个数字涨到56%到66%之间。而且很重要的一点,整体任务的成功率并没有因为校准训练而下降,还维持在20%上下,说明这种训练不是靠"变笨"或者"更保守"换来的校准,是真的学会了更准确地表达自己。

论文还专门设了一个对照组,只给模型一个"格式正确"的奖励(也就是只要求它乖乖输出符合格式的置信度标签,但不管这个数字准不准),结果这个对照组几乎没有任何改善,选择性执行的提升量是负的。这就排除了"只是因为模型更听话了才变准"的可能性,真正起作用的是那个把置信度和实际结果绑定起来的打分机制。

**解剖这个"进步"到底从哪来**

这是整篇论文最耐人寻味的一部分。研究者没有满足于"AUROC涨了"这个表面结论,而是设计了一套更精细的分析框架,想搞清楚这个进步到底是什么性质的进步。

论文把混在一起的提升拆成了四种不同的"视角"。第一种是**汇总型**,不管三七二十一把所有成功步骤和所有失败步骤拿来两两比较;第二种是**跨任务型**,把每个任务简化成一个平均分,看模型是不是更擅长区分"容易的任务"和"难的任务";第三种是**任务内型**,固定住某一个具体任务,看模型是不是能分辨"这次尝试会成功"还是"这次尝试会失败";第四种是**同深度任务内型**,更严格地要求比较必须发生在同一个任务、同一个步数位置上,这样就排除了"因为快结束了所以更准"这种位置带来的虚假提升。

分析结果有点出乎意料。研究者发现,训练带来的提升几乎全部集中在跨任务型这个维度上。换句话说,模型变得更擅长判断"这整个任务我大概能不能搞定",但是在同一个任务内部,区分"这次会赢的尝试"和"这次会输的尝试"的能力,几乎没有提升。更惊人的是,这种跨任务的判断力,在第一步就已经体现出来了,模型还没走出任何实际行动、还没得到任何环境反馈之前,光是看到任务描述,训练后的模型报出的置信度就已经能预判这个任务大概行不行。

这就好比一个经验丰富的医生,看一眼病人的病历摘要,还没做任何检查,心里已经有数这个病大概好不好治。但是如果让他跟踪同一个病人的两次不同治疗方案,他未必能准确判断哪一次治疗更可能成功。训练让模型学会了"望闻问切"式的第一印象判断,但没有学会更细腻的"同病不同治法谁更靠谱"的判断。如果训练目标没有专门设计针对同一任务内不同尝试的对比信号,这种更细颗粒度的判断力大概率不会自己冒出来,这正是论文在TextWorld环境里尝试解决、但在ALFWorld环境里还没完全解决的问题。

有意思的是,这个"任务内判断力缺失"的问题,在TextWorld环境里有了松动。论文发现在TextWorld上训练后,任务内的区分能力在刚开局的头几步确实有了统计意义上显著的提升,虽然这个提升随着步数增加会慢慢消失。这暗示这件事不是完全做不到,而是跟具体环境的任务结构有关系,有些环境里,开局的蛛丝马迹本身就带着更丰富的"这次会不会顺"的信息,更容易被模型捕捉到。

**跟"位置信号"掰手腕**

论文还做了一个挺较真的对照实验,叫**纯深度基线**,就是完全不看模型说了什么,只凭"这是第几步"这个信息去预测成不成功。

逻辑其实挺朴素:失败的任务往往走不了几步就卡住了,成功的任务反而会走得更久。如果只看步数,纯粹靠"这是第十步了,说明它活得够久,大概率能成"这种粗暴推断,居然在汇总型指标上能跟训练过的置信度打个平手,甚至在某些环境里还更强。

这个发现挺扎心的,意味着之前看到的那些漂亮的AUROC数字,有一部分可能只是"步数长短"这个无关紧要的因素在凑热闹,而不是模型真的学到了什么深刻的洞察力。但这个纯深度基线有一个致命弱点,一旦把比较范围限制在开局头几步(这时候所有任务的步数都差不多),这个基线立刻崩塌回0.5,彻底失去预测能力。而训练过的模型置信度在这个早期窗口里依然保持着明显超过瞎猜的水平。这恰恰证明了,训练确实带来了一种不依赖"步数长短"这种廉价技巧的真实判断力,只是这种判断力目前主要体现在"这个任务整体行不行"上,而不是"这次具体尝试行不行"上。

**写在后面**

读完这篇论文,最让我意外的不是那些AUROC从0.5涨到0.85的数字,而是那个关于"任务内判断力缺失"的发现。研究者本来是想训练一个能预判"这次尝试会不会失败"的信号,结果训练出来的东西,更像是一个"一眼看穿这个任务是不是硬骨头"的直觉。这两者听起来很接近,但其实是两种完全不同的能力,一个是对任务难度的先验判断,一个是对执行过程质量的实时追踪。

这让我想到一个问题:如果一个模型能准确判断"这个任务我大概干不了",但没法判断"我现在这次尝试是不是在往坑里走",这种能力对实际部署到底有多大用处?论文给出的答案挺实在,起码可以用来做"任务分级",把看起来就棘手的任务提前标记出来交给人工处理,而不需要等它跑十几步撞墙了才发现不对。但如果你期待的是一个能实时喊"等等,这步走错了,赶紧停"的监控系统,目前这套方法还给不了你。

论文里还有一个细节值得单独说一说,就是那个关于PPO训练失败的小插曲。研究者尝试用带学习值头的PPO算法去替代GRPO的分组对比机制,结果两个随机种子跑出来的结果都是0.5,完全没学到任何东西,连输出格式都学不会。论文给出的解释是"冷启动的价值头"带来了噪声过大的优势估计,导致训练一开始就垫底,训练过程直接崩了。这个失败案例某种程度上反而支撑了论文的核心论点,GRPO这种靠组内相互比较来打分的机制,可能恰恰是让这套训练方案跑得起来的关键,而不是什么可以随便替换的技术细节。

那么问题来了,如果未来有人想解决"任务内判断力"这个缺口,需要设计一种什么样的训练信号,才能让模型不仅知道"这个任务大概行不行",还能知道"我现在走的这步,是不是正在把事情搞砸"?

Q&A

Q1:论文中提到的outcome-grounded confidence calibration是什么意思?

A:这是一种让AI智能体的置信度表达跟任务最终成败挂钩的训练方法,不同于以往只校准单步正确性的做法,它用GRPO分组采样产生的多条尝试轨迹的成功失败标签,通过布里尔分数等打分规则训练模型,让它说出的信心值真正能预测这局任务最后会不会成功。

Q2:这篇论文的实验结果显示AUROC提升了多少?

A:在离线训练中,ALFWorld、TextWorld、WebShop三个环境的AUROC分别从0.517、0.578、0.462提升到0.681、0.722、0.850,最有信心的前10%步骤成功率是平均水平的约4.3倍。在线训练中,期望校准误差从0.42降到0.12以下。

Q3:训练后的AI智能体能准确判断自己同一个任务的不同尝试谁会成功吗?

A:目前还不太行。论文发现训练带来的提升主要体现在区分不同任务的难易程度上,模型甚至在第一步就能判断某个任务大概行不行,但判断同一任务内哪次具体尝试会成功、哪次会失败的能力,在ALFWorld环境里几乎没有改善,只在TextWorld环境的开局阶段出现了一些改善迹象。

【版权声明】本文内容来源于科技行者,版权归原作者及原媒体所有。本站仅作信息分享,不构成任何商业用途;如涉版权问题,请联系本站删除。

发布时间:2026-11-16 12:04:16


(第1/1页/共8241字/1阅)
首页>科技
相关科技:
Hi Bro!元宝搜索
苹果一年多来首次发债 拟筹资约70亿美元
你有没有想过,为什么给一张几乎全是蓝天的照片和一张挤满人群细节的照片,分配同样数量的“信息单元”,…
你的AI同事,已经开始用「云电脑」上班了
微软AI负责人:AI模型没有意识,开发者也不能让它有意识
*承接仿腾讯家园优惠建站业务
网友评论:
更多评论(0)
您的评论:

[热点科技]
“女主角”黄乐的A股往事
中国创新药长出全球竞争力!百济神州第三次上调业绩指引:预计全年营收463-470亿,利润84-90亿
合肥武汉之后,终于轮到郑州“上桌”了?
王健林重掌万达商管
英伟达盘中跌去1.5个阿里巴巴,美股科技股爆发,AMD两日涨近20%,国际油价重挫,创2个月新低
[精彩推荐]
0.01分赢下保研,第二天就被室友举报了
逛超市大变天:超市自家货值得买吗?
磁带不是早就“死”了吗,怎么突然打赢复活赛了
18岁少女检出18种HPV亚型阳性,包含10种高危型!医生:极其少见
财经观察:拨款两万亿日元,项目已延误数月,日本“孤注一掷”,为何造不出尖端芯片?