VASPO:让模型自己当老师,还要自己当裁判

训练一个会做数学题的AI,最大的麻烦其实不是教它解题步骤,而是怎么告诉它"你刚才这一步写得好不好"。

想象你在辅导一个学生做一道需要十五步才能解出来的几何证明题。学生写完了,你打了个勾或者叉,但这个对错判断只能告诉他"最后答案对了"或者"最后答案错了"。可是具体是第三步的辅助线画错了,还是第十步的角度计算出了问题,他自己根本不知道。这就是训练推理模型时真实面对的困境,答案只有在整个回答生成完之后才能验证,但你真正想纠正的是中间每一个决策。

这篇来自中国科学技术大学和科大讯飞研究院的论文,提出了一个叫VASPO的方法,试图用一种挺巧妙的方式解决这个老问题。它的核心做法是让同一份"参考答案"同时去训练两个不同的角色:一个负责打分,一个负责估值。听起来有点绕,但耐心往下看,你会发现这个设计背后有一套相当严谨的逻辑。

强化学习训练推理模型,到底卡在哪

先说说现在训练这类模型通常怎么做。

一种思路叫RLVR

RLVR:全称是"带可验证奖励的强化学习",意思是让AI生成答案,然后用一个自动化的验证器(比如数学题的答案核对程序)判断对错,给出一个二元奖励信号。

这种方法的天然问题就是开头说的那个辅导场景的翻版:奖励只在回答结束时出现一次,但回答往往有几百甚至上千个token(可以理解为模型生成的一个个词语或字符片段),你没法知道这几百个token里哪些该表扬哪些该批评。

为了解决这个"信用分配"难题,业界主要有两条路。第一条是GRPO

GRPO:全称"群体相对策略优化",做法是让模型针对同一个问题生成多个不同的回答,然后把这些回答的奖励做个比较,谁相对更好就给谁更高的分数,这个分数会被平均分摊到该回答的每一个token上。

第二条路是PPO

PPO:全称"近端策略优化",它额外训练了一个叫"critic"(评论家/价值模型)的小模型,专门预测"从当前这个半成品回答往下走,最终能拿到多少奖励",用这个预测值作为参照系,去算出每个token相对于这个参照系是加分还是减分。

PPO比GRPO的优势在于,它能给出和具体位置相关的细粒度评价,而不是整条回答共用一个分数。但PPO的critic一开始什么都不知道,它得靠自己从历史数据里慢慢学会预测,这个学习过程本身就很吃力。

于是又有人想到了第三条路,叫做在线自蒸馏

在线自蒸馏(OPSD):让同一个模型多开一个"内部教师"角色,这个教师在打分的时候可以偷看一些"内部资料",比如这道题的标准解法或者标准答案,这些资料叫做"特权信息"。教师看着学生自己生成的每一步回答,结合特权信息打出一个分数,告诉学生这一步写得像不像标准答案的风格。

这个思路听起来很聪明,相当于给了学生一个能看答案的助教,随时在旁边点评。但问题也出在这里。

这个"看了答案的助教"打的分,到底靠不靠谱

论文里举了好几个已有研究发现的坑。

偷看答案的助教容易把注意力放在风格上而不是内容上,比如学生这一步写的措辞跟标准答案像不像,而不是这一步的逻辑推理是否正确。还有研究发现,这种助教式监督反而会压制模型本该有的深入思考,因为模型会倾向于模仿表面形式而偷懒。更麻烦的是,在某些回答位置,这个助教给出的目标本身就不靠谱。

这就好比你请了一位助教,他手里拿着满分答案在旁边看你答题,但这位助教有时候会盯着你的字迹工整不工整打分,而不是看你的推导逻辑对不对。如果完全信他的,你很可能被带偏,学会了写字好看但推理稀烂。如果完全不信他,你又浪费了一份现成的好资料。

那怎么办?论文作者的思路是,与其让这个"看了答案的助教"直接决定该给多少分,不如把它和PPO里那个负责算"参照系"的critic结合起来,分工明确,各司其职。

一个被忽略的发现:特权信息在不同位置的作用完全不同

在正式介绍VASPO的设计之前,论文做了一个很关键的前置实验,这个实验结果直接决定了整个方法的架构思路。

研究者们比较了两种critic:一种是普通critic,只看学生写到现在的内容来预测最终能不能答对;另一种是"特权critic",除了看学生写的内容,还能偷看标准解法。同时,他们也让模型自己扮演那个"偷看答案的助教",测量它跟不偷看答案的普通模型之间的分歧程度。

结果发现了两条完全不同的曲线。

特权critic的预测优势是随着回答推进逐渐增大的,越写到后面,看过标准答案的critic预测得越准,跟普通critic的差距越拉越大。但那个偷看答案的助教却呈现出一条U形曲线,刚开始分歧很大,中间逐渐缩小,快结束的时候又猛然回升。

这个发现其实挺反直觉的。你可能会以为,既然都是"偷看了答案",那这份信息对两个角色的帮助应该是类似的趋势。但实际情况是,critic的受益随位置单调递增,而助教的分歧呈U形。这说明"偷看答案"这件事,对"预测结果"和"评判当前这一步"是两种完全不同性质的帮助,不能一概而论。

打个比方,这就像一个老师在批改作文。如果老师手里有一篇范文,他用这篇范文去判断"这篇作文最后能打多少分",文章写得越多,他对最终分数的判断就会越准,因为可比较的素材越来越多。但如果老师是在逐句点评"这句话写得好不好",一开始学生刚起笔,老师很容易看出跟范文的差距;写到中段大家套路趋同,分歧反而缩小;快写到结尾抛出结论的时候,范文和学生的处理方式又会出现明显分歧,老师的点评又变得尖锐起来。这两种"用范文"的方式,适用的阶段完全不同。

这个洞察直接启发了VASPO的核心设计:既然critic在后期更受益,助教在前期和末尾更有发言权,那就应该把这两种用法拆开,分别发挥各自的长处,而不是混在一起用一套逻辑处理。

VASPO怎么设计:一个学生,两个偷看答案的角色

VASPO全称"价值增强的自蒸馏策略优化"

VASPO:论文提出的核心方法,让一个privileged critic(特权价值模型)和一个self-teacher(自教师)同时读取相同的特权信息,在学生自己生成的回答前缀上分别工作,一个负责算分数基准,一个负责微调分数,最后合成给actor(学生/演员模型)使用的训练信号。

整个框架最关键的一条设计原则是,学生模型,也就是实际参与推理、生成答案的那个actor,自始至终只能看到题目本身,看不到任何标准答案或解法。偷看答案的权限只属于critic和self-teacher这两个辅助角色,它们在训练阶段"开小灶",但训练完之后,部署给用户用的只有那个一直"蒙眼做题"的学生模型。

这个设计思路很像体育训练中的影像分析师和陪练教练的组合。影像分析师拿着对手的详细资料和历史录像,专门预测"按这个选手现在的状态和打法,这一局赢面有多大",这对应critic的角色。陪练教练则拿着具体的技战术手册,看着运动员打的每一拍球,随时提醒"这一拍的站位不对",这对应self-teacher的角色。运动员本人上场比赛的时候,既不会带着对手的详细资料,也不会有教练在耳边实时提醒,他只能凭自己平时训练出来的本能去打。如果训练时运动员也能直接看资料,那场上一旦没有这些资料,他的真实水平根本无从验证,这就是为什么actor必须保持"干净"的输入。

接下来拆解critic和self-teacher具体怎么工作。

特权critic:预测的是"学生自己能走多远",不是"这步像不像答案"

这是整篇论文里我觉得最值得琢磨的一个设计细节。

特权critic的输入是学生写到目前为止的内容,加上标准解法和答案;但它的预测目标,不是"这一步跟标准答案像不像",而是"如果接下来让学生自己继续写,不借助任何外部帮助,他最终答对的概率有多大"。

这个区分非常重要。它意味着critic虽然偷看了答案,但它学习的任务始终锚定在"学生的真实能力"上,而不是"学生跟标准答案的相似度"上。论文里专门强调了这一点:一个被助教打了高分的token,并不代表学生真的能独立完成后续复杂的推理步骤。

这就好比你是个围棋教练,你手里拿着职业棋手的对局谱,用来判断"这个业余选手走到这一步,按他现在的水平和棋感,最终赢下这盘棋的概率有多大"。你不会因为业余选手某一步棋走得跟职业棋谱一模一样,就直接断定他赢面很大,因为他可能接下来完全守不住这个局面。你评估的是他本人真实的后续发挥,谱子只是帮你更准确地判断当前局面的复杂程度和得失,而不是拿来对照抄没抄对。

技术实现上,critic会在每一批新采集的学生回答上先做一次"预更新",用最新的学生真实结果去拟合,然后再重新计算一遍每个位置的价值估计,用这个刷新后的critic去算GAE优势

GAE:全称"广义优势估计",是PPO框架里用来计算每个token相对价值高低的标准技术,本质是把"这个位置预期能拿多少分"和"实际拿到多少分"做比较,差值越大说明这个位置的决策影响越大。

值得一提的是,论文做了对比实验,如果去掉这个"预更新"步骤,所有数学和逻辑推理测试的准确率都会下降。原因在于,助教的打分有时候会放大actor的更新幅度,如果critic还停留在旧的轨迹分布上没有及时校准,就容易和正在快速变化的策略模型"脱节",给出过时甚至误导性的参照值。

self-teacher:只敢在特定token上发言,而且发言的音量有上限

接着说self-teacher这个角色。它跟critic用的是同样一份特权信息,但做的事情完全不同:它直接给学生生成的每一个token打分,判断这个token跟看过答案之后"应该写"的token有多接近。

但这里有个关键限制,self-teacher不能随便对任何token发表意见。

VASPO设了一个双重门槛。第一道门槛是,只有那些critic已经判断为"正优势"(也就是这一步本身就值得鼓励)的token,self-teacher才有资格去调整它的权重。第二道门槛是,只有当self-teacher和学生之间的分歧大到一定程度(超过某个阈值)时,这个调整才会生效。

这个设计读起来有点像给建议设了"发言资格"。想象一个公司里,新来的实习生写了份报告,总监已经大致认可了方向(对应critic的正优势判断),这时候资深同事才会站出来,针对措辞细节提一些具体修改建议;但如果总监本来就觉得这个方向有问题,资深同事的措辞建议再好也没用,不会被采纳。而且只有当资深同事的意见和实习生写的差别足够大时,这个建议才值得专门拿出来说,如果大家本来写得就差不多,没必要每句话都插一嘴。

更进一步,即使self-teacher的建议通过了双重门槛,它能施加的影响力也是有上限的。论文用了一个"裁剪过的概率比值"来控制这个权重的波动范围,不能无限放大也不能无限缩小。论文做了消融实验验证这个裁剪宽度的选择,默认值设为0.2的时候效果最好,如果完全不裁剪(相当于关掉这层限制)或者把裁剪范围放得很宽(比如0.5),最终的AIME测试准确率反而都不如默认设置。这说明"过犹不及"是真实存在的,self-teacher的声音需要被适度收着用,放得太开反而会把训练带偏。

还有一个很容易被忽略但很重要的技术细节:无论self-teacher怎么调整,它施加的权重永远是正数,这保证了它不会把一个原本该鼓励的token,突然变成该惩罚的token,只能调整力度的强弱,不能反转方向。论文还专门测试了,如果在这之后再对整体优势值做一次"全局白化"(一种常见的归一化操作),反而会破坏这个"保号性",导致部分原本该鼓励的token因为减去了批次平均值而被误伤成负分,最终所有测试上的准确率都明显下降。这也是论文明确建议不要做全局白化的原因。

不给答案只给结果:这个设计到底解决了什么根本矛盾

回过头来看,VASPO真正要解决的矛盾是什么。

单纯靠RLVR,信号太稀疏,整条回答只有一个分数,没法细到每一步。单纯靠在线自蒸馏,信号虽然密集了,但这个密集信号是"像不像标准答案"而不是"学生真能走通这条路吗",容易学偏。单纯靠PPO的critic,虽然锚定在学生真实能力上,但critic自己要从零学起,前期预测可能很不准。

VASPO的解法是把这三者的优点拼在一起:用critic保证"奖励锚定在学生真实能力"这条底线不丢,用特权信息帮critic更快更准地学会预测,用self-teacher补充critic覆盖不到的token级细节,但给self-teacher的权力设上限,防止它把整个训练方向带偏。

这个思路某种程度上很像现实里"参谋"和"决策者"的关系。决策者(对应critic驱动的优势计算)要对全局结果负责,参谋(对应self-teacher)可以提供具体细节的建议,但最终拍板权始终在决策者手里,参谋的意见只能在决策者已经认可的方向上做微调,不能单方面推翻决策者的判断。如果反过来让参谋说了算,公司很可能因为某个细节建议听起来很专业就被带偏了方向,而实际上参谋根本不对最终结果负责。

实验结果:六个数学测试集,两种模型架构,全面超过PPO

说了这么多设计思路,实际效果怎么样。

论文在Qwen3-4B-Instruct-2507和OLMo3-7B-Instruct-DPO两个模型上做了实验,训练数据用的是完整的DeepMath-103K数据集(十万多道数学题),另外还在Knights and Knaves(骑士与无赖,一种逻辑推理谜题)数据集上做了测试。

数学推理这块,对比了六个基准测试,包括AIME2024、AIME2025、AIME2026、HMMT2025、Minerva Math和OlympiadBench。在Qwen3-4B上,VASPO的平均准确率达到53.17%,比PPO的50.58%高出2.59个百分点,比表现最强的基线DAPO(51.59%)还要高1.58个百分点。单看AIME2024这道硬骨头,VASPO拿到56.87%,比PPO的51.67%足足高出5.2个百分点。

换到OLMo3-7B上,趋势是一致的。VASPO平均33.42%,比PPO的31.61%高1.81个百分点,同样是所有方法里表现最好的。

值得一提的是,论文里提到的OPSD(纯粹的在线自蒸馏,不结合PPO的那种)在两个模型上都出现了明显的性能下滑,Qwen3-4B上只有34.80%,比vanilla(没训练过的初始模型)的49.76%还低了一大截。这个结果其实挺扎心的,证明了开头说的那个担忧是真实存在的:单纯依赖"偷看答案的助教"打分,如果没有一个锚定在真实结果上的机制去约束它,训练反而会把模型带偏,越训越差。

逻辑推理测试上,VASPO在Knights and Knaves数据集上同样拿到了最高的平均准确率60.81%,在训练范围内的4到8个角色谜题上表现最好(75.31%),在训练范围之外更难的10个和11个角色谜题上也保持领先,只在9个角色这一档被RLSD(另一个结合了师生信号的基线方法)小幅超过。不过论文也诚实地指出,逻辑推理这边的提升幅度比数学推理小,而且随着谜题规模扩大,所有方法的准确率都在往下掉,这说明VASPO并没有彻底解决"规模外推"这个更难的问题。

论文还用了一个叫explained variance(解释方差,衡量critic预测准确程度的指标,数值越高说明critic的预测越贴近真实结果)的指标,发现VASPO的critic在训练过程中一直领先于PPO的critic。这和前面的设计初衷是吻合的,特权信息确实让critic学得更准了。

消融实验:拆掉每一个零件,看看哪个最不能丢

论文做了相当细致的消融实验,一个个拆掉VASPO的零件看效果。

去掉特权critic,整个框架退化成纯粹的OPSD,数学平均分从56.28%暴跌到35.59%,逻辑推理从60.81%跌到23.30%,跌幅非常夸张。这说明critic这条PPO式的强化学习路径是整个方法的地基,没有它,剩下的部分根本撑不起来。

去掉self-teacher的调制功能,只保留纯粹的特权critic驱动PPO,数学平均分降到55.74%,逻辑推理降到59.65%,降幅比去掉critic小得多,但依然是实打实的下降。这说明self-teacher虽然不是地基,但确实起到了锦上添花的作用。

去掉token级别的筛选门槛,让self-teacher对所有token都能发言,不限制在"正优势且分歧够大"的那部分,数学平均分降到54.95%,逻辑推理降到59.60%。这证明"选择性发言"这个设计是有道理的,不加限制的调制反而会引入噪声。

把标准解法换成只给答案,不给具体解题步骤,各项成绩都明显下降(数学从56.28%降到54.59%),说明完整的解题过程比单纯的最终答案提供了更多有用的信息,这一点倒是符合直觉,毕竟一步步的推导本身就包含了大量中间信息。

这些消融实验拼起来,画出了一幅相当完整的图景:critic是骨架,self-teacher是肌肉,完整解法是营养,三者缺一不可,但重要性确实有主次之分。

三组数字之外,还有一个容易被忽视的发现

论文在后面做了一组独立的诊断实验,想搞清楚"特权信息到底有没有真的让critic变得更靠谱"。

他们冻结了一个训练好的Qwen3模型,让三种不同输入条件的critic(只看干净前缀的、额外看答案的、额外看完整解法的)去预测同一批独立采样出来的后续回答能不能答对。结果发现,看过完整解法的critic在explained variance和Brier score(一种衡量概率预测准确度的指标,数值越低越好)这两项指标上都表现最好,但在ECE(期望校准误差,衡量预测概率和真实概率是否匹配的指标)这一项上,反而是什么都没看过的干净critic表现最好。

这个发现挺有意思的,它说明"预测得更准"和"校准得更好"不是一回事。偷看过答案的critic确实能更准地猜出最终结果,但它给出的置信度数值本身可能存在系统性偏差,比如说它可能倾向于过度自信或者过度谨慎,即使猜测方向是对的。论文作者对此也挺坦诚,没有回避这个矛盾,而是明确指出"更准的点估计不代表整体上就更占优势"。

另外论文还发现,critic从特权信息里获益的程度,跟原始回答本身对错与否、长短也有关系。对于那些源头是错误答案的回答,critic在后期位置的改善幅度特别大;但对正确答案的回答,这个后期改善的区间甚至包含了零,统计上不算显著。这个细节提醒我们,一个方法整体数字好看,背后其实是不同子群体效果参差不齐叠加出来的结果,不能简单一概而论。

写在后面

读完这篇论文,我印象最深的其实不是最终那几个百分点的提升,而是那张画出critic收益和teacher分歧随位置变化的曲线图。两条完全不同形状的曲线,一条单调上升,一条U形,这个发现本身就足够有意思,它逼着研究者不能把"偷看答案"这件事当成一个笼统的、万能的trick去用,而是必须拆开来看,不同的用法在不同的阶段有完全不同的价值。

这让我想到一个更宽泛的问题:很多时候我们获得了"更多信息",但更多信息不等于更好的信息使用方式。同样一份参考答案,喂给负责预测结果的模块和喂给负责点评细节的模块,起作用的方式可能完全相反。这种对"同一份资源在不同角色手里效果不同"的敏感度,可能比单纯堆砌更多数据或者更大模型更值得琢磨。

论文里那个"校准没有变好甚至变差"的发现也挺诚实的,没有把一个方法包装成全面碾压,而是老老实实承认"预测准了但置信度没校准好"这件事依然存在。这种不回避矛盾的态度,在一篇讲究漂亮数字的论文里其实挺难得的。

一个留在脑子里没解决的问题是:如果让critic和self-teacher看到的"特权信息"不是固定不变的,而是随着训练过程动态更新,比如学生真的卡在某一类错误上时才专门补充针对性的解法细节,会不会比现在这种训练前就固定好信息的方式更高效?论文里明确说了,这个框架目前没法处理"回答已经写完之后才获得的新信息"该怎么反馈给更早的前缀,这恰恰是通往真正交互式学习、多轮对话场景的一道坎。

Q&A

Q1:VASPO是什么?

A:VASPO是中科大和科大讯飞研究院提出的一种训练推理模型的强化学习方法,核心是让一个特权价值模型和一个自教师模型共享同一份标准答案和解法,分别负责计算每一步的参照分数和微调这个分数,而实际生成答案的学生模型始终看不到任何标准答案,只能靠自己推理。

Q2:VASPO和传统的PPO、GRPO相比有什么优势?

A:在六个数学推理测试集上,VASPO在Qwen3-4B模型上平均准确率比PPO高2.59个百分点,在OLMo3-7B上高1.81个百分点,在Knights and Knaves逻辑推理测试上也拿到了最高平均分,主要原因是它把"偷看答案的点评"和"预测学生真实能走多远"这两件事拆开处理,避免了单纯自蒸馏方法容易学偏风格而不是学对内容的问题。

Q3:VASPO里的self-teacher为什么不能对所有token都发表意见?

A:论文设计了双重门槛,只有critic判断为正优势的token、且self-teacher和学生意见分歧足够大的token,self-teacher才有资格调整权重,而且调整幅度还有上限裁剪。消融实验显示,如果取消这个筛选门槛,数学和逻辑推理的平均准确率都会下降,说明不加限制的点评反而会引入噪声,带偏训练方向。

展开阅读全文

更新时间:2026-11-19

标签:科技   裁判   模型   老师   答案   学生   特权   助教   论文   解法   逻辑推理   真实   信息

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight All Rights Reserved.
Powered By 61893.com 闽ICP备11008920号
闽公网安备35020302034844号

Top