这项由香港创新科技及工业局人工智能与机器人研究所HKISI-CAS、中国科学院自动化研究所、中国科学院大学以及南京理工大学联合开展的研究于2026年7月2日发布在arXiv预印本平台论文编号为arXiv:2607.01763v1有兴趣深入了解的读者可以通过该编号查询完整论文。**当拼命学新技能遇上记忆力急剧下滑的两难困境**假设你正在辅导一个孩子学习新知识。孩子有两种学习方式第一种是让孩子自己先做一遍题你看着他的答题过程只在最终对错上给出反馈第二种则是直接拿着满分答卷手把手地、从每一个字每一个步骤都细细地临摹给他看要求他一字不差地跟着抄写。直觉上第二种方式学得更扎实——毕竟连过程都照着来了哪有不会的道理然而这项最新研究却发现这种临摹满分答卷的学习方式反而会让孩子在学完新内容后更彻底地忘记以前学过的其他知识。更令人担忧的是在极端情况下孩子甚至会完全崩溃以后什么都学不进去。这个比喻正是当今AI大语言模型Large Language Models简称LLMs训练领域一个真实存在的困境的缩影。研究团队针对一种叫做自蒸馏策略优化SDPO的训练方法展开了系统性研究对比了它与更传统的序列级强化学习方法GRPO在让AI持续学习新技能时的表现差异。他们的发现彻底推翻了此前学界流行的一个乐观预判。**一、 AI的连续复习困境以及我们为何曾经错误地乐观**要理解这项研究先得搞清楚AI大模型训练中一个核心挑战**持续学习中的遗忘问题**。现实中一个好用的AI助手不能只会数学也要懂编程、会科学问答、还能使用各种工具。这就要求对AI进行分阶段、跨领域的连续训练——先训练数学再训练科学再训练工具使用依此类推。但这里有个致命的陷阱当AI学完新技能后往往会把以前学过的旧技能忘掉就好比你学了一门新语言结果母语都开始磕磕绊绊了这在AI领域被称为灾难性遗忘。近几年研究者发现采用强化学习的方式训练AI让AI自己生成回答然后根据对错给出奖励比直接喂给AI大量标准答案的传统方式即监督微调造成的遗忘要少很多。这带来了一种乐观的想法如果这种训练的保守性来自于它使用了AI自己生成的数据那么只要数据来自AI本身这种保守性就应该普遍存在。正是在这个逻辑下一类叫做在线自蒸馏的方法开始流行。这类方法的基本思路是不需要一道题答对了才给奖励而是让AI在看到更多信息比如正确答案的情况下生成一个信息更充分的教师回答然后要求AI本身作为学生的每一个字、每一步推理都紧紧跟随这个教师的做法。这样原本稀疏的对或错反馈变成了密密麻麻的逐字指导——理论上学得更快、更细。然而这项研究的团队抱着一个关键疑问数据来自AI自身就真的足以保证学新不忘旧吗**二、 字字监督与最终对错两种截然不同的训练哲学**为了彻底搞清楚这个问题研究团队设计了一个系统性的对比实验把AI的训练分成了两个核心方法。第一种是GRPO组相对策略优化可以理解为最终结果评分模式。教练训练程序先让AI做一批题每道题AI自己写出答案最后只根据答案对不对来打分然后告诉AI这道题你做得比平均水平好一些那道题差一些AI据此调整自己的策略。整个过程像期末考试——只看最终成绩。第二种是SDPO自蒸馏策略优化则是逐字逐句临摹模式。同样让AI先自己生成一个回答但与此同时再给AI看同一道题配上正确答案这就是更多信息让AI在拥有作弊条的情况下再生成一个更好的教师回答。然后训练过程要求AI的学生自答版本中的每一个词的概率分布都尽可能接近教师回答版本中对应位置的概率分布。这就把原本一道题只有一个对/错信号变成了成百上千个词级别的精细信号。研究团队在四个不同能力领域依次训练AI数学推理、科学知识、工具使用、代码编写然后在每个阶段后都测试AI在所有领域包括从没专门训练过的陌生领域的表现。他们测试的基础模型包括了阿里巴巴的Qwen3系列和美国艾伦人工智能研究院的OLMo-3系列。**三、 更努力的学生在期中考试大放光彩却在期末考试一败涂地**实验结果让研究团队既兴奋又警惕因为两个方法的表现呈现出一种戏剧性的分裂。在每个领域刚训练完时SDPO确实厉害得多。以数学训练阶段为例SDPO训练完的AI在AIME美国邀请数学竞赛题目上的正确率达到了56.42%而GRPO方式只有44.67%。科学领域训练后SDPO同样以65.70%对56.39%领先。这就是那个刚学完马上考逐字临摹的学生分数更高的效果。但当四个领域全部训练完再回头测验时画面完全翻转了。SDPO训练完的AI数学正确率从最高峰的56.42%跌回了34.38%工具使用能力从刚训练完时的还凑合直接跌到了9.93%——几乎退化到不会用工具的程度。更糟糕的是SDPO还拖累了那些根本没有专门训练过的能力逻辑推理和知识问答都跌到了基础模型水平以下。反观GRPO虽然每次期中考试成绩都不如SDPO但四轮训练结束后所有测试领域的成绩都比最初的基础模型有所提升。它的提升不够快但每次提升都能稳稳保住不会被之后的训练冲垮。这个差异揭示了一个关键事实能快速掌握当前任务和能在学了很多新任务后还保住旧技能是两件完全不同、甚至可能相互矛盾的事情。**四、 密集监督的隐患当好老师变成制造噪音的机器**研究团队并不满足于记录这种表现差异他们深挖进去想弄明白SDPO为什么会出现这个问题。他们发现SDPO的核心缺陷藏在它最引以为傲的逐字监督机制里。首先是教师的新鲜度与稳定性两难问题。在SDPO的设计里教师那个看过正确答案的版本可以随着训练进行而不断更新让教师始终跟上学生的进步——这听起来很合理。研究团队为此测试了不同的教师更新速度从完全冻结不变α0到每次训练都有5%的幅度向学生靠拢α5%。结果发现没有任何一个更新速度在所有任务上都是最优的。更新太慢教师会逐渐过时给出的指导越来越跟不上学生的实际水平更新太快α5%教师就像一个随着学生状态不断抖动的风向标每一步的变化都会被学生吸收最终导致训练崩溃——就像两面镜子相对会产生无限叠加的杂像。研究团队提出了一个折中方案周期性地把教师完全同步到学生的当前状态然后在一段时间内彻底冻结。这种定期刷新、区间冻结的策略命名为StableSDPO确实比纯粹的快速更新好很多但它只是减少了伤害并不能从根本上解决问题。其次是思维链蒸馏带来的意外危害。思维链CoT是让AI在给出最终答案前先写出一步步的推理过程。很多人认为把这些推理步骤也纳入逐字监督能让AI学到更多。研究团队专门测试了仅蒸馏最终答案和连推理过程一起蒸馏两种模式。对于工具使用类任务——这类任务的思考过程格式固定、步骤清晰——连推理一起蒸馏确实有帮助。但对于数学和科学类任务情况恰恰相反。数学题的推理过程往往很长充满了等一下让我再想想式的自我校正、模糊的中间步骤甚至偶尔的错误推断。把这些不可靠的中间过程也作为金标准强迫AI去临摹不仅没有帮助还会让AI生成的回答越来越长、越来越混乱最终导致性能下滑。**五、 为什么密集学习会伤害陌生考场上的表现**研究团队还发现了一个精妙的规律SDPO训练对AI的伤害并非简单地学什么忘什么也不是学什么都忘而是呈现出一个奇特的距离相关性。他们用一种叫做最大均值差异MMD的数学工具来测量不同考试任务在题型分布上的相似程度——简单来说就是量化两个领域的八字合不合。结果显示SDPO训练对AI表现的影响形成了一条倒U形曲线。和训练领域高度相似的任务AI的表现往往有所提升因为学到的新技能可以直接迁移过来。和训练领域完全不同、风险上八竿子打不着的任务因为学新技能时的参数调整根本没怎么触碰到它所以也基本不受影响甚至略有提升。最危险的是那些不远不近的中间地带任务——它们和训练领域有一些相似之处所以训练过程中的参数调整会波及到它们但又没有相似到能直接从中受益。研究中GPQA一个研究生级别的综合科学问答测试就是这个中间地带受害者的典型代表无论AI在数学、科学还是工具使用上接受SDPO训练GPQA的成绩都会下滑尽管GPQA并不是任何训练阶段的直接目标。这个规律在学界被称为干涉区interference zone此前在理论研究中曾被预测过而这项研究是在真实大语言模型的持续训练实验中第一次清晰观察到这种模式。**六、 参数漂移与崩溃用显微镜看AI大脑内部发生了什么**为了从机制层面理解为什么SDPO训练会有这么强的副作用研究团队开展了一系列AI大脑内部解剖实验用数学工具追踪了每一层神经网络权重在训练过程中的变化。他们用奇异值分解SVD这个数学工具把AI每一个神经元矩阵拆解成若干个方向向量和强度值然后追踪这些方向和强度在训练前后的变化幅度。这就好像在观察一块橡皮泥的形变不仅看它整体有没有变形还要看它的主轴方向有没有转动、最重要的部分有没有被动到。结果非常清晰在所有测试的训练方式中GRPO对AI参数的改动最小就像用铅笔轻轻描了一遍SDPO尤其是连推理步骤都蒸馏的版本的改动则相当于用橡皮大力涂抹了好几遍不仅幅度更大而且改动的位置正好是AI最核心、最重要的那些主轴参数。这种大幅度的内部改写在学新任务时带来了更快速的适应但同时也把旧技能赖以存在的参数结构破坏得更彻底。与此同时研究团队还分析了AI生成的回答在语义层面的变化——用一个叫做文本嵌入的工具把AI的每个回答转换成一个多维空间中的坐标点通过测量训练前后坐标点的移动距离来评估AI回答风格和语义的漂移程度。SDPO训练让AI的回答坐标移动得更远而且移动的分布更加分散——这说明SDPO不只是让AI在对的地方更对而是从根本上重塑了AI思考和表达问题的方式这种全面重塑在面对熟悉任务时是优势在面对其他任务时却成了包袱。最极端的崩溃案例来自快速更新教师版本α5%的连续训练实验。在从科学知识训练切换到工具使用训练时AI突然陷入了一种特殊的死循环它开始不停地输出重复的\boxed字符——这是数学题答案的格式标记——无论面对什么问题都输出这一串毫无意义的符号。这种崩溃可以从训练曲线上清晰看到JS散度一个衡量教师和学生输出差异的指标在切换任务后的最初几步内就直接降到了零意味着AI完全停止了自我探索完全被一种重复的格式模式锁死了。研究团队把这种现象命名为确认偏差循环学生输出了一个重复的格式教师因为和学生高度同步也认可了这个格式于是下一步更新时这个格式得到了进一步强化如此循环形成了一种无法自行纠正的正反馈死锁。**七、 用数学证明在线数据≠不遗忘**这项研究最令人印象深刻的部分是它不仅仅靠实验结果说话还提供了一个严谨的理论证明从数学层面解释了为什么数据来自AI自身并不足以保证不遗忘。这里需要引入一个思维框架。研究团队证明了当AI被要求以某种成功率去完成新任务时存在一个理论上最理想的更新方式叫做成功匹配剃刀策略Razor Policy。这个最理想策略有一个特性在保证AI完成新任务的前提下它对AI原有参数的改动是最小的——就像一把剃刀精准地只切掉需要改动的部分其他地方完全不碰。GRPO这类基于最终奖励的强化学习方法其实在数学上近似于向这个最理想最小改动策略靠拢——每次更新都倾向于在完成任务和改动最小之间找到最佳平衡点这正是它学慢但记得住的根本原因。而SDPO的情况则完全不同。SDPO逐字追随的是教师版本的概率分布——这个分布是AI在看到正确答案后生成的它确实比纯凭猜测的输出质量高但它并不等同于那个最小改动的理想策略。教师版本会带入特定的推理风格、格式偏好甚至一些并非必要的语言习惯。研究团队从数学上证明这些额外的不必要的差异会以一种可量化的方式累积成额外的参数漂移而这种额外漂移正是额外遗忘的根源。用论文中的正式语言来说SDPO的在线数据保证了监督是在AI自己生成的历史上施加的但施加的方向即教师的逐词分布并不是KL散度意义上的最优方向二者之间的差距就是多余的遗忘的来源。**八、 结论不是越细越好而是要有选择地细**归根结底这项研究想说的不是SDPO这类方法没有价值而是它价值的边界在哪里以及为什么我们不能把它当成持续学习的万能解药。当训练任务结构清晰、正确答案格式固定、教师信号稳定可靠时SDPO确实是一把利器——它能让AI在新领域迅速飞奔。工具使用训练就是这种情况的典型格式规范步骤明确教师信号可靠SDPO带来的密集监督真实有效。但当训练任务充满长篇推理、不确定中间步骤、或者需要在多个领域之间持续切换时SDPO就变成了一个潜在的危险工具。它的密集信号会把噪音放大得和有效信息一样响会让AI的参数过度重塑会在学新技能的同时冲刷掉旧能力甚至在极端情况下彻底崩溃。所以这项研究最重要的启示是持续训练AI时那种学了就能立刻在当前考题上大放异彩的训练方式和经过长期多领域训练后综合能力依然扎实的训练方式是两个不同的目标需要不同的策略。当下的技术路线如果追求的是后者应当更审慎地使用密集自蒸馏对教师更新策略进行严格控制并在训练过程中对不同类型的词元尤其是格式词元实施区分对待。研究团队指出未来的方向不是把信号做得更密而是把信号做得更精准、更稳健、更有选择性。如果你对这个话题充满好奇想了解更多细节可以在arXiv平台上搜索编号arXiv:2607.01763v1阅读完整论文。QAQ1SDPO自蒸馏策略优化和GRPO组相对策略优化到底有什么区别AGRPO只在AI最终给出的答案上打分类似于只看期末考试成绩SDPO则要求AI的每一个词都紧紧跟随一个看过答案的教师版本监督密度要密集得多。这种密集监督让AI在刚学完新任务时表现更强但长期多领域持续训练后SDPO造成的遗忘更严重甚至可能导致完全崩溃而GRPO虽然进步慢但保住旧能力的能力更强。Q2SDPO训练崩溃时具体发生了什么A研究中记录的最极端崩溃案例是AI在完成工具使用任务的训练时突然开始不停地重复输出\boxed符号——这原本是数学答案格式标记。无论面对什么问题AI都只输出这串符号。这是一种确认偏差循环快速更新的教师不断强化了这个格式习惯形成了正反馈死锁最终导致AI完全丧失正常输出能力所有任务准确率归零。Q3思维链蒸馏为什么在数学训练中反而有害A数学推理过程往往很长包含大量不确定的自我修正和可能出错的中间步骤这些步骤与最终答案的正确性之间关联并不稳定。当SDPO把这些不可靠的推理过程也作为金标准强制AI去逐字模仿时AI反而学到了许多噪音和格式习惯而不是真正的解题能力。研究结果显示对数学和科学任务加入思维链蒸馏后AI的回答变得更长、更混乱最终性能不升反降。