1. 项目概述长视野语言智能体的里程碑式策略学习最近在探索如何让基于大语言模型的智能体Language Agents去完成那些需要“走一步看十步”的复杂长程任务时我遇到了一个核心瓶颈策略学习Policy Learning的效率和稳定性。无论是让智能体规划一个多步骤的软件开发流程还是指挥它完成一个跨多个API调用的数据分析任务传统的强化学习或监督微调方法在长视野Long-Horizon场景下要么收敛缓慢要么干脆迷失在巨大的搜索空间里。这让我开始深入研究一种被称为“里程碑引导的策略学习”Milestone-Guided Policy Learning的框架它最近在学术界和工业界的原型系统中开始崭露头角旨在为语言智能体装上“路标导航系统”。简单来说这个项目的核心思想是模仿人类解决复杂问题的方式我们不会试图一口气从头想到尾而是先设定几个关键的中间目标里程碑比如“先完成数据收集”、“然后进行初步清洗”、“接着构建特征工程模型”最后才是“输出分析报告”。对于语言智能体而言这些里程碑就是由语言描述的子任务状态或关键决策点。通过显式地学习预测和抵达这些里程碑智能体可以将一个漫长的、充满不确定性的任务分解为一系列相对短视、更易管理和评估的片段从而极大地提升策略学习的效率和最终任务的完成率。这种方法特别适合当前基于大语言模型构建的自主智能体它们擅长理解和生成语言但在进行长序列的、依赖精确中间状态的动作规划时往往显得力不从心。结合最近社区里热议的GRPOGroup Relative Policy Optimization、GiGPOGradient-informed Group Policy Optimization等新型策略优化算法以及像BEACON这样的基准测试环境里程碑引导为我们提供了一条极具潜力的技术路径。接下来我将深入拆解这个框架的每一个环节分享我在复现和实验过程中的具体操作、踩过的坑以及一些个人心得。2. 核心思路与框架设计拆解2.1 为什么长视野任务是语言智能体的“阿喀琉斯之踵”要理解里程碑引导的价值首先得看清问题所在。基于大语言模型的智能体其策略可以简单理解为给定当前的环境状态通常以文本形式描述比如“当前目录文件列表”、“数据库查询结果”、“用户最新指令”模型输出一个动作也是一段文本如“运行命令ls -la”、“调用API X 并传入参数Y”。在短视任务中比如回答一个事实性问题或执行一条简单命令模型凭借其强大的语言先验知识往往能直接给出不错的结果。然而当任务需要连续执行数十甚至上百个动作才能完成且每个动作的结果都会影响后续状态时问题就复杂了信用分配困难在强化学习中最终的成功或失败奖励需要精确地回溯到导致这一结果的早期动作上。在长序列中这种信用信号会随着时间步衰减或混淆智能体很难知道究竟是哪一步做对了或做错了。探索空间爆炸可能的动作序列随着步数呈指数级增长。纯粹的试错式探索效率极低智能体容易在无关路径上浪费大量资源。监督信号稀疏只有在任务最终完成或彻底失败时才能获得一个明确的奖励信号。在漫长的中间过程中智能体如同在黑暗中摸索缺乏及时的反馈来调整行为。模型幻觉与累积错误语言模型本身存在“幻觉”生成看似合理但错误的内容倾向。在长序列中一个微小的错误动作可能导致后续状态完全偏离正轨而模型可能基于这个错误状态继续生成一系列看似合理但实际无效的动作形成错误累积。因此直接端到端地训练智能体策略去攻克长视野任务就像要求一个新手不看地图、不问路一次性从北京徒步走到广州成功率可想而知。2.2 里程碑引导为智能体绘制“认知地图”里程碑引导策略学习的核心创新在于它不再要求智能体直接学习从初始状态到最终目标的完整映射而是将其分解为两个更易学习的模块里程碑预测器Milestone Predictor这个模块负责“规划路径”。给定当前状态和最终任务目标它需要预测出一系列合理的中间里程碑。这些里程碑应该是具体的、可验证的、且能显著推进任务进程的状态描述。例如对于“搭建一个个人博客”的任务里程碑可能是“项目初始化完成”、“数据库连接配置成功”、“首页模板渲染成功”、“用户认证功能上线”。子策略Sub-policy或技能Skill这个模块负责“走好每一段路”。它专门学习如何从一个里程碑状态高效、可靠地抵达下一个里程碑状态。由于每个子任务相邻里程碑之间的视野相对较短其状态-动作空间更小信用分配更简单因此策略更容易学习和优化。整个框架的运行流程类似于一个分层状态机高层规划High-level Planning由里程碑预测器根据当前全局状态生成或选择下一个要达成的里程碑。底层执行Low-level Execution由子策略接管控制执行一系列具体动作直到环境状态满足当前里程碑的描述或触发某种终止条件如超时、严重错误。评估与更新当子策略成功抵达一个里程碑高层规划器会基于新的状态规划下一个里程碑如果失败则可以根据失败信息调整里程碑序列或子策略。这种设计的优势显而易见降低学习难度将复杂的长期任务分解为简单的短期任务。提供中间奖励成功抵达一个里程碑本身就可以作为一个稠密的奖励信号极大地缓解了稀疏奖励问题。增强可解释性与可控性我们可以直观地看到智能体的“思考过程”它计划先做什么再做什么并在关键里程碑处进行人工检查或干预。促进模块化与复用训练好的、用于连接特定类型里程碑的子策略可以像乐高积木一样被复用于其他具有类似子任务的任务中。2.3 与GRPO/GiGPO等现代策略优化算法的结合最近像GRPO和GiGPO这类算法在语言模型策略优化中受到了广泛关注。它们核心解决的是在离线或在线偏好数据上进行稳定、高效策略提升的问题。GRPOGroup Relative Policy Optimization它通过将样本分组在组内进行相对比较来计算优势函数减少了对方差估计的依赖相比传统的PPO近端策略优化在语言生成任务上通常更稳定。但在长视野任务中直接应用GRPO依然要面对前述的稀疏奖励和长程依赖问题。GiGPOGradient-informed Group Policy Optimization可以看作是GRPO的增强版它更巧妙地利用梯度信息来指导分组和优势估计旨在提升样本效率和策略改进的方向性。里程碑引导框架与这些优化算法是互补而非替代的关系。我们可以这样结合在子策略训练中应用GRPO/GiGPO对于“从里程碑A到里程碑B”这个相对短视的子任务我们可以收集智能体尝试解决该子任务产生的状态动作是否成功抵达B数据。利用GRPO或GiGPO我们可以非常高效地优化这个子策略因为奖励信号是否抵达B是稠密且及时的。训练里程碑预测器里程碑预测器本身也可以看作一个策略输出里程碑序列。我们可以用类似的方法优化它但其奖励信号更长期可能是整个任务的最终完成度或者是所有子策略执行效率的综合评价。这里也可以应用GRPO但需要精心设计用于评估里程碑序列好坏的奖励函数。这种结合使得整个系统既能享受分层分解带来的学习效率红利又能利用最先进的策略优化算法在每一个层级上进行精细调优。3. 关键技术环节实现详解3.1 里程碑的定义与表示这是整个框架的基石也是最需要领域知识的一环。里程碑定义得好不好直接决定了分解是否有效。1. 定义原则可观测与可验证里程碑必须对应环境状态中能够被明确检测到的变化。例如“文件config.yaml已生成且语法正确”是一个好里程碑而“代码结构优化完成”则过于模糊。原子性与必要性一个里程碑应该代表一个相对完整、不可再分在该任务层面的进展单元并且是抵达最终目标的必经之路。适中的粒度太粗的里程碑如“完成后端开发”对学习帮助不大太细的里程碑如“输入第10行代码”则会让规划变得繁琐失去分解的意义。通常一个里程碑应对应一个能让有经验的从业者感到“可以稍作休息”的节点。2. 表示方法里程碑本质上是状态描述。在实践中我主要采用两种方式自然语言描述最灵活与语言模型原生兼容。例如“当前工作目录下存在一个名为app.py的文件且其包含一个Flask应用对象app的定义。” 我们可以训练一个判别模型或使用大模型的零样本/少样本判断能力来验证状态是否满足该描述。结构化状态向量如果环境状态本身是结构化的如一组特征标志、键值对里程碑可以定义为某个特征子集达到特定值。例如在游戏环境中里程碑可以是{“has_key”: True, “door_unlocked”: False}。这种方式便于程序化验证。3. 如何获取里程碑专家定义对于特定领域如软件工程、科学实验流程可以由领域专家手动定义一套里程碑体系。这是最可靠但成本最高的方法。从演示数据中自动挖掘如果我们有一批人类或专家智能体成功完成任务的轨迹state-action sequence可以使用序列分割算法或变化点检测技术自动识别出状态发生显著、稳定变化的时刻将这些时刻的状态作为候选里程碑。例如在代码生成任务中每次成功通过一个单元测试或编译成功都可能是一个自然的里程碑。基于LLM的自动生成这是目前非常活跃的研究方向。给定任务目标提示大语言模型如GPT-4生成一系列可能的中间步骤或检查点。虽然生成的里程碑质量不一但作为一种低成本的数据增强或初始化手段非常有效。实操心得在项目初期我强烈建议从“专家定义”或“从高质量演示数据中挖掘”开始。这能帮助你建立起对任务分解的直觉。随后可以尝试用LLM生成来扩充里程碑的多样性但一定要辅以人工或自动化的验证过滤。一个常见的坑是LLM生成的里程碑可能逻辑上连贯但在实际环境中无法被可靠检测。3.2 里程碑预测器的构建与训练预测器的目标是f(当前状态 S_t, 最终目标 G) - 下一个里程碑 M_{t1}或者输出一个完整的里程碑序列[M_1, M_2, ..., M_k]。1. 模型架构选择序列到序列Seq2Seq模型这是最直观的方式将(S_t, G)作为输入序列直接生成描述下一个里程碑的自然语言文本。可以使用标准的Transformer解码器或者利用预训练的大语言模型进行微调。分类器/检索模型如果我们有一个预定义的、离散的里程碑库{M_1, M_2, ..., M_N}那么预测器可以建模为一个多分类模型根据当前状态和目标选择最合适的下一个里程碑。或者可以将里程碑库构建为向量数据库用当前状态的向量表示进行相似度检索。价值函数Value Function模型这是更强化学习风格的做法。我们为每一个状态里程碑对估计一个价值V(S, M)代表从状态S出发以达成里程碑M为子目标最终能获得的总期望回报。预测器则选择价值最高的那个里程碑作为下一个子目标。2. 训练数据与目标基于演示轨迹的监督学习如果我们有成功轨迹(S_0, A_0, S_1, A_1, ..., S_T)并且已经标注了其中的里程碑状态{S_{m1}, S_{m2}, ...}那么可以很容易地构造训练样本对于轨迹中的任意非终结状态S_t其“下一个里程碑”就是轨迹中在它之后出现的第一个里程碑状态。用这些(S_t, G, M_{next})样本来训练预测器。基于强化学习的优化将预测器视为高层策略其动作空间是里程碑离散或连续表示。奖励可以设计为每当底层子策略成功抵达一个里程碑就给予一个正向奖励如果子策略失败或超时则给予负奖励最终任务完成时给予一个大奖励。然后使用策略梯度方法如结合了GRPO思想的算法进行优化。这种方法能学习到更适应底层子策略能力的里程碑规划。3. 集成大语言模型LLM的零样本/少样本预测在训练数据不足或需要快速原型验证时可以直接使用强大的大语言模型如GPT-4、Claude-3作为零样本的里程碑预测器。通过精心设计的提示词Prompt让LLM根据当前状态和目标推理出下一个合理的步骤。虽然每次调用成本较高且延迟大但对于验证框架可行性和收集初始数据非常有帮助。# 一个简化的提示词示例用于代码生成任务 prompt_template 你是一个高级编程助手。你正在执行一个长程任务{final_goal}。 当前环境状态是 {current_state} 请根据当前状态和最终目标推理出接下来最应该立即达成的、具体且可验证的一个中间里程碑。 请仅输出这个里程碑的描述描述需要清晰到可以被另一个智能体或程序判断是否已达成。 例如“在项目根目录成功创建 requirements.txt 文件并包含‘flask2.0.0’依赖项。” 下一个里程碑是 # 调用LLM API获取预测结果 next_milestone call_llm_api(prompt_template)注意事项训练里程碑预测器时一个关键点是泛化性。我们希望预测器不仅能复现演示数据中的路径还能在遇到新情况、新状态时规划出合理的里程碑。因此训练数据需要尽可能覆盖多样的任务起点和中间状态。数据增强如随机扰动状态描述和引入随机性如epsilon-greedy探索在收集训练数据时很重要。3.3 子策略的学习与优化子策略π_sub(A | S, M_target)负责实现具体的“段内导航”。它的学习是框架中相对标准但至关重要的部分。1. 学习范式离线强化学习Offline RL如果我们有大量从旧策略或人类演示中收集到的、用于解决各类子任务的(S, A, S, M_target)数据可以使用离线RL算法如IQL、CQL来训练子策略。这能充分利用历史数据但可能受限于数据分布。在线强化学习Online RL让智能体在环境中主动尝试完成“从当前S到目标M”的子任务收集交互数据并用在线算法如PPO、GRPO更新策略。这能探索更优策略但需要处理探索-利用的权衡。模仿学习Imitation Learning如果我们有子任务层面的专家演示即如何从某个状态抵达某个里程碑可以直接进行行为克隆Behavior Cloning。这种方法简单直接但依赖于高质量的演示数据且可能无法超越专家。2. 使用GRPO/GiGPO优化子策略GRPO类算法特别适合这里因为子任务通常能产生大量相对同质的轨迹都是尝试达到同一个里程碑便于分组比较。具体操作流程如下数据收集使用当前子策略π_old在多个并行环境中执行“尝试达到里程碑M”的任务收集一批轨迹τ。每条轨迹最终会得到一个结果成功奖励1或失败奖励0或-1。分组与优势估计将收集到的轨迹按照其最终结果成功/失败或更细粒度的指标如完成步数进行分组。在每组内部计算每个动作的相对优势。GRPO的核心思想是在成功组里的动作平均来说应该比失败组里的动作有更高的优势而不需要精确估计每个状态的价值函数。策略更新基于计算出的优势估计构造一个策略梯度目标并添加必要的约束如KL散度约束来防止策略更新过快然后更新策略参数得到π_new。3. 技能Skill的抽象与复用一个更高级的思路是将子策略抽象为“技能”。技能是具有明确接口输入状态、输出动作序列、终止条件的可复用模块。例如“创建文件”、“安装包”、“调用REST API”都可以是技能。一旦我们通过上述方法训练好了一个用于“创建包含特定内容的文件”的技能任何需要此步骤的任务都可以直接调用它无需重新学习。这极大地提升了系统的模块化和效率。实操心得在实现子策略时奖励设计是门艺术。对于“抵达里程碑”这个目标除了二元的成功/失败奖励加入一些塑形奖励Shaping Reward可以大幅加速学习。例如奖励智能体的动作使当前状态的特征向量更接近目标里程碑的特征向量基于某种距离度量。但塑形奖励要小心设计避免引入“奖励黑客”Reward Hacking即智能体找到一种不真正达成目标但能骗取高奖励的方式。3.4 整体系统的协同训练与执行流程将里程碑预测器和子策略组合成一个能协同工作的系统有两种主要模式1. 分阶段训练Two-stage Training阶段一训练子策略库。针对一组预定义的、常见的里程碑对(M_i, M_j)分别训练好对应的子策略π_{i-j}。这些子策略构成了一个“技能库”。阶段二训练高层规划器里程碑预测器。固定子策略库将高层规划器作为一个“技能选择器”来训练。它的动作是选择下一个要执行的技能或对应的目标里程碑。训练时规划器调用固定的子策略来执行并根据子任务完成情况和最终任务完成情况获得奖励。这种方法解耦了训练更稳定但前提是子策略库要足够丰富以覆盖任务需求。2. 联合训练Joint Training高层规划器和子策略同时进行训练。规划器动态地提出里程碑子策略尝试去实现两者根据共同的环境反馈进行更新。这种方法理论上能学到更协同、更适应的行为但训练动态更复杂容易不稳定。通常需要采用课程学习Curriculum Learning从简单的任务和里程碑开始逐步增加难度。3. 在线执行时的回退与重规划机制在实际部署中系统不可能永远正确。必须设计鲁棒的执行流程里程碑验证子策略声称达到某个里程碑后必须有一个独立的验证模块来检查当前状态是否真正满足里程碑描述。如果不满足则判定子任务失败。子任务失败处理当子策略多次尝试仍无法达成某个里程碑时高层规划器需要能够“回退”或“重规划”。例如它可以尝试选择一个更简单、更近的里程碑作为垫脚石或者完全重新规划一条新的里程碑序列。人类在环Human-in-the-loop在关键决策点或多次失败后系统可以暂停并向人类操作者请求指导例如询问下一个里程碑应该是什么或请求演示如何完成当前子任务。这些交互数据又能反过来用于改进预测器和子策略。4. 实验配置、评估与问题排查4.1 实验环境搭建与基准选择为了验证框架效果需要一个支持长视野、可编程的环境。BEACON是一个新兴的、备受关注的基准测试套件专门用于评估语言智能体在复杂、多步骤任务上的能力。它通常包含一系列需要长期规划和工具使用的任务如数据分析流水线构建、复杂系统故障排查等。1. 环境配置要点状态与动作空间确保环境能以文本形式或能被编码成文本的结构提供丰富的状态信息。动作空间应允许智能体执行一系列基础操作如文件操作、Shell命令、API调用。奖励函数环境需要提供最终任务完成奖励最好也能提供一些中间奖励如子任务完成用于塑形。可验证性环境需要有能力自动判断某个里程碑是否被达成。这通常需要为每个预定义的里程碑编写一个验证函数。2. 基线模型对比为了证明里程碑引导框架的有效性需要与以下基线进行对比端到端强化学习使用PPO、GRPO等算法直接训练一个策略输入是原始状态输出是原始动作不进行任何分层。行为克隆BC在专家演示数据上直接进行监督学习。其他分层RL方法如HIRO、Option-Critic等经典分层强化学习方法但需适配语言智能体的设定。4.2 训练流程与关键参数以下是一个基于分阶段训练的简化流程和关键参数考量阶段一子策略技能库训练数据收集对于每个目标里程碑M使用一个随机策略或简单启发式策略在环境中尝试从各种起始状态抵达M。收集成功和失败的轨迹。GRPO训练配置分组策略按轨迹最终是否成功分组是最简单的。更精细的可以按完成时间分组如快、中、慢。优势计算在组内可以使用轨迹的回报可能是塑形奖励之和作为优势的基准。GRPO通过组内归一化等方式计算相对优势。策略网络通常基于一个预训练的语言模型如CodeLLaMA、StarCoder进行微调。输入是[状态描述] [目标里程碑描述]输出是动作命令或代码的概率分布。关键超参数学习率通常很小如1e-6到1e-5因为是在微调大模型。批次大小与序列长度需要根据GPU内存调整。处理长序列时可能需要采用梯度检查点。KL散度系数用于约束新策略与旧策略或参考预训练模型的偏离程度防止灾难性遗忘。这是GRPO/PPO类算法的核心参数需要仔细调优。GAE参数用于估计优势影响策略更新的偏差-方差权衡。阶段二高层规划器训练固定技能库使用阶段一训练好的子策略作为可调用技能。规划器模型同样可以基于一个语言模型输入[当前状态] [最终目标]输出下一个目标里程碑的标识符或描述。训练循环在环境中启动一个任务。规划器根据当前状态和最终目标选择下一个里程碑M_next。调用对应的子策略π(S, M_next)执行直到子策略成功、失败或超时。记录子任务结果更新当前状态。重复上述步骤直到任务完成或失败。根据整个过程的最终结果和可能的中间奖励计算规划器的奖励用策略梯度方法更新规划器。4.3 常见问题与排查技巧实录在实际复现和实验过程中我遇到了不少典型问题以下是排查思路和解决方案的记录问题1子策略训练不稳定奖励曲线震荡剧烈。可能原因GRPO中的分组策略不合理或优势估计方差太大学习率过高KL散度系数设置不当。排查与解决可视化分析绘制每批数据中成功组和失败组的平均回报。如果两组差异不明显说明分组无法有效区分动作好坏需要调整分组依据例如使用更细粒度的回报分段。调参逐步降低学习率。同时尝试增大KL散度系数这会强制策略更新更保守减少震荡。增加基线在计算优势时除了组内相对比较可以引入一个可学习的价值函数基线Value Function Baseline来降低方差。虽然GRPO旨在减少对价值函数的依赖但在极度不稳定时加入一个简单的线性价值函数头可能会有帮助。检查数据确保子任务本身是“可学习的”。如果从某些状态到达目标里程碑本身就是近乎不可能的那么失败数据会污染训练集。可以考虑过滤掉起始状态离目标太远的样本或采用课程学习从简单的子任务开始。问题2里程碑预测器总是预测出相同或无效的里程碑。可能原因训练数据多样性不足奖励函数设计不合理导致模型陷入局部最优模型容量不足或过拟合。排查与解决数据增强对训练数据中的状态描述进行随机同义词替换、添加无关信息等增强模型的泛化能力。探索激励在规划器训练时引入熵奖励Entropy Bonus鼓励其探索不同的里程碑选择。奖励重塑检查奖励函数。如果只有最终成功才有大奖励规划器可能因探索成本高而变得保守。考虑为探索新的、未尝试过的里程碑路径给予小额正向奖励。模型诊断查看规划器在验证集上的表现。如果它在见过的状态上表现好在新状态上差可能是过拟合需要更多数据或更强的正则化如Dropout。如果普遍差可能需要更大的模型或更复杂的架构。问题3系统在测试时陷入循环比如在两个里程碑间来回切换。可能原因里程碑定义存在歧义或重叠子策略的终止条件不明确规划器缺乏历史记忆。排查与解决里程碑去重与清晰化审查里程碑定义确保它们彼此互斥且覆盖的状态空间无重叠。验证函数需要非常精确。为子策略添加终止条件除了“达成目标”子策略还应有明确的失败条件如最大尝试次数、超时时间。一旦触发失败条件应立即退出并将控制权交还给规划器并附带失败信息。为规划器添加状态记忆让规划器的输入包含最近几次尝试的里程碑历史。这可以通过在输入中拼接历史文本或使用具有循环结构如Transformer with memory的模型来实现防止其重复做出导致循环的决策。问题4如何处理未见过的或模糊的初始状态可能原因训练数据未覆盖所有可能的初始状态任务目标描述本身模糊。解决策略零样本规划当遇到全新状态时可以临时启用一个大语言模型如GPT-4作为“备用规划器”根据当前状态和目标生成一个里程碑序列然后交给系统执行。执行成功后这条轨迹可以作为新数据加入训练集。状态泛化在训练时对状态描述进行抽象。例如不具体说“文件main_old.py存在”而说“存在一个名称包含main和.py的文件”。这要求验证函数也能处理这种抽象描述。主动查询让系统具备向环境或用户询问以澄清模糊性的能力。例如当目标不明确时可以生成澄清性问题。5. 进阶优化与未来方向探讨在基本框架跑通之后我们可以从以下几个方向进行深度优化这也是当前研究的前沿。5.1 动态里程碑与课程学习静态的、预定义的里程碑库可能无法适应所有任务。更先进的系统应该能动态生成里程碑。基于LLM的实时生成在任务执行过程中规划器不仅选择里程碑也可以在需要时实时调用LLM生成一个全新的、适合当前情境的里程碑。这需要强大的LLM和精妙的提示工程。课程学习Curriculum Learning从简单的任务和明显的里程碑开始训练系统。随着智能体能力的提升逐步引入更复杂的任务和更抽象、更难以验证的里程碑。例如先学习“创建文件”、“编辑文件”等具体技能再学习“实现一个函数功能”这种更高级的里程碑。5.2 技能发现与自动分层与其手动定义子任务和技能能否让智能体自己发现有用的技能抽象这是分层强化学习HRL的核心问题。时序抽象通过分析状态序列自动发现那些经常重复出现的、起始和结束状态明确的子序列将其标记为“选项”Option或“技能”。目标条件策略训练一个通用的目标条件策略π(A|S, G)其中G可以是任何状态描述。然后通过优化技术自动发现哪些G即哪些潜在里程碑能使得策略在解决长期任务时获得高效分解。这通常涉及互信息最大化等目标。5.3 与反思Reflection和工具学习Tool Learning的结合里程碑引导框架可以很好地与另外两个提升语言智能体能力的技术结合反思Reflection在完成一个子任务或遭遇失败后让智能体或一个专门的反思模块以文本形式总结刚才发生了什么、为什么成功/失败、学到了什么。这段反思文本可以作为额外信息输入到后续的规划中实现经验积累。工具学习Tool Learning许多长视野任务需要调用外部工具搜索引擎、计算器、API。子策略可以专门学习如何正确、高效地使用这些工具。里程碑则可以定义为工具调用的成功结果如“获取了关于X的10条最新信息”、“计算出了Y的数值解”。5.4 对GRPO/GiGPO等算法的针对性改进思考虽然GRPO/GiGPO在策略优化上表现优异但在长视野、稀疏奖励的场景下仍有局限。结合里程碑框架我们可以设想一些改进分层GRPO在高层规划器和底层子策略分别应用GRPO但设计一个协调机制让高层策略的更新能考虑到底层策略的学习进度反之亦然。基于里程碑的优势估计在计算优势时不仅考虑最终回报更考虑当前动作对达成“下一个近期里程碑”的贡献。这需要能估计状态/动作与里程碑的相关性。探索引导利用里程碑预测器的不确定性来引导探索。如果规划器对下一个里程碑的选择非常不确定系统可以主动选择探索那些不确定性高的路径以收集信息来改进预测器。在我自己的实践过程中最大的体会是**“先搭骨架再填血肉”**。不要一开始就追求全自动的动态里程碑和技能发现。从一个小的、定义清晰的领域开始手动设计一套合理的里程碑和验证函数训练好几个核心子策略让整个闭环先跑起来。这个过程中获得的直觉——比如什么样的里程碑是“好”的子策略训练需要多少数据规划器容易在什么地方出错——是无价的。之后再逐步用更自动化的组件如LLM生成里程碑、自动技能发现去替换手动部分并设置严格的评估来验证每次替换是否真的带来了提升。长视野语言智能体是一个系统工程里程碑引导提供了一个强大而直观的框架但将其成功应用于实际问题依然离不开细致的工程实现和持续的迭代调优。