一、研究问题与动机核心挑战大型语言模型LLM的复杂推理能力高度依赖于高质量、高难度且可验证的训练数据。然而传统数据获取途径存在根本性瓶颈人工标注成本高昂、难以规模化现有合成方法面临两难困境保证结构有效性会限制问题复杂度追求高难度又易导致逻辑不一致或问题不可解强化学习RL虽能有效提升推理能力但其效果高度依赖可验证的环境反馈即需要大量高质量训练信号。核心洞察论文认为推理性能的瓶颈不在于模型参数规模而在于高质量训练信号的密度。少量高精度的合成数据可有效替代大规模低质量数据集。二、核心方法Agentic Proposing 框架论文提出Agentic Proposing——一个将问题合成建模为目标驱动的序贯决策过程的自主框架。其核心理念是将复杂推理分解为可组合的原子技能由专用代理通过动态选择与编排这些技能来合成逻辑严谨、难度可控的问题。2.1 三大核心创新创新点说明可组合代理技能将问题构建逻辑分解为原子推理模块技能每个技能编码推理意图、构建方法、难度效应和工具使用提示代理式闭环合成流程代理通过草稿 → 检查 → 优化 → 定稿的迭代循环结合内部反思和工具调用自主审计并修正错误多粒度策略优化MGPO针对数据提出代理定制的RL算法通过轨迹级和阶段级双重优势估计实现细粒度信用分配2.2 三阶段训练流程技能获取Stage 1从大规模语料库中利用教师模型提取、过滤并形式化原子技能构建自主技能库 Kself支持动态剪枝机制以移除不适配技能。代理式监督微调Stage 2通过行为克隆模仿专家轨迹含内部反思、工具调用等复杂行为初始化代理策略 πref。代理式强化学习Stage 3采用MGPO算法进一步优化策略引入基于课程的技能分布动态聚焦弱项技能和分层奖励函数区分逻辑有效性与难度使代理合成高精度、高难度问题。三、关键技术细节3.1 问题形式化将问题合成建模为部分可观测马尔可夫决策过程POMDP因为问题的逻辑可解性是潜在状态需代理通过工具和内省反思主动探测。动作空间分为三类认知动作内部反思、交互工具代码执行、技能剪枝、终止提交输出最终问题。3.2 MGPO 算法核心多粒度优势估计融合轨迹级终端奖励和阶段级过程奖励解决长序列稀疏奖励问题。零和加权性质通过构造中心化优势与隐式奖励之差消除难以计算的配分函数。非对称门控机制使用双曲正割门对正负权重差异化衰减提升训练稳定性。四、实验设置基准模型基于 Qwen3-4B/30B 作为下游求解器Agentic-Proposer-4B 作为专用提出代理。评估基准涵盖三大领域——竞赛数学AIME24/25、HMMT、AMO-Bench、算法编码LiveCodeBench v5/v6、科学推理MMLU-Redux/Pro、GPQA、SuperGPQA、OlympicArena。对比基线包括 MetaMath、WizardMath、PromptCoT、NuminaMath、MathSmith 等合成方法OpenR1、DeepMath、Polaris 等人工策划数据R-Zero、Socratic-Zero 等自我对弈方法以及 GPT-5.2、Claude-4.5 等前沿模型生成的数据。严格公平对比所有方法均在10,000–11,000 条轨迹的固定预算下比较。五、主要实验结果5.1 竞赛数学4B 求解器Agentic Proposing 取得38.3%总体平均准确率相比零样本基线34.2%提升4.1 分显著优于所有基线。在 AIME 2025 上提升4.5 分HMMT 上提升5.5 分。许多基线如 MetaMath、OpenR1反而出现性能下降凸显传统方法的局限性。5.2 模型规模扩展30B 求解器11,000 混合轨迹在AIME 2025上达到91.6%的 SOTA 水平超越 Grok-4.1-Fast、Claude-4.5-Opus与 GPT-5、Gemini-3-Pro 相当。在 LiveCodeBench v5/v6 上分别提升5.3和5.2 分展现跨领域泛化能力。以仅30B参数超越 DeepSeek-V3.1、Mistral-3 等20 倍以上参数规模的模型验证了高质量信号对参数效率的关键作用。5.3 跨领域科学推理4B 求解器科学/通用推理基准上总体提升5.3 分。最具突破性SuperGPQA 7.3 分GPQA 6.3 分OlympicArena 4.4 分证明代理合成促进深度认知能力避免领域过拟合。六、消融分析与关键发现6.1 Proposer 专业化 vs. 通用模型提示即使对 GPT-5.2 配备技能库和代理工作流其性能36.4%仍低于我们的专用 4B Proposer38.3%。说明领域特定的强化学习能使小型专用模型在推理合成任务上超越前沿通用模型。6.2 代理流程组件的协同效应单一工具使用或内部反思分别提升约 2 分但完整迭代循环草稿-检查-优化实现6.8 分的累积增益证实各组件间的协同作用不可或缺。6.3 MGPO 的有效性标准 GRPO仅轨迹级奖励仅达 31.8%MGPO 完整版本达38.3%提升6.5 分证明阶段级优势估计对长序列信用分配的关键价值。七、研究贡献与意义方法论创新首次将问题合成从静态文本生成重构为动态组合逻辑工程引入代理式闭环流程和模块化技能编排。技术贡献提出 MGPO 算法为数据合成代理设计专用 RL 目标建立完整的技能获取、SFT、RL 三阶段训练体系。实证突破以极小数据量11,000 条轨迹和中等模型规模30B达到 SOTA 水平验证了数据质量替代数据规模的核心主张。范式意义挑战了“更大模型、更多数据”的传统扩展路径为构建自我进化的推理生态系统——模型自主合成训练信号、持续自我超越——提供了可扩展的路径。八、核心结论推理能力的瓶颈不在于模型参数规模而在于高精度、高难度训练信号的密度。Agentic Proposing 通过将复杂推理分解为可组合的原子技能并借助代理的自主迭代优化成功实现了少量高质量合成数据替代大规模数据集的目标为打破人工标注瓶颈、实现模型自主进化推理能力开辟了新方向。这里是自己的论文阅读记录感兴趣的话可以参考一下如果需要阅读原文的话可以看这里如下所示项目地址在这里。摘要推进大型语言模型中的复杂推理依赖于高质量、可验证的数据集然而人工注释成本高昂且难以规模化。当前的合成范式常常面临一个反复出现的权衡维持结构有效性通常会限制问题的复杂性而放宽约束以增加难度又常常导致实例不一致或无法求解。为解决此问题我们提出了 Agentic Proposing一个将问题合成建模为目标驱动的序贯决策过程的框架其中专用代理动态地选择并组合模块化推理技能。通过内省反思和工具使用的迭代工作流我们利用多粒度策略优化MGPO训练了 Agentic-Proposer-4B以生成跨数学、编码和科学领域的高精度、可验证的训练轨迹。实证结果表明在代理合成数据上训练的下游求解器显著优于领先基线并展现出强大的跨领域泛化能力。值得注意的是仅在 11,000 条合成轨迹上训练的 30B 求解器在 AIME25 上达到了最先进的 91.6% 准确率可与 GPT-5 等前沿规模专有模型相媲美证明了少量高质量合成信号可有效替代大规模数据集。1 引言1 引言 推进复杂推理特别是在数学问题求解等高难度领域是大型语言模型LLM研究的核心前沿。OpenAI o1 [1] 的发布标志着社区将推理能力作为关键基准的优先考量。同时DeepSeek-Math [2] 等突破性工作证明了强化学习RL在激发数学推理潜力方面的强大功效。然而这些 RL 方法根本上依赖于可验证的环境反馈这转化为对大量高质量、高难度且可验证问题的迫切需求。目前获取此类问题严重依赖于昂贵的人工注释 [3]。这一根本性限制催生了合成可验证、高难度训练数据的研究。当前的数据合成范式在扩展和多样化推理数据集方面已取得长足进展。这些技术可根据其核心机制大致分类一些方法如 MetaMath [3] 和 WizardMath [4]重写或演化现有问题以引出一系列解决路径其他方法如 MathSmith [5]、ScaleQuest [6] 和基于关键点驱动的方法 [7]通过从结构化来源中提取和重组概念来生成新问题而像 DESIGNER [8] 这样的方法则从专家问题库中抽象可重用的“设计逻辑”或推理模式用于系统化构建。这些方法扩大了数据集规模并能在各自设置下生成可用实例。然而现有方法通常依赖人工设计的生成模板或固定的结构先验来确保问题有效性。这限制了问题构建在一个狭窄的、预定义的空间内并阻碍了对新颖、高难度推理组合的自主探索。相反放松此类约束以增加生成灵活性往往会导致逻辑不一致或无法求解的实例。图 1 数据合成范式比较。(a) 传统方法基于静态概念的开环、单次生成——通常不稳定且不可验证。(b) 代理式提出一个闭环过程组合模块化技能并使用工具辅助验证生成稳定、可验证且校准良好的问题。为应对这一挑战我们认为高难度问题的合成不应被视为单一的文本生成任务而应被视为一个组合逻辑工程化的过程。核心动机是将推理模式转化为可执行的组件通过这些组件可以探索推理前沿。我们引入了可组合代理技能Composable Agent Skills的概念将问题构建逻辑分解为原子性的推理模块。具体而言我们提出了 Agentic Proposing一个将合成建模为目标驱动的序贯决策过程的框架。通过内省反思和工具使用的迭代工作流专用提出代理学习动态选择和组合这些原子技能以合成逻辑合理且难度精确校准的复杂问题。实证上我们方法的有效性通过实验得到验证实验表明代理合成的轨迹相比现有基线提供了更优的训练信号。值得注意的是仅在 10,000 条合成轨迹上训练的 4B 求解器持续优于数学、科学和编码领域的既有推理数据集。这种强大的泛化能力表明高精度信号而非模型规模才是推理性能的主要瓶颈。此外通过扩展到 30B 求解器我们的框架在 AIME 2025 上达到了最先进的 91.6% 水平证明代理式合成有效地弥合了开源模型与前沿规模 LLM 之间的差距。我们的主要贡献如下图 2 模型规模与 AIME 2025 准确率mean64对比。我们的 Proposing-30B-A3B 达到了最先进的 91.6% 准确率超越了参数多至 20× 的开源模型如 DeepSeekv3.1, Mistral-3并与顶级专有模型相媲美。这展示了我们代理式合成框架所带来的卓越参数效率。Agentic Proposing 框架。我们引入 Agentic Proposing其中专用代理通过迭代的内省反思和工具使用来管理问题合成自主审计和纠正错误以提高有效性和可解性。基于技能的问题构建。我们实现了一个模块化管道使代理能够将原子推理技能组合成复杂的、可验证的问题。该方法支持对逻辑结构和难度的精确控制。提出者的代理式后训练。我们使用代理式 SFT 和多粒度策略优化MGPO训练了一个专用的 Agentic-Proposer-4B这是一种针对数据提出代理量身定制的 RL 方法可生成高保真推理轨迹。卓越的实证性能。我们证明了由我们提出者合成数据的有效性。通过在代理生成的问题上训练下游 4B 求解器优于领先基线并在科学和编码领域表现出强劲性能。值得注意的是仅在 11,000 条轨迹上训练的 30B 求解器在 AIME25 上达到 91.6%超越了 Grok-4.1-Fast 和 Claude-4.5-Opus并与 GPT-5 和 Gemini-3-Pro 相媲美。2 相关工作基于种子的扩展。一系列工作致力于通过迭代扩展小规模种子问题集来增强训练数据。早期方法如 Self-Instruct [9] 从模型输出生成新指令。随后WizardMath [4] 和 Auto Evol-Instruct [10] 演化指令以增加复杂性和多样性。更近期的方法包括 MetaMath [3]引导生成数学问题以及 CoT-Self-Instruct [11]、PromptCoT [12]、PromptCoT 2.0 [12]整合了思维链推理。虽然这些方法有效地扩展了数据但它们仍受限于种子质量且缺乏根据模型不断发展的能力动态调整生成课程表的机制。基于语料库的提取。另一种方法直接从文本语料库或结构化知识源合成问题。ScaleQuest [6] 提出了一个可扩展的问题合成框架。MathSmith [5] 和基于关键点驱动的数据合成 [7] 通过强化学习策略生成具有挑战性的数学问题。DESIGNER [8] 采用设计逻辑引导的合成方法为多学科推理数据生成提供支持。虽然这种方法确保了广泛的事实基础但通常难以精确校准问题难度且可能无法针对特定的学习者弱点。图 3 Agentic-Proposer 合成流程。该框架通过三个连续阶段演进阶段 1技能获取从多样化语料库中提取和过滤原子技能构建自主技能库。阶段 2代理式 SFT模仿包含内省反思、工具执行和动态技能剪枝的专家轨迹。阶段 3代理式 RL (MGPO)通过多粒度奖励优化策略。代理遵循结构化的推理流程草稿 → 检查 → 优化 → 定稿并由基于课程的技能分布引导为下游求解器训练合成高难度、逻辑合理的问题。基于代理的自我对弈。近期工作探索使用语言模型在自我对弈设置中生成推理数据。DeepSeekMath [2] 和 DeepSeek-R1 [13] 采用带有自我对弈的强化学习。R-Zero [14]、Absolute Zero [15] 和 SPICE [16] 进一步研究了从极少数据中进行自我进化的推理。Socratic-Zero [17] 引入了一个包含教师、求解器和生成器代理的协同进化框架。然而这些方法依赖于静态提示策略或单代理自我对弈架构缺乏具有反应式适应性的真正代理行为。3 Agentic Proposing 框架3.1 问题形式化与技能组合3.2 总体流程我们的训练流程如图 3 所示通过三个阶段编排 Proposer 的演进技能获取与库形式化从大规模语料库中提炼并形式化多样化的原子技能集构建基础技能库 Kself​作为代理的先验知识。代理式监督微调SFT利用教师策略合成展现复杂行为如内省反思和工具使用的专家轨迹通过行为克隆初始化代理的策略 πθ。代理式后训练 via MGPO为弥合逻辑有效性与极高难度之间的差距我们采用多粒度策略优化MGPO算法精炼代理将模块化技能编排为高精度、可验证且具挑战性任务的能力。3.3 技能获取与动态剪枝3.4 代理式监督微调3.5 代理式强化学习最后阶段采用多粒度策略优化MGPO算法进一步优化代理的策略如图 3 阶段 3 所示。3.5.1 基于课程的技能分布3.5.2 分层奖励函数3.5.3 多粒度策略优化MGPOMGPO 通过变分重构解决 KL 约束奖励最大化问题引出以下命题命题 3.2最优策略形式。KL 约束奖励最大化目标每种方法均使用 10,000 条轨迹的预算和相同的 GRPO 配方。评估使用跨基准的 Mean64 准确率。总体表示未加权平均值。箭头 (↑/↓) 显示相对于零样本基线的绝对准确率变化。表 2 所有方法均使用 GRPO 配方在 11,000 条混合轨迹上训练。数学基准使用 Mean64 评估。LCB (LiveCodeBench) v5 和 v6 使用 Best-of-5 评估。箭头表示相对于零样本基线的绝对准确率变化。4 实验4.1 实验设置模型。我们的框架采用一组专用模型分别负责提出、验证和难度估计。验证器集成和探测者的完整规格见附录 A.2。跨其他推理领域的泛化。下游模型在各自领域内固定的 10,000 条其他轨迹预算上进行训练。评估使用 Mean1。箭头表示相对于零样本基线的绝对准确率增益。表 3 跨领域鲁棒性与迁移4B 求解器在科学和通用推理基准上的性能图 4 竞赛数学基准上的整体性能比较。我们的 Agentic Proposing-4B (38.3%) 在固定的 10,000 条轨迹预算下显著优于所有基线相比零样本基线 ((34.2%)) 实现了 (4.1%) 的绝对增益。基准。我们在竞赛数学AIME 2024/2025, HMMT, AMO-Bench、算法编码LiveCodeBench v5/v6和科学推理MMLU-Redux/Pro, GPQA, SuperGPQA, OlympicArena上进行评估。完整的基准描述见附录 A。评估协议。详细的评估协议见附录 A.1。数据集与基线。所有方法均在 10,000-11,000 条轨迹的固定预算下与合成、人工策划和前沿模型基线进行比较。完整的基线配置见附录 A.4。训练设置。下游求解器使用 GRPO [19] 进行优化。训练超参数和协议详见附录 A.3。4.2 主要结果竞赛数学性能。如图 4 和表 1 所示在固定的 10,000 条合成数学轨迹预算上训练 4B 参数求解器总体增益显著达到 4.1 分。值得注意的是虽然许多已建立的基线如 MetaMath 和 OpenR1math相对于零样本基线表现出性能下降但我们的框架实现了持续改进。最显著的增益出现在高难度竞赛中AIME 2025 上达到 4.5 分HMMT 上达到 5.5 分。模型缩放与算法泛化。为探索我们方法的可扩展性我们评估了在 11,000 条混合轨迹数学和代码上训练的 30B 参数求解器。如表 2 报告我们的模型在其规模上建立了新的最先进水平在 AIME 2025 上达到 91.6%——相比零样本基线绝对提升了 6.6 分。除数学外该模型在竞争性编程方面也展现出卓越的泛化能力在 LiveCodeBench v5 和 v6 上分别获得了 5.3 和 5.2 分的增益。此性能超越了领先的开源推理数据集如 OpenMathReasoning 和 PromptCoT 2.0。4.3 跨领域鲁棒性与迁移通用与科学推理。为评估我们合成流程的可迁移性我们在 10,000 条针对编码和科学领域的轨迹上训练了一个 4B 求解器。如表 3 总结该模型在跨学科基准上实现了总体 5.3 分的增益。最值得注意的是在研究生级别推理方面观察到显著突破SuperGPQA 上 7.3 分GPQA 上 6.3 分。OlympicArena 上的认知鲁棒性。在 OlympicArena 的纯文本验证子集上的表现4.4 分进一步证实了 Agentic Proposing 能够获取深度认知能力。与常常导致领域特定过拟合的传统增强方法不同我们的 Proposer 合成的轨迹促进了跨学科的鲁棒性。5 分析与消融研究为分离 Agentic Proposing 框架中每个组件的贡献我们进行了受控消融实验。在所有主要消融实验中我们在固定的 10,000 条合成轨迹预算上使用不同配置的 Proposer 生成的轨迹训练下游 Qwen3-4B 求解器并使用 Mean64 准确率在 AIME 上进行评估。额外的消融实验——包括对 MGPO 超参数的敏感性、动态技能剪枝和课程设计——见附录 C。5.1 Proposer 专业化训练 vs. 提示表 4 Proposer 专业化消融。我们比较了前沿模型 GPT-5.2 在不同配置下的性能与我们的专用 4B Proposer。Δ 表示相对于原始 GPT-5.2 基线的性能增益。结构化指导 vs. 模型规模。如表 4 所示为 GPT-5.2 配备我们的技能库和代理工作流相较于其原始提示性能产生了显著的 3.6 分提升。这表明结构化的技能组合和迭代验证对于高质量问题合成至关重要——即使对于强大的通用模型也是如此。值得注意的是我们通过 MGPO 训练的专用 4B Proposer 比增强后的 GPT-5.2 高出 1.9 分比原始 GPT-5.2 高出 5.5 分突显了在代理轨迹上进行领域特定的强化学习能使小模型在专门的推理合成任务上超越前沿规模 LLM。5.2 代理流程的消融代理纠正的协同作用。工具使用τexec和内部反思τthink都作为必要的质量关卡各自独立地使下游性能提升超过 2 分。然而它们的全部潜力仅在迭代循环草稿-检查-优化中被释放该循环实现了累计 6.8 分的增益表 5 代理流程的消融。下游 4B 求解器在 AIME 上的性能。所有 Proposer 合成了固定的 10,000 条轨迹预算。相较于单次提出。这证实了代理纠错对于生成高难度、逻辑合理的问题是不可或缺的。表 6 RL 目标的消融。下游 4B 求解器在 AIME 上的性能。所有 Proposer 使用不同的 RL 目标在固定的轨迹预算下进行优化。5.3 MGPO 的有效性细粒度信用分配。我们比较了 MGPO 与标准 GRPO以评估多粒度奖励的影响。如表 6 所示标准的轨迹级 GRPO 在长合成链中难以处理稀疏的奖励信号。通过引入阶段级优势AS​MGPO 相比基线实现了显著的 6.5 分提升。这证实了将信用分配给中间代理行为——如内部反思和工具调用——能有效减轻噪声并引导 Proposer 在整个推理过程中朝向最优策略。6 结论在本文中我们介绍了 Agentic Proposing一个新颖且完全自主的框架它将问题合成转化为一个目标驱动的组合逻辑工程化过程。通过将模块化推理技能与自我纠正的代理流程以及 MGPO 算法相结合我们的系统能够生成高度多样化、高难度且可验证的训练数据这些数据精确地针对模型不断演进的推理前沿。实证结果表明我们的框架使求解器能够在数学、编码和科学领域达到最先进的性能显著优于强基线和前沿专有模型。此外我们的发现揭示了高级推理的瓶颈不在于参数规模而在于高质量训练信号的密度这挑战了传统观点。这一进展的核心是将复杂推理分解为可组合的原子技能——从静态提示转向动态逻辑构建。通过弥合自主合成与复杂逻辑构建之间的鸿沟Agentic Proposing 为走向一个自我进化的推理生态系统建立了一条可扩展的路径在该生态系统中模型可以系统地掌握日益复杂的知识前沿。