这项由德国图宾根大学与KE:SAIKyutai ELLIS可扩展自主智能研究机构联合开展的研究以arXiv预印本形式于2026年7月1日发布编号为arXiv:2607.00917。有兴趣深入了解的读者可通过该编号查询完整论文。**当机器需要为未来做计划**假设你正在学开车教练让你在十字路口做决策。你不仅需要看清眼前的路况还要在脑海中飞速模拟如果我现在打方向盘……接下来会发生什么这种在脑子里预演未来、选出最优动作的能力正是人类驾驶的核心技能之一。对于人工智能来说这件事同样至关重要——而且同样困难。研究人员把帮助AI在脑海中预演未来的那个模块称为世界模型。世界模型就像AI的想象力它让AI不必真的在现实中撞墙就能预判如果我这样做会有什么后果。这篇论文的核心问题就是如何让AI的这套想象力既足够丰富、能涵盖各种可能的未来又足够快速、可以在真实控制任务中实时使用两位研究者提出了一个新方案——Valdi即价值扩散世界模型并在赛车模拟环境中进行了初步验证。一、为什么AI的想象力这么难做好在正式介绍Valdi之前有必要先弄清楚问题出在哪里。目前AI规划领域有两种主流路线。第一种是模型预测控制MPC可以理解为AI版的走一步、算三步的棋手。它让AI在脑海里快速预演多种未来给每种未来打分然后选择最优的当下动作。这类方法对速度要求很高——因为AI需要实时做决策没时间慢慢思考。为了够快它通常把想象未来这件事压缩成一个轻量级的数学模型在一个紧凑的隐空间里操作而不是在原始图像上操作。这类在压缩空间里做预测的模型就叫潜在世界模型。第二种路线是近年大火的扩散模型。你可能听说过Stable Diffusion这类图像生成工具——它的原理是从一堆随机噪声出发一步一步地去噪最终生成一张清晰的图像。这种方式天然擅长表达不确定性同样的起点每次去噪的路径略有不同因此可以生成各种各样的合理结果这正好契合未来有多种可能的现实。于是有研究者开始用扩散模型来构建世界模型让AI能想象出丰富多样的未来图像。然而这两条路线各有硬伤。潜在世界模型的预测过程虽然快但它通常是确定性的——每次对同样的输入只给出一个固定答案就像一个只会背标准答案的学生面对未来有多种可能的真实世界时显得过于武断。扩散模型虽然能表达丰富的可能性但它需要经过许多轮迭代去噪才能得到结果计算量很大速度慢很难与要求实时响应的控制任务兼容。Valdi的目标就是在这两者之间架一座桥。二、Valdi的核心设计一个能联合训练的扩散规划器Valdi的整体架构可以用一套剧本生成系统来理解。在一场即兴戏剧里演员AI需要随时根据当前场景在脑海中快速生成一段未来剧情预测未来轨迹然后判断哪段剧情结局最好并据此决定下一步怎么演。为了做到这件事Valdi由四个协同工作的模块组成。第一个模块叫表征模型它是整套系统的翻译官负责把AI看到的原始图像和传感器数据压缩成一个64维的紧凑数字向量——也就是潜在表示。具体来说图像部分通过一个卷积神经网络处理车速、方向等七维传感器数据通过一个小型神经网络处理两路结果拼接后再经过投影层最终得到一个64维的向量。你可以把这个向量理解成当前世界状态的精华摘要。第二个模块是核心创新所在叫扩散动力学模型。它负责根据当前状态摘要和计划执行的动作序列一次性生成接下来H步论文中设为5步世界模型步对应15个实际环境步的整条未来轨迹。注意它不是像传统方法那样每次只预测下一步然后逐步推演而是直接跳出整条轨迹。这个模块的底层架构是一个双向的Transformer类似于理解整段文字之间关系的语言模型能够让轨迹中各个时刻相互参照从而生成更连贯的预测。第三个模块是奖励预测模型它根据某一时刻的状态和动作预测AI在那一时刻能拿到多少奖励分数——在赛车环境里大致对应于开了多少路、有没有偏离跑道。第四个模块是价值预测模型它预测从某个状态出发、按照最优策略往后走AI总共能拿多少奖励。这个模块是AI对这个位置将来有多好的长期判断是做规划时的重要参考。有趣的是Valdi没有用TD-MPC那套动作-价值函数策略网络的组合而是直接用状态价值函数简化了整体结构。这四个模块不是分开训练的而是放在一个在线控制循环中联合训练。换句话说AI一边在赛车环境里实际跑圈、积累经验一边用这些经验同步更新四个模块的参数。这种边干边学的方式让整套系统能够持续自我优化。三、扩散模型的单步诀窍快与好能否兼得扩散模型最大的速度瓶颈在于它通常需要几十甚至上百步的迭代去噪过程。那么能不能只用一步就完成去噪同时不牺牲预测质量这正是Valdi的一个关键实验发现。研究团队在训练时统一使用单步去噪推理时也默认只用单步结果发现在赛车模拟任务中这已经足够让Valdi的控制表现与基于MLP多层感知机的确定性基线模型持平。打个比方传统扩散模型就像一位雕塑家需要一刀一刀地从石头里慢慢雕出作品而Valdi的单步版本更像一个能一次性拍出大致轮廓的速成工艺。在简单任务上这个粗糙但快速的版本已经够用了。不过单步训练与单步推理天然匹配。如果在推理时突然增加去噪步数就会出现所谓的训练-推理不匹配问题——就像一个只练过一口气写完的学生突然被要求慢慢润色修改反而可能越改越乱。训练的具体流程是这样的从回放缓冲区AI经历的历史数据仓库中采样一段轨迹通过目标编码器一个用指数移动平均缓慢更新的稳定版编码器对轨迹中的状态进行编码然后向这些潜在状态添加随机噪声让扩散模型预测如何去噪同时利用单步去噪后的预测状态计算奖励损失和时序差分值损失四个损失项加权求和后联合优化。整个损失函数为总损失 (1 - 正则化权重) × (扩散损失 × 1 奖励损失 × 0.01 价值损失 × 0.01) 正则化损失 × 0.05。四、规划器如何做决策用赛车场的交叉路口做比喻推理阶段Valdi使用的是交叉熵方法CEM做规划求解这比TD-MPC原本使用的MPPI方法更简单直接。CEM的工作方式可以用海选演员来理解。导演规划器想找到最佳动作序列于是召集512个候选演员候选动作序列让他们都按照各自的动作序列在扩散世界模型里走一遍H步的想象轨迹然后根据折扣奖励总分给每位候选打分——分数由过程中每步的奖励和结束时对终末状态价值的估计共同决定。接着只保留得分最高的64位精英根据这些精英的特征更新下一轮的候选分布如此迭代10轮。最终规划器执行第一步最优动作然后立刻重新规划。值得一提的是动作分块机制世界模型每一步对应3个实际环境步这样规划5个世界模型步就等效于覆盖了15个实际环境步的视野同时只需要做5次动力学模型推理大大提升了效率。在实际运行中Valdi的规划器在单块RTX 4080显卡上能以超过10Hz的频率运行而AI在环境中的实际行动频率则因动作分块而超过30Hz。五、实验赛车场上的三个关键追问研究团队在一个经过改造的CarRacing赛车模拟环境中进行了所有实验。改造之处在于原版环境把传感器数据车速等直接渲染成图像底部的仪表条新版将图像底部遮黑改为单独输出7维传感器向量从而实现了视觉与传感器的双通道输入。此外每段轨迹截断为600个环境帧而非原版的1000帧。所有实验均在单张RTX 4080 GPU上进行每个系统训练两次并在100条固定赛道上评估。第一个追问Valdi与确定性MLP基线相比控制表现如何实验结果显示在单步扩散设置下Valdi的评估得分与MLP基线在统计误差范围内持平——两者的差异不超过两次独立训练之间的波动范围。换句话说用一个扩散模型替换掉确定性的MLP动力学模型并不会伤害控制性能。这本身就是一个有意义的发现因为它打破了扩散模型因速度慢而无法用于实时规划的固有印象。第二个追问增加推理时的扩散步数会带来更丰富的多模态预测吗为了测量预测的多样性研究团队训练了一个像素解码器——这个解码器在系统完全训练好之后才单独训练用来把潜在状态翻译回图像它在训练和规划过程中完全不参与只是用来可视化和评估。评估方式是从同一个起始状态出发给定同样的动作序列让扩散模型生成100条想象轨迹解码为图像计算两两之间的视觉差异LPIPS指标数值越高说明图像越不一样即多样性越强。结果发现了一个有趣的张力单步推理时Valdi的预测多样性相当低通常只会押注于一条赛道走向。但随着推理扩散步数的增加2步、4步、8步LPIPS指标急剧攀升生成的未来轨迹在视觉上越来越多样——有的直行、有的转弯、有的偏左、有的偏右宛如多个平行宇宙。然而控制得分却在多步推理时略微下滑。这个多样了但没用的现象研究者归因于训练-推理不匹配以及CEM规划器面对高方差样本时难以有效筛选精英。第三个追问扩散动力学模型对价值函数质量有何影响这是全文最有深度的分析部分。研究者提出了两个诊断维度。第一个维度叫自洽性在想象的轨迹中价值函数在相邻步骤之间是否逻辑一致具体衡量方式是计算时序差分残差——如果价值函数高估了某一步的价值而下一步的奖励加上后续价值之和反而更低就会出现正的残差说明价值函数高估了当前状态。第二个维度叫接地性想象轨迹中某一步的价值预测与AI在真实环境中走到同一时刻时的实际价值估计是否吻合如果想象中的价值比真实价值高说明世界模型产生了乐观幻觉——AI以为前途一片光明实际上却没那么好。结果如表格数据所示在短视野h0、h1、h2处Valdi在两个维度上的误差都略大于MLP基线——也就是说扩散模型在刚开始预测时更容易出错。然而随着预测步数的增加Valdi的误差增长明显更慢到了规划器最依赖的末端步骤自洽性h4接地性h5Valdi的误差反而更小表现更好。这意味着扩散动力学模型在长期预测的稳定性上有一定优势而这个末端价值估计恰好是规划器最终打分的核心依据。虽然这些差异在数值上并不显著且在两次独立训练的误差范围内但两个诊断维度都呈现一致的趋势提示这个现象有一定规律性。六、整体架构细节那些让系统真正运转的工程选择除了上述核心设计Valdi还有几个值得关注的工程细节。在参数规模上Valdi共有约539万个可训练参数而MLP基线有约580万个参数基线反而略大。这说明Valdi的性能持平并非靠堆参数取胜。两个系统的差异仅在于动力学模型Valdi用的是6层预归一化双向Transformer宽度256输入为拼接了动作块和扩散时间步嵌入的噪声潜在向量输出为每步的速度向量用于去噪计算基线用的是6层残差MLP输入为当前潜在状态和动作块直接输出下一步潜在状态。两者的表征模型、奖励模型、价值模型完全相同确保了对比的公平性。在防止潜在空间坍缩方面研究者引入了SIGReg正则化项鼓励潜在状态的分布接近各向同性高斯分布。不过他们也坦承在实验中无论是否启用该正则化项系统都能正常学习且因计算资源限制没有做完整的消融实验因此无法确认它到底是否必要。在探索策略上系统采用ε-贪婪式探索前250条轨迹中以25%的概率随机探索之后线性衰减到5%。每条轨迹结束后系统对模型做60次更新更新-数据比约为1:10目标编码器每步通过EMA指数移动平均以0.005的比例向在线网络靠拢。七、局限性与未来方向研究者自己看到的边界论文作者非常坦率地指出了两个主要局限。第一个局限涉及单步推理的可扩展性。在CarRacing这样的简单环境里单步去噪已经够用但在动力学更复杂的环境中——比如机械臂操作、多体交互、物理仿真——单步去噪很可能无法还原足够准确的预测。一旦需要多步去噪推理速度就会成为瓶颈。研究者认为解决这一问题的可能方向是蒸馏技术先训练一个多步去噪的教师模型再把它的知识压缩到一个单步的学生模型中。第二个局限关于训练与推理的扩散步数不匹配。目前的设计是训练用单步、推理也用单步任何推理时步数的增减都会导致分布偏移进而损害控制性能。要让系统能够在推理时灵活调整扩散步数比如在计算资源充裕时用多步以获得更丰富的预测就需要在训练阶段也引入相应的多步策略甚至设计专门的训练方案来支持测试时计算扩展。---归根结底Valdi这项研究想解答的核心问题是扩散模型能不能既快又好地帮助AI做实时规划初步答案是在简单环境下单步扩散已经够快够好但更丰富的预测多样性不会自动带来更好的控制这中间的鸿沟还需要更多工作来填补。这对普通人意味着什么从长远来看世界模型技术是自动驾驶、机器人控制、游戏AI等领域的底层基础之一。如何让AI既能快速响应又能应对不确定的未来是整个领域都在努力解决的问题。Valdi提出的在潜在空间里用扩散模型做联合端到端规划的思路为这条路上增加了一个有价值的参考点——尤其是它关于多样性与控制质量之间的张力的实验发现值得后续研究者认真对待。感兴趣的读者可以通过arXiv编号2607.00917查阅完整论文及代码代码地址已在论文中公开自己动手复现这套系统。---QAQ1Valdi与TD-MPC的主要区别是什么ATD-MPC使用确定性MLP逐步预测下一个状态而Valdi用扩散模型一次性生成整条H步潜在轨迹。此外Valdi去掉了TD-MPC的策略网络改用状态价值函数简化了结构。两者都在潜在空间中做规划都使用回放缓冲区和联合在线训练。Q2Valdi的扩散模型增加去噪步数为什么反而降低控制性能A训练时只用单步去噪推理时突然增加步数会造成训练和推理的分布不匹配模型没有练习过多步去噪的场景。同时多步去噪产生的轨迹方差更大规划器CEM面对高方差的候选轨迹时很难有效筛选出真正优质的动作序列。Q3Valdi的价值函数在长期预测中为什么比MLP基线表现更稳定A扩散动力学模型一次性生成全局轨迹允许轨迹中不同时刻相互参照而MLP是逐步滚动推演误差会随步数积累。实验显示Valdi在短期预测误差略大但在靠近规划末端的步骤最关键的价值估计处其接地性和自洽性误差的增长速度更慢最终误差更小。