DI-drive DREX 偏好逆强化学习教程按噪声等级自动给示范数据排序学会比专家更好的奖励模型【免费下载链接】DI-driveDecision Intelligence Platform for Autonomous Driving simulation.项目地址: https://gitcode.com/gh_mirrors/di/DI-driveDI-drive是一个面向自动驾驶仿真的决策智能平台Decision Intelligence Platform其内置的DREX 偏好逆强化学习Inverse Reinforcement Learning, IRL模块能通过对示范数据注入不同等级的噪声来自动生成偏好排序无需人工设计奖励函数即可训练出优于专家示范的奖励模型再用该模型驱动 PPO 强化学习训练出更强的驾驶策略。本文将从数据准备、奖励模型训练到 PPO 训练带你完整走通这条「按噪声等级排序示范数据」的技术路线 。什么是 DREX用噪声等级代替人工奖励设计传统强化学习最难的一步是「设计奖励」跟车距离给多少分车速过快罚多少这些超参全靠专家经验而且策略很难超过专家本身。DREXBrown et al., 2020给出了一个巧妙的解法——偏好逆强化学习自动排序示范数据向专家策略注入 0.0 ~ 1.0 共 11 个等级间隔 0.1的控制噪声噪声越大驾驶表现越差于是每一组示范天然就有了质量排序无需任何人工标注训练奖励模型输入俯视角语义地图Top-Down Semantic Map5×200×200与车辆状态转向、车速让网络学会给「更好的轨迹片段」打出更高的累计回报用学出的奖励做 RL奖励模型替代人工奖励后PPO 策略不再受限于专家水平有机会做到Better-than-demonstrator超越示范者。DI-drive 在 docs/source/model_zoo/drex.rst 中提供了完整实现代码位于 demo/drex/ 目录核心只有 4 个文件文件作用train_drex_model.py训练 DREX 奖励模型train_ppo_drex.py用 DREX 奖励模型训练 PPO 策略train_ppo.py用专家人工奖励训练 PPO对照基线test_render.py可视化驾驶过程第一步准备带噪声等级的示范数据DREX 的默认数据协议非常规整直接决定了偏好标签的来源噪声等级1.0, 0.9, ..., 0.0共11 个等级配置见 train_drex_model.py#L28-L33每个等级 20 条完整轨迹19 条用于训练1 条留出做验证轨迹片段采样从不同等级的轨迹中随机截取 15~50 步的短片段两两配对共生成6000 组训练对和300 组验证对。标签逻辑就一行两条片段来自不同噪声等级噪声小等级低的那条被偏好。这样「偏好数据」完全由噪声等级自动产生实现了文章标题所说的「按噪声等级自动给示范数据排序」。第二步训练 DREX 奖励模型奖励模型核心是 TrexModel卷积编码器ConvEncoder处理 5 通道的俯视角鸟瞰图birdview再与「车速 转向」状态向量拼接经 MLP 输出每一步的标量奖励整条片段的奖励求和即为累计回报。训练目标是成对偏好的二分类CrossEntropyLoss给定片段 A、B判断网络预测的累计回报顺序是否与噪声等级给出的偏好一致。每个 epoch 结束都会计算训练/验证准确率只在验证准确率创新高时保存检查点train() 方法。训练命令只需一条python train_drex_model.py记得按自己的数据位置修改dataset_path/drex_path配置。训练日志loss、abs_returns、accuracy会写入drex_path/log/drex_reward_model。第三步用 DREX 奖励模型训练 PPO 驾驶策略奖励模型训练好后train_ppo_drex.py 会在每次 PPO 训练时加载它默认路径reward_model/reward_ckpt_sigmoid_drex_20stateold见 第 24 行训练主循环只有 3 步new_data collector.collect(...) # 1. 从 MetaDrive 环境采样轨迹 new_data reward_model.estimate(new_data) # 2. 用 DREX 奖励模型改写奖励 learner.train(new_data, ...) # 3. PPO 更新策略其中 estimate() 除了把奖励替换为模型打分的累计回报外还会叠加一个到达终点奖励环境原始奖励大于 5.0即成功完成路线时额外加 100 分引导策略把路走完。策略网络采用 TrajPPO ConvVAC 轨迹策略环境为 MetaDrive 轨迹控制jerk模式8 个采集环境并行配置见 metadrive_basic_config。python train_ppo_drex.py训练过程中可以用 TensorBoard 观察奖励均值、环境步数等指标是否稳定上升效果对比与可视化验证官方文档drex.rst将PPO DREX 奖励模型蓝线与PPO 专家人工奖励红线在完整率complete ratio、成功率success ratio、平均奖励三个维度做了对比DREX 奖励模型训练出的策略整体更优验证了「自动排序的偏好数据」确实能学到比人工奖励函数更好的驾驶评价标准。想看策略实际怎么开打开 test_render.py 中的use_renderTrue即可在 MetaDrive 渲染窗口中观察 DREX 训练出的智能体如何跟车、转弯与避障python test_render.py小结DREX 的核心用 11 级噪声自动给示范数据排序把「设计奖励」变成「学奖励」奖励模型可以超越专家水平三步走准备噪声分级数据 →train_drex_model.py训练偏好奖励模型 →train_ppo_drex.py用该奖励训练 PPO 策略实现位置全部代码集中在 demo/drex/ 目录依赖 DI-drive 的 MetaDrive 轨迹环境core/envs/md_traj_env.py与轨迹策略core/policy/traj_policy/新手可以顺着本文路线直接跑通完整流程。对奖励函数设计苦恼、手里只有示范数据没有标注的团队来说DREX 这条偏好逆强化学习路线值得一试 ✨。【免费下载链接】DI-driveDecision Intelligence Platform for Autonomous Driving simulation.项目地址: https://gitcode.com/gh_mirrors/di/DI-drive创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考