151、强化学习基础：MDP建模与贝尔曼方程的数学推导上周调试一个机械臂抓取策略时，发现奖励函数里一个符号写反了，导致整个策略收敛到一个“疯狂甩动”的局部最优。当时盯着tensorboard里那条诡异的reward曲线，突然意识到一个问题：很多同学跑RL代码跑得飞起，但真到了要改奖励、调折扣因子、设计状态空间的时候，对底层的MDP建模和贝尔曼方程的理解其实是一笔糊涂账。今天这篇就把这块地基彻底夯实，用我踩过的坑当反面教材，把数学推导一步步掰开揉碎。从真实问题切入：为什么你的策略总在“抖”？先说我那个机械臂案例。任务很简单：把积木从A点推到B点。我最初的状态空间只包含机械臂末端坐标和积木坐标，动作空间是末端的三维速度增量。奖励函数设计成：到达B点给+1，其他时刻给-0.01的小惩罚（为了鼓励快速到达）。结果训练出来的策略让机械臂在A点附近高频抖动，就是不推积木。后来排查发现，问题出在状态转移上——我用了真实物理引擎，但没注意时间步长。动作是速度增量，但状态更新时我写成了next_pos = pos + action，而实际应该是next_pos = pos + action * dt。这个dt=0.1的疏忽，导致智能体学到的“最优策略”是在每个决策点疯狂改变速度方向，因为从MDP视角看，它以为状态转移是瞬时的，不需要考虑运动学约束。这个例子说明什么？MDP建模的每一个细节——状态定义、动作定义、转移概率、奖励函数——都会直接改变贝尔曼方程的解。如果你连MDP五元组都写不清楚，后面所有算法都是空中楼阁。
