简介本资源是一套基于深度强化学习的DQN算法实现自动玩俄罗斯方块的完整工程面向强化学习初学者与游戏AI实践者解决传统规则策略泛化性差、难以应对高维状态空间的问题。项目采用经验回放、目标网络与Q函数神经网络逼近等关键技术使智能体能自主学习最优落块策略兼顾消行效率与堆叠稳定性。压缩包共24个文件含6个核心Python脚本如train.py训练主逻辑、play.py人工交互模块、run_model.py评估接口、2个HDF5模型权重文件、2个GIF演示动画含训练过程与单人对战效果、5个XML配置/IDE元数据文件及文本类说明文档整体大小3.39MB结构清晰、模块解耦度高。已有1214人学习下载读者可直接运行复现DQN训练全流程获取带详细注释的可调试代码、可视化训练曲线、实时游戏渲染界面及多组预训练模型快速掌握从环境建模、奖励设计到策略优化的强化学习落地关键环节。 把深度强化学习和DQN搬到俄罗斯方块上是我做过的所有练手项目里性价比最高的一个。俄罗斯方块对DQN的挑战程度远超直觉——它既不像CartPole那样状态维度低到可以一眼看穿也不像超大型棋类那样依赖复杂的搜索树它恰好卡在一个很适合入门深度学习模型的难度区间既能把DQN的每个核心机制都用上又能让训练过程在普通笔记本电脑上跑完。这篇文章把完整的环境建模思路、DQN代码实现、训练细节和经验一起写清楚适合想找一个能真正跑起来、又能深刻理解强化学习流程的同学参考。你要做的东西简单说就是让模型自己看棋盘自己决定当前方块放哪然后从一次次落子里学会消行、避免堆太高。训练结束后模型不是背下固定套路而是学会了“在什么局面下选择哪个落点更划算”的判断能力。整个项目跑下来你收获的不是一个能炫耀的demo而是把DQN的五个核心组件——状态编码、动作空间、奖励塑形、经验回放、目标网络——彻底想明白。1. 为什么拿俄罗斯方块练手而不是更简单的游戏1.1 俄罗斯方块对DQN来说到底难在哪很多人一上来就拿CartPole或者小车上山练手因为环境简单、收敛快。但这类环境有个问题状态维度太低低到DQN根本不需要发挥“深度学习”的能力一个线性函数都能勉强工作。等你换到真实项目里面对的往往是高维状态、稀疏奖励、动作空间巨大这些问题这时候才发现练手时学到的东西根本不够用。俄罗斯方块恰好把这些问题都浓缩在一个小游戏里。它的棋盘是10列20行每个格子要么有方块要么没有这个状态空间粗略算是2的200次方。当然实际可达状态远少于这个极端值但足以让传统查表法死心。更麻烦的是方块类型有7种每种还有多个旋转状态当前方块和下一个方块都要考虑同一张棋盘来的是长条I还是方块O最优决策完全不同。真正的难度还在于时序决策。每一局的落子会改变棋盘而棋盘又会限制后续所有落子。消四行是很诱人的事但要一次消四行需要提前好几步把竖缝留好把方块垫到合适的高度。这就是典型的延迟奖励问题当前这个动作可能一时看不出收益甚至短期内会让棋盘变高但长期看它是在为后面的tetris做准备。另外俄罗斯方块几乎没有中间态的安全垫。CartPole你摇摇晃晃还能撑几步俄罗斯方块一旦堆到顶游戏立刻结束。这种“要么活、要么死”的特性让Q函数的估计变得更敏感稍微估计偏一点点策略就会往离谱的方向跑。1.2 和CartPole、Atari游戏相比状态表征完全不同如果你玩过OpenAI Gym里的CartPole你记住的一定是这个套路状态只有4个连续值位置、速度、角度、角速度动作就2个左、右。这个状态下你不需要考虑“提前规划”因为环境本身是一阶马尔可夫的当前状态几乎包含了未来决策所需的全部信息。俄罗斯方块不一样。如果只把当前棋盘的10×20网格作为输入模型缺少一个关键信息当前正在下落的方块是什么。你看一眼棋盘如果不知道现在手里拿的是长条还是方块你根本没法判断下一步该怎么走。同理下一个方块是什么也影响当前决策——比如你明知道下一个是长条那当前这个方块就不能随便把中央竖缝堵死。这引出一个很重要的认知强化学习里“状态”不是“画面”而是“决策所需的全部信息”。打个比方玩牌的时候你看到的牌面是观测值对手手里剩什么牌、牌堆里还有什么牌才是影响决策的隐藏信息。俄罗斯方块里当前方块和下一个方块就是你需要显式喂给模型的信息。我在设计编码时把棋盘、当前方块、下一个方块拼在一起作为200维加14维的向量就是这个原因。Atari游戏的画面输入是210×160的RGB图像模型要自己从像素里学出球在哪、挡板在哪这一步对CNN来说不是难事。俄罗斯方块如果也用渲染后的画面做输入反而把简单问题复杂化——你明明可以直接拿到干净的逻辑状态为什么要让模型去从像素里猜所以我的建议是不要用截图训练直接用逻辑张量这样训练速度快得多网络结构也简单得多。1.3 项目最终要达到什么效果设定一个合理的目标很重要。让模型练到人类高手水平用标准DQN在普通配置下不太现实俄罗斯方块的世界纪录是长期策略和复杂搜索才能触及的。但让模型通过学习超越随机策略、学会基本消行、能稳定撑住几百步这个目标完全做得到。我的期望值是训练2000局左右让模型平均每局能消掉几十行棋盘高度不会在开局没多久就堆满。这个目标对调试代码、验证机制、理解DQN的优缺点来说已经足够有说服力了。2. 环境建模状态、动作、奖励三个维度怎么设计2.1 用10×20网格表示完整局面标准俄罗斯方块棋盘是10列20行我直接用numpy数组表示0代表空格1代表已堆叠的方块。这个棋盘本身就是一个天然的二维特征图。import numpy as np BOARD_W 10 BOARD_H 20 def new_board(): return np.zeros((BOARD_H, BOARD_W), dtypenp.int32)在DQN的状态编码里我拼接三块信息棋盘展开后的200维、当前方块类型的7维one-hot、下一个方块类型的7维one-hot。总维度214。NUM_SHAPES 7 def encode_state(board, cur_shape, next_shape): # board: (20, 10), cur_shape: 0~6, next_shape: 0~6 state np.zeros((BOARD_H, BOARD_W NUM_SHAPES * 2), dtypenp.float32) state[:, :BOARD_W] board state[:, BOARD_W cur_shape] 1.0 state[:, BOARD_W NUM_SHAPES next_shape] 1.0 return state.flatten()这里有个细节值得多说一句为什么不是把方块one-hot拼在棋盘后面而是作为额外的列拼在二维特征里因为棋盘本身是二维网格方块类型的one-hot是类别信息两者性质不同。拼成20×24的二维特征后全连接网络接受的是展平后的480维或者如果以后换卷积网络它也能和棋盘一起作为多通道输入扩展性更好。实践里我也试过把当前方块单独用一个7维向量拼接在200维后面效果没有明显差别。但放在二维特征里有个好处以后如果要给CNN做输入棋盘通道和方块通道可以自然合并不用改网络结构。2.2 动作空间拆解从按键到候选落点的抽象俄罗斯方块的标准操作是左移、右移、旋转、软降、硬降。如果以这些组合作为DQN动作模型每一步要做的是“按哪个键”的决策中间还要处理软降的时机问题这在本质上把连续控制塞进了离散动作里学习难度陡增。我采用的做法是把动作抽象成“落点”。对于每个方块枚举它在4个旋转状态下能放到的所有列位置计算出一个候选落点列表。模型的任务不是决定“按左键几次再旋转几下”而是直接决定“当前方块放在哪一列、用哪个旋转状态”。具体来说每个方块最多有10列×4旋转40种落点但很多旋转状态下放到某些列会越界或重叠所以合法动作数通常远小于40。为了让DQN输出固定维度我保留40维输出对不合法的动作用mask屏蔽。def get_valid_actions(board, cur_shape): # 返回长度为40的布尔maskTrue表示该动作合法 mask np.zeros(40, dtypebool) rotations SHAPES[cur_shape] # 该方块的所有旋转状态 for rot_idx, cells in enumerate(rotations): for col in range(BOARD_W): if can_place(board, cells, col): action_id rot_idx * BOARD_W col mask[action_id] True return mask这样做的核心收益是把“过程动作”变成了“结果动作”。强化学习里有一个经典原则——动作空间越小、越贴近决策目标学习就越容易。对玩家来说真正的决策点是“把这个方块放哪”左移右移旋转只是执行细节。把这个细节从动作空间里剥离之后模型只需要做高层规划难度直接降一大截。2.3 奖励塑形稀疏奖励与密集奖励的折中方案俄罗斯方块最自然的奖励是消行得分消1行得100消4行得800。如果只用这个做奖励模型会学习得很痛苦因为大部分落子根本不会消行一个动作做下去reward0模型根本不知道怎么调整策略。这种稀疏奖励问题是强化学习的传统难题。我采用的奖励方案是组合式塑形消行得正分同时根据落子后的棋盘形态扣分。def compute_reward(new_board, num_lines): line_score [0, 1, 3, 5, 8][num_lines] # 棋盘形态惩罚 height get_max_height(new_board) holes count_holes(new_board) bump get_bumpiness(new_board) reward line_score - 0.02 * height - 0.1 * holes - 0.005 * bump return reward这个设计的意图非常明确让模型在训练初期就能从每一步感受到反馈。高度太高要扣分空洞要扣分地面起伏太大也要扣分这些惩罚项等于在告诉模型“什么样的棋盘是好棋盘”。当模型因为随机探索做出一个让棋盘更平整的落子时它会立刻获得正反馈这种密集的反馈信号是稀疏消行奖励做不到的。奖励系数的标定很关键。我一开始把高度惩罚设成0.5结果模型变成了“不敢堆高”的缩头乌龟它宁可不消行也不让棋盘升高导致整局游戏永远在那里磨蹭。后来我把高度惩罚降到0.02消行奖励的权重才真正压过保守倾向。这个经验很重要奖励塑形不是把惩罚项加上就行权重必须跟消行奖励放在一个数量级里比较。3. DQN核心机制与代码实现3.1 网络结构一个三层全连接网络就够用很多人在DQN里动不动就上CNN觉得“深度学习嘛必须卷积”。俄罗斯方块的棋盘是10×20加上方块one-hot总共不到500维用CNN反而属于大材小用。全连接网络在这个规模下完全够用而且训练速度更快、调参更容易。我的网络结构非常简单三层全连接中间层256个神经元ReLU激活。import torch import torch.nn as nn class DQN(nn.Module): def __init__(self, input_dim20*24, output_dim40): super().__init__() self.net nn.Sequential( nn.Linear(input_dim, 256), nn.ReLU(), nn.Linear(256, 256), nn.ReLU(), nn.Linear(256, output_dim) ) def forward(self, x): return self.net(x)输出维度40对应的是“旋转×列”的组合。为什么不用更大的网络在俄罗斯方块这个任务上状态并不是特别复杂的高维输入256个神经元足够表达“棋盘长什么样、当前方块是什么、哪里能放”这些信息之间的关系。更大的网络不仅训练慢还容易过拟合到训练的前期数据上在小规模任务上未必是好事。输入维度为什么是20×24因为状态编码中棋盘是20行每行扩展为10列棋盘7个当前方块one-hot7个下一个方块one-hot总共24列。如果你的实现里把方块one-hot直接拼在展平向量后面那输入维度就是2072007也可以只是要注意和网络初始化时保持一致。3.2 经验回放池的实现细节经验回放是DQN的招牌机制也是初学者最容易理解错的地方。强化学习中智能体产生的样本并不是独立同分布的——上一刻的状态和下一刻的状态紧密相关。如果按时间顺序一条条训练模型很容易被最近一大段相似样本带偏早先学到的知识会迅速遗忘。经验回放的做法是把样本存进一个大池子训练时随机抽取一批强行打散样本间的相关性。from collections import deque import random class ReplayBuffer: def __init__(self, capacity50000): self.buffer deque(maxlencapacity) def push(self, state, action, reward, next_state, done, next_mask): self.buffer.append((state, action, reward, next_state, done, next_mask)) def sample(self, batch_size): batch random.sample(self.buffer, batch_size) state torch.FloatTensor([b[0] for b in batch]) action torch.LongTensor([b[1] for b in batch]) reward torch.FloatTensor([b[2] for b in batch]) next_state torch.FloatTensor([b[3] for b in batch]) done torch.FloatTensor([b[4] for b in batch]) next_mask torch.BoolTensor([b[5] for b in batch]) return state, action, reward, next_state, done, next_mask容量设多少合适我试过10000和5000050000的效果更好。俄罗斯方块的棋盘变化多如果池子太小采样到的样本会大量集中在最近几百步多样性不足。容量设大之后早期探索阶段的样本能不断被重新采样等于反复提醒模型“看看你以前犯过的错”。batch size我用的64太小训练震荡太大更新方向太平均、学到东西慢。deque的maxlen会自动丢弃最老样本这样实现最省事不用自己维护队列长度。3.3 目标网络稳定训练的关键一环DQN训练里有一个“自举”陷阱。Q值的更新方式是这样的当前状态的Q值要去逼近“即时奖励下一个状态的最优Q值”。如果这个目标Q值是用正在训练的网络自己算出来的那问题就来了——网络参数一更新所有状态的Q值都变了你刚算好的优化目标也跟着变。这就像跑步时终点线一直在往前移动模型怎么追都追不稳。解决办法是准备一个参数更新频率极慢的“目标网络”。训练网络负责算当前状态的Q值目标网络负责算下一个状态的Q值两边用同一套结构但参数不同。目标网络的参数不是每一步梯度更新而是每隔一定步数直接从训练网络复制过来用“一个暂时静止的尺子”去量另一个正在变化的网络。target_net DQN().to(device) target_net.load_state_dict(model.state_dict()) target_net.eval() # 每200步同步一次 if step % TARGET_UPDATE 0: target_net.load_state_dict(model.state_dict())这里有个容易犯的错目标网络复制参数后它的Q值仍然是旧参数算出来的。旧网络可能对某些状态估计不准会不可避免地带着误差。这种误差会传导到训练目标里但只要目标网络更新不是太频繁误差就不至于发散。我试过每1000步同步一次训练很稳定每50步同步一次整体波动明显变大。在俄罗斯方块这种环境里200到500步同步一次是比较稳妥的选择。4. 训练主循环从收集样本到模型更新4.1 一次完整的epsilon-greedy动作采样训练循环是一个标准的“探索-利用”过程。探索需要一个随机性来源我用的就是经典的epsilon-greedy策略以概率epsilon随机选一个合法动作以概率1-epsilon选模型认为最优的动作。valid_actions env.get_valid_actions() valid_indices [i for i, v in enumerate(valid_actions) if v] if random.random() epsilon: action random.choice(valid_indices) else: q_values model(state_tensor) masked_q q_values.masked_fill(~torch.BoolTensor(valid_actions).unsqueeze(0), -1e9) action masked_q.argmax().item()为什么用epsilon-greedy而不是直接从Q值分布采样因为DQN输出的是各个动作的Q值估计不是概率分布。Q值最高的动作就是模型自认为最好的动作但模型不可能一开始就知道哪个动作最好所以需要epsilon控制随机探索的频率。训练前期的epsilon设为1.0让模型完全随机玩积累各种情况下的样本随着训练推进epsilon逐渐衰减到0.05让模型更多依赖自己的判断只保留一点点随机性防止漏掉某个角落的最优策略。epsilon的衰减速度直接影响学习效果。我用的衰减系数是0.9995也就是每局结束乘一次0.9995。1000局之后epsilon大约是e的-0.5次方接近0.6仍然有比较高的探索率。2000局后衰减到0.3左右。如果衰减太快模型探索不够容易收敛到某个局部最优策略衰减太慢后期一直乱玩训练效率低。4.2 损失函数与梯度更新训练的核心就三段话从经验池采样一批样本用目标网络算出目标Q值让当前网络的Q值去贴近这个目标。def train_step(): state, action, reward, next_state, done, next_mask replay.sample(BATCH_SIZE) q_current model(state).gather(1, action.unsqueeze(1)).squeeze(1) with torch.no_grad(): q_next target_net(next_state) q_next q_next.masked_fill(~next_mask, -1e9) q_target reward GAMMA * (1 - done) * q_next.max(1).values loss nn.MSELoss()(q_current, q_target) optimizer.zero_grad() loss.backward() optimizer.step()这里有一个非常关键且容易被忽略的点计算下一个状态的Q值时必须同样用mask把非法动作的Q值遮掉。如果不做这一步模型会在下一个状态里选到“实际上不能放的落点”的Q值目标Q值被严重高估训练出来的策略会出现幻觉——它会在没有合法落点的地方觉得自己能放方块。奖励的计算不是直接给步数而是构建一个epoch式循环每局从reset开始每执行一个落子就往经验池存一条样本每存够一定数量就训练一步。4.3 模型的保存与评估评估模型不能只看lossloss下降不代表策略变好。我自己的评估方式是每100局暂停训练用当前模型跑50局关闭探索epsilon0统计平均消行数、平均存活步数和游戏结束时棋盘的最大高度用这三个指标判断模型是否在进步。def evaluate(model, env, episodes50): total_lines 0 total_steps 0 for _ in range(episodes): state env.reset() done False lines 0 steps 0 while not done: valid_actions env.get_valid_actions() q_values model(state_tensor) masked_q q_values.masked_fill(~torch.BoolTensor(valid_actions).unsqueeze(0), -1e9) action masked_q.argmax().item() _, reward, done env.step(action) lines env.last_lines_cleared steps 1 total_lines lines total_steps steps return total_lines / episodes, total_steps / episodes模型保存用torch.save(model.state_dict(), tetris_dqn.pt)就行。建议每次评估指标刷新的时候都保存不要只保存最后一版。因为训练过程会有波动最后一版往往是某个随机seed导致的偏差点中间某次评估的版本可能更实用。5. 我在训练中踩过的三个大坑5.1 奖励值域过大会导致Q值爆炸第一次跑通训练循环时我的消行奖励直接用了游戏原版的分数消1行100分消4行800分。结果训练没几百步loss直接飙到几百万Q值疯狂膨胀模型直接失效。原因很简单DQN的Q值函数本质是在做回归预测它的target是reward加上下一状态的Q值。当reward的量级是几百上千时Q值的学习目标也会被推到几百上千。神经网络的回归问题在目标值过大的时候梯度更新极易不稳定尤其是网络还没收敛的时候一个巨大的reward会被网络错误地推广到其他状态引发雪崩。解决方式有两种。一种是给奖励做归一化把消1行的奖励从100改成1消4行改成8把惩罚项系数也控制在0.01到0.1这个量级。另一种是使用Huber损失替代MSE损失它对异常值的敏感度更低。我的实际做法是两种都用奖励压到个位数以内损失函数换成Huber。loss nn.SmoothL1Loss()(q_current, q_target)如果你也希望训练稳定建议从一开始就把所有奖励控制在[-1, 1]区间左右。模型对量级敏感的这一点在大多数深度强化学习任务里都成立不是我碰巧遇到的个例。5.2 初始探索率设太高模型一直“乱玩”epsilon从1.0开始是标准做法但一开始全都随机探索会让模型看不到任何正向信号。俄罗斯方块随机乱放的结局通常是很快就死偶然消了一两行也很快被堆高的棋盘埋葬。模型在海量“死亡样本”中很难学到有效信息。我观察到的现象是200局之后模型依然像个傻子平均存活步数只有个位数。后来我把epsilon的初始值调到0.5让模型从一半探索一半利用开始情况明显改善。当然前提是模型在前200局已经通过利用阶段积累了一些像样的样本。不过epsilon调太低也有问题。如果一开始就直接利用模型对Q值的初始估计误差会在自己的决策循环里不断放大它只会选择自己“觉得好”但实际不一定好的动作整个学习过程变成一个自我强化的偏见。所以更好的做法是先用随机策略跑几百步把经验池填一遍等池子里有了足够多的高质量样本再开始正式训练。这相当于给模型一个热身期。5.3 训练集相关性导致灾难性遗忘这里说的不是经验池的问题而是训练顺序的问题。俄罗斯方块里连续几十步的棋盘状态高度相似如果每来一条样本就立刻做一次梯度更新模型会被最近的这些强相关样本绑架。我做过一个对比实验一组是每条新样本都立即训练另一组是攒够batch size才训练后者稳定很多。即使使用了经验回放如果单次更新频率过高batch里的样本也可能大量来自同一局比赛相关性问题依然存在。我最终的训练节奏是每存4条样本训练一次每次从池子里随机抽64条。这样既能保证更新频率又能把批次内的样本相关性降到最低。如果你发现模型在训练中后期出现“学到的东西忽然消失”的情况优先检查是不是更新频率太高或者经验池容量太小。6. 实测效果与下一步优化方向6.1 训练2000局后模型的表现用我调好的这套参数跑了2000局评估结果如下指标随机策略2000局训练后平均存活步数约12步约170步平均消行数不足1行约36行最大单局消行数0行87行是否学会消4行否偶发模型已经能明显表现出一些“意识”它倾向于把方块放在最低处而不是随意乱扔当棋盘边缘有竖缝时它会有意识地控制方块转向尽量保持竖缝通畅长条来的时候模型大概率会把长条放到能一次消四行的地方。这个水平离高手还有很大距离但已经说明了DQN在非平稳环境下的学习能力。我评估时用了关闭探索的模式epsilon0说明模型学到的策略是相对稳定的。如果用带epsilon的模式评估结果会稍微差一点偶尔会随机乱扔一个方块导致快速崩溃这也是epsilon策略在正式使用时的常见取舍。6.2 从DQN到Double DQN、Dueling DQN的升级路径标准DQN有一个著名的高估问题因为max操作会把估计误差带进去Q值普遍被高估导致模型在训练中后期容易做出过于激进的选择。Double DQN的改进是用当前网络选动作用目标网络给这个动作打分把“选动作”和“评估动作”拆到两个网络上从根源上缓解高估。Dueling DQN的思路则是把Q值拆成状态价值和动作优势两部分。对俄罗斯方块来说有些落点的好坏跟棋盘形态密切相关而有些情况下无论放哪里结果都差不多这种拆分能让网络更快学会“什么局面本身有价值”和“在当前局面下哪些动作有明显优势”。我目前用的是标准DQN如果你想把项目往下做强烈建议先升级Double DQN。改动量很小只需要把计算target时的max操作替换成当前网络选动作、目标网络算值一行代码的差别训练稳定性提升很明显。之后再叠加优先经验回放让模型更频繁地学习那些“意外收获”的样本效果会更进一步。我在实际使用中还发现把目标网络的同步频率从固定步数改成软更新每步让目标网络参数向当前网络移动一小步也能提升稳定性只是需要多调一个tau参数新手可以先不碰这个等标准流程完全跑通了再折腾。最后再分享一个我自己的体会做强化学习项目大部分时间不是花在调模型结构上而是花在环境设计和奖励校准上。俄罗斯方块这个项目的价值就在于它让你用最小成本把所有核心流程完整走一遍等真正去挑战更复杂的任务时你会清楚地知道问题可能出在哪个环节而不是一上来就怀疑网络结构不够深、学习率不够小。如果你也想入坑深度强化学习从俄罗斯方块DQN开始是一个非常务实的选择。本文还有配套的精品资源点击获取