简介基于MTCNN实现人脸检测的完整工程代码面向深度学习和计算机视觉方向的开发者与学习者提供了从模型定义、训练到推理的级联卷积网络实现覆盖人脸检测、人脸对齐与关键点定位等任务适合作为算法复现与二次开发的参考基线。资源共80个文件以Python源码为主覆盖P-Net、R-Net、O-Net三个子网络的模型构建、数据准备、训练与推理同时附有Caffe模型、prototxt配置、NumPy权重、Jupyter教程及演示视频压缩包约23.13MB目录结构清晰。已有988人下载学习参考价值较高。代码结构完整提供分阶段训练脚本和关键点检测扩展用例可直接运行验证适合希望深入理解MTCNN并构建人脸检测系统的工程师。 做图像识别这几年人脸检测是我踩坑最多的方向之一。早期用OpenCV自带的Haar级联误检率让人崩溃后来换Dlib稍微好点但小脸角度脸依然惨不忍睹。直到我完整跑通MTCNN才算真正把“检测”这件事做踏实了。这篇文章就把我整理好的基于MTCNN实现人脸检测的完整代码拿出来从网络结构到NMS从环境配置到摄像头实时检测全部拆开讲。MTCNN全称是Multi-task Cascaded Convolutional Networks中文一般叫多任务级联卷积网络。它把目标检测拆成三个阶段每个阶段用一个轻量级卷积网络完成不同任务先快速生成候选框再精细筛选最后输出人脸框和五个关键点。这套思路在当年算是一股清流哪怕放到今天在CPU上的表现依然能打。适合刚入门目标检测的开发者也适合需要在资源受限设备上做人脸检测的团队。如果你正被OpenCV的误检折腾想换一套更稳的方案这篇文章可以直接抄作业。1. MTCNN原理与整体设计思路很多人拿到代码就跑跑完发现效果不好然后骂模型垃圾。其实MTCNN的检测效果跟每一步的细节高度相关尤其是图像金字塔、NMS阈值、边界框回归这些环节一步不到位结果就差很多。所以先把原理说清楚。1.1 三级网络各自负责什么MTCNN由三个网络级联组成P-Net、R-Net、O-Net。它们不是并列关系而是层层递进的流水线。P-NetProposal Network是全卷积网络输入尺寸固定为12x12。它负责在图像金字塔上快速扫描生成大量候选框。P-Net非常轻量目的是“宁可错杀一千不可放过一个”所以它输出的框通常非常粗糙很多是误检。这一步的关键是速度快不能在这个阶段做太复杂的计算。R-NetRefine Network输入尺寸是24x24。它接收P-Net输出的所有候选框裁剪并缩放到24x24后进行分类和回归。R-Net的作用是去掉大部分误检把候选框数量从几千个压到几十个。可以理解成粗筛之后的精筛。O-NetOutput Network输入尺寸是48x48这是最后的把关者。它不仅输出人脸概率和边框偏移还会输出五个关键点的坐标分别是左眼、右眼、鼻子、左嘴角、右嘴角。这一步的输入质量决定了关键点定位的精度所以尺寸最大计算量也最大。1.2 为什么用MTCNN而不是YOLO或OpenCV这是每次分享都会被问到的问题。我的回答很简单场景不同。OpenCV自带的Haar级联检测器是传统方法的代表基于Haar特征和AdaBoost。优点是极快但缺点也很明显对光照变化敏感侧脸、遮挡、戴眼镜的情况很容易漏检误检率也高。我在一个门禁项目里用过Haar一到下午逆光时段误检率直接飙到20%完全没法用。YOLO是端到端的目标检测算法精度高、速度快适合检测多种物体。但它需要GPU才能跑得流畅模型文件动辄上百MB部署到嵌入式设备上很吃力。而且YOLO的目标框是矩形框早年版本输出关键点比较麻烦。MTCNN正好卡在中间。它的模型文件很小三个网络加起来大约2MB在CPU上处理一帧640x480的图像大约需要100-200ms如果优化一下可以做到50ms以内。最关键的是它天然输出人脸的五个关键点这在后续做人脸对齐、人脸比对时非常有用省去单独训练关键点模型的麻烦。所以如果你只做人脸检测且后续还要做对齐MTCNN是性价比最高的选择。2. 环境准备与依赖安装我写代码习惯先列环境这不是废话而是吃过太多版本不兼容的亏。MTCNN的实现有很多版本TensorFlow版、PyTorch版、MXNet版我都试过综合下来PyTorch版最顺手代码读起来最清晰调试也方便。2.1 环境版本与依赖我的测试环境是Python 3.9、PyTorch 1.12、OpenCV 4.6操作系统是Ubuntu 20.04但Windows下同样能跑。主要依赖如下pip install torch opencv-python numpy建议装CPU版PyTorch就够了因为MTCNN的三个网络都是小网络CPU推理完全能跑。如果你的数据量大需要批量训练再考虑GPU版。这里有个坑OpenCV的版本会影响视频读取接口。OpenCV 4.5以上推荐用cv2.VideoCapture读取摄像头时添加后端参数在Linux下默认用的是V4L2一些老摄像头会打不开。后面我会在常见问题部分单独说。2.2 模型文件获取与人脸检测流程MTCNN官方没有直接交付一个开箱即用的Python包我们需要自己加载预训练权重。常见做法是从GitHub上的ipazc/mtcnn项目下载权重文件或者使用facenet-pytorch库中的封装版本。我个人习惯用facenet-pytorch因为它把三个网络都封装好了还有清晰的检测函数。但如果你想把整个流程攥在自己手里强烈建议自己写网络结构和预处理逻辑。这样以后换成自己的训练数据时不用去改别人的封装。我下面给出的完整代码就是手写版基于PyTorch。整体检测流程分五步读入图像转成RGB格式因为网络训练时用的是RGB。构建图像金字塔解决不同尺度人脸的问题。推入P-Net得到候选框做一次NMS。把候选框截取出来缩放后推入R-Net再做NMS。把剩余框推入O-Net得到最终输出和关键点。理解了这条主流程代码写起来就顺理成章了。3. 完整代码实现与逐步拆解这里我给出可直接运行的完整代码。代码不算长但每个部分都有讲究我会在每段后面补充为什么这么写。3.1 定义P-Net、R-Net、O-Net网络结构import torch import torch.nn as nn import torch.nn.functional as F class PNet(nn.Module): def __init__(self): super().__init__() self.conv1 nn.Conv2d(3, 10, 3, 1, 1) self.prelu1 nn.PReLU(10) self.pool1 nn.MaxPool2d(2, 2) self.conv2 nn.Conv2d(10, 16, 3, 1, 1) self.prelu2 nn.PReLU(16) self.conv3 nn.Conv2d(16, 32, 3, 1, 1) self.prelu3 nn.PReLU(32) self.conv4_1 nn.Conv2d(32, 2, 1, 1) self.conv4_2 nn.Conv2d(32, 4, 1, 1) def forward(self, x): x self.prelu1(self.conv1(x)) x self.pool1(x) x self.prelu2(self.conv2(x)) x self.prelu3(self.conv3(x)) cls torch.softmax(self.conv4_1(x), dim1) offset self.conv4_2(x) return cls, offsetP-Net的输入是任意大小因为全卷积网络不限制输入尺寸。它只有三层卷积输出两个分支一个是2通道的softmax分类表示“是人脸”和“不是人脸”的概率另一个是4通道的边界框偏移量。注意这里我没有在P-Net里加NMS因为NMS是在CPU上做的放到网络外面更灵活。R-Net和O-Net类似区别在于输入尺寸和是否有全连接层。class RNet(nn.Module): def __init__(self): super().__init__() self.conv1 nn.Conv2d(3, 28, 3, 1, 1) self.prelu1 nn.PReLU(28) self.pool1 nn.MaxPool2d(3, 2, 1) self.conv2 nn.Conv2d(28, 48, 3, 1, 1) self.prelu2 nn.PReLU(48) self.pool2 nn.MaxPool2d(3, 2, 1) self.conv3 nn.Conv2d(48, 64, 2, 1, 0) self.prelu3 nn.PReLU(64) self.fc nn.Linear(64*2*2, 128) self.prelu_fc nn.PReLU(128) self.fc_cls nn.Linear(128, 2) self.fc_offset nn.Linear(128, 4) def forward(self, x): x self.prelu1(self.conv1(x)) x self.pool1(x) x self.prelu2(self.conv2(x)) x self.pool2(x) x self.prelu3(self.conv3(x)) x x.view(x.size(0), -1) x self.prelu_fc(self.fc(x)) cls torch.softmax(self.fc_cls(x), dim1) offset self.fc_offset(x) return cls, offsetR-Net的输入固定为24x24所以可以放心使用全连接层。后面的设计遵循同样的套路最后输出分类和偏移量。O-Net在R-Net基础上加了一组全连接层并额外输出关键点坐标一共10个值5个点各两个坐标。这里写的网络结构与官方论文不完全一致但遵循同样的设计思想。实际使用中你需要加载在WIDER FACE数据集上预训练的权重否则直接推理效果会很差。权重文件可以从前文提到的开源项目下载加载方式如下def load_weights(net, model_path): net.load_state_dict(torch.load(model_path, map_locationcpu)) net.eval() return net3.2 图像金字塔与滑窗搞定了网络结构接下来是检测的核心流程。人脸在图片里大小不一如果直接用原始尺寸输入P-Net网络感受野只有12x12只能检测小脸。为了解决多尺度问题MTCNN引入了图像金字塔。def create_pyramid(img, min_face_size20, scale_factor0.7): h, w img.shape[:2] min_side min(h, w) scales [] m 12.0 / min_face_size min_length min_side * m while min_length 12: scales.append(m) m * scale_factor min_length min_side * m return scales这个函数的核心逻辑是从当前尺度开始不断乘以缩放因子0.7直到图像最短边对应的12x12区域小于网络输入尺寸。min_face_size表示期望检测到的最小人脸边长默认20像素。如果你需要检测更小的目标可以把它调低到10但会增加计算量。对每个尺度把原始图缩放到size(int(h*m), int(w*m))然后送入P-Net。P-Net输出的是feature map上每个点的候选框需要映射回原图坐标。映射公式是# 假设输入图在scale缩放后经过PNet输出feature map某个点坐标 (x,y) # 原图中对应的滑动窗口左上角为 (x*stride, y*stride) # stride取决于PNet的卷积步长通常为2 # 窗口大小固定为12映射回原图需要除以当前scale这就解释了为什么P-Net的输出要做“还原”。实际代码里我会把步长和感受野固定写死因为P-Net的结构是确定的卷积和池化的总步长就是2。3.3 NMS与边界框回归P-Net输出的候选框会有大量重叠NMS非极大值抑制负责去掉这些冗余框。常用的是IoU交并比作为重叠度指标。def nms(boxes, scores, threshold0.5, methodunion): if len(boxes) 0: return [] x1, y1, x2, y2 boxes[:, 0], boxes[:, 1], boxes[:, 2], boxes[:, 3] areas (x2 - x1 1) * (y2 - y1 1) order scores.argsort()[::-1] keep [] while order.size 0: i order[0] keep.append(i) xx1 np.maximum(x1[i], x1[order[1:]]) yy1 np.maximum(y1[i], y1[order[1:]]) xx2 np.minimum(x2[i], x2[order[1:]]) yy2 np.minimum(y2[i], y2[order[1:]]) w np.maximum(0.0, xx2 - xx1 1) h np.maximum(0.0, yy2 - yy1 1) inter w * h if method union: iou inter / (areas[i] areas[order[1:]] - inter) else: iou inter / np.minimum(areas[i], areas[order[1:]]) inds np.where(iou threshold)[0] order order[inds 1] return keep这里有两种IoU计算方式union模式是标准IoU用于不同网络阶段的NMSmin模式在MTCNN原文中用于P-Net目的是在重叠度很高的情况下保留更多候选框。实际经验是P-Net的NMS阈值用0.5R-Net和O-Net用0.7。阈值越小保留的框越少速度快但容易漏检。边界框回归是MTCNN的另一个核心。P-Net和R-Net输出的offset是归一化偏移量需要换算成真实坐标。计算公式如下def calibrate_box(bboxes, offsets): x1, y1, x2, y2 bboxes[:, 0], bboxes[:, 1], bboxes[:, 2], bboxes[:, 3] w x2 - x1 1.0 h y2 - y1 1.0 offset_w offsets[:, 0] * w offset_h offsets[:, 1] * h offset_x offsets[:, 0] * 0 # 实际是x偏移用w # 官方实现中offset顺序是 [dx1, dy1, dx2, dy2] x1 x1 offsets[:, 0] * w y1 y1 offsets[:, 1] * h x2 x2 offsets[:, 2] * w y2 y2 offsets[:, 3] * h calibrated np.stack([x1, y1, x2, y2], axis-1) return calibrated这段代码容易写错的地方是偏移量的顺序。MTCNN网络输出的四个值分别对应左上角x偏移、左上角y偏移、右下角x偏移、右下角y偏移每个偏移都乘上框的宽或高。如果你把顺序搞反框会偏移到奇怪的位置。3.4 完整检测函数封装把所有模块串起来封装成一个detect_faces函数输入BGR图像输出人脸框和关键点。下面是一个精简版的核心调用流程def detect_faces(img, pnet, rnet, onet, min_face_size20, scale_factor0.7): # 1. BGR转RGB img_rgb cv2.cvtColor(img, cv2.COLOR_BGR2RGB) h, w img_rgb.shape[:2] # 2. 图像金字塔 scales create_pyramid(img_rgb, min_face_size, scale_factor) boxes_list [] for scale in scales: new_w, new_h int(w * scale), int(h * scale) resized_img cv2.resize(img_rgb, (new_w, new_h)) tensor_img transform(resized_img).unsqueeze(0) # 转为Tensor并归一化 cls, offset pnet(tensor_img) # 根据分类概率过滤反算候选框加入boxes_list # ... 省略反算细节重点是用cls做阈值筛选默认0.6 # 3. 第一次NMS boxes, scores combine_and_nms(boxes_list) # 4. 送入R-Net精筛 boxes refine_with_rnet(rnet, img_rgb, boxes) # 5. 送入O-Net boxes, landmarks refine_with_onet(onet, img_rgb, boxes) return boxes, landmarks完整的transform函数需要注意一点PyTorch中图像张量的维度是CxHxW并且需要归一化到[-1,1]或[0,1]。MTCNN原作者在训练时使用mean0.5, std0.5所以推理时要保持同样的预处理方式。mean 0.5 std 0.5 def transform(img): img img.astype(np.float32) / 255.0 img (img - mean) / std img torch.from_numpy(img).permute(2, 0, 1).unsqueeze(0) return img这一步很小但经常被忽略。如果你跳过归一化P-Net的probs会全部乱掉检测结果惨不忍睹。4. 实测效果与常见问题排查代码写完之后一定要跑真实场景验证。我自己用手里的摄像头做了一组测试同时踩了不少坑整理成下面的问题速查表希望对你有帮助。4.1 实时摄像头检测要把上面的人脸检测函数用到实时视频流里其实就是在while循环里逐帧调用detect_faces然后把结果画到帧上。cap cv2.VideoCapture(0) while True: ret, frame cap.read() if not ret: break boxes, landmarks detect_faces(frame, pnet, rnet, onet) for box in boxes: x1, y1, x2, y2 [int(v) for v in box] cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 2) cv2.imshow(MTCNN Face Detection, frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()在CPU上这个循环大约能跑8-12帧每秒。如果要达到实时流畅度可以把输入图像缩小比如把帧resize到360p再送进MTCNN速度能提升两倍以上。我的经验是先把帧缩放再检测然后把你需要的信息映射回原分辨率这是最直接的加速手段。4.2 常见问题漏检、误检、检测慢我自己跑通之后又换了三四个人的脸测试总结出几个高发问题。漏检常见原因有三个。第一是min_face_size设置过大导致小脸被跳过。如果视频画面里人脸占比较小建议把它降到10或15。第二是图像金字塔的缩放因子过大也就是scale_factor太接近1使得金字塔层数不足中间尺度的人脸被漏掉。经验值是0.7到0.8之间。第三是P-Net置信度阈值设太高默认0.6但对模糊人脸可能需要降到0.5。误检则通常是NMS阈值和置信度阈值配合不当。R-Net和O-Net的置信度阈值建议提高到0.8以上把模糊边界排除掉。如果误检依然很多检查是不是图像有大量复杂纹理背景比如树叶、窗帘纹路这些很容易让P-Net产生假阳性。检测慢的根源在于金字塔层数太多。640x480的图像在scale_factor0.7下大约有4-5层每层都要跑一遍P-Net如果再加上R-Net和O-Net耗时自然上去。优化手段是限制最大缩放也就是设置一个max_face_size超过这个尺寸的人脸不再放大减少金字塔上层计算量。另外P-Net阶段可以用torch.no_grad()包裹减少内存占用和计算开销。4.3 几个容易被忽略的性能优化技巧第一个技巧是批量处理P-Net的多尺度输入但要注意不同尺寸无法直接拼接。我更推荐直接写一个循环遍历尺度因为P-Net本身很小循环开销可接受。第二个技巧是提前把图像数据转换为Tensor避免在每个尺度上重复转换。我在一个中端笔记本上测试把转换步骤提到循环外后单帧耗时从220ms降到180ms。第三个技巧是压缩关键点输出精度。人脸对齐只需要关键点的大致位置float16就够用。我试过把所有网络转换为半精度推理检测速度提升明显精度损失在0.5%以内。当然这一步需要你确认自己的硬件支持半精度加速。第四个技巧是在视频场景中利用帧间连续性。如果上一帧已经检测到人脸下一帧可以直接在上一帧框的周围扩展区域做检测而不必全图搜索。这种跟踪辅助策略能把FPS提升到30以上但实现起来要小心人脸快速移动导致的框跳变建议只在检测稳定后开启。我在实际使用中发现MTCNN最稳定的一句话经验是P-Net宁松勿严O-Net宁紧勿松。P-Net的阈值低一点多给后面网络一些候选O-Net阈值高一点只输出非常可信的结果。这比修改任何其他参数都有效。最后分享一个调试小技巧把每级网络的中间结果可视化。把P-Net输出的候选框画在图上把R-Net过滤后的框也画在图上对比一下你就能看出问题出在哪一级。这个方法帮我省下了大量盲调参数的时间。MTCNN整体不难但每一级都有它的脾气稍微照顾一下效果就能稳定不少。本文还有配套的精品资源点击获取