1. 项目缘起为什么我们需要一个吸烟行为检测系统在公共场所的安防监控、智慧工厂的安全生产管理甚至是家庭健康监护场景中对特定行为的自动化识别需求正变得越来越迫切。吸烟行为检测就是其中一个典型且具有实际价值的应用。想象一下在加油站、化工厂、仓库或者无烟医院、学校传统的监控依赖人工盯屏不仅效率低下而且极易因疲劳导致漏报。开发一套能够自动、实时识别吸烟行为的系统将人力从重复枯燥的监控任务中解放出来实现7x24小时不间断的智能预警其价值不言而喻。这个项目的核心就是利用当前最主流的YOLO系列目标检测算法构建一个从数据准备、模型训练到最终部署成带图形界面GUI可执行程序的完整流水线。我选择YOLO特别是其最新的v8版本是因为它在精度、速度和易用性上达到了一个非常好的平衡点非常适合我们这种需要实时检测的端到端项目。网上虽然有很多YOLO训练教程但大多停留在命令行操作和模型指标展示真正把训练好的模型“打包”成一个用户可能完全不懂代码能直接双击运行的桌面软件并处理好前后端数据流、界面交互的完整案例并不多。这就是我动手做这个项目的初衷不仅要把模型训出来更要把它用起来做成一个“产品级”的演示系统。整个系统将涵盖几个关键部分首先是吸烟行为数据集的构建与处理这是所有深度学习项目的基石然后是YOLO模型的选择、训练与调优我们会对比v5到v8不同版本的特性接着是利用PySide6Qt for Python搭建一个美观且功能完整的桌面应用程序用于加载模型、处理视频流/图片并显示检测结果最后是整个项目的工程化整合与打包生成可以独立分发的可执行文件。通过这个项目你不仅能深入理解YOLO在具体场景下的应用更能掌握一个深度学习项目从算法到落地产品的全流程技能。2. 基石构建吸烟行为数据集的准备与处理任何监督学习项目的成败一半以上取决于数据。对于“吸烟”这个行为我们需要的不仅仅是识别“香烟”这个物体更重要的是在复杂场景下如手持香烟靠近嘴边、烟雾缭绕等的精准定位。市面上公开的、标注质量高的吸烟行为数据集非常稀缺因此自建数据集往往是第一步也是最耗时的一步。2.1 数据采集与标注策略数据来源可以多样化一部分可以从公开的视频网站注意版权或已有的安防录像中截取另一部分则需要自己模拟拍摄以确保覆盖不同光照白天、夜晚、逆光、不同角度正面、侧面、俯视、不同场景室内、室外、车内以及不同吸烟姿态。一个常见的问题是直接标注“香烟”非常困难因为它目标太小。更有效的策略是标注“人”的头部和手部区域特别是当手靠近嘴部的复合区域。在实际操作中我采用了一种两级标注策略一级标注粗粒度标注完整的人体边界框类别为“person”。这有助于模型先锁定目标人物。二级标注细粒度在已锁定的人体框内标注“吸烟”这个行为。具体可以标注手持香烟的手部区域类别hand_with_cigarette或者嘴部含烟的区域类别smoking_mouth。对于YOLO我们通常直接标注行为发生的区域框。我使用的标注工具是LabelImg或更高效的Roboflow。标注时要注意框的紧密度尽量贴合目标边缘避免包含过多背景。对于模糊、有争议的样本宁可舍弃也不要引入噪声。最终我收集并标注了大约3000张包含吸烟行为的图像并按照8:1:1的比例随机划分为训练集、验证集和测试集。2.2 数据预处理与增强原始数据直接扔给模型训练效果通常不好必须进行预处理和增强。这里我采用YOLO官方推荐的处理流程并针对吸烟行为的特点做了强化格式统一将标注文件如LabelImg生成的XML转换为YOLO格式的.txt文件每行内容为class_id x_center y_center width height坐标是相对于图片宽高的归一化值。基础增强使用albumentations或YOLO内置的增强管道包括Mosaic将四张图片拼成一张极大地丰富了背景让小目标香烟/手部学习到更多样的上下文。随机仿射变换包括旋转小角度、缩放、平移、剪切。这模拟了摄像头角度变化和人体姿态变化。色彩抖动调整亮度、对比度、饱和度、色调。这对应对不同光照条件下的监控画面至关重要。添加噪声与模糊模拟低质量摄像头或运动模糊的情况。针对性的增强由于吸烟行为的关键区域手-嘴区域相对较小我额外增加了小目标复制粘贴Copy-Paste增强。即从其他图片中随机裁剪出已标注的“吸烟”区域以一定概率粘贴到训练图片中。这能有效缓解小目标样本不足的问题显著提升模型对吸烟行为的召回率。注意数据增强主要在训练时在线进行验证和测试集则只进行简单的Resize和归一化以保证评估的公平性。所有增强参数都需要谨慎调节过度增强可能会破坏图像语义反而降低性能。3. 模型选型与实战从YOLOv5到YOLOv8的对比与训练有了高质量的数据接下来就是选择并训练模型。YOLO系列版本迭代很快每个版本都有其特点。我的项目同时兼容v5, v6, v7, v8但在实际主力推进和推荐中我以YOLOv8为核心。下面我们来详细拆解。3.1 YOLO版本特性分析与选择YOLOv5由Ultralytics公司维护生态极其繁荣教程、社区资源最多。它虽然不是官方YOLO但因其出色的工程化易于训练、部署和稳定的性能成为了工业界事实上的标杆。对于刚入门的新手从v5开始是阻力最小的路径。YOLOv6主要由美团视觉团队推出在backbone和neck上做了重新设计强调工业应用的高性能。但其生态相对v5较弱且有一段时间更新缓慢。YOLOv7在模型结构上贡献了多个高效的“可训练bag-of-freebies”在不增加推理成本的情况下大幅提升精度。它的论文在结构创新上很有启发性。YOLOv8同样是Ultralytics出品可以看作是YOLOv5的全面进化版。它提供了更清晰的代码结构、更丰富的任务支持检测、分割、分类、姿态估计、以及一个全新的Anchor-Free检测头。对于新项目我强烈推荐直接从YOLOv8开始。为什么最终聚焦YOLOv8Anchor-Freev8采用了DFLDistribution Focal Loss和CIoUComplete-IoU损失直接预测边界框的分布简化了设计对小目标如香烟的检测通常更友好。更好的精度-速度平衡在相似的速度下v8的精度尤其是mAP50-95普遍高于v5。统一的框架一套代码支持所有任务并且其ultralytics包提供了极其简洁的API无论是训练、验证、预测还是导出几乎都可以用一两行代码完成大大降低了工程复杂度。活跃的维护Ultralytics团队更新非常积极能及时修复问题并融入最新研究成果。3.2 基于YOLOv8的训练全流程实操假设我们的数据集已经按YOLO格式整理好目录结构如下datasets/smoking/ ├── train/ │ ├── images/ # 训练图片 │ └── labels/ # 训练标签 ├── val/ │ ├── images/ # 验证图片 │ └── labels/ # 验证标签 └── data.yaml # 数据集配置文件data.yaml文件内容示例path: ../datasets/smoking # 数据集根目录 train: train/images # 训练集路径相对path val: val/images # 验证集路径 test: test/images # 测试集路径可选 # 类别数量与名称 nc: 1 # 我们只有‘smoking’一个类别 names: [smoking] # 类别名称列表步骤一环境配置# 创建虚拟环境推荐 conda create -n yolov8 python3.8 conda activate yolov8 # 安装ultralytics这是YOLOv8的核心库 pip install ultralytics # 验证安装 yolo checksultralytics包会自动处理大部分依赖如torch, torchvision非常方便。如果遇到网络问题可以为pip设置国内镜像源。步骤二模型训练训练过程被极大简化。你可以直接在命令行操作但我更推荐使用Python脚本便于参数管理和版本控制。from ultralytics import YOLO # 加载一个预训练模型。yolov8n.pt是纳米尺度模型体积小速度快。还有s, m, l, x等尺度。 model YOLO(yolov8n.pt) # 开始训练 results model.train( datadatasets/smoking/data.yaml, # 数据集配置文件路径 epochs100, # 训练轮数 imgsz640, # 输入图像尺寸 batch16, # 批次大小根据你的GPU内存调整 device0, # 使用GPU 0如果是CPU则设为‘cpu’ workers4, # 数据加载线程数 projectruns/detect, # 结果保存目录 namesmoking_det_v8, # 实验名称 pretrainedTrue, # 使用预训练权重强烈推荐 optimizerAdamW, # 优化器 lr00.01, # 初始学习率 augmentTrue, # 启用数据增强 patience50, # 早停耐心值如果mAP在50轮内无提升则停止 save_period10, # 每10轮保存一次检查点 )训练开始后控制台会输出日志并且会在runs/detect/smoking_det_v8目录下生成所有结果包括权重文件、训练曲线图、混淆矩阵等。步骤三关键参数调优心得imgsz图像尺寸默认640对于大多数监控场景够用。如果场景中目标人距离摄像头很远人物像素很小可以尝试增大到960甚至1280但这会显著增加显存消耗和训练时间。batch size在GPU显存允许的情况下尽可能设大这能使训练更稳定。如果出现OOM内存溢出可以减小imgsz或batch或者使用梯度累积。学习率lr00.01是一个不错的起点。如果你是从头训练pretrainedFalse可能需要更小的学习率如0.001。观察训练损失曲线如果损失剧烈震荡或下降缓慢可能需要调整学习率。早停patience这是一个非常重要的技巧。设置patience50意味着如果验证集指标在50个epoch内没有提升训练将自动终止并自动加载验证集指标最好的那个模型权重best.pt。这能有效防止过拟合节省时间。步骤四模型验证与测试训练结束后使用最佳模型在测试集上评估model YOLO(runs/detect/smoking_det_v8/weights/best.pt) metrics model.val(datadatasets/smoking/data.yaml, splittest) # 如果test集在data.yaml中定义了 print(metrics.box.map) # 打印mAP50-95 print(metrics.box.map50) # 打印mAP50同时一定要进行可视化测试这是发现模型问题的关键results model.predict(sourcepath/to/test_image.jpg, saveTrue, conf0.25)通过查看预测图片你能直观地发现模型在哪里漏检False Negative、哪里误检False Positive。例如是否把拿着笔的手误认为吸烟是否在烟雾浓密时失效这些观察将为后续的模型改进如增加困难样本、调整后处理参数提供直接依据。4. 从模型到应用PySide6图形界面开发详解模型训练得再好最终还是要交给用户使用。一个友好、稳定的图形界面GUI是连接算法与用户的桥梁。我选择PySide6Qt for Python的官方绑定来开发界面因为它功能强大、跨平台Windows/macOS/Linux、界面美观并且与Python生态结合紧密。4.1 界面布局与功能设计我们的吸烟检测系统GUI需要包含以下核心功能区域模型加载区允许用户选择训练好的.pt权重文件。媒体源选择区支持图片单张/批量、视频文件、实时摄像头流等多种输入。控制区开始/停止检测、暂停、截图、结果保存等按钮。显示区主画面用于实时显示视频流和检测结果带框和标签侧边栏或底部区域用于显示统计信息如检测到的吸烟行为数量、帧率FPS。参数调整区可折叠允许高级用户实时调整检测置信度阈值conf-thres、非极大值抑制阈值iou-thres等。使用Qt Designer进行可视化拖拽设计生成.ui文件再通过pyside6-uic工具转换为Python代码这是一种高效的方式。但为了更清晰地展示结构这里我用纯代码构建一个简化的主窗口框架import sys from PySide6.QtWidgets import (QApplication, QMainWindow, QWidget, QVBoxLayout, QHBoxLayout, QPushButton, QLabel, QFileDialog, QComboBox, QSlider, QSpinBox, QGroupBox) from PySide6.QtCore import Qt, QTimer, Signal, Slot from PySide6.QtGui import QImage, QPixmap import cv2 from ultralytics import YOLO import numpy as np class DetectionThread(QThread): # 实际应用中应用QThread避免界面卡顿 # ... 省略多线程细节用于后台运行YOLO推理 ... class MainWindow(QMainWindow): def __init__(self): super().__init__() self.model None self.cap None self.timer QTimer() self.init_ui() self.connect_slots() def init_ui(self): self.setWindowTitle(吸烟行为检测系统 v1.0) self.setGeometry(100, 100, 1200, 700) central_widget QWidget() self.setCentralWidget(central_widget) main_layout QHBoxLayout(central_widget) # 左侧控制面板 control_panel QGroupBox(控制面板) control_layout QVBoxLayout() self.btn_load_model QPushButton(加载YOLO模型) self.combo_source QComboBox() self.combo_source.addItems([摄像头, 视频文件, 图片, 图片文件夹]) self.btn_start QPushButton(开始检测) self.btn_stop QPushButton(停止) self.btn_stop.setEnabled(False) # ... 添加其他控件置信度滑块、NMS滑块、显示FPS的标签等 ... control_layout.addWidget(self.btn_load_model) control_layout.addWidget(self.combo_source) control_layout.addWidget(self.btn_start) control_layout.addWidget(self.btn_stop) control_layout.addStretch() control_panel.setLayout(control_layout) # 右侧显示区域 display_panel QWidget() display_layout QVBoxLayout() self.label_video QLabel() self.label_video.setMinimumSize(800, 600) self.label_video.setAlignment(Qt.AlignCenter) self.label_video.setText(等待加载媒体源...) self.label_video.setStyleSheet(border: 2px solid gray;) self.label_stats QLabel(状态: 就绪 | FPS: -- | 吸烟计数: 0) display_layout.addWidget(self.label_video) display_layout.addWidget(self.label_stats) display_panel.setLayout(display_layout) main_layout.addWidget(control_panel, 1) main_layout.addWidget(display_panel, 4) def connect_slots(self): self.btn_load_model.clicked.connect(self.load_model) self.btn_start.clicked.connect(self.start_detection) self.btn_stop.clicked.connect(self.stop_detection) self.timer.timeout.connect(self.update_frame) # 定时器触发每一帧处理 def load_model(self): file_path, _ QFileDialog.getOpenFileName(self, 选择模型文件, , PyTorch Model (*.pt)) if file_path: try: self.model YOLO(file_path) self.statusBar().showMessage(f模型加载成功: {file_path}, 3000) except Exception as e: self.statusBar().showMessage(f模型加载失败: {e}, 5000) def start_detection(self): source_type self.combo_source.currentText() if source_type 摄像头: self.cap cv2.VideoCapture(0) # 打开默认摄像头 elif source_type 视频文件: file_path, _ QFileDialog.getOpenFileName(self, 选择视频文件, , Video Files (*.mp4 *.avi *.mov)) if file_path: self.cap cv2.VideoCapture(file_path) # ... 处理其他输入源 ... if self.cap and self.cap.isOpened(): self.timer.start(30) # 约33FPS self.btn_start.setEnabled(False) self.btn_stop.setEnabled(True) def update_frame(self): if self.cap and self.model: ret, frame self.cap.read() if not ret: self.timer.stop() return # YOLOv8 推理 results self.model(frame, conf0.5, iou0.45)[0] # 获取第一个结果 # 在帧上绘制结果 annotated_frame results.plot() # ultralytics 提供的便捷绘图方法 # 将OpenCV BGR图像转换为Qt RGB图像 rgb_image cv2.cvtColor(annotated_frame, cv2.COLOR_BGR2RGB) h, w, ch rgb_image.shape bytes_per_line ch * w qt_image QImage(rgb_image.data, w, h, bytes_per_line, QImage.Format_RGB888) self.label_video.setPixmap(QPixmap.fromImage(qt_image).scaled( self.label_video.size(), Qt.KeepAspectRatio, Qt.SmoothTransformation)) # 更新统计信息 num_smoking len(results.boxes) if results.boxes is not None else 0 self.label_stats.setText(f状态: 检测中 | FPS: {self.model.predictor.speed[inference]:.1f}ms | 吸烟计数: {num_smoking}) def stop_detection(self): self.timer.stop() if self.cap: self.cap.release() self.btn_start.setEnabled(True) self.btn_stop.setEnabled(False) self.label_video.setText(检测已停止) self.label_stats.setText(状态: 就绪 | FPS: -- | 吸烟计数: 0) if __name__ __main__: app QApplication(sys.argv) window MainWindow() window.show() sys.exit(app.exec())4.2 多线程处理与性能优化上面的简化代码将推理放在主线程的定时器里这在处理高分辨率视频时会导致界面卡顿甚至无响应。在实际项目中必须将耗时的模型推理和视频解码放到独立的线程QThread中。主线程只负责UI更新。这是Qt GUI编程的核心要点。创建检测工作线程创建一个继承自QThread的DetectionWorker类。在其run方法中循环读取视频帧、调用model.predict()进行推理并通过自定义信号Signal将处理后的帧和检测结果发送回主线程。信号与槽通信工作线程通过信号如frame_processed将处理好的图像数据可以是numpy数组或QPixmap和检测统计信息发送出去。主窗口的槽函数用Slot装饰接收这些数据并更新UI。资源管理确保在窗口关闭或停止检测时正确停止工作线程worker.quit()和worker.wait()并释放摄像头或视频文件句柄。性能优化技巧帧率控制对于实时摄像头推理速度可能跟不上采集速度。可以设置一个队列工作线程只处理最新的帧丢弃中间积压的旧帧或者通过调整QTimer的间隔来控制处理频率。图像缩放在送入模型推理前可以将图像从显示尺寸缩放到模型输入尺寸如640x640。在界面上显示时再将带标注的结果图缩放回显示尺寸。这能减少推理时间。模型优化使用YOLOv8提供的model.export(formatonnx)或model.export(formatengine)将模型导出为ONNX或TensorRT格式可以大幅提升在GPU上的推理速度。在GUI中加载优化后的模型。5. 工程化整合训练、推理与界面的无缝衔接至此我们有了训练好的模型best.pt和功能完善的GUI程序。最后一步是将它们无缝整合并打包成可分发软件。5.1 项目目录结构与配置管理一个清晰的项目结构有利于维护和协作。建议如下SmokingDetectionSystem/ ├── core/ # 核心模块 │ ├── detector.py # 封装YOLO检测类提供load, predict接口 │ ├── utils.py # 工具函数图像处理、画框等 │ └── config.py # 配置文件模型路径、参数默认值等 ├── data/ # 数据相关 │ ├── datasets/ # 存放训练数据集 │ └── samples/ # 存放测试用的图片和视频 ├── models/ # 存放训练好的模型权重文件 │ └── yolov8n_smoking_best.pt ├── ui/ # 界面相关 │ ├── main_window.py # 主窗口类 │ ├── resources.py # 由pyside6-rcc编译的资源文件如图标 │ └── ui_mainwindow.ui # Qt Designer文件 ├── train.py # 模型训练脚本 ├── gui_main.py # GUI程序主入口 ├── requirements.txt # 项目依赖 └── README.md # 项目说明在config.py中集中管理路径和参数import os class Config: # 模型路径 DEFAULT_MODEL_PATH os.path.join(models, yolov8n_smoking_best.pt) # 检测参数 DEFAULT_CONF_THRESH 0.5 DEFAULT_IOU_THRESH 0.45 # 界面参数 DISPLAY_WIDTH 800 DISPLAY_HEIGHT 6005.2 使用PyInstaller打包为可执行文件我们的目标是让没有Python环境的用户也能运行这个系统。PyInstaller是完成这项工作的利器。安装PyInstallerpip install pyinstaller处理隐藏导入PySide6和Ultralytics依赖一些动态库PyInstaller可能无法自动分析到。我们需要创建一个hook文件或者直接在打包命令中指定。打包命令在项目根目录下执行。这是一个相对复杂的命令示例它收集了所有必要文件并排除了不必要的包以减小体积。pyinstaller --nameSmokingDetectionSystem \ --windowed \ # 不显示控制台窗口如果GUI是纯图形界面 --onefile \ # 打包成单个exe文件方便分发但启动慢。也可用--onedir生成文件夹。 --add-datamodels;models \ # 将models文件夹复制到exe同级目录 --add-dataui/*.ui;ui \ # 复制UI文件 --hidden-importultralytics.nn.tasks \ --hidden-importultralytics.nn.modules \ --hidden-importtorchvision \ --collect-allultralytics \ --paths你的Python解释器路径/site-packages \ gui_main.py关键点说明--add-data将模型文件、UI文件等资源打包进去。分号前是源路径Linux/macOS用冒号:分号后是exe运行时的相对路径。--hidden-import和--collect-all确保PyInstaller能找到YOLO和PyTorch的所有动态依赖。--paths有时需要指定site-packages路径帮助查找模块。测试打包结果在生成的dist目录下找到SmokingDetectionSystem.exe将其复制到一个全新的、没有Python环境的电脑上运行测试。这是检验打包是否成功的唯一标准。常见问题包括缺少DLL、找不到模型文件、UI文件加载失败等都需要根据错误信息调整打包命令或代码中的路径处理逻辑在代码中应使用sys._MEIPASS来获取打包后的临时资源路径。5.3 实际部署中的挑战与解决方案将这样一个系统部署到真实的监控环境中还会遇到一些在开发机上不曾遇到的问题硬件异构性训练可能在强大的GPU服务器上完成但部署环境可能是只有CPU的工控机、边缘计算盒子如Jetson Nano, RK3588甚至移动设备。解决方案是模型轻量化与格式转换。轻量化训练时选择更小的模型变体如YOLOv8n纳米、YOLOv8s小。格式转换使用model.export(formatonnx)导出为ONNX格式这是一个开放的中间表示可以被多种推理引擎如ONNX Runtime, OpenVINO, TensorRT高效支持。对于Intel CPU可以用OpenVINO进一步优化对于NVIDIA边缘设备可以转换为TensorRT引擎。实时性要求真正的监控系统要求稳定的帧率。除了使用优化后的模型在代码层面还需要异步流水线采用生产者-消费者模式。一个线程专责抓取视频流生产者另一个线程专责推理消费者中间用一个固定大小的队列连接。这样可以避免I/O等待阻塞推理。跳帧处理如果推理速度跟不上输入帧率可以设计一个策略比如每处理完一帧就从队列中清空旧帧只取最新的一帧进行下一次推理确保显示的总是最新结果。误报与漏报的持续优化模型上线后会收集到大量在训练集中未出现的“困难样本”如新的场景、新的干扰物。需要建立一个持续学习闭环定期将系统运行中遇到的误报、漏报案例截图保存经过人工复核后加入到训练数据集中重新训练或微调fine-tune模型然后更新部署的模型权重。这个过程是保证系统长期有效的关键。通过这个从数据到模型再从模型到桌面应用最后考虑实际部署的完整项目我们不仅实现了一个吸烟行为检测系统更走通了一个标准的深度学习应用落地流程。其中遇到的每一个问题从数据标注的琐碎、模型调参的纠结到多线程编程的陷阱、打包部署的兼容性都是宝贵的实战经验。希望这个详细的拆解能为你实现自己的目标检测应用提供一个坚实的蓝本。