一、AI 视频检测系统整体架构典型落地采用端–边–云协同 四层分层架构[感知层] 摄像头/RTSP/文件 ↓ [接入与预处理层] 解码、抽帧、去噪、缩放 ↓ [AI推理层] 目标检测 → 跟踪 → 姿态/时序分析 → 异常判定 ↓ [业务与应用层] 告警规则、存储归档、可视化、联动控制感知层IPC 摄像头、NVR、本地视频文件支持 RTSP/RTMP/GB28181接入层FFmpeg/OpenCV 解码关键帧提取ROI 裁剪降分辨率减负载AI 推理层YOLO 检测 DeepSORT 跟踪 姿态估计(OpenPose/HRNet) 时序模型(LSTM/TCN/ST-GCN/I3D) 做行为或异常打分业务层规则引擎(区域入侵/逗留/跌倒)、去抖防误报、存 MinIO/对象存储、推 WebSocket/钉钉/短信▸ 开源系统级框架参考可直接借鉴或二次开发VideoPipe(sherlockchou86/VideoPipe) — C 节点化流水线内置 RTSP 拉流、YOLO 检测、SORT/DeepSORT 跟踪、行为规则节点适合工程化Frigate(blakeblackshear/frigate) — 开源 AI-NVRFFmpeg 拉流 motion 过滤 YOLO 检测 跟踪适合本地安防DeepCamera(SharpAI/DeepCamera) — 端到端智能视频分析集成 YOLO/OpenPose/人脸/跌倒检测含 RTSP/WebRTCMMAction2 MMPose MMDetection(OpenMMLab) — 算法研究向统一框架覆盖检测/姿态/行为分类二、核心处理流水线Pipeline每路视频流按如下步骤处理1. 视频采集与解码OpenCVcv2.VideoCapture(rtsp_url)或 FFmpeg控制解码帧率如 510 fps 抽帧不必逐帧▸ 开源参考OpenCV、FFmpeg / GStreamer硬解码 NVDEC/VAAPI、Live555RTSP 协议级2. 预处理BGR→RGB、Resize(640×640 或 416×416)、归一化可选去噪、光照补偿、运动模糊检测▸ OpenCV 完成基础变换Albumentations 用于训练时光照增强VideoPipe 内置预处理节点3. 空间感知——目标检测与跟踪YOLOv8/v10-n/s 检测人/车/物品 → 得到 bbox classDeepSORT/Bytetrack 跨帧 ID 跟踪输出轨迹▸ 检测开源Ultralytics YOLOv8/v9/v10/v11最主流ONNX/TensorRT 友好、MMDetection、Detectron2▸ 跟踪开源ByteTrack(ifzhang/ByteTrackUltralytics 内置model.track())、DeepSORT(nwojke/deep_sort ZQPei 改进版)、BoT-SORT / OC_SORT、deepsort-tensorrtC/TRT 加速4. 时序感知——行为/异常分析姿态对人体 bbox 做关键点检测 → 骨架序列时序建模滑动窗口取 N 帧骨架/特征 → LSTM/GRU/TCN 或 ST-GCN 判断动作类别走/跑/跌倒/打架异常检测无监督用正常样本训练 AutoEncoder 或记忆网络重构误差 阈值即异常▸ 姿态开源YOLOv8-pose(Ultralytics部署最简单)、MMPoseHRNet(OpenMMLab高精度)、AlphaPose(MKLab)、OpenPose(CMU)▸ 行为分类开源ST-GCN(yysijie/ST-GCN骨架图卷积)、MMAction2(OpenMMLab集成 SlowFast/I3D/TSN/TSM/ST-GCN/PoseC3D)、PyTorchVideo(Meta)、SlowFast(facebookresearch/SlowFast)▸ 异常检测开源参考MemAE / Conv-AE 复现正常样本训练重构误差阈值、ST-GCN One-Class SVM/kNN 建正态边界5. 决策与告警结合规则是否越界、滞留时长、异常分数防抖冷却时间、连续 N 帧确认→ 触发告警6. 存储与展示存关键帧 前后数秒片段 元数据(JSON)Web 前端叠框/骨架实时渲染 告警列表▸ 后端开源FastAPI/Flask Celery Redis异步队列、PostgreSQL MinIO结构化结果视频片段▸ 前端开源Vue Video.js / flv.js ECharts实时叠框告警面板▸ 监控Prometheus Grafana多路流水线 QPS/延迟▸ 现成联动Frigate Home Assistant / MQTT事件联动与通知三、各层技术选型参考模块推荐技术说明 / 优势开源项目解码/抽帧OpenCV / FFmpeg / GStreamer支持 RTSP 多路并发GStreamer 可硬解目标检测YOLOv8n/v10n (ONNX/TensorRT)快适合边缘 INT8 量化Ultralytics YOLOv8/v10、MMDetection跟踪ByteTrack / DeepSORTID 稳定抗遮挡ByteTrack(ifzhang)、DeepSORT(nwojke/ZQPei)、BoT-SORT姿态估计OpenPose / HRNet / YOLOv8-pose17/33 关键点YOLOv8-pose(Ultralytics)、MMPoseHRNet(OpenMMLab)、AlphaPose行为分类LSTM / TCN / SlowFast / I3D有标注用分类无标注用 VADMMAction2(SlowFast/I3D/ST-GCN)、ST-GCN(yysijie)异常检测AE / MemAE / ST-GCNVAD / kNN无需异常样本MemAE 复现 重构误差阈值推理加速ONNX Runtime / TensorRT / OpenVINO边缘 GPU/NPU 必备TRT INT8 提速 3~5×后端FastAPI / Flask Redis PostgreSQL MinIO异步解耦前端Vue Video.js ECharts实时画面告警面板系统框架VideoPipe / Frigate / DeepCameraC流水线 / AI-NVR / 端到端智能分析四、最简 Python 伪代码示例import cv2 from ultralytics import YOLO # Ultralytics YOLOv8 — github.com/ultralytics/ultralytics model YOLO(yolov8n.pt) cap cv2.VideoCapture(rtsp://ip/stream) while True: ret, frame cap.read() if not ret: break # 抽帧控制可自行加计数器 results model.track(frame, persistTrue, classes[0]) # 只检人ByteTrack内置(ifzhang/ByteTrack) annotated results[0].plot() cv2.imshow(AI Video Detect, annotated) if cv2.waitKey(1) 0xFF 27: break cap.release()在此基础叠加姿态估计(YOLOv8-pose) → 缓存骨架序列 → 时序模型推理(ST-GCN / yysijie/ST-GCN) → 异常阈值判断 → 告警。五、部署建议边缘节点跑 YOLO跟踪简单规则只上传异常片段到云节省带宽云端高精度模型复核、历史统计、VLM 做语义解释可选性能目标1080P 单路 ≥20–25fps端到端延迟 200msINT8 量化提速 35 倍
