简介本资源是一套面向中医智能化研究者与AI医疗初学者的舌象识别实践方案基于深度学习技术实现舌色、苔质等关键特征的自动判别可用于辅助中医舌诊教学、基层医疗筛查或毕业设计开发。压缩包共182个文件含54个Python核心脚本涵盖数据预处理、ResNet50迁移训练、模型评估与Web接口封装、60张标注舌象JPG样本图、40个编译后pyc文件、14个参数与说明txt文档、7个JSON配置及标签映射文件以及UI界面与字体等配套资源整体大小为42.52MB。目前已有36人学习下载适合具备基础Python与PyTorch能力的学习者快速复现完整流程。读者可直接运行训练代码、调用已验证模型进行舌象分类预测并参考详细文档理解数据组织逻辑、模型优化策略及部署要点目录结构按模块划分清晰便于二次开发与实验迭代。1. 项目缘起从“望闻问切”到“AI舌诊”的实践探索作为一名在医疗健康与人工智能交叉领域摸爬滚打了多年的从业者我见证了许多概念从实验室走向应用的过程。其中“AI中医”一直是个充满魅力又颇具挑战的方向。中医讲究“望闻问切”而“望诊”中的舌象观察因其直观、无创的特性成为AI技术切入的理想场景。最近我完成了一个完整的“基于深度学习的舌象诊断系统”项目从模型选型、数据清洗、系统开发到文档撰写走完了全流程。这个项目不仅是一个技术Demo更是一次将传统医学经验进行数字化、标准化落地的严肃尝试。今天我就把这个项目的核心思路、关键代码、踩过的坑以及完整的文档说明毫无保留地分享出来。无论你是想了解AI在医疗图像分析中的应用还是希望复现一个类似的诊断系统这篇文章都能给你提供一份详实的“地图”。这个系统的核心目标很简单用户上传一张清晰的舌头照片系统能自动分析舌体的颜色、苔质、形状等特征并输出一个初步的体质倾向分析报告。它不是为了替代医生而是希望成为个人健康管理的一个辅助工具或者基层医疗机构的初筛参考。接下来我将从数据、模型、系统实现和部署四个维度深入拆解这个项目。2. 核心基石舌象数据集的构建与预处理难题任何深度学习项目数据都是命门。对于舌诊这种高度依赖专家经验的领域数据的质量直接决定了模型的天花板。2.1 数据来源与标注体系的建立公开的、高质量的舌象数据集非常稀缺。我们的数据主要来自与某中医馆的合作在严格遵循隐私保护协议的前提下收集了约5000张脱敏后的舌象照片。这远远不够我们还需要进行数据增强。更重要的是标注体系。我们邀请了三位副主任医师级别以上的中医师共同制定了一套标注标准。这套标准包含多个维度舌色淡红、淡白、红、绛红、紫青紫。苔色白苔、黄苔、灰黑苔。苔质薄、厚、腻、燥、滑、腐、剥落。舌形胖大、瘦薄、齿痕、点刺、裂纹。标注过程并非一帆风顺。即使有标准医师之间对某些“边界案例”的判断也存在差异。例如介于“淡红”和“红”之间的舌色或者“微腻”的苔质。我们的解决方案是采用“多数投票专家仲裁”机制。对于有争议的样本三位医师独立标注若两人一致则采纳若三人各执一词则交由更资深的专家组进行最终裁定并将此案例补充进标注标准说明中形成闭环。这个过程虽然耗时但极大地提升了标注数据的一致性和可靠性为模型训练打下了坚实基础。2.2 图像预处理的关键步骤与原理原始的舌象照片背景杂乱光照不均直接丢给模型效果会很差。我们的预处理流水线Pipeline包含以下几个核心步骤均在Python中使用OpenCV和Albumentations库实现舌体分割ROI提取这是最关键的一步目的是将舌头从嘴唇、牙齿、背景中精准地分离出来。我们尝试过传统的阈值分割、边缘检测如Canny但在复杂环境下效果不稳定。最终我们采用了一个轻量级的U-Net模型专门做舌体分割。这个分割模型是在一个手动标注了舌体轮廓的小数据集上预训练的。代码如下import cv2 import numpy as np from model.unet_segmentor import TongueSegmentor # 假设这是我们训练好的分割模型类 def extract_tongue_roi(image_path): # 读取图像 img cv2.imread(image_path) img_rgb cv2.cvtColor(img, cv2.COLOR_BGR2RGB) original_h, original_w img.shape[:2] # 使用分割模型预测掩码mask segmentor TongueSegmentor() mask segmentor.predict(img_rgb) # 输出为二值化掩码舌头区域为255背景为0 # 寻找最大连通域避免误检小区域 num_labels, labels, stats, centroids cv2.connectedComponentsWithStats(mask.astype(np.uint8), connectivity8) if num_labels 1: # 背景也算一个label # 跳过背景通常是label 0找到面积最大的区域 max_label 1 np.argmax(stats[1:, cv2.CC_STAT_AREA]) mask (labels max_label).astype(np.uint8) * 255 # 应用掩码获取ROI masked_img cv2.bitwise_and(img, img, maskmask) # 获取ROI的边界框并适当外扩一点例如5%以保留完整信息 coords cv2.findNonZero(mask) if coords is not None: x, y, w, h cv2.boundingRect(coords) expand_pixel int(min(w, h) * 0.05) x max(0, x - expand_pixel) y max(0, y - expand_pixel) w min(original_w - x, w 2*expand_pixel) h min(original_h - y, h 2*expand_pixel) roi masked_img[y:yh, x:xw] mask_roi mask[y:yh, x:xw] return roi, mask_roi, (x, y, w, h) else: raise ValueError(未检测到有效的舌体区域)注意分割模型的精度至关重要。在实际应用中我们发现分割错误特别是对于有严重齿痕或裂纹的舌头是后续分类误差的主要来源之一。因此我们单独花了大量精力优化这个U-Net分割模型并设置了置信度阈值。当分割置信度过低时系统会提示“图像质量不佳请重新拍摄”而不是给出可能错误的诊断。颜色校正不同手机、不同光照条件下拍摄的舌象颜色差异巨大。为了消除设备与光照的影响我们采用了基于标准色卡的校正方法。要求用户在拍摄时在舌头旁边放置一个迷你型24色卡如X-Rite ColorChecker Classic Mini。通过检测色卡计算颜色转换矩阵将整张图像的颜色空间校正到标准条件下。如果没有色卡则采用一种自适应的灰度世界算法进行粗略校正但会在报告中注明“色彩仅供参考”。标准化与增强将分割出的舌体ROI统一缩放到固定尺寸如224x224。然后使用Albumentations库进行在线数据增强包括小幅度的旋转±15°、水平翻转、亮度对比度微调、以及添加高斯噪声。这里有一个关键点对于医学图像几何形变如大幅旋转、裁剪要非常谨慎因为舌体的形态如胖瘦、歪斜本身就是重要的诊断依据。我们的增强策略以色彩和纹理扰动为主几何形变为辅。3. 模型架构选型与多任务学习设计舌象诊断是一个典型的多标签、多任务分类问题。一个舌象可能同时具备“舌色红”、“苔黄”、“质腻”等多个属性。3.1 为什么选择EfficientNet作为主干网络在模型选型上我们对比了ResNet50、DenseNet121、EfficientNet-B3等常见架构。最终选择EfficientNet-B3主要基于以下考量精度与效率的平衡EfficientNet通过复合系数compound scaling统一缩放深度、宽度和分辨率在同等计算量下通常能获得更高的精度。对于未来可能的移动端部署效率很重要。强大的特征提取能力其Mobile Inverted Bottleneck (MBConv) 模块能有效捕捉图像中从低级纹理如苔的腻滑到高级语义如整体颜色分布的特征。预训练权重使用在ImageNet上预训练的权重可以加速收敛提升模型泛化能力。3.2 多任务输出头的设计我们并没有为每一个舌象属性舌色、苔色等单独训练一个模型而是设计了一个共享主干网络EfficientNet-B3连接多个并行的任务特定输出头Task-Specific Head。这种多任务学习Multi-Task Learning, MTL架构有两个好处一是不同任务间共享特征能互相促进尤其对于数据量有限的医学领域可以起到隐式的数据增强作用二是预测时只需一次前向传播即可得到所有属性的结果效率高。具体结构如下共享特征提取器输入预处理后的舌体图像224x224x3经过EfficientNet-B3主干网络得到全局平均池化后的特征向量例如维度为1536。独立任务头舌色分类头接一个全连接层输出5个神经元对应5种舌色使用Softmax激活。苔色分类头接一个全连接层输出3个神经元对应3种苔色使用Softmax激活。苔质分类头这是一个多标签分类任务因为苔质可能同时具备“厚”和“腻”。我们为7种苔质属性各自接一个Sigmoid输出的神经元独立判断是否存在。舌形分类头同样为多标签分类为5种舌形属性接Sigmoid输出神经元。import torch import torch.nn as nn from efficientnet_pytorch import EfficientNet class TongueDiagnosisMTL(nn.Module): def __init__(self, num_tongue_color5, num_coating_color3, num_coating_quality7, num_tongue_shape5): super().__init__() # 主干网络 self.backbone EfficientNet.from_pretrained(efficientnet-b3) in_features self.backbone._fc.in_features self.backbone._fc nn.Identity() # 移除原始分类头 # 各任务输出头 self.tongue_color_head nn.Linear(in_features, num_tongue_color) self.coating_color_head nn.Linear(in_features, num_coating_color) self.coating_quality_head nn.Linear(in_features, num_coating_quality) self.tongue_shape_head nn.Linear(in_features, num_tongue_shape) def forward(self, x): # 提取共享特征 features self.backbone(x) # [batch_size, in_features] # 并行计算各任务输出 tongue_color_logits self.tongue_color_head(features) coating_color_logits self.coating_color_head(features) coating_quality_logits self.coating_quality_head(features) tongue_shape_logits self.tongue_shape_head(features) return { tongue_color: tongue_color_logits, coating_color: coating_color_logits, coating_quality: coating_quality_logits, tongue_shape: tongue_shape_logits } # 损失函数设计加权多任务损失 def weighted_mtl_loss(outputs, targets, weights{tongue_color: 1.0, coating_color: 1.0, coating_quality: 1.2, tongue_shape: 1.0}): loss_fn_ce nn.CrossEntropyLoss() loss_fn_bce nn.BCEWithLogitsLoss() total_loss 0.0 # 舌色、苔色交叉熵损失 total_loss weights[tongue_color] * loss_fn_ce(outputs[tongue_color], targets[tongue_color_idx]) total_loss weights[coating_color] * loss_fn_ce(outputs[coating_color], targets[coating_color_idx]) # 苔质、舌形二元交叉熵损失多标签 total_loss weights[coating_quality] * loss_fn_bce(outputs[coating_quality], targets[coating_quality_label]) total_loss weights[tongue_shape] * loss_fn_bce(outputs[tongue_shape], targets[tongue_shape_label]) return total_loss实操心得多任务学习中损失权重的设置weights字典是个经验活。我们发现“苔质”的判断难度最大对最终诊断结果的影响也最敏感因此适当调高了它的损失权重如1.2让模型在训练时更关注这个任务。权重的调整需要根据验证集上各个任务的单独指标如准确率、F1分数来反复微调。4. 系统实现从模型到可用的Web服务模型训练好后我们需要将其封装成一个用户友好的系统。我们选择了Python的Flask框架作为后端Vue.js作为前端构建了一个轻量级的B/S架构应用。4.1 后端API设计与核心逻辑后端核心是一个Flask应用主要提供两个API上传诊断API (/api/diagnose)接收用户上传的图片调用预处理和模型推理管道返回JSON格式的诊断结果。历史记录查询API (/api/history)用于查询用户的历史诊断记录为简化本项目使用SQLite数据库实际生产环境需考虑更安全的用户体系和数据库。以下是核心诊断视图函数的简化代码from flask import Flask, request, jsonify import werkzeug from PIL import Image import io from core.pipeline import DiagnosisPipeline # 封装了预处理、推理的完整流程 app Flask(__name__) diagnosis_pipeline DiagnosisPipeline(model_path./checkpoints/best_model.pth) app.route(/api/diagnose, methods[POST]) def diagnose(): if image not in request.files: return jsonify({error: No image file provided}), 400 image_file request.files[image] # 安全检查文件类型、大小 filename werkzeug.utils.secure_filename(image_file.filename) if not (. in filename and filename.rsplit(., 1)[1].lower() in {png, jpg, jpeg}): return jsonify({error: Unsupported file format}), 400 # 读取图像 img_bytes image_file.read() img Image.open(io.BytesIO(img_bytes)).convert(RGB) try: # 调用诊断管道 result diagnosis_pipeline.run(img) # 将结果存入数据库此处省略数据库操作代码 # save_to_db(result, user_id) return jsonify(result), 200 except ValueError as e: # 处理预处理或推理中的错误如分割失败 return jsonify({error: str(e)}), 500 except Exception as e: app.logger.error(fDiagnosis error: {e}) return jsonify({error: Internal server error}), 500 if __name__ __main__: app.run(host0.0.0.0, port5000, debugFalse)DiagnosisPipeline类封装了从图像到诊断报告的完整流程包括前面提到的分割、颜色校正、标准化、模型推理以及最后将模型输出的logits转换为可读的标签和置信度并组合成一份结构化的报告。4.2 前端界面与交互设计前端界面力求简洁明了主要包含三个部分上传区域支持拖拽或点击上传舌象图片并给出拍摄指引如“请伸出舌头自然光下拍摄避免阴影”。结果显示区域以卡片形式展示诊断结果。分为两部分特征识别结果用标签和进度条的形式直观展示“舌色红85%置信度”、“苔质厚是、腻是、燥否”等。体质倾向分析报告这是系统的“智能”部分。我们基于中医理论建立了一个简单的规则知识库。例如当识别出“舌色红 苔黄 质腻”时系统会映射到“湿热内蕴”的体质倾向并给出简单的养生建议如“饮食宜清淡可适量食用薏米、赤小豆等”。这部分内容我们明确标注为“仅供参考不能替代专业医疗建议”。历史记录用户可以查看以往的诊断记录观察变化趋势。4.3 数据库设计我们使用SQLite进行原型开发设计了两个主要表users表存储用户基本信息为简化本项目可能只使用会话或匿名ID。diagnosis_records表存储每一次的诊断记录包括用户ID、原始图片路径或Base64编码的缩略图、各特征的识别结果JSON、生成的报告文本、以及诊断时间戳。5. 模型训练中的“坑”与调优策略训练一个稳健的医学图像模型远比在ImageNet上微调一个分类网络复杂。5.1 类别不平衡问题的应对我们的数据集中“淡红舌”、“薄白苔”这类健康或常见状态的样本远多于“绛紫舌”、“灰黑苔”这类病理状态的样本。严重的类别不平衡会导致模型对少数类“视而不见”。我们采取了组合策略数据层面对少数类样本进行过采样如随机旋转、色彩抖动并在加载每个批次Batch时确保少数类样本有一定比例的出现。损失函数层面对于分类任务舌色、苔色使用了带权重的交叉熵损失nn.CrossEntropyLoss(weightclass_weights)。class_weights根据每个类别的频率倒数计算。对于多标签任务苔质、舌形在BCEWithLogitsLoss中设置了pos_weight参数增加正样本即存在该属性的损失权重。评估指标放弃单一的准确率Accuracy转而采用每个类别的精确率Precision、召回率Recall和F1分数并以宏平均F1Macro-F1作为模型选择的主要依据。这能更全面地反映模型对各类别的识别能力。5.2 过拟合与泛化能力提升医学数据量小模型极易过拟合。我们采用了“组合拳”来提升泛化能力强大的数据增强如前所述但注意医学图像的合理性边界。标签平滑Label Smoothing在交叉熵损失中应用标签平滑防止模型对训练标签过于自信有助于提升泛化性。Dropout与随机深度Stochastic Depth在EfficientNet的全连接层前添加Dropout层如p0.3。此外在训练时随机“跳过”Drop网络中的某些层随机深度起到了类似模型集成的正则化效果。早停法Early Stopping密切监控验证集上的宏平均F1分数当其连续多个Epoch不再提升时停止训练并回滚到最佳模型。测试时增强TTA在模型预测推理时对输入图像进行几种不同的增强如水平翻转、小角度旋转将多次预测结果进行平均可以稳定提升最终预测的准确性但会牺牲速度。我们在最终评估和提供诊断服务时使用了TTA。5.3 一个具体的调参案例学习率与优化器我们最初使用Adam优化器默认学习率3e-4训练损失下降很快但验证集F1分数在几个Epoch后就开始震荡甚至下降这是典型的过拟合迹象。调整过程更换优化器从Adam切换到SGD with Momentum。Adam虽然收敛快但在小数据集上有时泛化性不如SGD。SGD配合动量如0.9和权重衰减如1e-4虽然收敛慢但往往能找到更平坦的极小值泛化更好。使用学习率热身Warmup与余弦退火Cosine Annealing训练初期使用一个很小的学习率如1e-6线性“热身”到初始学习率如1e-2然后按照余弦函数衰减到接近0。这种策略让模型在初期稳定更新后期精细调优。分层学习率Layer-wise LR对于使用预训练权重的EfficientNet主干网络我们设置较低的学习率如初始学习率的0.1倍而对于我们新添加的多任务输出头则使用较高的学习率。这可以避免在早期训练中就破坏主干网络已经学到的通用特征。经过上述调整模型在验证集上的F1分数提升了约5个百分点并且训练曲线更加平滑稳定。6. 部署实践与性能优化考量将模型从开发环境推向实际可用状态还需要考虑部署和性能。6.1 模型导出与加速训练使用的是PyTorch为了部署便利和可能的性能提升我们考虑将模型转换为ONNX格式或使用TorchScript。这里以TorchScript为例import torch model TongueDiagnosisMTL() model.load_state_dict(torch.load(./checkpoints/best_model.pth, map_locationcpu)) model.eval() # 创建一个示例输入 example_input torch.rand(1, 3, 224, 224) # 跟踪模型生成 TorchScript traced_script_module torch.jit.trace(model, example_input) traced_script_module.save(tongue_diagnosis_mtl_traced.pt)使用TorchScript保存的模型可以脱离原始的Python模型定义文件被加载和运行便于在C环境或某些服务端框架中部署。6.2 服务化与并发处理简单的Flask开发服务器不适合生产环境。我们使用Gunicorn作为WSGI HTTP服务器配合Nginx做反向代理和负载均衡。对于图片预处理和模型推理这种CPU密集型任务为了应对并发请求我们采用了异步任务队列Celery Redis的方案。当用户上传图片后Flask后端立即返回一个“任务ID”然后将耗时的诊断任务预处理推理放入Celery队列由后台的工作进程Worker异步处理。用户前端可以通过轮询或WebSocket使用“任务ID”来获取处理结果。这样避免了HTTP请求被长时间阻塞提升了服务器的响应能力和吞吐量。6.3 硬件资源与成本估算在AWS或阿里云上部署一个最小化的可用版本大致需要计算实例一台具有至少4核CPU、8GB内存的实例如AWS t3.large。GPU并非必需因为单张图片推理对算力要求不高使用CPU在成本上更划算。如果预估并发量很高再考虑使用GPU实例。存储需要存储模型文件几百MB、代码和用户上传的图片。可以使用对象存储服务如AWS S3来存图片数据库只存路径。数据库初期使用云托管的MySQL或PostgreSQL即可。7. 项目文档说明与源码结构一个完整的项目离不开清晰的文档。在提供的源码包中文档结构如下基于深度学习的舌象诊断系统/ ├── README.md # 项目总览快速开始指南 ├── requirements.txt # Python依赖包列表 ├── data/ │ ├── raw/ # 原始数据不包含在源码中仅说明结构 │ ├── processed/ # 预处理后的数据 │ └── annotation_guideline.pdf # 数据标注标准文档 ├── notebooks/ │ └── exploratory_data_analysis.ipynb # 数据探索性分析 ├── src/ │ ├── data_preprocessing/ # 数据预处理模块分割、颜色校正等 │ ├── modeling/ # 模型定义、训练脚本 │ ├── training_pipeline.py # 完整的训练流程脚本 │ ├── inference/ # 模型推理与管道封装 │ └── evaluation/ # 模型评估指标与脚本 ├── web_app/ │ ├── backend/ # Flask后端应用 │ │ ├── app.py │ │ ├── celery_worker.py │ │ └── ... │ └── frontend/ # Vue.js前端项目 │ ├── public/ │ ├── src/ │ └── ... ├── configs/ # 配置文件模型参数、路径等 ├── scripts/ # 部署、数据备份等实用脚本 ├── docs/ # 详细文档 │ ├── architecture_design.md # 系统架构设计 │ ├── api_specification.md # API接口文档 │ └── deployment_guide.md # 部署指南 └── tests/ # 单元测试与集成测试README.md是项目的门面我们详细写了项目简介一句话说明这是什么。主要功能列出系统能做什么。技术栈Python, PyTorch, Flask, Vue.js, SQLite等。快速开始分步指导如何安装环境、准备数据或使用示例数据、训练模型、启动Web服务。模型性能在测试集上的各项指标F1分数、混淆矩阵关键截图。免责声明用加粗字体强调“本系统输出结果仅供参考不能作为医疗诊断依据如有健康问题请咨询专业医师”。在模型训练脚本中我们使用了Hydra或YAML配置文件来管理所有超参数使得实验可复现。在推理代码中加入了详细的日志记录方便追踪错误。这个项目从构思到实现耗时近半年期间遇到了无数细节上的挑战。最大的体会是在AI医疗项目中对领域知识中医舌诊的深入理解与对数据质量的极致追求其重要性丝毫不亚于模型算法本身。算法工程师必须与领域专家紧密合作反复迭代才能做出真正有用、可靠的东西。希望这份详细的拆解能为你打开一扇门更欢迎你基于这份源码进行改进和创造。本文还有配套的精品资源点击获取