1. 从“专用”到“通用”Segment Anything 为何是游戏规则改变者如果你在过去几年里折腾过图像分割任务无论是用 OpenCV 写传统算法还是用 PyTorch 训练一个 U-Net 模型你大概率会认同一个观点这活儿太“磨人”了。每换一个场景——从医学影像的病灶分割到遥感图像的地物提取再到工业质检的缺陷定位——你几乎都得从头开始。收集数据、标注数据、训练模型、调参优化一套流程下来少则几天多则数周。更头疼的是面对一个全新的、从未见过的物体类别模型往往表现得像个“睁眼瞎”泛化能力捉襟见肘。这种“一事一议”的模式严重制约了计算机视觉应用的快速落地和迭代。直到 2023 年 4 月Meta AI 扔下了一颗“重磅炸弹”Segment Anything Model简称 SAM。它被官方称为“图像分割的基础模型”。这个“基础”二字分量极重。它不像我们之前熟悉的那些模型比如在 COCO 数据集上训练好的 Mask R-CNN只能分割那 80 个或 91 个预定义的类别。SAM 的野心是成为图像分割领域的“通才”。你可以给它一张图然后用一个点、一个框、或者一段粗略的涂鸦我们称之为“提示”prompt告诉它“我想分割这个区域”。SAM 就能实时地、高精度地为你生成对应的掩码mask。这个被分割的对象可以是任何东西一只造型奇特的咖啡杯、显微镜下某个特定的细胞结构、街景中一个未曾标注过的广告牌甚至是云图上的一朵怪云。这背后的范式转变是革命性的。它把分割从一个需要大量标注数据的“监督学习”任务转变成了一个“提示驱动”的交互式任务。模型不再需要预先知道“猫”“狗”“车”这些概念它学会了理解图像中“物体”的通用构成规律。这种能力让 SAM 迅速成为了计算机视觉工具箱里的“瑞士军刀”一个真正的“万能分割神器”。无论是作为强大的一键分割工具还是作为复杂视觉系统的前置模块亦或是为零样本、少样本学习任务提供强大的先验SAM 都展现出了前所未有的潜力。接下来我们就深入它的内部看看这把“神器”是如何锻造的以及我们该如何上手使用它。2. 解剖 SAM三支柱架构与“提示引擎”的核心原理SAM 的成功并非偶然它建立在三个精心设计的核心组件之上共同构成了一个高效、灵活的“分割即服务”系统。理解这套架构是有效使用和后续定制它的关键。2.1 图像编码器将整张图压缩为“特征词典”任何分割模型的第一步都是理解图像。SAM 采用了一个基于 Vision Transformer (ViT) 的图像编码器。它的任务非常明确接收一张高分辨率输入图像默认 1024x1024并将其编码成一个密集的、富含语义信息的特征图。这个过程可以想象成在制作一本关于这张图像的“特征词典”。编码器不是简单地下采样而是在多个尺度上捕捉信息。最终输出的特征图其每个“像素点”更准确说是特征向量都包含了原始图像中对应区域及其上下文的丰富信息。这个特征图是后续所有操作的基础它被预先计算并缓存起来。这是 SAM 能够实现实时交互的关键一旦图像特征计算完成无论用户给出多少种不同的提示点、框等模型都无需再次对图像进行繁重的前向传播只需在轻量级的“提示编码器”和“掩码解码器”中快速运算即可。2.2 提示编码器将你的意图转化为机器语言提示是用户与 SAM 沟通的桥梁。SAM 的提示编码器设计得非常精巧能够处理多种模态的输入点分为前景点和背景点。编码器不仅记录点的坐标位置还会为其赋予不同的嵌入向量以区分前景/背景意图。框用一个对角坐标[x1, y1, x2, y2]表示。编码器会将框内区域与框外区域的信息进行编码。掩码低分辨率允许用户输入一个粗糙的掩码作为提示编码器会将其与当前预测进行融合。文本在最初的 SAM 论文中提及但未完全开源的部分理论上可以处理文本描述。提示编码器的作用就是将这些稀疏的、用户友好的提示转化为密集的、模型能够理解的“提示嵌入向量”。这个向量会与图像特征一起送入下一个核心部件。2.3 掩码解码器轻量高效的“掩码生成器”这是 SAM 的“决策大脑”也是一个轻量化的 Transformer 架构。它接收来自图像编码器的图像特征和来自提示编码器的提示嵌入然后将两者高效地融合。它的工作流程可以简述为交叉注意力机制让提示信息去“查询”图像特征。例如一个前景点提示会引导模型去关注图像中与该点特征相似的所有区域。动态卷积预测解码器内部包含一个微小的掩码预测头。它利用融合后的特征动态地生成两个核心输出多个候选掩码SAM 通常会为一次提示生成 3 个候选掩码分别对应“整体对象”、“部分对象”和“子部件”等不同层次的理解。这解决了分割中的歧义问题例如点在一个苹果上是想分割整个苹果还是仅仅苹果柄。每个掩码的置信度分数模型会为每个生成的掩码预测一个 IoU交并比分数帮助用户选择最可能符合意图的那个。整个流程在 CPU 上也能达到近乎实时的速度几十到几百毫秒这得益于“图像编码一次提示快速推理”的巧妙设计。这种将重型计算前置图像编码交互部分轻量化提示编码与解码的思路是 SAM 在工程上成功的重要保障。3. 实战指南多种方式玩转 SAM从 Demo 到集成了解了原理我们来看看如何真正用起来。SAM 提供了极其友好的上手路径满足从快速体验、到脚本化调用、再到深度集成的不同需求。3.1 在线演示零代码快速体验 SAM 威力对于初次接触者最快捷的方式是访问 Meta AI 官方提供的 Segment Anything 在线演示 。这个交互式页面完美展示了 SAM 的核心交互逻辑上传你自己的图片或使用示例图。点选模式点击物体内部添加前景点绿点点击物体外部或非目标区域添加背景点红点。SAM 会实时生成掩码。框选模式拖动鼠标绘制一个矩形框将目标物体大致框住SAM 会自动分割框内主要物体。Everything 模式点击“Segment Anything”按钮模型会自动尝试分割图像中的所有可识别物体。这是展示其“通用性”最直观的方式。注意在线演示版本通常是轻量化或运行在服务器端的模型性能可能与本地运行的全量模型有差异且可能不支持批量处理。但它无疑是验证想法、感受模型能力的绝佳起点。3.2 本地部署与脚本调用掌握控制权当你需要在本地处理大量图片或将其集成到自己的项目中时就需要进行本地部署。Meta 在 GitHub 上开源了完整的代码、模型权重和详细的教程。步骤一环境准备你需要一个配置了 Python建议 3.8和 PyTorch建议 1.9的环境。安装 SAM 包非常简单pip install githttps://github.com/facebookresearch/segment-anything.git或者克隆仓库后安装git clone gitgithub.com:facebookresearch/segment-anything.git cd segment-anything pip install -e .步骤二模型下载SAM 提供了多个预训练模型在精度和速度上做了权衡sam_vit_hViT-Huge backbone参数量最大~2.4B精度最高速度最慢。sam_vit_lViT-Large backbone精度和速度的平衡之选。sam_vit_bViT-Base backbone速度最快适合对实时性要求高的场景精度略有牺牲。根据你的硬件条件尤其是 GPU 显存选择合适的模型并下载对应的.pth权重文件。步骤三编写推理脚本一个最基本的、使用点提示进行分割的 Python 脚本骨架如下import numpy as np import torch import matplotlib.pyplot as plt from segment_anything import sam_model_registry, SamPredictor # 1. 初始化模型 sam_checkpoint path/to/your/sam_vit_h_4b8939.pth model_type vit_h device cuda if torch.cuda.is_available() else cpu sam sam_model_registry[model_type](checkpointsam_checkpoint) sam.to(devicedevice) predictor SamPredictor(sam) # 2. 处理单张图片 image cv2.imread(your_image.jpg) image_rgb cv2.cvtColor(image, cv2.COLOR_BGR2RGB) predictor.set_image(image_rgb) # 这一步完成了图像编码耗时主要在此 # 3. 准备提示例如一个前景点 input_point np.array([[500, 375]]) # 格式为[[x, y]] input_label np.array([1]) # 1 表示前景点0 表示背景点 # 4. 预测掩码 masks, scores, logits predictor.predict( point_coordsinput_point, point_labelsinput_label, multimask_outputTrue, # 输出多个候选掩码 ) # 5. 选择最佳掩码通常选分数最高的 best_mask_idx np.argmax(scores) best_mask masks[best_mask_idx] # 6. 可视化结果 plt.figure(figsize(10,10)) plt.imshow(image_rgb) show_mask(best_mask, plt.gca()) show_points(input_point, input_label, plt.gca()) plt.axis(off) plt.show()这个脚本清晰地反映了 SAM 的工作流程set_image对应图像编码predict对应提示编码和掩码解码。你可以轻松地将提示替换为框box参数或同时使用点和框。3.3 高级应用与集成模式掌握了基础调用SAM 可以在更复杂的场景中大放异彩。模式一自动分割一切Automatic Mask GenerationSAM 仓库提供了一个强大的amg.py脚本它采用了一种“提示网格”的策略在图像上均匀采样大量点然后利用 SAM 为每个点生成掩码最后通过非极大值抑制NMS和去重得到整张图像中所有物体的分割结果。这对于需要无监督地获取图像中所有潜在对象掩码的任务如数据标注、场景理解非常有用。python scripts/amg.py --checkpoint ./sam_vit_h_4b8939.pth --model-type vit_h --input ./input_images/ --output ./output_masks/模式二作为下游任务的强大预处理工具这是 SAM 最具价值的应用场景之一。你可以用 SAM 快速、零样本地生成大量候选区域Region Proposals替代传统的 Selective Search 或 RPN区域提议网络然后将其输入到你自己的分类、识别或测量模型中。例如在医学图像分析中先用 SAM 粗略分割出所有疑似病灶的区域再用一个专用的分类器去判断其良恶性可以极大减少对精细标注数据的依赖。模式三与 Grounding DINO 等模型联用实现文本驱动分割SAM 本身不直接理解文本但可以与开源的开放集检测模型如 Grounding DINO 结合构建一个强大的 pipelineGrounding DINO 根据文本描述如“红色的汽车”、“桌上的杯子”检测出边界框再将这个框作为提示输入给 SAM从而生成精确的像素级掩码。这实现了“你说什么我就分割什么”的终极交互体验相关集成项目在社区中非常活跃。4. 深入场景SAM 在垂直领域的实战技巧与调优SAM 的“万能”并不意味着在所有场景下都开箱即用、完美无缺。将其应用到具体领域时需要结合领域知识进行策略调整和优化。这里分享几个常见领域的实战心得。4.1 医学影像分析处理低对比度与微小目标医学图像如X光、CT、病理切片往往具有对比度低、目标边界模糊、目标尺寸差异大从巨大的器官到微小的细胞的特点。挑战与技巧预处理增强直接使用原始 DICOM 或灰度图像效果可能不佳。建议先进行简单的对比度拉伸如 CLAHE、归一化甚至转换为伪彩色以增强视觉特征供 SAM 识别。提示策略对于微小目标如细胞、微钙化点单点提示可能不够稳定。可以采用“多点提示”策略在目标区域内密集点击 2-3 个前景点或者用一个非常紧凑的框将其紧紧围住这能极大提升分割的鲁棒性。后处理优化SAM 产生的掩码可能包含小的空洞或毛刺。对于医学分析平滑的边界通常更重要。可以使用形态学操作如闭运算填充小孔开运算去除小突起或基于轮廓的平滑算法如 Active Contour对掩码进行后处理。利用“Everything”模式进行筛查在对图像内容不熟悉时可以先运行自动分割一切模式快速浏览所有被检测到的区域从中找到感兴趣的目标再以其为中心进行精细化的交互式分割。实战案例病理切片细胞核分割假设我们要分割一张 HE 染色病理切片中的细胞核。将图像输入 SAM使用“Everything”模式得到大量候选掩码。观察发现许多深紫色、圆形的小区域被分割出来这些很可能就是细胞核。选择一个典型的细胞核掩码计算其最小外接矩形作为框提示或中心点作为点提示。将此提示用于其他类似区域进行批量分割。对于粘连的细胞核可以同时使用前景点点在核内和背景点点在两个核的粘连处进行区分。4.2 遥感与地理信息处理大尺寸图像与复杂纹理遥感图像尺寸巨大常常超过 10000x10000 像素且包含农田、森林、水体、建筑等纹理复杂、形状不规则的地物。挑战与技巧分块处理直接将整张大图输入 SAM 会超出显存且 ViT 编码器对超长序列的处理效率会下降。必须采用分块策略。将大图切割成有重叠例如 512x512重叠 128 像素的小块分别处理每块最后再拼接结果。重叠区域可以取平均或采用其他融合策略来消除接缝。多尺度提示对于大型地物如湖泊一个框可能就够了。但对于线性地物如道路、河流或破碎地块需要结合多个点或沿物体走向绘制一系列点作为提示。结合光谱信息SAM 是纯视觉模型。对于多光谱或高光谱遥感图像可以尝试将多个波段合成为 RGB 或假彩色图像输入或者将光谱指数如 NDVI 植被指数作为一个额外通道与 RGB 图像叠加后再输入有时能提升对特定地物的分割效果。后处理与矢量化分割得到的栅格掩码通常需要转换为矢量多边形如 GeoJSON 格式以便在 GIS 软件中使用。可以使用rasterio和geopandas库完成矢量化并对矢量边界进行简化和平滑。4.3 工业视觉与创意设计追求高精度与可控性在工业质检分割产品缺陷、电商抠图换背景、创意设计素材提取等场景对分割边界的精度和可控性要求极高。挑战与技巧迭代式精细化SAM 的交互特性在这里发挥到极致。第一轮分割结果不理想不要紧。在错误的地方多分割的区域添加背景点在漏分割的区域添加前景点SAM 可以基于之前的掩码和新的提示快速生成更优的结果。这种“人机协同”的迭代流程效率远高于手动标注或重训模型。框与点的组合艺术对于结构清晰的物体先用框定个大范围再在框内关键部位如物体的凹槽、孔洞附近添加前景点在容易混淆的背景处添加背景点可以快速得到极其精准的掩码。边缘细化SAM 生成的掩码边缘有时在像素级精度上仍有提升空间。可以将其与传统的图像分割后处理技术结合如GrabCut算法以 SAM 掩码作为初始化或CRF条件随机场对边界进行像素级的微调。批量处理标准化物体如果生产线上的产品姿态、光照相对固定可以录制一套“提示脚本”。例如对于某个零件总是先在某个固定位置点一个前景点再在另一个位置加一个背景点。将这个提示序列保存下来即可对流水线上的每一张图片进行自动化的、高一致性的分割。5. 性能、局限与未来演进方向尽管 SAM 能力强大但清醒地认识其局限性和优化方向对于在实际项目中成功应用它至关重要。5.1 当前模型的能力边界与常见“失灵”场景对“物体”概念的依赖SAM 是在一个包含 11 亿掩码的庞大数据集上训练的这些掩码大多对应着视觉上可区分的“物体”。因此对于非物体或抽象概念它的表现会打折扣。例如分割“一片阴影”、“水中的倒影”、“火焰”、“烟雾”或者“天空中的一片晚霞”效果可能不稳定因为这些东西在传统标注数据中很少被当作独立物体。精细结构挑战对于具有极其复杂、纤细结构的物体如头发丝、树枝、网状栅格、镂空花纹SAM 可能无法生成连贯、完整的掩码容易出现断裂或把孔洞填满的情况。这受限于模型结构和训练数据的标注粒度。语义歧义SAM 是提示驱动的但它不理解高级语义。如果你在一个穿着格子衬衫的人身上点一个点它可能分割出整个衬衫也可能只分割出一个格子这取决于模型对当前上下文的理解。它无法区分“衬衫”和“格子图案”的语义层级。小模型精度损失为了追求速度而使用sam_vit_b模型时在复杂场景下的分割精度和稳定性会明显低于sam_vit_h需要权衡。5.2 效率优化与部署实践在资源受限的边缘设备或需要处理海量图像的服务端效率是关键。模型量化与加速可以使用 PyTorch 的量化工具对 SAM 模型进行动态量化或静态量化在精度损失可控的情况下显著减少模型大小和提升推理速度。社区也有工作尝试将 SAM 转换为 ONNX 格式并利用 TensorRT 或 OpenVINO 等推理引擎进行进一步优化。图像编码缓存这是 SAM 架构带来的天然优势。如果你的应用场景是针对同一张图片进行多次、不同的交互式分割例如一个图片编辑工具务必缓存predictor.set_image()计算出的图像嵌入。这样后续的每次交互都只是毫秒级的轻量计算。提示批处理当需要对同一张图片上的多个不同对象进行分割时可以将多个提示点集、框集组成一个批次一次性输入predictor.predict()这比循环调用多次更高效。5.3 社区生态与未来展望SAM 发布后迅速催生了一个活跃的生态系统这指明了其未来的演进方向衍生模型与微调出现了许多基于 SAM 进行微调或改进的模型如MedSAM针对医学图像、EdgeSAM针对边缘设备优化、HQ-SAM提升高精度分割质量。这证明了 SAM 作为一个强大的“基座模型”具有很强的可扩展性和领域适应性。未来针对特定垂直场景的“SAM 变体”会越来越多。与多模态大模型结合这是最令人兴奋的方向。将 SAM 的像素级理解能力与 CLIP 的图文对齐能力、以及 GPT-4V 等大型多模态模型的高层语义推理能力相结合正在催生新一代的智能视觉系统。例如用户可以用自然语言说“请把照片中左下角那个穿着红色衣服、正在挥手的人抠出来”系统先通过多模态模型理解指令并定位目标再调用 SAM 进行精确分割。SAM 正在成为这类复杂 AI 代理AI Agent视觉能力的关键组成部分。从 2D 走向 3D 与视频目前 SAM 主要处理静态 2D 图像。但研究已快速扩展到 3D 点云分割和视频对象分割。通过将 2D 图像上的分割结果与深度信息或多帧时序信息相结合实现更连贯、更立体的场景理解是计算机视觉发展的必然趋势。SAM 的出现标志着图像分割进入了一个“提示驱动”和“基础模型”的新时代。它降低了高质量分割的技术门槛将人们从繁重的数据标注和模型训练中部分解放出来转而专注于定义问题、设计交互和集成应用。它可能不是所有分割问题的终极答案但它无疑是一把极其锋利、用途广泛的“万能钥匙”为我们打开了一扇通往更智能、更便捷的视觉感知应用的大门。掌握它理解它并学会在合适的场景中使用它将成为视觉算法工程师和研究者的一项宝贵技能。