Segment Anything 完全使用指南点一下就能分割图像中的任意对象【免费下载链接】segment-anythingThe repository provides code for running inference with the SegmentAnything Model (SAM), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.项目地址: https://gitcode.com/GitHub_Trending/se/segment-anythingSegment AnythingSAM是 Meta AI 开源的图像分割模型输入一个点或一个框它就输出对应的对象掩码也可以自动生成整张图的全部对象掩码。它在 1100 万张图像、11 亿个掩码的数据集上训练零样本即可投入各类分割任务。模型架构三个组件如何协作从上图可以看出SAM 的推理由三个组件串联完成图像编码器把整张图像编码为图像嵌入只需计算一次后续提示可反复复用提示编码器把点、框等提示编码成向量掩码解码器结合图像嵌入与提示产出多个候选掩码并给出质量分数图像编码一次后即可缓存之后每加一个提示只跑轻量解码器交互响应快。SAM 安装步骤环境要求Python 3.8、PyTorch 1.7、TorchVision 0.8建议安装带 CUDA 支持的版本。git clone https://gitcode.com/GitHub_Trending/se/segment-anything cd segment-anything pip install -e .如需掩码后处理、COCO 格式保存或运行示例 notebook再安装可选依赖pip install opencv-python pycocotools matplotlib onnxruntime onnx。模型权重文件见下文三个模型版本怎么选。从点提示到掩码最短可用示例如图所示SAM 对不同类型的提示都能输出高质量掩码点提示点在对象内部输出对应对象框提示框住目标区域按框生成掩码组合提示点与框可叠加使用进一步限定范围from segment_anything import SamPredictor, sam_model_registry sam sam_model_registryvit_h predictor SamPredictor(sam) predictor.set_image(image) # RGB 图像嵌入只计算一次 masks, scores, logits predictor.predict(point_coords[[x, y]], point_labels[1])set_image负责计算图像嵌入predict可反复调用单击提示有歧义时默认返回 3 个候选掩码按scores取最高的即可。把上一次的掩码作为新提示传入还能迭代细化结果。自动生成整图掩码不想逐点提示时SamAutomaticMaskGenerator会在图上铺开点网格自动过滤低质量和重复掩码一次性输出整张图的所有对象也可用仓库中的 scripts/amg.py 脚本在命令行批量处理图片文件夹。在浏览器里跑 ONNX 演示项目的 demo/ 目录提供一个纯前端 React 应用用 ONNX Runtime Web 运行量化后的掩码解码器从上图可以看出演示完全不依赖服务器鼠标移动时掩码实时更新WASM 多线程让预测保持流畅。三个模型版本怎么选vit_h默认backbone 最大分割质量最好vit_l中等规模质量与速度折中vit_b最小版本显存或推理资源受限时使用切换方式把sam_model_registry传入的型号和对应 checkpoint 文件换掉即可三个版本的权重均可从官方渠道下载。适用场景抠图与图像编辑需要精确选区的用户点几下就能得到掩码替代手动套索数据集构建批量生成整图掩码COCO RLE 格式直接喂给下游模型训练视觉研究作为零样本分割基线省去针对目标数据集重新标注工业质检在产线图像中定位目标物或异常区域写在最后把逐像素标注压缩成几次点击是 SAM 最实用的地方装好依赖、下载权重后几行代码就能拿到第一个掩码。建议先跑通上面的点提示示例再打开仓库 notebooks/ 目录里的交互式 notebook 动手试试。 【免费下载链接】segment-anythingThe repository provides code for running inference with the SegmentAnything Model (SAM), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.项目地址: https://gitcode.com/GitHub_Trending/se/segment-anything创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考