高级应用场景使用 Cosmos-H-Surgical-Simulator 进行手术机器人策略训练与评估【免费下载链接】Cosmos-H-Surgical-Simulator项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Cosmos-H-Surgical-SimulatorCosmos-H-Surgical-Simulator 是一款基于运动学动作条件的手术世界基础模型专为手术机器人策略的训练与评估打造。它构建在公开的 NVIDIA Cosmos-Predict2.5-2B 物理 AI 模型之上并在 Open-H 多 embodiment 手术基准上进行了微调。与文本条件的基础模型不同它直接由机器人运动学驱动能够根据手术场景帧和一系列编码末端执行器姿态及 gripper 命令的 44 维动作向量生成手术场景的未来视频为手术机器人策略的开发提供了强大的模拟工具。为何选择 Cosmos-H-Surgical-Simulator 进行策略训练与评估精准的手术场景模拟能力Cosmos-H-Surgical-Simulator 采用扩散 Transformer 架构具体为潜在视频扩散 TransformerDiT 风格去噪器带有交叉注意力条件。它在 Cosmos-Predict2.5-2B-Video2World 模型的基础上进行了扩展加入了一个 MLP 来根据运动学动作对模型进行条件设定。该模型接受 44 维动作向量每臂 22 维以及当前视频帧作为输入能够预测后续的 12 帧画面。通过自回归展开它可以从学习到的策略或手动设计的动作序列生成完整的手术轨迹视频高度还原真实的手术场景为策略训练提供了接近真实的模拟环境。丰富的手术任务覆盖范围该模型涵盖了 CMR Surgical Versius 临床手术胆囊切除术、前列腺切除术、腹股沟疝修补术、子宫切除术以及 dVRK、MITIC 和其他手术平台的多种任务如缝合、组织操作和 peg 转移等。这意味着研究人员和开发者可以在多种手术场景下对机器人策略进行训练和评估提高策略的通用性和适应性。可靠的性能指标支持在 4 种 CMR Versius 临床手术前列腺切除术、腹股沟疝修补术、子宫切除术、胆囊切除术上进行了评估采用 360p 分辨率每个手术 2 个情节每个情节 2 个种子进行 72 帧自回归生成6 个块 × 12 帧。当前的检查点12k-v2修复后在各项指标上都有出色表现FDSL1为 0.184相比之前的版本降低了 17%GATC 为 0.472提升了 13%TCDpx为 67.03降低了 20%。这些指标为策略的评估提供了可靠的量化依据帮助开发者准确了解策略的性能表现。手术机器人策略训练的关键步骤准备训练数据训练数据来源于 Open-H-Embodiment 社区生成的数据集该数据集包含约 26,500 手术任务演示加上 CMR Versius 临床手术涵盖 32 个数据集、9 个机器人 embodiment 和 10 机构总计约 490 万同步的视频 - 运动学帧。数据集按约 95% 用于训练和验证5% 用于测试的比例进行划分。这些数据为策略训练提供了丰富的样本确保训练出的策略具有良好的泛化能力。配置模型参数模型的输入类型包括图像相机帧和一系列 12 个 44 维数值向量输入格式为 RGB 帧和数值向量。输入参数方面图像为二维图像帧向量为 12 个 44 维向量序列。模型推荐的分辨率为 512x288输入帧会自动调整大小建议采用 16:9 的宽高比。在进行训练前需要根据具体的训练任务和数据特点对这些参数进行合理配置以确保模型能够有效地学习。执行训练过程训练过程中模型利用准备好的训练数据通过不断调整参数来优化策略。借助于 PyTorch 和 Transformer Engine 等加速引擎以及 NVIDIA Ampere、Blackwell、Hopper 等支持的硬件微架构模型能够实现高效的训练。需要注意的是只有 BF16 精度经过测试其他精度如 FP16 或 FP32 未得到官方支持在训练时应选择合适的精度设置。手术机器人策略评估的实用方法选择评估指标评估指标是衡量策略性能的重要标准Cosmos-H-Surgical-Simulator 提供了多种实用的评估指标。FDSL1是帧衰减分数指生成帧与真实帧之间的平均 L1 距离归一化到 [-1, 1]在所有生成帧上取平均值数值越低越好GATC 是真实锚定工具一致性指生成帧和真实帧中 SAM3 分割工具区域内灰度像素的中值零均值归一化互相关ZNCC通过基于梯度的工具存在惩罚进行加权数值越高越好TCD 是工具质心距离指生成帧和真实帧中匈牙利匹配的工具实例质心之间的每帧平均欧氏距离以像素为单位对未匹配的工具采用半对角线惩罚数值越低越好。开展评估实验在进行评估时可选择特定的手术程序如前列腺切除术、腹股沟疝修补术等按照一定的实验设置如每个手术 2 个情节、每个情节 2 个种子等使用模型生成相应的手术轨迹视频。然后根据选择的评估指标对生成的视频进行量化分析得到策略在该手术程序上的性能数据。通过对比不同策略在各项指标上的表现可以评估策略的优劣。分析评估结果对评估得到的数据进行深入分析了解策略在不同手术任务和场景下的表现特点。例如查看在 Hysterectomy 手术中策略的 FDSL1为 0.121GATC 为 0.737TCDpx为 12.7表现较为出色而在 Inguinal Hernia 手术中FDSL1为 0.199GATC 为 0.429TCDpx为 143.2可能存在需要改进的地方。根据分析结果有针对性地对策略进行调整和优化提高其整体性能。实际应用案例分享临床手术机器人策略优化某研究团队利用 Cosmos-H-Surgical-Simulator 对 CMR Surgical Versius 机器人的临床手术策略进行优化。通过在模拟环境中对胆囊切除术等手术进行大量的策略训练和评估不断调整策略参数使机器人在手术过程中的动作更加精准、稳定减少了手术风险提高了手术成功率。新型手术机器人算法测试一家 surgical robotics 公司开发了一种新型的手术机器人控制算法为了验证其有效性和安全性他们使用 Cosmos-H-Surgical-Simulator 进行了全面的测试。在模拟环境中该算法成功完成了多种手术任务的模拟操作各项评估指标均达到了预期要求为算法的实际应用奠定了坚实的基础。总结与展望Cosmos-H-Surgical-Simulator 为手术机器人策略的训练与评估提供了强大而可靠的工具。其精准的场景模拟、丰富的任务覆盖和可靠的性能指标使得开发者能够更加高效地进行策略开发和优化。随着技术的不断发展相信该模型将在手术机器人领域发挥越来越重要的作用推动手术机器人技术的不断进步为医疗健康事业做出更大的贡献。如需使用该模型可通过以下命令克隆仓库git clone https://gitcode.com/hf_mirrors/nvidia/Cosmos-H-Surgical-Simulator。更多详细信息可参考相关文档如模型架构可参考 README.md 中的描述。在使用过程中还需遵守 NVIDIA Open Model License Agreement 中的相关规定。【免费下载链接】Cosmos-H-Surgical-Simulator项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Cosmos-H-Surgical-Simulator创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考