如何使用Harmonizer从安装到推理的完整指南【免费下载链接】Harmonizer项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/HarmonizerHarmonizer是一款由NVIDIA开发的单步图像扩散模型专为神经重建图像和视频渲染打造的在线生成增强器。它能将神经辐射场NeRF或3D高斯 splatting3DGS重建产生的不完美新视角渲染转换为时间上一致的输出使其更接近真实捕捉效果同时纠正动态对象合成到重建场景时出现的照明、阴影和重建伪影问题。准备工作环境与依赖系统要求操作系统Linux推荐Ubuntu 20.04或更高版本硬件NVIDIA GPU支持Ampere、Hopper或Blackwell架构如H100软件PyTorch2.0.0安装步骤克隆仓库git clone https://gitcode.com/hf_mirrors/nvidia/Harmonizer cd Harmonizer安装依赖请确保已安装PyTorch及相关依赖可参考PyTorch官方安装指南。模型下载与配置下载模型 checkpointHarmonizer提供两种 checkpoint适用于不同场景diffusion_harmonizer.pkl支持时间条件的模型适合视频风格的新视角模拟harmonizer_nontemporal.pt非时间模式的单帧模型适合对速度要求较高的场景使用以下命令下载所有模型 checkpoint 到本地models/目录hf download nvidia/Harmonizer --local-dir models配置文件说明项目根目录下的 config.json 文件定义了模型组件信息包含各 checkpoint 的名称、文件路径和作用方便用户了解和管理模型文件。两种运行模式离线与在线离线模式在重建阶段使用清理从重建中渲染的伪训练视图然后将其提炼回3D。这增强了约束不足的区域并提高了整体3D表示质量。在线模式在模拟或推理过程中作为单步神经增强器。它协调颜色和照明为插入的动态对象重建缺失或不一致的阴影并消除来自不完美3D监督和当前重建模型容量限制的残留重建伪影。快速开始推理教程非时间模式推理快速使用harmonizer_nontemporal.pt模型进行单图像增强适合对速度要求较高的场景# 示例命令具体请参考官方代码 python inference.py --model models/harmonizer_nontemporal.pt --input input_image.jpg --output output_image.jpg在H100上的推理速度28 ms / 576 × 1024 px 图像时间模式推理高质量使用diffusion_harmonizer.pkl模型进行视频序列增强提供更高的时间一致性# 示例命令具体请参考官方代码 python inference.py --model models/diffusion_harmonizer.pkl --input input_sequence/ --output output_sequence/在H100上的推理速度212 ms / 576 x 1024 px 图像若要在时间模式模型上使用非时间快速推理可添加--nontemporal标志python inference.py --model models/diffusion_harmonizer.pkl --nontemporal --input input_image.jpg --output output_image.jpg性能表现基准测试结果在来自NDAS MLMCF和ParkNet训练会话的864张图像上进行了基准测试。PSNR越高越好LPIPS和FID越低越好。模型PSNRLPIPSFIDDifix3D28.330.1654.20Fixer: cosmos_3dgut30.990.1641.87Harmonizer: 非时间模式30.480.1632.05Harmonizer: 时间模式31.060.1527.40常见问题与注意事项输入输出要求输入格式RGB图像输入分辨率576 px x 1024 px输出格式RGB图像输出分辨率576 px x 1024 px技术限制重建质量依赖于输入图像和相机校准的质量和一致性这些方面的缺陷可能会对最终输出产生负面影响。风险提示模型不能保证修复100%的图像伪影。请验证生成的场景是否符合上下文和使用要求。许可证信息使用此模型受 NVIDIA Open Model License Agreement 管辖。参考资料DiffusionHarmonizer 论文Harmonizer 训练和推理代码Harmonizer 数据集【免费下载链接】Harmonizer项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Harmonizer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考