CVPR 2026 | Bridging Human Evaluation to Infrared and Visible Image Fusion 论文信息面向红外与可见光图像融合的人类评价对齐 CVPR 2026题目Bridging Human Evaluation to Infrared and Visible Image Fusion作者Jinyuan Liu1, Xingyuan Li2, Qingyun Mei3, Haoyuan Xu3, Zhiying Jiang4, Long Ma3, Risheng Liu3, Xin Fan3*单位1. 大连理工大学 机械工程学院2. 浙江大学 计算机科学与技术学院3. 大连理工大学 软件学院 大工-瑞einfo国际信息与软件工程学院4. 大连海事大学 信息科学技术学院下载https://arxiv.org/abs/2603.03871代码https://github.com/ALKA-Wind/EVAFusionPART.01 摘要摘要红外与可见光图像融合IVIF旨在整合跨模态互补信息以增强场景感知但现有方法普遍依赖手工设计的损失函数与客观指标导致融合结果难以契合人类视觉偏好在安防监控、辅助驾驶等感知场景中效果受限。为此本文提出一种面向 IVIF 的反馈强化框架首先构建了领域内首个大规模人类反馈数据集包含多维主观评分与伪影标注并借助微调后的大语言模型联合专家审校完成高质量标注在此基础上设计专用奖励函数并训练奖励模型以量化感知质量最后通过 Group Relative Policy OptimizationGRPO对融合网络进行微调使融合结果在美学一致性上更贴合人类偏好并取得 SOTA 性能。① 上图 Workflow顶部融合网络生成融合图 → 奖励模型输出两类反馈四维评分热辐射/纹理/伪影/清晰度 伪影热图。奖励模型取代了传统手工损失。② 上图 Reward Model左下输入 {可见光、红外、融合图} 三元组经双层 ViT第一层冻结、第二层可学提取并融合特征分出评分头与伪影热图头。用人类反馈数据集监督训练。③ 上图 GRPO Fine-tuning右下融合图先用 SAM 分割成多个区域每个区域独立打分得到区域级奖励 r₁, r₂, …再通过 GRPO 反传更新融合骨干。奖励模型冻结仅骨干可训练。一句话总结奖励模型把人类偏好转化为可反传的信号GRPOSAM 让融合网络学会生成人眼更喜欢的结果。PART.02 创新1. 首个面向 IVIF 的反馈强化学习框架将人类主观评价显式引入红外-可见光图像融合的训练环路打通客观图像质量指标与人类感知一致性之间的鸿沟突破了传统方法仅依赖手工损失和客观指标的优化范式。2. 首个大规模 IVIF 人类反馈数据集构建了覆盖 8 个基准数据集、11 种 SOTA 融合方法的 9,350张高质量标注数据提供热辐射保留、纹理保留、伪影水平、清晰度四维细粒度评分与伪影区域热图并通过 GPT-4o 微调协同专家审校实现高效高质标注填补了领域内人类反馈数据的空白。3. 面向融合的奖励模型与 GRPO 优化策略设计基于 ViT 的双分支奖励模型同时预测多维评分与伪影热图并首次将 SAM 分割辅助的 Group Relative Policy OptimizationGRPO引入融合任务实现区域级优势计算与策略优化使融合结果更贴合人类视觉偏好并达到 SOTA 性能。PART.03 核心方法核心方法总结本文提出一个基于 RLHF 的 IVIF 反馈强化框架整体分为三步构建人类偏好数据集 → 训练融合专用奖励模型 → 用 GRPO 微调融合骨干网络。3.1 面向 IVIF 的人类偏好对齐数据集为弥补 IVIF 领域缺乏人类反馈数据的空白作者构建了首个大规模高质量标注数据集。数据采集原始图像从 FMB、LLVIP、M³FD、MFNet、RoadScene、SMOD、TNO、VIFB 等 8 个基准数据集收集 30,000 对红外-可见光图像覆盖广泛场景与环境条件。数据清洗使用 CLIP 模型对重复/相似场景去冗筛出 900 对代表性图像。专家筛选4 位 IVIF 领域资深专家进一步筛选最终保留 850 对高质量图像。融合推理使用 11 种 SOTA 方法MURF、DDcGAN、MetaFusion、PromptF、CDDfuse、SegMif、Text-IF、DDFM、U2Fusion、CoCoNet、TarDAL进行推理共生成9,350 张融合图像。标注协议每张融合图均包含以下标注四维细粒度评分1–5 分制热辐射保留、纹理保留、伪影水平、清晰度一个总评分四维评分的综合平均伪影热图标注中心坐标与半径定位视觉可察觉的伪影区域大模型协同标注流程种子集构建4 位 5 年以上经验的专家对 100 张融合图进行精细打分和伪影标注形成高质量种子集。GPT-4o 微调利用种子集对 GPT-4o 进行监督微调使其学会按专家标准打分。自动批量标注微调后的 GPT-4o 对全部 9,350 张融合图进行自动评分与伪影定位。专家复核5 位 3 年以上经验的研究者复核并修正 GPT-4o 的标注纠正评分偏差、补充遗漏的伪影区域。结果最终的人类反馈 IVIF 数据集用于训练下游奖励模型。3.2 面向融合的奖励模型Fusion-Oriented Reward Model奖励模型负责将主观人类偏好转化为可量化、可反传的监督信号。网络结构输入红外xir、可见光xvi、融合图xfused 三元组第一层 ViT冻结基于视觉-语言预训练的 ViT-Large-Patch16-384提取 patch 级语义特征Fi ViT(xi)xi ∈ {xir,xvi,xfused}跨模态特征拼接沿通道维拼接 [Fir ∥Fvi ∥Ffused] ∈ ℝN×3D线性投影降维后送入**第二层 ViT可训练**完成跨模态融合输出空间特征图Fmap ∈ ℝD×H’×W’双预测分支热图预测分支卷积压缩通道 → 残差结构上采样 → Sigmoid → [0,1] 的伪影概率图评分预测分支卷积压缩 → 展平 → MLP 回归 → Sigmoid → 各维度标量分训练目标奖励模型采用联合损失左右滑动查看完整公式即评分损失与热图损失的加权和。3.3 IVIF 模型的策略优化GRPO Fine-tuning基线融合网络选用DCEvoDiscriminative Cross-Dimensional Evolutionary Learning作为待优化骨干其具备编码器-解码器结构及判别增强与跨维嵌入模块但仍基于传统客观指标优化留有感知对齐改进空间。SAM 辅助的区域级奖励借助Segment Anything Model (SAM)对融合图做语义分割以实现区域级的奖励计算融合策略 πθ 产生融合图FSAM 将F分割为K个语义子区域 {f1, …,fK}其中fk F⊙Mk每个子区域连同整张融合图送入奖励模型得到子区域质量分 {s1, …,sK}GRPO 优势计算在每个图像内部计算组相对优势Group Relative Advantage无需外部价值网络策略更新目标融合策略 πθ 通过最大化以下目标进行优化左右滑动查看完整公式其中rk 衡量区域k上的策略变化幅度πref 是初始策略的冻结副本用于 KL 正则化防止策略偏离过远截断clip机制借鉴 PPO保证训练稳定方法优势区域级反馈SAM 分割让奖励信号聚焦语义目标人、车、建筑等而非全局平均组相对优化GRPO 以同一图像内部相对优势为信号避免额外价值网络偏好对齐融合结果更贴合人类美学与感知一致性显著优于 DPO、PPO 基线方法流程红外可见光 → 融合骨干(DCEvo)→ 融合图 ↓ AM 语义分割 → K 个区域 ↓ 奖励模型(ViT双分支)→ 区域评分 伪影热图 ↓ GRPO 组相对优势计算 ↓ 反传更新融合骨干奖励模型冻结一句话总结数据集提供人类偏好监督 → 奖励模型把偏好量化为信号 → GRPO 把信号反传到融合网络最终生成人眼更喜欢的融合结果。PART.04 实验结果图 3 从三个维度直观呈现所构建人类反馈数据集的丰富性(a) 数据多样性样本来自 MFNet、LLVIP、SMOD 等多个基准数据集t-SNE 聚类显示场景分布广泛 (b) 标签多样性每张样本在热辐射、纹理、伪影、清晰度四个维度上均有1–5 级细粒度评分分布且配有伪影热图标注 (c) 场景多样性覆盖行人、汽车、卡车、建筑、道路等多类关键语义目标。整体体现了数据集在来源、标注、语义三方面的全面覆盖。图 4定性对比在 RoadScene、M³FD、TNO 三个数据集上与 CDDFuse、EMMA、DCEvo、ReCoNet、SegMif、Text-IF、TIMFusion 等 SOTA 方法对比。本文方法在建筑轮廓、车辆纹理、暗光/雾天场景的目标细节上均保留得更清晰色彩与结构更贴近人类视觉偏好。表 1定量对比在RoadScene、M³FD、TNO三数据集上以 CC、PSNR、Qabf、SSIM 四项参考指标评测本文方法在 12 项指标中取得8 项最佳、3 项次佳尤其在 CC 与 PSNR** 上全面领先验证了 RLHF 微调对融合质量的显著提升。作者在 FMB 和 M³FD 两个数据集上进一步验证融合结果在下游任务中的表现涵盖语义分割与目标检测两类任务对应图 6、图 7、表 3。语义分割FMB在 Person、Car、Sky、Bus、Motor、Pole 等类别上评测 IoU 与 mIoU本文方法取得最高mIoU56.92多数类别排名第一或第二尤其在低光与高光场景下目标分类更准确。目标检测M³FD在 People、Car、Bus、Light、Motor、Trunk 等类别上评测 mAP本文方法以 mAP 62.23 位列第一在四个类别上取得最佳在雾天能成功检出其他方法漏检的摩托车与行人。结论融合结果不仅在视觉质量上更佳更能为下游感知任务提供更丰富的特征信息与更高的检测/分割精度证明 RLHF 微调带来的感知对齐对实际应用同样有效。PART.05 全文总结本文首次将 RLHF 引入红外-可见光图像融合IVIF提出数据集—奖励模型—策略优化的完整反馈强化框架构建了领域首个人类反馈数据集9,350 张融合图含四维评分与伪影热图训练基于 ViT 的双分支奖励模型并通过 SAM 辅助的 GRPO 策略对融合骨干进行区域级微调。实验在三大基准及下游分割/检测任务上全面取得 SOTA验证了人类偏好驱动的 RLHF 范式对图像融合任务的有效性。

相关新闻

最新新闻

Java Agent 异常处理的可选性:从 Optional 到 CompletableFuture 的降级策略实践

Java Agent 异常处理的可选性:从 Optional 到 CompletableFuture 的降级策略实践

如果把 Agent 的异常处理写成传统的try-catch,大概率会在第一个真实故障面前失灵。这不是危言耸听,而是 Agent 应用与传统后端服务的本质差异决定的:Agent 的执行结果不确定、调用链不固定、外部依赖多,而且它并不是每一次失败都值…

2026/8/30 7:38:08
Minimax H3提示词Skill实战指南:从安装到效果验证

Minimax H3提示词Skill实战指南:从安装到效果验证

说实话,最近视频生成模型圈子里讨论度最高的名字之一就是 Minimax H3。很多人第一眼看到演示视频时,第一反应都是“这是 CG 吧”,结果发现确实是模型直出。但等自己真正部署完、跑起来之后,反馈却往往两极分化:有人觉得…

2026/8/30 7:38:08
AI进入大学:教学考核如何重构?从Carson Gross见解到RAG实践

AI进入大学:教学考核如何重构?从Carson Gross见解到RAG实践

最近在技术社区里,Carson Gross 的一段分享《AI and the University》被反复讨论。如果你熟悉 htmx 和《Hypermedia Systems》这本书,应该对这个名字不陌生。他作为长期在 Web 开发领域坚持“简化”理念的技术人,这次把目光投向了大学教育&am…

2026/8/30 7:38:08
大模型为何“不知道自己在做什么”?Agent工程中的自验证与可靠性实践

大模型为何“不知道自己在做什么”?Agent工程中的自验证与可靠性实践

“OpenAI just proved AI has no idea what its doing (July) [video]”这段带有挑衅意味的视频标题在技术社区流传时,真正值得关注的不是“OpenAI 又要炒作什么”,而是一个反复出现的工程现象:AI 能生成非常自信、流畅、结构完整的回答&…

2026/8/30 7:38:08
基于Claude Tag的标签驱动值班:从请求埋点到连接错误排查

基于Claude Tag的标签驱动值班:从请求埋点到连接错误排查

在实际依赖 Claude 模型的业务系统里,值班工作很少只是“看日志、找原因”这么简单。真正麻烦的是:请求量大之后,同一个错误可能来自多个服务、多个用户、多个批次,值班人员收到告警却不知道这条错误影响谁、该由谁处理、是不是已…

2026/8/30 7:38:08
从vibe coding到spec coding:打造可控的AI辅助编程工作流

从vibe coding到spec coding:打造可控的AI辅助编程工作流

当“Im done coding with AI”这类标题开始频繁出现在开发者社区时,很多人的真实态度并不是“我再也不碰 AI”,而是被 AI 编程工具“看起来很快、实际收尾很慢”的体验反复折磨之后,决定重新审视自己的使用方式。早期的兴奋很容易理解&#x…

2026/8/30 7:33:08