做过多模态 RLHF 的工程师大概率都遇到过这种场景视觉 Agent 在测试集上跑得不错一遇到用户真实截图给出的描述或操作建议就完全偏离图片内容更夸张的是拿奖励模型给这个错误结果打分它居然还给了高分。问题往往不在策略模型而在奖励模型本身——它根本没有真正看懂图像里的空间关系、版面布局和对象因果。你喂进去一张“杯子在桌上”的图奖励模型可能只看懂了“桌子上有杯子”却分不清杯子到底在桌子左上方还是右下方。我的判断是VLM视觉语言模型奖励模型当前最大的瓶颈并不是参数量不够也不是缺少通用的文本对齐能力而是对图像结构信息不敏感。结构感知微调Structure-Aware Fine-Tuning正是目前性价比最高的一条补课路径它不要求你重写模型架构不要求你堆更大的训练集而是通过显式的结构信号让奖励模型学会利用空间位置、区域检测、场景图这些它在普通图文对齐任务里很容易忽略的信息。读完这篇文章你会理解四件事第一VLM 奖励模型和普通文本奖励模型的差异到底在哪里第二为什么结构感知微调能提升多模态 RLHF 的质量第三如何从零构造一套结构感知偏好数据集第四如何基于开源 VLM 底座完成奖励模型微调、验证和迭代。文中会给出完整的数据格式、训练代码和排查清单方便你直接拿去做工程落地。1. VLM 奖励模型是什么为什么最近被反复讨论奖励模型最初在文本大模型 RLHF 流程里担任“裁判”角色给定同一个 prompt 的多个模型回答奖励模型输出一个标量分数分数高的回答被强化分数低的回答被抑制。它的核心价值在于替代人类反复标注让策略模型在训练过程中有稳定、可扩展的反馈信号。VLM 奖励模型把同样的逻辑迁移到多模态场景。输入变成了“图像 用户提问 模型回答”输出仍然是一个标量分数。比如用户上传一张产品页面截图问“页面中哪个按钮最容易误触”策略模型给出多种回答VLM 奖励模型需要判断哪个回答更准确、更贴合图片中的实际布局。从社区实践看VLM 奖励模型至少有三类典型用途多模态 RLHF为视觉对话模型、图像生成评估模型提供偏好信号。视觉 Agent 自动评估在 UI 自动化测试、截图转代码、文档理解等任务中代替人工判断 Agent 输出是否正确。数据筛选从大规模模型生成结果中挑选高质量样本再作为指令微调训练集。过去很多团队直接把文本奖励模型的训练思路搬过来用 CLIP 或者某个 VLM 做最后一层标量映射。这种方法在简单图文匹配场景下有效一旦遇到布局、空间位置、对象重叠、局部遮挡等问题奖励分数就很不稳定。原因很简单文本奖励模型只需要理解 token 序列而 VLM 奖励模型必须同时理解图像中的视觉结构。图像不是平面上的 token 串它自带空间坐标、尺寸、层级、遮挡和相对位置这些信息很难被一个“全局相似度”压缩掉。这也是为什么“结构感知微调”会成为一个独立的研究方向它试图把图像结构信息显式引入奖励模型的训练过程让裁判真正看懂画面的空间逻辑而不是只判断语义主题是否一致。2. 从文本奖励模型到 VLM 奖励模型结构感知到底缺什么2.1 普通 VLM 打分的问题一个常见的直观理解是VLM 本身已经能看懂图片加一个回归头不就可以了实际并非如此。普通 VLM 经过图文对比或指令微调后擅长回答“这是什么”“图里有什么”但不太擅长回答“A 和 B 的相对位置是什么”“底部按钮和顶部导航的遮挡关系是什么”。奖励模型通常需要在同一张图上比较两个候选回答它需要更精细的判断力。举个例子图中有一个人站在汽车前方。候选回答 A一个人站在汽车前方。候选回答 B一个人站在汽车后方。CLIP 类模型可能会给 B 也打不低的分因为语义元素“人”“汽车”“站”都出现了只是位置关系错了。这种错误在普通 VLM 打分里非常常见因为模型默认把图像压缩成全局特征位置信息被平均池化稀释掉了。如果结构信息没有被显式建模奖励模型就会产生“语义对但空间错”的幻觉。这对下游任务影响很大视觉 Agent 输出一个错误的点击位置奖励模型还认为这个回答正确错误就会在 RLHF 过程中被放大。2.2 结构感知与传统多模态特征有什么不同结构感知不是简单地在 prompt 里加一句“请关注位置关系”。它的本质是提供格式化的、可被优化器直接利用的结构信号空间坐标目标框的归一化坐标 (x1, y1, x2, y2)。层次关系某个元素属于哪个区域例如正文、标题、弹窗、导航栏。关系三元组(主体, 关系, 客体)例如(人, 站在, 汽车前方)。版面顺序在文档类图片中文本块的阅读顺序、表格行列关系。这些信息可以来自人工标注、检测模型、OCR、版面分析器也可以来自场景图生成器。核心思想是不要把图像结构当作 hidden state 里的隐式信息而是把它转成监督信号让奖励模型明确知道“正确回答必须满足这些空间约束”。从工程角度看结构感知微调的价值在于三点降低奖励模型对图像全局语义的过度依赖提升对局部细节的分辨力。让奖励模型在排序判断时有更可信的依据而不是凭整体印象。在数据量有限的情况下结构信号相当于免费的正则化能有效抑制过拟合。3. 结构感知微调的三种工程实现路径结构感知微调没有一个唯一的“标准答案”核心取决于你想把结构信息放在哪一层。从实施成本从低到高大致有三种路径。3.1 结构信息注入 prompt这是最推荐起步的方案。做法是把图片中检测到的目标框、OCR 文本、场景图关系等结构信息转成一段结构化文本拼到用户问题和候选回答前面让 VLM 在多模态输入中额外看到“结构参考”。优点不需要改模型结构。数据格式灵活方便快速验证。能直接利用 VLM 强大的文本推理能力来理解 bbox 坐标和关系三元组。缺点结构文本会占用上下文长度过长的布局描述可能影响模型理解。如果结构标注存在噪声模型可能被带偏。3.2 结构编码器与 VLM 特征融合如果 prompt 注入无法满足需求可以引入一个独立的视觉结构编码器例如版面分析模型或检测模型的特征。把图像特征、结构特征、文本特征拼接后再进入奖励头。优点结构特征更稠密不会被 prompt 模板稀释。对空间细节更敏感。缺点训练和部署链路变复杂。需要额外维护一个结构编码器推理开销增加。3.3 模型内部结构 Token 与部分微调这套方案更接近研究前沿在 VLM 输入中增加结构 token例如box包围的坐标 token、区域 token、关系 token并对模型部分层做 LoRA 或全参数微调让模型隐式学习结构感知表征。优点结构信息以模型原生能力的方式融入推理时不依赖外部结构文本。效果上限最高。缺点实现复杂。需要更多训练数据和更长训练时间。对初学者不够友好。综合来看如果是一个刚启动的多模态 RLHF 项目先从方案 A 做起把数据跑通、指标建好再根据瓶颈决定要不要升级到方案 B 或 C是更稳妥的工程节奏。4. 数据准备结构感知偏好数据集怎么造训练奖励模型通常需要偏好对同一图像和用户提问下一个更优回答chosen一个更差回答rejected。结构感知微调在这个基础上增加一个结构信息字段让模型知道判断依据是什么。4.1 数据最小字段设计一个结构感知偏好样本建议至少包含以下字段字段说明是否必填image图片路径或图像字节是prompt用户问题是chosen更优回答是rejected更差回答是structure场景图、OCR、版面等结构化信息建议必填meta来源、标注人、置信度等元信息选填structure字段可以用下面这种 JSON 结构表达{ scene_graph: [ { subject: 猫, relation: 坐在, object: 椅子上, subject_bbox: [0.55, 0.42, 0.68, 0.61], object_bbox: [0.45, 0.38, 0.78, 0.72] } ], ocr: [ { text: MENU, bbox: [0.20, 0.05, 0.35, 0.10] } ], layout: [ { region: navigation, bbox: [0.00, 0.90, 1.00, 1.00] } ] }这个结构信息的质量直接决定奖励模型能不能学到空间关系。如果chosen回答里说“猫在椅子右侧”但structure里没有任何坐标说明模型就只能靠猜。因此结构标注必须和回答内容对齐。4.2 如何从现成数据合成结构标注手工标注结构信息很贵实际项目中可以先通过自动工具生成再经过人工抽检目标检测模型输出场景中主要对象的 bbox。OCR 模型输出文本内容和对应坐标。版面分析器输出标题、正文、图片、表格等区域。规则脚本把检测结果转换成关系三元组例如根据 bbox 中心点判断“上方”“下方”“左侧”“右侧”。一个常见的生成脚本逻辑如下如果对象 A 的 bbox 和对象 B 的 bbox 满足重叠条件就生成关系“A-在-B-上方”如果中心点水平距离近、垂直距离远就生成“A-在-B-右侧”。这类规则适合构造负样本把关系替换成反义词生成一个空间上明显错误的rejected回答让奖励模型学习识别错误。需要注意一个坑自动生成的负样本如果过于机械奖励模型可能学到“包含 bbox 坐标的回答更好”而不是真正理解空间关系。所以在合成数据之外一定要保留一部分人工构造的细粒度偏好对例如两个回答只差一个位置介词其余语义完全一致。5. 完整示例基于 VLM 底座做结构感知奖励模型微调下面用一个最小示例演示完整流程。示例以社区常见的 Qwen2-VL 系列模型为底座核心思路可以迁移到任意开源 VLM。代码中的训练逻辑是示意性的具体 API 可能需要根据你使用的 Transformers 版本微调。5.1 环境准备建议使用 Python 3.10 及以上版本安装了如下依赖pip install transformers peft accelerate datasets torch如果你本地显存有限可以先用 7B 级别的小模型起步再逐步加大。这里不强制指定版本因为 VLM 底座迭代较快版本请以实际项目为准。5.2 定义结构感知 prompt首先写一个工具函数把structure字段转换成 prompt 文本。这是方案 A 的关键目的是把空间关系显式告诉 VLM。# 文件路径structure_utils.py def format_bbox(bbox): return f[{bbox[0]:.2f},{bbox[1]:.2f},{bbox[2]:.2f},{bbox[3]:.2f}] def structure_to_text(structure): parts [] if structure.get(scene_graph): for sg in structure[scene_graph]: subj sg.get(subject) rel sg.get(relation) obj sg.get(object) subj_bbox sg.get(subject_bbox) obj_bbox sg.get(object_bbox) item f{subj}({format_bbox(subj_bbox)}) -{rel}- {obj}({format_bbox(obj_bbox)}) parts.append(item) if structure.get(ocr): for ocr in structure[ocr]: item fOCR[{ocr[text]}]({format_bbox(ocr[bbox])}) parts.append(item) if structure.get(layout): for layout in structure[layout]: item f区域[{layout[region]}]({format_bbox(layout[bbox])}) parts.append(item) return ; .join(parts) def build_message(prompt, structure): structure_text structure_to_text(structure) if structure_text: prompt_with_structure ( f{prompt}\n请结合以下结构化视觉信息进行判断 structure_text ) else: prompt_with_structure prompt return {role: user, content: prompt_with_structure}这里真正重要的是结构文本和用户问题拼接后VLM 在计算时不再只依赖图像 patch而是同时获得了坐标和关系信息。注意 bbox 是归一化坐标取值在 0 到 1 之间这比像素坐标更稳定。5.3 定义 VLM 奖励模型奖励模型在 VLM 之上增加一个 MLP 映射头。核心思路是冻结或半冻结 VLM 主干只训练奖励头和结构相关的 LoRA 模块减少显存开销和过拟合风险。# 文件路径vlm_reward_model.py import torch import torch.nn as nn from transformers import AutoProcessor, Qwen2VLForConditionalGeneration class VLMRewardModel(nn.Module): def __init__(self, model_name, load_in_4bitFalse): super().__init__() self.vlm Qwen2VLForConditionalGeneration.from_pretrained( model_name, torch_dtypetorch.bfloat16, device_mapauto ) hidden_size self.vlm.config.hidden_size self.reward_head nn.Sequential( nn.Linear(hidden_size, hidden_size), nn.GELU(), nn.Dropout(0.1), nn.Linear(hidden_size, 1) ) def forward(self, **model_inputs): outputs self.vlm( **model_inputs, output_hidden_statesTrue, return_dictTrue ) hidden_states outputs.hidden_states[-1] # 取序列中最后一个有效 token 对应的表征 attention_mask model_inputs[attention_mask] last_token_idx attention_mask.sum(dim1) - 1 batch_size hidden_states.size(0) last_hidden hidden_states[ torch.arange(batch_size, devicehidden_states.device), last_token_idx ] reward self.reward_head(last_hidden).squeeze(-1) return reward这段代码需要说明两点outputs.hidden_states是 VLM 各层隐藏状态的元组具体语义取决于模型实现示例中取最后一层作为融合特征。取“最后一个有效 token”的 hidden state 是一种通用做法目的是把多模态序列压缩成一个固定维度的向量再映射成标量分数。对于 LoRA可以用 PEFT 库只给 attention 层加可训练矩阵# 文件路径vlm_reward_model.py 中新增片段 from peft import LoraConfig, get_peft_model def add_lora_to_vlm(model, r8, alpha16, dropout0.1): lora_config LoraConfig( rr, lora_alphaalpha, target_modules[q_proj, v_proj, k_proj, o_proj], lora_dropoutdropout, biasnone, task_typeCAUSAL_LM ) model.vlm get_peft_model(model.vlm, lora_config) return model如果你显存紧张也可以直接冻结全部 VLM 主干只训练 reward_head。这样训练速度更快但效果上限会低一些。5.4 数据加载与训练循环训练目标使用 pairwise ranking loss。对于一个样本假设chosen_reward和rejected_reward都是标量我们希望chosen_reward rejected_reward于是可以用下面的损失# 文件路径train_reward_model.py import torch import torch.nn.functional as F from torch.utils.data import DataLoader from transformers import AutoProcessor from peft import get_peft_model, LoraConfig def compute_pairwise_loss(chosen_reward, rejected_reward): return -F.logsigmoid(chosen_reward - rejected_reward).mean() def train_one_epoch(model, processor, dataloader, optimizer, devicecuda): model.train() total_loss 0.0 for batch in dataloader: # 假设 batch 中已经分别处理好了 chosen 和 rejected 多模态输入 chosen_inputs {k: v.to(device) for k, v in batch[chosen_inputs].items()} rejected_inputs {k: v.to(device) for k, v in batch[rejected_inputs].items()} chosen_reward model(**chosen_inputs) rejected_reward model(**rejected_inputs) loss compute_pairwise_loss(chosen_reward, rejected_reward) # 可选增加正则项避免 reward 无限增长 reward_mean (chosen_reward.mean() rejected_reward.mean()) / 2 loss loss 0.01 * reward_mean.pow(2) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() return total_loss / len(dataloader)这里增加了一个reward_mean.pow(2)正则项目的是防止奖励值在训练中飘得太高减少 reward hacking 的风险。实际训练时可以把它放在一个独立的正则系数里需要根据验证集表现调节。训练主流程中需要把图片和文本一起过 processor。一个具备完整字段的 dataset 可以用自定义 Dataset 来加载下面是核心结构# 文件路径dataset_utils.py import json from datasets import load_dataset from structure_utils import build_message def preprocess_sample(sample, processor): image sample[image] prompt sample[prompt] structure sample.get(structure) chosen_message build_message(prompt \n候选回答 sample[chosen], structure) rejected_message build_message(prompt \n候选回答 sample[rejected], structure) chosen_inputs processor( textchosen_message, imagesimage, return_tensorspt ) rejected_inputs processor( textrejected_message, imagesimage, return_tensorspt ) return { chosen_inputs: chosen_inputs, rejected_inputs: rejected_inputs }需要特别提醒如果你在chosen和rejected中分别拼入了同一张图图片会被处理两次。更高效的做法是图片特征只算一次然后把文本部分输入到文本侧。具体实现取决于模型结构示例中为了展示通用流程简化成了重复处理图片。6. 运行验证判断奖励模型是否真的变好训练完成不等于奖励模型真的变好了。结构感知微调的验证至少需要看三个层面。6.1 离线评估指标最直接的是偏好准确率在一个保留的测试集上统计模型给chosen的打分高于rejected的比例。这个指标可以直观反映排序能力。但准确率不是全部。你还需要看在含空间关系样本上的分组准确率例如“左右关系”“上下关系”“遮挡关系”分别多少。reward 分布的方差如果所有样本都打 5 分模型基本没有区分度。对错误图像的敏感度输入一张被裁剪、旋转或局部遮挡的图像时reward 是否显著下降。6.2 验证代码下面的函数可以计算模型在测试集上的偏好准确率# 文件路径eval_reward_model.py import torch from tqdm import tqdm def evaluate_accuracy(model, processor, eval_dataset, devicecuda): model.eval() correct 0 total 0 with torch.no_grad(): for sample in tqdm(eval_dataset): chosen_inputs {k: v.to(device) for k, v in sample[chosen_inputs].items()} rejected_inputs {k: v.to(device) for k, v in sample[rejected_inputs].items()} chosen_score model(**chosen_inputs).item() rejected_score model(**rejected_inputs).item() if chosen_score rejected_score: correct 1 total 1 return correct / total建议把准确率按结构类型拆分统计。例如单独统计“只改位置介词”的样本准确率这样才能判断结构感知微调是否真正提升了空间理解能力而不是靠词汇表面特征取巧。6.3 下游 RLHF 集成检查奖励模型的最终价值要在下游 RLHF 中体现。你可以在一个小规模策略模型上做 1 个 epoch 的 PPO 或 DPO 训练然后人工检查模型输出对“颜色相同但位置不同”的图像策略模型是否更容易给出正确位置描述。对 UI 截图类任务奖励分数是否和人工评估排序一致。是否出现 reward hacking例如模型学会了输出过长的“结构化文本”来讨好奖励模型但实际内容并没有改善。如果离线准确率高而下游效果差优先怀疑奖励模型过拟合到了结构文本格式而不是真正理解空间关系。这时回看训练数据中的负样本构造质量。7. 常见问题与排查思路在实际训练 VLM 奖励模型的过程中下面几个问题出现频率最高。问题现象可能原因排查方式解决方案训练 loss 不下降数据中 chosen 和 rejected 太相似模型无法区分随机抽 50 条样本人工对比增大负样本差异或只保留有明确结构差异的样本训练快速过拟合训练集太小奖励头容量太大观察训练集和验证集准确率差距增加 drop、冻结更多 VLM 层、只训练 reward_headreward 值无限增长缺少归一化或正则打印 reward 均值、方差增加 z-score 归一化或使用reward_mean.pow(2)正则准确率高但下游效果差模型学到 prompt 格式中的表面信号做丢词测试例如去掉 bbox 坐标后看准确率增加结构标注随机 mask减少格式依赖多 GPU 训练时显存溢出图像特征占用显存过大查看单张图分辨率降低输入图像分辨率或开启梯度检查点模型不关注空间位置所有负样本都是明显错误难度太低检查负样本构建规则加入“语义相同但空间关系相反”的硬负样本结构标注有噪声自动检测/OCR 结果错误人工抽样标注质量引入置信度过滤或对低置信度样本降权这里要特别强调最后一条。结构感知微调依赖结构标注如果标注本身是脏的模型学到的就是“带 bbox 坐标就是好回答”这种捷径。建议在训练前跑一个数据质量报告包括 bbox 坐标取值范围、场景图关系数量分布、OCR 文本平均长度等先过滤异常样本。8. 最佳实践与工程建议结合目前社区多模态训练经验有几点可以在项目中直接落地。第一优先构建“最小可感知结构”的数据集。不需要一开始就全覆盖场景图、OCR、版面检测先选择你业务中最影响判断的一类结构信息。以 UI 截图转代码为例优先做 OCR 文本和按钮 bbox以视觉问答为例优先做场景图三元组。把一种结构做到位比堆十种结构但都做不精确更有价值。第二把 bbox 坐标归一化到 0-1 范围并在 prompt 中统一格式。不同的检测模型输出的坐标体系可能不同归一化可以避免奖励模型对绝对像素值产生依赖。prompt 格式要固定否则训练和推理不一致模型很容易退化成“看格式”而不是“看结构”。第三混合难易样本尤其是硬负样本。对奖励模型来说区分“猫在椅子左边”和“猫在椅子右边”比区分“描述完整”和“描述残缺”更有价值。建议从错误三元组出发自动生成一组空间关系反转的 hard negative人工确认后加入训练集。第四不要把所有可训练参数都放开。VLM 底座本身就足够强结构感知微调的核心是让它在已有能力上增加“结构敏感性”而不是重新学习视觉特征。通常先冻结 VLM只训练 reward_head看表现是否满足需求不够再用 LoRA 微调部分 attention 层。第五奖励值要归一化。训练奖励模型时reward 的绝对值没有特殊含义重要的是不同候选回答之间的相对差异。在训练中使用 batch 内 z-score 归一化在推理时也可以将 reward 缩放到 0-1 区间便于与人工分数对齐。第六要建立“结构掩码评估”机制。定期把结构文本中的 bbox 随机替换成错误坐标观察奖励分数是否随之下降。如果分数变化不大说明模型仍然依赖其他浅层信号结构感知没有真正生效。这个评估成本很低却最能反映训练是否有效。9. 结论与后续学习方向结构感知微调给 VLM 奖励模型带来的不是一套全新的模型架构而是一种更符合真实多模态评测需求的训练思路。它把空间坐标、场景图、OCR 和版面信息转化为显示监督信号让奖励模型学会在局部细节上做判断而不是靠整体语义蒙混过关。如果你正在做视觉 Agent、多模态 RLHF 或者自动数据评估建议从数据侧先下手用检测模型和 OCR 生成结构标注构造一批“语义相同但空间关系相反”的偏好对然后在这个数据上用 LoRA 微调 VLM 奖励模型。先跑通离线准确率再接入下游策略模型验证真实收益。后续值得深入的方向包括把结构感知从 prompt 注入升级为模型内部结构 token探索结构信息与图像 patch 的对齐机制以及如何让奖励模型对遮挡、裁剪等视觉干扰保持稳定的判断。这些方向都还处在快速迭代期也正是结构感知微调能在未来一段时间的多模态 RLHF 里持续创造价值的地方。