1. 背景无论是GRPO还是PPO，都需要RM，但是RM无法迁移到corner data上，因此这种在线的方式需要进行修改，如果能完全依靠规则的方式进行奖励那就好很多了🤔（参考 GRPO 的规则奖励）我们希望在Stage3的基础之上，表现能够进一步提升；GRPO 相关链接：https://blog.csdn.net/weixin_57128596/article/details/157809869?ops_request_misc=elastic_search_miscrequest_id=1f63ad9481efb869fc7a4eac50b49b62biz_id=0utm_medium=distribute.pc_search_result.none-task-blog-2allElasticSearch~search_v3-1-157809869-null-null.541v3pc_search_result_blog2utm_term=GRPOspm=1018.2226.3001.4450PPO 相关链接：https://blog.csdn.net/weixin_57128596/article/details/163241993?ops_request_misc=elastic_search_miscrequest_id=4cedcbdcffcadf1dd3661c04f4d7fc48biz_id=0utm_medium=distribute.pc_search_result.none-task-blog-2allElasticSearch~search_v3-2-163241993-null-null.541v3pc_search_result_blog2utm_term=PPOspm=1018.2226.3001.44502 期望我们期望模型的生成考虑符号规则，如：|顶级分隔：分割JSON最外层一级字段，顺序固定不可乱，固定顺序：cats_visible | lighting | cats内容 | other_beings | interactions | environment_anomalies | summary,二级分隔：一只猫咪体内所有属性用逗号挨个隔开，顺序固定；多只猫可继续用,追加。~三级内嵌分隔：只用于nearby_anchors锚点，格式固定：anchor_type~visual_id~proximity。因此完整期望如下：符号本身、和总数应该都是固定的，需要占据高权重，对模型的梯度影响要更大；模型生成内容需要正确，即符号后面的内容也很重要；参数不要和模型原来偏离太多；3 第一版奖励设计3.1 符号定义π θ \pi_\thetaπθ​：Actor模型（带LoRA，待优化）π ref \pi_{\text{ref}}πref​：冻结参考模型（Stage2 SFT基座，无LoRA）D DD：训练数据集，单条样本 = 图像 + prompt + GT compact标注N NN：一组内候选输出总数量i ii：组内第i ii条生成样本r i r_iri​：自定义复合奖励（JSON格式分 + 视觉字段识别分 + 猫咪数量硬惩罚）A i A_iAi​：组内标准化优势函数λ sft \lambda_{\text{sft}}λsft​：SFT损失权重β KL \beta_{\text{KL}}βKL​：KL正则权重特点：只需要Actor模型、Ref模型，和传统的强化学习不一样的是，数据集是带GT的 list；过程：组内优势函数A i A_iAi​是由静态的规则决定的，不涉及 RM；3.2 损失函数（1）完整总损失公式：L total = L GRPO ( π θ ) + λ sft ⋅ L SFT ( π θ ) \mathcal{L}_{\text{total}} = \mathcal{L}_{\text{GRPO}}(\pi_\theta) + \lambda_{\text{sft}} \cdot \mathcal{L}_{\text{SFT}}(\pi_\theta)Ltotal​=LGRPO​(πθ​)+λ