标题Towards Physics of Multimodal Pretraining: Knowledge Flow, Modality Synergy, Early Unification, and Recipes来源arXiv, 2608.05000v2️文章简介研究问题统一多模态预训练中模态间如何交互、协同及演化其底层机制是什么主要贡献论文通过系统实验揭示知识流动不对称性、模态协同条件及早期统一的必要性并提出高效预训练配方。重点思路知识流动分析利用真实数据和合成CLEVR数据解构语言、视觉理解与视觉生成间的知识转移发现转移具有不对称性和概念依赖性。协同与竞争机制探究任务复杂度与架构设计对模态交互的影响测试共享注意力、归一化及分离前馈网络FFN的效果验证不同视觉编码器下的泛化性。统一时机研究对比早期统一与晚期对齐、联合训练与顺序训练的差异通过激活值、嵌入范数等指标量化“视觉懒惰”现象。高效配方构建基于上述发现优化数据混合比例结合MoE架构与早期统一策略在13.5B模型上进行大规模验证。分析总结知识流动呈显著不对称语言是通用增强器视觉理解能强力驱动视觉生成但视觉生成对其他能力几乎无正向迁移低级概念如颜色无法零样本跨模态转移高级结构概念可由理解向生成转移。简单任务促进协同复杂任务引发竞争共享注意力和归一化层能促进跨模态协同而分离FFN能有效缓解容量竞争该规律在不同视觉Tokenizer设计中均成立。早期统一至关重要延迟引入视觉会导致“视觉懒惰”即模型过度依赖语言先验减少视觉路径的参数投入和注意力聚焦联合训练优于任何顺序训练方案。非对称数据配方最高效采用70%语言、25%视觉理解、5%视觉生成的数据混合比例配合MoE架构和早期统一仅用5%的生成数据预算即可实现强大的生成性能大幅节省算力。个人观点论文将多模态预训练从工程启发式转向原理性探索提出了“视觉懒惰”这一洞察解释了晚期对齐模型的局限性。