这项由冲绳科学技术大学院大学OIST主导的研究以预印本形式发布于2026年7月论文编号为arXiv:2607.04044有兴趣深入了解技术细节的读者可以通过该编号检索完整原文。教一个孩子认识世界有两种截然不同的方式。第一种方式是让他盯着一幅被遮住大半的图画然后要求他把消失的部分原模原样地画回来——这需要他记住大量细节精确到每一根线条的走向。第二种方式则截然不同给他看同一张图画的两个局部剪裁然后问他这两块碎片是同一张图的一部分吗它们在描述什么后者不需要他复原像素只需要他理解语义——这张图讲的是什么故事。这两种教学哲学之间的差异正是当今人工智能视觉学习领域最核心的争论。第一种方式对应的是目前广泛使用的掩码自动编码器简称MAE它让AI从被遮住的图像中重建像素第二种方式则对应着近年来迅速崛起的联合嵌入预测架构JEPA它让AI在更抽象的语义层面上去理解和预测图像内容。而OIST的这项研究则在JEPA的基础上又向前走了一步提出了一种叫做SiamJEPA的新框架——给AI装上了一对孪生大脑让它同时从两个角度理解同一张图像。**一、像素重建与语义预测两种截然不同的学习哲学**要理解这项研究的意义得先从AI是怎么自学图像说起。在没有人类标注的情况下AI需要自己发现图像中的规律这种学习方式叫做自监督学习SSL。几年前Facebook AI研究院推出了MAE模型它的做法就像一道填空题随机遮住图像75%的区域然后训练AI把被遮住的像素原封不动地还原出来。这种方法确实有效但代价高昂——AI需要学会记忆大量低层次的视觉细节比如草地的纹理、天空的渐变色而这些细节对于理解一张图讲的是什么其实并不那么重要。JEPA框架的诞生正是为了解决这个问题。它的核心思路是与其让AI重建被遮住的像素不如让AI在更高层次的概念空间中预测被遮住区域的含义。打个比方MAE像是让一个学生看到桌子上有一只__空格之后要求他把空格里的每一根毛发都画出来而JEPA则只是要求他回答那个空格里是什么东西——哪怕他只回答是一只橘色的猫没有精确描述每根胡须也算完成了任务。这种更高层次的语义预测往往能让AI学到更有用、更通用的视觉概念。目前最具代表性的JEPA模型是I-JEPA处理图像和V-JEPA处理视频它们都依赖一个核心设计学生网络负责从可见区域中提取信息教师网络通过指数移动平均机制缓慢更新是学生网络的慢速版本提供预测目标学生需要预测教师看到的被遮住区域的表示。这套机制运作良好但有一个共同特点——学生只有一个大脑也就是单一的编码器。OIST的研究者们提出了一个问题如果学生有两个大脑同时处理同一张图像的不同局部会发生什么**二、孪生大脑的灵感从海马体到人工神经网络**这个两个大脑的想法并非空穴来风它源自一个名为PhiNet的脑启发学习框架。神经科学研究表明人类大脑中的海马体和新皮层承担着截然不同却又相互配合的学习功能海马体负责快速记忆新鲜信息新皮层则负责缓慢整合长期知识。更有趣的是有研究者提出了时序预测假说——大脑的一个重要工作方式是用当前观察到的信息去预测即将发生的事情而不仅仅是被动地记录眼前所见。PhiNet正是把这套神经科学理论翻译成了机器学习语言。它使用一对孪生学生编码器Siamese encoders意思是两个共享权重的编码器就像一对同卵双胞胎长得一模一样但各自独立工作再配合一个缓慢更新的教师网络。孪生编码器模拟的是大脑用两个视角同时观察世界教师网络模拟的是慢速学习的新皮层。之前的PhiNet工作和一些用于视频学习的孪生掩码方法比如SiamMAE、CropMAE等已经证明孪生编码器在视频理解任务中很有用。但它们大多还是基于像素重建而非语义预测。更关键的是孪生编码器在JEPA这种纯语义预测框架中究竟扮演什么角色此前从未有人系统研究过。这正是SiamJEPA要填补的空白。**三、SiamJEPA的工作方式两只眼睛看不同角落**SiamJEPA的基本架构可以用一个侦探故事来理解。案发现场一张完整图像被警戒线封锁了大部分区域只留下少数可以观察的窗口。现在有两位侦探孪生编码器同时进入现场但他们被分配到了不同的区域——侦探A只能观察现场的左半部分侦探B只能观察右半部分而且两人的观察区域完全不重叠。与此同时还有一位经验丰富的老侦探教师网络通过指数移动平均机制更新积累了大量慢学习经验可以观察整个现场。两位年轻侦探的任务是联手推断出整个案发现场发生了什么——特别是那些他们各自都没有直接看到的区域。他们不需要画出现场的每一粒灰尘只需要推断出事件的语义这里发生了什么有哪些关键线索。在技术层面SiamJEPA使用的是Vision TransformerViT视觉变换器一种擅长处理图像的深度神经网络架构作为编码器。将图像切割成小块patch然后对其中一部分进行遮掩。两个孪生编码器分别接收不重叠的可见区域各自提取特征表示。这套架构包含两个预测器网络功能各异。第一个预测器h负责让两个孪生编码器的全局理解趋向一致——就像两位侦探需要交流信息、统一案情认识一样第二个预测器g则负责具体预测——根据两个编码器的联合信息预测出那些被遮住区域在教师网络眼中应该是什么样的语义表示。第二个预测器g的设计引入了一个概率论的巧思它区分后验分布和先验分布两种预测模式。后验预测利用两个编码器的全部信息来猜测被遮住区域两位侦探合作推断而先验预测只用一个编码器的信息单个侦探单独推断。训练的目标之一就是让单独推断的结论尽量接近合作推断的结论——这迫使每个编码器都尽可能提取足够丰富的信息而不能依赖另一个编码器来补充。**四、两个损失函数的协同作战**SiamJEPA的训练目标由两个互补的损失函数构成理解它们的作用对于理解孪生编码器为何有效至关重要。第一个损失函数叫做Sim-1它的任务是让两个孪生编码器对图像的整体理解尽可能一致。技术上它通过KL散度一种衡量两个概率分布差异的数学工具来实现。可以把它理解为两位侦探各自看了不同区域之后需要写一份关于整个案件的综合报告Sim-1就是确保两份报告的结论高度吻合。研究者还发现在训练时对其中一个分支停止梯度stop-gradient意思是不让这个分支的误差反向传播可以稳定训练过程这是一个从经验中得来的实用技巧。这个Sim-1损失函数还可以通过一个叫做λKL的参数读作lambda KL来控制其强度。当λKL设为0时Sim-1消失SiamJEPA退化为一个普通的单编码器JEPA模型。这个设计非常巧妙——它让研究者可以像调节音量旋钮一样精确控制孪生编码器对整体训练的影响程度从而系统研究孪生结构究竟贡献了多少。第二个损失函数叫做Sim-2这才是JEPA的核心预测任务。它衡量的是预测器g预测出来的被遮区域语义表示与教师网络实际提取的被遮区域语义表示两者之间的均方误差可以理解为预测与实际答案之间的平均偏差。就像侦探推断出案发时凶器是一把椅子而老侦探教师说确实是椅子误差就很小如果推断出是一把枪误差就很大。两个损失函数的加权组合就是SiamJEPA的最终训练目标总损失 Sim-2 λKL × Sim-1。研究者通过调整λKL发现了孪生结构在JEPA中扮演的真实角色。**五、关键实验孪生编码器究竟贡献了什么**为了弄清孪生编码器的作用研究团队在ImageNet数据集一个包含超过100万张图像、涵盖1000个类别的标准视觉基准数据集上进行了大量实验。评估方式采用线性探测linear probing——预训练完成后冻结模型权重只在特征之上训练一个简单的线性分类器这种方式最能反映模型学到的特征质量。λKL参数的消融实验揭示了最核心的规律。当λKL非常小0.0001几乎等于关掉Sim-1时两个孪生编码器各自为政KL散度高达40以上——它们学到了差异极大的表示合作效果很差。在这种设置下训练50个轮次后线性探测准确率只有47.25%训练300轮次后达到66.78%。当λKL调大到0.01时情况发生了戏剧性变化。Sim-1损失很快收敛到接近零的水平具体是设定的自由比特阈值0.1两个编码器的理解高度一致。更重要的是训练50轮次后准确率跳升到51.64%训练100轮次后达到63.72%训练300轮次后达到69.30%——在所有时间节点上都大幅领先λKL0.0001的设置。这意味着孪生结构在训练早期的提速效果尤为显著λKL0.01在100轮次时的表现相当于λKL0.0001在200轮次时才能达到的水平。λKL0.03的结果与0.01非常接近300轮次时达到69.05%说明Sim-1损失超过一定强度后收益趋于饱和。研究者指出主要的学习信号仍然来自Sim-2遮掩预测任务Sim-1更像是一种加速剂而非驱动力。过强的Sim-1可能会反过来约束优化过程导致收敛变慢。研究团队还测试了自由比特free bits参数的影响。自由比特机制的作用是允许两个分布之间保留一定程度的差异防止它们完全塌缩成同一个点如果两个编码器完全一样了孪生结构就失去了意义。实验显示自由比特设为0.05时效果略好于0.01和0.1但差距非常小说明SiamJEPA对这个参数的精确取值并不敏感。学习曲线的对比图图2也提供了直观的视觉证据。λKL很小时Sim-1损失KL散度从一开始就高达40以上整个训练过程中都居高不下总损失的下降速度也相对缓慢。λKL较大时Sim-1损失在最初几十轮内就迅速降到阈值附近之后整个训练过程更加稳定总损失的下降路径也更平滑。**六、遮掩策略与其他设计细节的影响**除了核心的λKL参数研究团队还系统研究了其他设计选择的影响。遮掩策略方面SiamJEPA对比了随机遮掩和块遮掩两种方式。随机遮掩就是从图像中随机选择一些小块加以遮掩分布比较均匀块遮掩则是选择一个连续的矩形区域作为主要遮掩目标然后再从剩余可见区域中为两个孪生编码器各自分配不重叠的可见部分。块遮掩与I-JEPA的做法类似强调连续区域的上下文预测。实验结果显示块遮掩在SiamJEPA中始终优于随机遮掩特别是在训练早期阶段差距尤为明显50轮次时块遮掩达到51.64%而随机遮掩只有37.12%均为0.75遮掩率。不过随机遮掩在遮掩率调高到0.80时表现已经相当不错300轮次后能达到67.10%与块遮掩0.70遮掩率的68.30%已经相差无几。这个发现很有实践价值块遮掩需要更复杂的实现代码而随机遮掩更简单如果调好遮掩率效果也能接近。权重衰减weight decay一种防止模型过度拟合的正则化技术可以理解为给模型参数加上一个缩水压力防止任何参数变得过大的实验显示SiamJEPA对这个参数相对稳健。较小的权重衰减0.05在训练前300轮表现与较大值0.1相当但到第400轮时出现了分化权重衰减0.05的准确率停滞在69.33%而权重衰减0.1的准确率继续提升到70.15%。说明更强的正则化更适合长期训练这与其他方法如PhiNet的观察结论一致。**七、用哪层特征做线性探测深层不一定更好**这项研究还触及了一个在JEPA框架中颇为微妙的问题应该用编码器的哪一层输出作为线性探测的输入特征研究者对比了三种方案CLS tokenViT中专门用于表示整张图像语义的特殊标记、最终层第12层的均值池化对所有图像块的输出取平均以及中间层第10层的均值池化。实验结果颇为出人意料中间层第10层均值池化在训练早期50至200轮次始终优于另外两种方案300轮次时最终层的均值池化才赶上并持平。这说明随着训练的推进ViT的最后几层逐渐专业化于JEPA的预测任务本身而不再保留那么多适合下游分类的通用语义信息。中间层反而在通用性和任务特异性之间取得了更好的平衡。此外均值池化始终优于CLS token这说明图像的语义信息并不集中在CLS token中而是分布在各个图像块的特征里。对于使用SiamJEPA进行下游任务的用户这是一个重要的实践指导。**八、预测器深度越浅越好的反直觉结论**SiamJEPA还发现了一个与传统JEPA方法不同的特点它在使用很浅的预测器时效果最好。传统JEPA方法通常使用较深多层的预测器网络而SiamJEPA使用只有1至2层的浅层预测器就能达到最优表现。研究者坦率地指出这个现象的原因尚不完全清楚也无法排除它与特定实验设置有关的可能性。但如果这个规律具有普遍性则意味着SiamJEPA可以用更小的参数量实现有竞争力的性能——这在实际部署中是非常有吸引力的特性。研究团队同时指出最佳评估层用哪一层的特征做线性探测效果最好似乎也与预测器深度有关预测器越深最优特征层的位置可能越靠近中间层。系统研究这种关联需要大量计算资源被留作未来工作。**九、与其他方法的横向对比少花时间同样有效**SiamJEPA在ImageNet线性探测上的完整对比结果充分展现了孪生编码器带来的效率提升。采用官方MAE代码库重新实现的MAE基线训练400个轮次后的线性探测准确率为61.9%。而SiamJEPA在训练100轮次时就已经达到63.4%超过了MAE训练400轮次的成绩所用训练时间不到四分之一。SiamJEPA训练200轮次后达到67.8%300轮次时达到69.6%400轮次时达到70.2%。MAE的官方论文报告版本训练1600轮次能达到68.0%SiamJEPA在200轮次时就已经持平。另一个基于MAE改进的方法CAEContext Autoencoder上下文自动编码器训练1600轮次后达到70.4%SiamJEPA在400轮次时达到70.2%已经非常接近——但训练时间只需要四分之一。与I-JEPA的比较需要特别说明I-JEPA训练600轮次后达到72.9%高于SiamJEPA的400轮次的70.2%。但两者的训练设置不同SiamJEPA基于MAE代码库实现而非I-JEPA的官方实现因此无法直接比较。研究者也明确表示SiamJEPA的目标并不是超越I-JEPA而是系统研究孪生编码器在JEPA框架中的作用。他们相信通过更充分的超参数调优和更长的训练SiamJEPA的性能还有相当大的提升空间。**十、孪生编码器是正则化器研究的核心发现**把上述所有实验结果综合起来研究团队得出了一个清晰的结论在JEPA框架中孪生学生编码器的主要作用是充当一个正则化器。正则化这个词在机器学习中指的是一类防止模型走捷径、逼迫模型学到更通用特征的手段。孪生编码器通过以下机制实现正则化当两个编码器被要求从不重叠的区域提取特征、却又必须对图像整体的语义达成一致时它们无法依赖任何局部捷径——任何只在局部有效的特征提取策略都无法同时满足两个视角的一致性要求。这迫使编码器去学习真正跨越局部视角的全局语义特征也就是更高层次、更有迁移价值的表示。这个正则化效果在训练早期尤为显著。早期训练时模型还没有形成稳定的表示孪生结构提供的跨视角一致性约束极大地加速了有意义特征的形成使模型用更少的训练轮次就能学到高质量的表示。随着训练的推进主要的学习信号逐渐由Sim-2遮掩预测任务主导孪生结构的边际贡献有所减小但始终保持正向效果。研究者还特别指出这个发现有更广泛的意涵孪生学生编码器并不只是一个工程技巧而是一种归纳偏置inductive bias。归纳偏置指的是设计者通过架构选择给模型施加的先验假设。孪生结构的归纳偏置是有用的视觉表示应该对从不同视角、不同局部看到的同一个物体保持一致。这个假设在自然图像中通常是成立的因此给模型带来了学习上的优势。研究者认为这种设计哲学可以自然地迁移到I-JEPA、V-JEPA等其他JEPA变体中通过在这些模型中引入孪生编码器来改善训练效率和表示质量而不必从头设计全新的框架。归根结底这项研究讲的是一个直觉上很容易理解的道理用两只眼睛从不同角度看同一件事然后要求两个视角达成一致——这比用一只眼睛看往往能逼迫你理解得更深刻。对AI来说同样如此孪生编码器就是在架构层面实现了这种双眼协同学习的机制而研究者首次用系统实验证明了这个机制在语义预测框架中真实有效。随着JEPA类方法逐渐成为视觉自监督学习的主流选择孪生编码器这个此前被忽视的设计细节或许会在视频理解、世界模型构建等更广阔的应用场景中发挥越来越重要的作用。冲绳的研究者们种下了这颗种子接下来的故事将由整个领域的研究者共同书写。QAQ1SiamJEPA和普通JEPA模型的最大区别是什么ASiamJEPA在学生网络中使用了两个共享权重的孪生编码器而普通JEPA只有一个学生编码器。两个编码器分别接收同一张图像的不同、不重叠的局部区域同时需要对图像整体语义达成一致这种设计迫使模型学到更通用的视觉特征同时大幅加速早期训练过程。Q2SiamJEPA比MAE快多少ASiamJEPA训练100个轮次epoch时的ImageNet线性探测准确率就已达到63.4%超过MAE训练400轮次的61.9%也就是说用不到四分之一的训练时间就超越了MAE的最终表现。训练200轮次时SiamJEPA达到67.8%而MAE官方版本需要训练1600轮次才能达到68.0%。Q3KL正则化参数λKL应该设多大A根据实验结果λKL设为0.01时综合表现最好在训练效率和最终准确率上都优于0.0001约等于关掉孪生约束和0.03。过小的值无法发挥孪生结构的优势过大的值会不必要地约束优化过程并拖慢收敛速度。研究者建议将自由比特参数设为0.05但该参数对结果的影响整体较小。