2026 Nature Machine Intelligence科学机器学习为什么不能只看固定数组神经算子把网络放进函数空间1. Paper Information今天读的是 Nature Machine Intelligence 2026 论文Principled approaches for extending neural architectures to function spaces for operator learning。Paper: Principled approaches for extending neural architectures to function spaces for operator learningJournal: Nature Machine Intelligence, 2026Published: 2026-07-03DOI: https://doi.org/10.1038/s42256-026-01267-zResearch question: 当任务本质上是“函数到函数”的映射时如何把普通神经网络架构系统地扩展成 neural operators而不是只在固定数组上拟合这篇文章的关键词是neural operator神经算子。它关心的不是“再造一个更大的网络”而是一个更基础的问题深度学习在图像和语言里很成功是因为数据可以被组织成像素、token 或有限维向量但科学计算里的许多对象不是有限维向量而是连续函数。比如温度场、流体速度场、电磁场、材料应力场它们都依赖空间和时间坐标。我们在电脑里看到的网格只是这些连续对象的采样。如果模型只学会了某个固定网格上的数组关系换一个分辨率、换一个点云采样模型学到的东西可能就变了。2. Why is the old route not enough?传统路线通常是这样的把连续物理场采样成一个固定网格。把网格值当成图片或数组输入 CNN、GNN 或 transformer。输出另一个固定网格上的数组。这条路线有一个隐含假设数组索引就是问题本身。可是在科学问题里数组索引只是坐标采样后的结果。两个网格分辨率不同并不代表两个物理问题不同它们可能只是同一个函数的粗细采样。这会带来三个常见问题分辨率绑定模型在 64 x 64 网格上训练换到 128 x 128 网格时不一定稳定。感受野变形如果卷积或邻居聚合按索引定义网格变密后同样数量的邻居对应的物理区域会缩小。输出不够灵活很多下游计算需要在任意坐标查询、求导或积分而固定数组输出不天然支持这一点。PINNs 解决了另一类问题用神经网络表示某一个 PDE 的解函数并用物理方程约束训练。但 operator learning 的目标更进一步它想学习一个映射规则输入一个函数输出另一个函数。也就是说它不是只拟合一条解曲线而是学习一类问题的解算子。3. Core method这篇论文的核心变化可以概括为一句话不要先问“这个数组怎么喂给网络”而要先问“这个网络层在连续坐标上对应什么算子”。普通神经网络处理有限维向量x⟼F(x) x \longmapsto F(x)x⟼F(x)这里的 (x) 是一个有限维输入比如一张图片的像素数组或一个特征向量(F(x)) 是有限维输出。神经算子处理的是函数到函数的映射f⟼g f \longmapsto gf⟼g这里 (f) 和 (g) 是函数。输入可以是不同采样点上的函数值输出也应该能在不同坐标上被查询。关键不是让模型“勉强接受不同长度数组”而是让模型近似同一个底层函数空间映射。论文总结了三个设计原则离散化无关同一个底层函数用不同网格采样时模型输出应该保持一致误差主要来自离散化精度。固定参数数目模型参数不应该随着网格点数量线性增长。算子逼近能力模型族应当能逼近足够规则的函数到函数映射。4. Mechanism breakdown最有代表性的机制是把“按索引求和”改造成“按坐标积分”。在普通图网络或局部聚合里某个节点 (j) 的新表示可以写成gj∑i∈NeighbjKij(fi,fj) \mathbf{g}_j \sum_{i \in \mathrm{Neighb}_j} K_{ij}(\mathbf{f}_i,\mathbf{f}_j)gji∈Neighbj∑Kij(fi,fj)这条公式的直觉很简单从邻居节点 (i) 收消息然后把消息加起来。问题是这里的邻居往往由图边或索引关系定义。网格一变邻居集合和物理尺度就可能变。神经算子的做法是把它提升到连续域g(yj)∫x∈D(yj)K(x,yj,f(x),f(yj)) dx g(y_j)\int_{x \in D(y_j)} K(x,y_j,f(x),f(y_j))\,dxg(yj)∫x∈D(yj)K(x,yj,f(x),f(yj))dx这里D(yj)D(y_j)D(yj)是坐标yjy_jyj附近的物理邻域KKK是可学习的核函数。注意邻域不再只是“第几个点旁边的点”而是坐标空间中的区域。实际计算时仍然需要离散化于是积分会变成带求积权重的求和g(yj)∑i:xi∈D(yj)K(xi,yj,f(xi),f(yj))Δi g(y_j)\sum_{i:x_i\in D(y_j)} K(x_i,y_j,f(x_i),f(y_j))\Delta_ig(yj)i:xi∈D(yj)∑K(xi,yj,f(xi),f(yj))Δi其中Δi\Delta_iΔi是求积权重表示采样点xix_ixi在积分近似中的权重。这个细节很关键模型不是简单地把邻居平均而是用坐标和权重近似同一个连续积分算子。4.1 Formula lens最值得记住的是第三个公式g(yj)∑i:xi∈D(yj)K(xi,yj,f(xi),f(yj))Δi g(y_j)\sum_{i:x_i\in D(y_j)} K(x_i,y_j,f(x_i),f(y_j))\Delta_ig(yj)i:xi∈D(yj)∑K(xi,yj,f(xi),f(yj))Δif(xi)f(x_i)f(xi)输入函数在采样点 (x_i) 的值。g(yj)g(y_j)g(yj)输出函数在查询点 (y_j) 的值。D(yj)D(y_j)D(yj)围绕查询点的坐标邻域。K(⋅)K(\cdot)K(⋅)可学习的局部作用核。Δi\Delta_iΔi求积权重用来把离散求和变成对连续积分的近似。这条公式背后的观念是深度学习层不必永远是数组索引上的操作。它可以先被理解成连续坐标上的函数变换再根据手头的网格、点云或采样方式离散化。5. How to read the experiments?这篇论文的证据重点不是“某个模型在某个榜单上赢了多少点”而是展示不同架构元素如何被系统地提升到函数空间。可以这样读对卷积来说感受野应当属于物理域而不是固定数量的像素邻居。对图网络来说消息传递应当考虑坐标、邻域和求积权重而不是只看图边。对 transformer 来说注意力本来就是全局聚合但要进入连续极限就需要在聚合和归一化中处理采样权重。对 encoder-decoder 来说瓶颈表示也不能只绑定某个固定离散网格。这类证据支持的是一个设计结论如果任务本质上是函数到函数映射那么架构设计必须尊重坐标、采样和离散化误差。6. Engineering or research implications对工程实践来说这篇论文的启发不是“立刻把所有 CNN 换成 neural operator”而是提供了一个检查清单你的输入是否只是某个连续对象的采样训练分辨率和部署分辨率是否可能不同输出是否需要在任意坐标上查询、求导或积分模型里的邻域、感受野、归一化是否依赖数组长度换网格时模型表示的是同一个物理问题还是另一个数组问题如果这些问题的答案指向连续函数那么 neural operator 的设计原则就值得优先考虑。对研究来说真正有价值的是“架构迁移”的路线。过去深度学习依赖卷积、注意力、图消息传递等归纳偏置。现在的问题是这些成功组件怎样在函数空间里保留原来的优势同时避免被固定离散化困住7. Do not overinterpret边界也必须写清楚。第一神经算子不是万能 PDE 求解器。它仍然需要数据、训练分布、合理的数值设置和任务验证。第二离散化无关不等于完全不受离散化影响。更准确的说法是模型设计应当让不同离散化下的输出近似同一个底层函数空间映射剩余差异应随离散化改善而下降。第三科学应用里还要考虑守恒律、边界条件、稳定性、外推区域和物理可解释性。只看神经网络误差曲线是不够的。第四跨分辨率能力通常来自架构、训练数据和任务结构共同作用不能把“用了 neural operator”直接等同于“自然会泛化”。8. One-sentence summary神经算子的真正价值不是把数组模型做大而是把科学机器学习从“拟合一个固定网格”推进到“学习一个函数到函数的规则”但它最可靠的使用方式仍然是和数值验证、物理约束、分布外测试一起使用。ReferencesBerner, J., Liu-Schiaffini, M., Kossaifi, J. et al. Principled approaches for extending neural architectures to function spaces for operator learning. Nature Machine Intelligence (2026). https://doi.org/10.1038/s42256-026-01267-zRaissi, M., Perdikaris, P. and Karniadakis, G. E. Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational Physics 378, 686-707 (2019). https://doi.org/10.1016/j.jcp.2018.10.045Karniadakis, G. E. et al. Physics-informed machine learning. Nature Reviews Physics 3, 422-440 (2021).Neural operators for accelerating scientific simulations and design. Nature Reviews Physics (2024).Transformer for partial differential equations’ operator learning. TMLR (2023).
