GridMix：突破INR瓶颈，革新偏微分方程求解

本文围绕深度学习在偏微分方程求解中的应用展开，介绍了现有神经场方法在处理复杂场景时的瓶颈，重点阐述了清华大学研究团队提出的创新空间调控方法GridMix，包括其特点、原理及在相关任务中的显著性能提升，最后还说明了投稿相关事宜。

近年来，深度学习在偏微分方程（PDEs）求解领域展现出了巨大的潜力。从气象模拟到材料科学等多个领域，基于数据驱动的神经网络模型正不断拓展着科学计算的边界。其中，神经场（Implicit Neural Representations，INRs）凭借其连续参数化的特性，能够实现跨几何形态的高分辨率建模，在复杂场景下表现出了出色的精度和灵活性。

然而，当面对具有剧烈空间变化的场景时，现有的INR方法暴露出了明显的局限。传统的全局调控机制要求模型在所有空间位置共享同一组调控参数，这种方式在捕捉局部细节特征时显得力不从心。随着场景复杂度的增加，全局调控不仅限制了模型的精度，还导致模型的泛化能力下降。

为了解决这一难题，清华大学研究团队提出了一种创新的空间调控方法——GridMix。该方法的灵感来源于谱方法的思想，GridMix将空间调控参数表示为一组网格基函数的线性组合。其具备以下显著特点：

• 保留了空间调控的细粒度局部性，能够确保建模精度。通过这种方式，模型可以更精准地捕捉局部细节特征，从而提高在复杂场景下的建模效果。

• 同时通过共享基函数提取全局结构信息，有效缓解了过拟合风险。这使得模型在处理不同空间域的问题时，能够更好地泛化，提高模型的稳定性和可靠性。

在一系列具有挑战性的PDE建模任务中，GridMix展现出了显著的性能提升。特别是在稀疏空间域和时间外推场景下，其鲁棒性表现尤为突出。该研究已被ICLR 2025接收，并获选为Oral论文（入选比例1.8%）。

我们重点研究以下两类典型任务：

• 动态系统建模：旨在捕捉物理系统在预测时间范围内的动态演化过程。具体表现为建模系统从一个状态到另一个状态的转移过程，其中涉及到时间步长的概念。这一任务对于理解和预测物理系统的变化规律具有重要意义。

• 几何感知预测：根据系统的几何构型预测其状态。在几何预测中，每个数据样本分布于不同的空间域上；而对于动力学建模，所有样本使用相同的训练空间域。

基于INR的PDE建模方法

CORAL是最具创新性的INR方法之一，它通过两阶段训练策略解决偏微分方程建模问题。

在第一阶段（重构阶段），该框架采用两个神经调控场分别对输入和输出函数进行参数化建模。这些神经调控场作为基础模型，通过不同调制参数实现对不同函数的重构。具体而言，INR参数在各自函数空间中共享，而调制参数则是每个函数特有的。这些调制参数通过超网络从低维调控向量中生成。经训练后，每个函数可由低维调控向量经过共享INR重构，其重构误差代表了表示质量。

在第二阶段（预测阶段），CORAL通过处理网络学习调控编码之间的映射关系。CORAL通过平移调控（Shift Modulation）对SIRENs进行扩展，将单个函数表示为特定形式。需要注意的是，这种全局调控参数在不同空间坐标之间是共享的，这一特性限制了神经调控场表示复杂函数空间的能力。正如先前的研究所展示的，全局调控无法捕捉局部细节，因为调控参数的任何变化都会导致重构函数的全局扰动。

▲ 图2. 不同调控方式

GridMix

基于网格表征的空间调控方法在提升INR学习能力方面展现出显著优势，特别是在三维重建领域，其有效性已被广泛验证。受此启发，本文旨在探索空间调控在PDE建模中的应用及其潜在优势。具体而言，空间调控引入了一个基于网格的单通道特征，我们可以从该网格特征中提取位置相关的调控参数。

▲ 图3. 重建效果对比：观测数据的空间域在训练集之外

为了缓解空间调控在训练空间域上的过拟合问题，GridMix将空间调控参数表示为一组网格表征的线性组合。首先，GridMix定义一组网格表征作为基函数，再通过这些基函数的线性组合生成空间调控参数。具体而言，每一隐藏层的网格混合表示为特定形式，其中表示M个网格基函数，为第i层的线性组合系数。这些系数通过超网络h从低维调控向量z中估计得到。网格基函数在不同的函数实例中共享，并与神经调控场一同优化。

GridMix具有以下特点：

• 局部细节捕捉：GridMix保留了网格调控的局部特性，通过引入额外的可学习参数增强了模型在局部细节重建的表达能力。

• 全局结构建模：GridMix通过共享基函数对调控空间起到正则化作用。相比一般空间调控需要为每个函数额外学习多个独立参数，GridMix将参数维度降低至基函数的个数。这种维度压缩有效减少了过拟合的风险，提升了模型对全局结构的重建能力，以及在不同空间域上的泛化能力。

实验

动态系统建模

在Naviers – Stokes和Shallow – Water两个动态系统建模任务上，GridMix相比神经算子方法（DeepONet和FNO）、图网络方法（MP – PDE）以及基于全局调控的INR方法（CORAL）均取得了显著的性能提升。同时，GridMix在稀疏空间域的重建和时间外推任务中表现出优越的鲁棒性，进一步验证了其广泛的适用性。

▲ 图5. 稀疏空间域下的Shallow – Water可视化结果

几何感知推理

在几何感知推理中，模型根据给定的几何结构（例如翼型（NACA – Euler）、水管（Pipe）和弹性材料（Elasticity））预测系统的状态。相较于全局调控方法，GridMix在所有任务中均实现了性能提升。

▲ 图6. 几何感知推理任务

总结

本文的贡献主要在两个方面：

• 提出了一种新颖的空间调控方式——GridMix，它自然地融合了全局调控的全局结构建模和空间调控的局部细节捕捉能力。

• 在动态系统建模和几何感知推理等任务中充分验证了GridMix的卓越性能，特别是在稀疏空间域和时间外推场景下优势显著。

更多阅读

如果你有优质内容想要分享，PaperWeekly鼓励高校实验室或个人在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注。

• 稿件建议以markdown格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题。

• PaperWeekly尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬。

📬 投稿通道：

• 投稿邮箱：hr@paperweekly.site

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者。

本文先介绍了深度学习中INR在PDE求解的潜力及现有方法在复杂场景的瓶颈，接着详细阐述了清华大学提出的GridMix创新方法，包括其原理、特点，又通过动态系统建模和几何感知推理等实验验证了GridMix的性能优势，最后说明了投稿相关事宜。整体突出了GridMix在解决PDE建模难题上的创新性和有效性。