基于数据驱动的海表悬浮物浓度插值方法研究 - 以海洋遥感数据为例（多种方法；基于OI）

Data-Driven Interpolation of Sea Surface Suspended Concentrations Derived from Ocean Colour Remote Sensing Data

基于数据驱动的海表悬浮物浓度插值方法研究 - 以海洋遥感数据为例

Abstract

由于复杂的自然和人为相互作用的影响，海洋水柱中的悬浮沉积物动力学仍然难以理解和监测。数值模型仍然缺乏考虑现场观测和卫星数据集所描绘的变异性的能力。此外，与卫星传感器相关的不规则的时空采样使得开发高效的插值方法至关重要。最优插值（OI） 仍然是大多数操作产品的最先进方法。由于现场观测和卫星测量数量的大幅增加，越来越多的信息来自于现场观测和卫星测量，以及模拟模型。数据驱动的方案的出现可能是增加恢复更细尺度过程能力的相关替代方案。在本研究中，我们使用OI方案作为基准，调查和比较了三种最先进的数据驱动方案，即一种基于EOF的技术、一种模拟数据同化方案和一种神经网络方法。我们依赖于一个基于高分辨率数值模拟和模拟卫星观测的观测系统模拟实验，使用真实卫星采样模式。神经网络方法依赖于变分数据同化公式来解决插值问题，明显优于OI和其他数据驱动方案，无论是在重建性能方面还是在更好地恢复高频事件方面。我们进一步讨论了这些结果如何转化为真实数据，以及如何应用于插值问题之外的其他问题，特别是从部分卫星观测中进行短期预测问题。

1. Introduction

海洋沉积物通量是自然和人为影响因素的综合结果[1,2]。沉积物负荷的主要来源来自陆地，沉积物的再悬浮受到潮流和波浪的影响，也受到渔网拖捞和海洋开发（如港口沉积物清淤和倾倒、骨料开采、海底电缆安装、海上风电场开发、油气活动等）的影响。由于这些复杂的自然和人为相互作用的影响，沉积物过程的表征必须得到改进[3,4,5]。在这种情况下，数值模型在评估来自陆源到架边的沉积物通量方面存在高不确定性[6,7,8]。这些问题支持开发新的方法来更好地解决沿海地区的沉积物动力学。今天，新的方法倾向于系统地利用可用的观测数据集[9,10,11,12]。然而，观测系统和监测网络涉及不规则的时空采样和可能稀缺的海洋参数场采样，这使得沉积物动力学的重建特别具有挑战性。本研究针对这些问题，重点关注卫星获取的数据，用于重建海表悬浮沉积物浓度（SSSC）的动态过程。

Operational ocean color products[13]主要利用最优插值和客观分析方法。这些方法依赖于对空间 - 时间协方差先验的校准，以表示SSSC场的空间 - 时间变化。这种基于协方差的方法能够正确地检索大尺度过程，但通常无法恢复更细尺度的模式。这通常导致对SSSC梯度的重建相对较差，特别是在离岸、沿海线平行的区域[14]。数据驱动方法，特别是基于EOF的方案[15]、模拟方法[16]和神经网络框架[17,18,19]已经成为改善卫星衍生产品空间 - 时间插值的相关替代方案，这在最近的研究中指出了对海表温度[15,20,21,22]和海表高度[23]的影响。

本研究旨在评估最先进的数据驱动框架对于从卫星衍生数据插值SSSC的空间 - 时间相关性的相关性。我们设计了一个观测系统模拟实验（OSSE）进行定性和定量评估。作为案例研究区域，我们考虑了 Bay of Biscay ，该区域涉及广泛的自然过程，控制着沉积物动力学：冬季风暴、潮汐、河流漩涡、风引起的湍流、内波和波引起的岸线漂移[24,25]，但也涉及主要的人为影响，主要是fishing effort （拖网）。我们利用比斯开湾的MARS-MUSTANG [26]水沉积物模型配置的数值模拟输出，模拟了一个为期五年的类MODIS观测系列。为此，使用真实的MODIS云图像系列对MARS-MUSTANG输出应用了逼真的云覆盖掩模。所提出的基准实验包括一个最优插值作为基线和四种类型的数据驱动插值方案：即基于EOF的方法、模拟数据同化和两种神经网络插值方案。

本文的组织如下。第2节介绍了使用的数据以及观测系统模拟实验（OSSE）的基准设置。第3节详细介绍了基准插值方法。第4节报告了基准实验的结果。我们在第5节进一步讨论了我们的主要贡献和未来工作。

2. Case Study and Data

2.1. Data

本研究使用的数据是来自耦合MARS-MUSTANG模型的配置的数值模拟，用于模拟海洋沉积物通量。它包括比斯开湾的逼真的自然和人为影响因素。这些影响因素包括风、波浪、河流漩涡和总流动，包括潮汐。模拟的人为影响因素是渔船拖网。在颗粒大小分布方面，该模型考虑了3个沉积物类别，根据它们的平均颗粒大小进行分类，即泥（<63 µm）、沙（从<63 µm到2 mm）和砾石（>2 mm）。在本研究中感兴趣的领域是通过将沙和泥类的浓度相加而获得的海表总悬浮沉积物浓度（以kg·m−3为单位）。MARS-MUSTANG模型中定义了砾石类以模拟床载输运[26]。由于这个类别不对SSSC做出贡献，因此在本研究中没有被保留。

Figure 1. （a）比斯开湾的海底地形。黑色线条表示40、70、100和130 m的等深线。粗白线（对应180 m等深线）大致标志着架边。 （b）MARS-MUSTANG水沉积物模型的log10 SSSC（g/L）的平均空间分布。

图1说明了海底地形和悬浮沉积物动力学之间的联系。图1a显示了比斯开湾的等深线，而图1b显示了研究区域平均SSSC的空间分布。这表明，通常情况下，高SSSC更容易出现在近海岸线的地区。在深海平原上，悬浮沉积物几乎不存在。特别是0.1 mg/L的阈值与180 m的等深线良好相关，这很好地代表了架边。另一个浓度级别，10 mg/L的阈值，通常描绘了阿马里加海域的泥质区域，也被称为“大砂泥地”。接下来，在区域内主要河流的河口附近可以看到海洋表面的高SSSC值（吉伦德、卢瓦尔、维莱讷，法国）[27]。

这些MARS-MUSTANG模型的结果已经通过原位和卫星数据进行了验证：

• 使用原位数据（参考文献[28]，第4节）：在北纬47°15.592′，西经2°32.972′的一个站点收集了原位数据，该站点位于布列塔尼南部海岸附近，靠近“勒克鲁瓦西克”城市。在那里，使用一个向上朝向的1 MHz声波和电流（AWAC）Nortek探测器和一个浊度计，在23 m深度的底部系泊浮标上测量了从2007年11月25日到2008年1月31日的原位悬浮沉积物浓度（SSC）。AWAC探测器通过测量整个20 m以上的水柱中的SSC，并使用通过水样获得的SSC结果校准的浊度计进行校准（参考文献[28]，第2.2节）。模型结果与原位数据显示出良好的一致性。定量上，模型和原位数据之间的RMSE为10.5 mg/L，SSC范围在整个水柱中为10到80 mg/L（来自AWAC探测器）。

• 使用卫星数据；参见图2：卫星数据是根据[29]中的非藻类颗粒（NAP）算法应用于2007年至2011年的MERIS卫星传感器数据集，并进行每日采样得到的。图2a、2c显示，MARS-MUSTANG模型与卫星观测到的浊度动态基本吻合，但浓度的平均强度只有通过NAP算法观测到的卫星浓度的一半。

图2. 卫星SSSC [29]（SSSCsat） 与模型结果（SSSCmod） 的每日比较。 (a) 在2007年至2011年期间，以mg/L为单位（受到卫星每日观测频率的约束），在感兴趣区域的10-70 m水深范围内进行平均。当感兴趣区域的云覆盖率超过90%时，图(a)上的时间序列被掩盖。 © 模型与观测SSSC之间的相关性，其中连续和红线表示模型低估（相对于观测值）的因子为2。

在本研究中，从MARS-MUSTANG模型中提取的整体海表场数据集是一个时间序列，包括从2007年1月1日到2010年12月8日的1430个每日图像，以64×64的空间分辨率为2.5 km。案例研究区域被选择为包括近端和远端动态的区域，包括河流沉积输入。

2.2. Osse and Benchmarking Framework

2.2. Osse and基准测试框架

如图3a所示，海洋颜色卫星观测海表面的数据很少，因为传感器在近可见光范围内工作，无法在多云天气下观测海表面。这导致数据缺失率很高，在我们的研究区域中，典型的平均覆盖率不超过20%。这种数据缺失率使得插值任务特别具有挑战性。同时，它也使得直接评估基于卫星数据的插值方法变得复杂。对于中等的数据缺失率（通常低于50%），可以通过真实的卫星观测数据进行基准测试实验（例如，参考文献[21]）。然而，当处理高数据缺失率的情况（通常高于80%）时，观测系统模拟实验（OSSE）[30]提供了一个良好的框架来进行此类基准测试实验，这也解释了为什么OSSE方案被广泛用于从观测数据中重建海表面场[31,32]的基准测试实验中。尤其是在OSSE设置中，评估指标的定义不依赖于观测数据的采样模式，从而更好地表征了插值方法可以解析的时空尺度。

图3. 考虑的OSSE数据集的关键特征示例：(a) 模拟的SSSC数据集的像素可用数据率地图，白色表示三个参考站点“SaO”、“Gas”和“Con”的位置。(b) 模拟的SSSC数据集的缺失数据率时间序列。© 三个参考站点的参考SSSC数据集时间序列（绿色），当每个站点对应的像素被卫星观测到时绘制黑色十字。

OSSE设置首先依赖于具有完整数据的参考数据集。后者用于验证目的提供了地面真实状态。在这里，我们使用MARS-MUSTANG模拟数据作为参考SSSC数据集。为了模拟真实的卫星观测数据，我们通过将来自真实MODIS图像的时间序列的云掩模应用于参考SSSC数据集，生成了不规则采样的SSC场。我们还在剩余的SSSC值上添加了高斯噪声，以模拟卫星仪器的噪声。如图3b所示，针对我们的案例研究区域，模拟的海洋颜色图像显示缺失数据率占总覆盖率的80%至100%之间。

根据基于学习的方案的要求，OSSE数据集已被划分为训练数据集和验证数据集。验证数据集跨越了从2010年8月30日到2010年12月8日的100天。训练数据集用于训练期间，涵盖了从2007年1月1日到2010年8月30日的1336天。由于SSSC值仅为正值（以mg/L为单位）并且呈现出不对称的统计分布（大致对数正态分布），在预处理步骤中将所有SSSC值按照对数函数进行转换。这可以看作是在应用学习技术所需的常规数据归一化步骤之前的 “预归一化”步骤。在此归一化步骤中，所有低于0.1 mg/L的SSSC值被设定为此限制值0.1 mg/L，假设海洋颜色卫星传感器能够观测到低于此敏感度阈值[33]。

3. Methods

本节介绍了本研究中进行基准测试的不同插值方法。除了最优插值（OI）外，我们还研究了最新的数据驱动技术，即基于EOF的插值（DinEOF），类比数据同化（AnDA）以及基于变分公式的神经网络插值方案（4DVarNet）。

3.1. Optimal Interpolation

最优插值（OI），也被称为克里金插值[34]，是地球物理学中广泛应用的方法。地球科学中许多操作性的卫星衍生产品都依赖于最优插值[35]。我们简要介绍最优插值，并将读者引向参考文献[36]进行详细阅读。最优插值被定义为线性反问题中的最小方差估计器[37]。在给定一组观测值 y 的情况下，最优插值通过加权线性映射计算出插值状态 x：

3.2. DINEOF

DINEOF（Data Interpolating Empirical Orthogonal Functions）是一种基于EOF的技术，用于从不规则采样的观测数据中重建完整的场。它利用数据的空间和/或时空一致性推断出缺失位置的解决方案[38]。DINEOF通过使用EOF基础进行投影重建步骤进行迭代，而每次迭代后观测变量保持不变。值得强调的是，DINEOF可以被看作是使用EOF分解作为先验的考虑的神经网络方案的特定参数化在底层变分公式中。
DINEOF的实现首先需要选择用于重建的EOF模态数[22]。在我们的实验中，通常考虑解释了所考虑数据集总方差的99%的EOF模态。

3.3. AnDA

模拟数据同化（The Analog（类比） Data Assimilation; AnDA）将模拟预测模型与集合卡尔曼平滑器相结合，以解决时空动态的数据驱动空间时间插值。有关AnDA的详细描述和评估可在参考文献[39]中找到。形式上，AnDA涉及线性状态空间公式：

3.4. 4DVarNet

深度学习方案已经迅速成为一种广泛应用于模式识别和图像处理领域的最先进方法，包括地球科学领域[40]。这也包括专门用于插值问题的神经网络方法。最近的研究[23,41]强调了端到端4DVarNet架构解决具有大量缺失数据率的空间时间插值问题的相关性。特别是，这些研究表明，4DVarNet架构显著优于传统用于插值问题的零填充策略[42]。应用于不同的案例研究，包括海洋遥感数据[23,41]，它们在OI、DinEOF和AnDA上都取得了显著的改进。据我们所知，以前没有研究它们在SSC插值中的应用。我们在下面简要介绍4DVarNet方案。我们建议读者参考参考文献[42,43]以获得详细介绍。

关于运算符$\Phi$，我们遵循参考文献[23,41]，并探讨了两个配置，这两个配置导致了我们在实验中考虑的两种4DVarNet架构，即：

• AE-4DVarNet：该架构利用卷积自编码器（AE）架构作为运算符$\Phi$。AE首先将输入场x编码为低维特征向量，然后应用解码器将该特征向量映射到重构场$\Phi (x)$。有关运算符$\Phi$的AE架构的详细规格，请参见附录A.1。

• GE-4DVarNet：该架构利用参考文献[41]中的两个尺度U-net架构作为运算符$\Phi$。与基于AE的设置相反，它不涉及降维步骤。由此产生的能量 $\Vert x-\Phi (x){\Vert }^2$ 可以根据参考文献[41]中的马尔可夫先验进行解释。有关所考虑的U-Net类似架构Φ的详细规格，请参见附录A.2。

所考虑的4DVarNet架构是使用Keras框架实现的（原始代码可以在Github上找到：https://github.com/CIA-Oceanix/DINAE_keras，（于2021年7月5日访问））。SSSC实现可在Github上找到：https://github.com/Jvient/OSSE_BoB-4DVarNet，（于2021年7月5日访问）。作为训练损失，我们使用一个自定义损失函数，它计算SSC图像及其空间梯度的平均绝对误差的加权和。训练设置涉及批量大小为16的Adam优化器。我们逐渐增加4DVarNet架构的固定点迭代次数，从每14 epochs的1次增加到40次。

4. Results

4.1. Metrics and Evaluation

指标与评估

根据两个标准指标，评估不同的插值方法：全局均方根误差（RMSE） 和全局重构得分（R-score），用于衡量插值捕捉到真实数据方差的比率。这两个指标给出了一个给定插值方法性能的总体概述。除了这些全局指标之外，我们还报告了图3a中描述的三个参考站点的评估结果。第一个位置称为“Con”，位于案例研究区域最北端，靠近Concarneau沿海城市。它在整个系列中呈现出相当高的浓度，叠加着频率约为14-15天的振荡，可能与M2潮汐强迫有关。第二个站点位于Les Sables D’Olonnes（SaO） 沿海城市附近，整个时间序列中的浓度稳步增加，并带有低于Con的振荡（28天）。最后一个站点（Gas） 选择在吉伦特河口附近。它展示了一个相对平坦的时间序列，除了3月4日到3月12日之间，它呈现出SSC的增加，随后是一个新的平稳序列。SSSC的增加是由于冬末观察到的来自大陆的河流贡献。

4.2. Global Performance

在表1中，我们报告了基准方法的全局评估指标。平均RMSE和R-score值是针对整个域的测试数据集计算的。OI的表现是所有测试方法中最差的。然而，使用DINEOF和AnDA的改进相对较小，在缺失数据模式下的RMSE为0.19，而DINEOF为0.18，AnDA为0.17。两种神经网络方案的改进更为明显，AE-4DVarNet和GE-4DVarNet的相对增益分别为20%和40%。GE-4DVarNet明显优于所有其他方法。有趣的是，它在观测和未观测区域的重建性能上的表现相似，接近96%的解释方差（EV），这支持了通过学习GE运算符$\Phi$所得到的SSSC动态的底层表示具有更大的泛化属性。这导致插值性能对缺失数据率的敏感性较小，即使在SSSC变化较大的时期也是如此。

表1. 在SSSC验证期间计算的所有方法的RMSE和R-score：这些分数是全局计算的（All），并且在观测数据（Observed）和缺失数据（Unobserved）模式上分别计算。

在图4中，插值分数是根据高云覆盖时期进行分析的。时间序列的每日RMSE被描述出来，同时还有观测数据少于5％的时间段（红色带）。由于逐渐过渡到更高的云层覆盖的冬季，重建期的第二部分的缺失数据率更高。冬季，随着较高的风和浪以及降雨后来自大陆的沉积物输入，浑浊度增加。动态体制变化与数据缺失之间的联系是RMSE峰值在10月中旬可见的可能原因。如前所述，4DVarNet方法的性能，尤其是GE-4DVarNet方法，受云层覆盖率的影响较小。GE-4DVarNet方法在更小的时间尺度变化的RMSE方面也更加稳定。OI和DinEOF的最高RMSE与一个包含大陆输入的河口（“Le Moros and Saint Laurent river”）相关，该河口位于Concarneau附近的“Baie de la Forêt”，没有被正确地恢复。OI低估SSSC的情况也出现在DINEOF中，这可以通过DINEOF算法使用OI解决方案进行初始化来解释。我们可以指出，GE-4DVarNet也依赖于相同的初始化，但显示出更大的恢复SSSC场的全局时空特征的能力。

图4： OI、DinEOF、AndA、AE-4DVarNet和GE-4DVarNet的每日重建RMSE。红色条形图表示每日缺失数据率超过95％的时间段。

在图5中，我们进一步说明了基准方案对SSSC场梯度范数的重建。这提供了评估不同方法检索SSSC场中的前沿结构的能力的手段。图5a进一步强调了整个时间序列的平均梯度场上GE-4DVarNet的更好表现，与其他方法相比，它很好地恢复了真实场的主要前沿结构。这在图5b所示的平均RMSE图和表2中的全球RMSE统计数据中得到了定量的证实。更具体地说，这些梯度范数场描绘了沿海和开放海洋之间的清晰可见的轮廓。这个轮廓大体上遵循着与一片名为“Grande Vasière”的著名大泥田相邻的100米等深线。这片泥田影响着整个比斯开湾的沉积动力学[27]。这进一步表明，GE-4DVarNet模型为SSSC动态学习到的底层GE表示比AE-4DVarNet中的基于AE的表示更相关。我们还解释了DINEOF和AnDA检索效果较差的原因是与基于EOF的空间变异性分解相关的空间平滑效应。EOF分解本质上不适合检索细节梯度模式。

图5。SSSC梯度场的重建：(a) OI、AnDA、DINEOF、AE-4DVarNet和GE-4DVarNet在整个100天验证期间的平均重建。 (b) OI、DinEOF、AnDA、AEP-4DVarNet和GE-4DVarNet在100天验证期间的平均重建误差地图。（PASS：这里有Truth的数据）

表2. 在100天的验证期间，针对所有方法计算的SSSC梯度范数的平均RMSE和R-score。

4.3. Reconstruction of Time Patterns

4.3. 时间模式的重建

除了重建空间模式外，我们还调查了插值场是否提供了关于SSSC随时间变化的相关特征。在图6中，我们将真实SSSC的时间序列与三个选定站点（如图3所示）的插值时间序列进行比较，即SaO、Gas、Con。与地面真实值相比，GE-4DVarNet达到了最大的相关性。这得到了不同系列的视觉检查的证实。例如，对于发生于2021年11月20日的突发变化，GE-4DVarNet重建非常适合“Con”站的真实系列。相比之下，其他方案似乎产生了一些细节尺度的artifacts（人工制品），这可能与如上所述的某些空间梯度的错误重建有关。有趣的是，即使在高缺失数据率的情况下，GE-4DVarNet也能恢复与M2潮汐过程相关的14天振荡。这可能与GE-4dVarNet学习到的沉积动力学的GE表示捕获的频谱特征有关。

图6：OI、DinEOF、AnDA、AE-4DVarNet和GE-4DVarNet的SSSC重建时间序列。绿色系列指真实状态，标记为观测项输入。

5. Discussion

本研究的目标是评估插值方法在从不规则采样的卫星测量中检索缺失数据的SSC场的性能。由于中纬度地区的典型云层覆盖率（在我们的案例研究中约为80％的缺失数据），我们实施了一个OSSE框架来评估数据驱动方法的潜力，这些方法最近已成为模型驱动同化产品[9, 18, 21]和运行OI方案[44, 45]的相关替代品。有趣的是，我们的研究强调了插值方法的选择可能会强烈影响检索SSSC动态的某些特征的能力。例如，**最佳方案（GE-4DVarNet）**相对于OI在RMSE方面的相对增益大于40％。我们认为，这个OSSE可以为未来SSSC插值方法的开发提供相关的基准。我们在线提供了我们的数据集和相关的评估框架（数据和代码可在以下网址获取：https://github.com/Jvient/OSSE_BoB-4DVarNet，（于2021年7月5日访问）。

Reference

RS: Data-Driven Interpolation of Sea Surface Suspended Concentrations Derived from Ocean Colour Remote Sensing Data

GitHub - OSSE_BoB-4DVarNet