深度学习用于脑龄估计

3.2.2. 卷积神经网络

      自2017年以来，CNN因其自动特征提取能力和高性能结果，吸引了大量研究者在脑年龄估计方面的应用，并变得非常流行。

• 基于切片的CNN模型：

      当谈到基于切片的CNN方法时，2D MRI扫描通常被用来训练二维CNN网络。文献[49]中的工作强调了使用3D CNN进行大脑年龄预测的限制，包括需要大量的参数和训练阶段的计算复杂性。因此，提出了一种2D循环神经网络（RNN）用于大脑年龄预测。在提出的模型中，2D CNN编码了重要的切片内特征，而RNN处理了矢状面MRI扫描的有序序列，以学习切片间的相关性。模型的权重使用Kaiming权重初始化方案进行初始化，而训练则由Adam求解器完成。所提出的2D CNN的主要优点是参数数量减少，即1,068,065，相比于3D CNN的2,018,000，但准确性更高。这项研究的主要局限性在于没有考虑大脑年龄与神经和其他健康状况的关联。

      同样，文献[45]中开发了一种基于切片的CNN方法，通过将T加权的MRI扫描切分成块。使用皮尔逊相关性来衡量块之间的配对相似性。将提取的指标送入复杂网络中，其中块作为节点，相关性指标作为权重。模型使用所谓的Gedeon方法显示了年龄预测最受影响的大脑区域。他们发现最重要的与衰老相关的特征位于左半球。这项研究的主要缺点是仅使用了一小组研究对象。

       同样，[45]中开发了一种基于切片的CNN方法，通过将T1加权的MRI扫描分割成块。使用皮尔逊相关性来衡量块之间的成对相似性。提取的度量被送入复杂网络，其中块（patch)作为节点，相关度量作为权重。该模型使用所谓的Gedeon方法预测最受影响的大脑区域。他们发现与老化最相关的10个重要特征位于左半球。这项研究的主要缺点是只使用了一个小样本，只有488个受试者。

      沿着这个思路，Dular和Spickin[62]最近使用域适应和偏差校正的迁移学习，比较了四种基于切片的CNN模型在使用MRI数据进行大脑年龄估计的性能。作者们用一种简单的迁移学习方法推广了CNN模型对未见过的新MRI数据的性能。然而，第一个和第四个CNN模型是在完整分辨率的3D T1加权MRI图像上训练的，而第二个模型则是通过从每个3D MRI图像中提取15个轴向切片，对2D MRI进行训练。在第三个模型中，MRI图像的分辨率被降采样到95×79×78，以训练3D CNN模型。输入到不同CNN模型的数据类型不同，这可能影响所提出的架构的性能。

• 基于体素的CNN模型：

      基于体素的CNN网络是在3D MRI大脑扫描上进行训练的。这是[56]中使用的方法，该方法通过引入使用结构连接模型的复杂网络来解决大脑年龄预测问题。3D T1加权图像被分割成块，然后使用皮尔逊相关性来计算块之间的成对相似性。图模型中的块对和相似度度量被送入深度学习模型进行分类。开发出的模型通过利用图模型来挖掘结构连接性，展示了衰老对不同大脑区域的影响。只需进行大脑提取和线性配准以降低计算复杂性，所提出的模型就能得到稳健的结果。此外，为了评估年龄预测的特征重要性，使用了Gedeon方法，并表明了12个最有信息量的与衰老相关的块。Gedeon测试中观察到最有信息量的块包括中央前回、尾状核、中央后叶、纹状体、扣带回、脑干、皮层下区域等。该研究的局限性在于，实验只在自闭症谱系障碍数据集上进行，这可能不足以验证年龄差异与其他疾病的关联。

     在引文[40]中，考虑了另一种基于体素的策略，其中T1加权图像使用SPM12工具箱分割为灰质（GM）和白质（WM）。这项研究的结果表明，与WM、原始和WM与GM的集合相比，使用GM体积的性能最佳。他们还研究了使用GM、WM和两者的组合进行大脑年龄估计的遗传性。这项研究的主要限制是只使用了两种扫描仪数据来检查模型的扫描仪间性能的可靠性。此外，作者并没有将任何神经解剖特征与预测的年龄差异相关联，也没有考虑扫描仪运动伪影，这可能会影响模型在实际设置中的整体性能。

     此外，引文[43]也进行了类似的研究，他们将1.5T T1加权MRI扫描分割为GM、WM和脑脊液（CSF）。他们使用GM作为训练3D CNN网络的输入。逻辑回归模型和Cox比例风险模型揭示了年龄差距与痴呆的关联。通过使用梯度加权激活映射从训练的网络中提取注意力图，描绘了随着年龄的增长，海马和杏仁核周围的GM超强度的变化。然而，这项工作的建模提议的普遍性较低，因为所提出的CNN网络无法处理来自不同数据集的图像。此外，作者在训练CNN模型时排除了痴呆和中风的受试者。

      模型的混合化也被用于估计大脑年龄。在[50]中的研究就是一个例子，该研究提出将3D CNN与支持向量回归[81]和高斯过程回归[81]进行混合。他们使用来自IXI数据集的健康受试者训练模型，并使用来自ADNI数据集的47个健康和22个阿尔茨海默病患者评估模型，以衡量所提出的混合模型的泛化能力。然而，作者并未进行任何区域分析以找到与阿尔茨海默病相关的特定大脑区域。

      最后，向基于体素的CNN发展的最近一步是[55]，该研究提出了一个3D-CNN架构，用于从常规脑部MRI扫描中预测儿童的大脑年龄。作者使用数据增强策略来扩大用于训练深度神经网络的数据量。此外，为了评估大脑扫描的相邻切片之间的相关性，作者将3D扫描切成多个2D切片，然后通过一个2D CNN模型进行训练。然而，与3D-CNN模型相比，2D-CNN模型的性能发现较低。这表明，相邻切片之间的相关性对大脑年龄预测至关重要。有趣的是，Hong等人[55]揭示了对2岁以下儿童的预测比对2岁以上儿童的预测更准确。

3.2.3. VGGNet 

     由于深度学习网络的流行，研究人员被吸引到预训练的深度学习网络，以获得更好的大脑年龄估计的性能结果。VGGNet[16]是预训练的深度学习网络，具有固定大小的卷积层（3 × 3），这允许模拟输入图像的小细节。此外，每个卷积层堆栈的卷积滤波器数量都会加倍。我们现在讨论用于大脑年龄估计的基于切片和基于体素的VGGNet模型：

• 基于切片的VGGNet模型： 

      据我们所知，[41]的研究是唯一一个探索2D VGGNet在大脑年龄估计中性能的研究。在此过程中，该研究依赖于VGGNet从具有最高互信息的3D体积图像中提取2D切片，以增加网络的速度。然而，这项研究的一个缺点是，它在预处理MRI图像时只使用了通道标准化，忽视了运动伪影、线性配准和偏置校正，这可能导致结果不准确。此外，作者没有将VGGNet的性能与其他预训练网络进行比较。

• 基于体素的VGGNet模型： 

      与基于切片的策略相反，基于体素的VGGNet模型在文献中被更频繁地使用。首先，Feng等人[46]使用一个5层的3D VGGNet模型，研究了一个大规模的异质性MRI数据集，用于大脑年龄的估计。此外，作者还进行了区域性年龄分析，并展示了前额叶测量（如皮层厚度）与年龄差异之间的负相关性。进一步地，预测年龄差异与Benton面部识别测试（BFRT）的关联被用来评估基线视觉记忆中的认知功能。总的来说，该研究为预测大脑年龄和其他神经影像学应用提供了定量和基于区域的分析。然而，它只评估了BFRT得分以与认知下降的年龄偏差相关，这并不特定于某一种疾病。另一个限制是，该研究包括的非常老的个体的数据较少，排除了18岁以下个体的数据。

     另一项更近期的贡献研究了基于体素的VGGNet，即[47]，它使用T1加权的英国生物银行数据集探索了3D VGGNet模型。他们检查了预测的年龄差异和8,787个非图像变量之间的相关性，这些变量报告了病人的生活方式、医疗和生理参数、心理健康自我报告和病史。该研究揭示了年龄差异与多模态图像衍生表型（IDP）之间的轻微相关性。我们还研究了线性和非线性配准图像的注意力门，以便关注大脑中受年龄影响的区域并抑制未受影响的区域。线性配准的MRI扫描显示了微妙的皮质变化，这在非线性配准的扫描中是不可见的，证明了线性配准图像在检测认知衰退方面的效率。作为这项研究的一个缺点，我们强调使用IDPs来研究其他模态与年龄差异的关系，因为与T1加权的3D扫描相比，IDPs包含的体素信息较少。

     另一个有趣的替代方案是[57]提出的一种轻量级、简单的全连接卷积网络（SFCN），它受到VGGNet模型的启发。SFCN使用dropout、体素移位和镜像来提高性能结果。换句话说，该模型比当时的其他建模替代方案需要更多的训练时间，这需要超过50小时，使用2张专业的P100 GPU卡。此外，该研究并未调查年龄差异和受试者任何健康状况之间的可能关联。

      最后，我们关注了[52]的工作，他们使用Cortical Parcellation-Yeo2011参考地图对T1加权图像进行了分割，得到了7个区域（皮质网络），每个区域都使用一个3D VGGNet模型进行建模。结果显示，使用前顶网络、背侧注意网络和默认模式网络时，平均绝对误差较小。他们还使用皮尔森相关性研究了GM与大脑年龄相关变化的关联。然而，仅使用7个大脑皮层网络忽视了来自细粒度子网络和皮层下网络的年龄效应。

3.2.4. ResNet 

      如第2.2节所述，ResNet通过使用残差块的层次堆栈来解决由消失梯度导致的训练问题。现在，我们回顾了使用基于ResNet的深度学习方法进行大脑年龄估计的工作： 

• 基于切片的ResNet模型： 

      我们的文献收集只发现了一项探索使用基于切片的ResNet进行大脑年龄估计的工作。Shi等人[51]探索了使用ResNet作为CNN的基本构建块对胎儿大脑年龄的预测，该CNN训练在T2加权图像上。此外，还从CNN网络的最后阶段提取了一个注意力图。因此，研究发现预测的年龄差异与胎儿异常，如小头围和畸形有关。这项工作的主要限制是使用横切MRI扫描获取胎儿的T2加权扫描，但一些大脑异常，如胼胝体和其他中线大脑结构在横切面上的可见性较差。另一个弱点是使用最后一次月经期作为孕龄的实际情况，这可能不准确。 

• 基于体素的ResNet模型：

     在[44]的开创性工作中，提出了使用3D ResNet的多模态模型进行大脑年龄估计，该模型将T1加权、WM、GM和Jacobian地图作为每个CNN网络的输入。同时，性别和扫描仪信息被添加到最后一层以提高模型的性能。为了避免随机初始化CNN网络，集成模型首先在冰岛数据集上进行训练，然后通过在IXI数据集上进行迁移学习进行微调。然后在英国生物银行数据集上评估模型，最后通过在训练网络中进行多数投票做出决定。还进行了全基因组关联研究，将预测的年龄差异与两个主要基因序列链接：rs1452628-T和rs2435204。研究还显示了预测的年龄差异与神经心理时间测试的负相关。这项研究提出的明显缺点是其计算复杂性，这源于使用3D CNN网络集成的使用。

      紧接着，Kolbeinsson等人[48]采用了基于体素的方法，研究了六个大脑区域对大脑衰老的贡献程度，包括左侧杏仁核、右侧海马、左侧小脑、左侧岛皮质以及小脑左侧十字区和小脑蚓部。为此，他们使用了一种排列重要性方法。作者探讨了与高血压、多发性硬化症、收缩和舒张血压测量、I型和II型糖尿病相关的年龄差异。然而，使用基于排列的重要性量化方法对区域分析有限制，因为如果图像没有正确对齐，它会显示出边界影响。

      最近，有两项贡献进一步利用了残差网络架构。第一项是[58]，他们提出了一种基于ResNet的2层3D CNN架构，对T1加权图像进行最少的预处理，并使用迁移学习提取特征。他们只使用脑提取和图像裁剪作为预处理步骤，以降低所提模型的计算复杂性。在GNC数据集上进行训练，并使用BiDi-rect研究、FOR2107/MACS和IXI数据集进行迁移学习评估模型的泛化潜力。由于只使用3D CNN进行年龄预测，因此没有将结果与其他预训练深度学习网络进行比较。此外，没有调查年龄差异与大脑区域的相关性。

      另一个与基于体素的ResNet模型相关的近期贡献是[65]，他们使用这种架构来识别与大脑衰老相关的遗传因素。该研究基于预测的大脑年龄进行全基因组关联研究，发现来自四个独立位置的单核苷酸多态性（SNPs）与大脑衰老显著相关。然而，这项工作只评估了遗传因素，而忽视了像生活习惯或疾病等其他方面。例如，重度吸烟和饮酒被认为会加速大脑衰老[82]。同样，糖尿病和精神分裂症也在大脑衰老中起到催化作用[83,84]。相反，体育锻炼可以改善总体健康，减缓大脑衰老[85,86]。

3.2.5. 集成深度学习

      集成深度学习结合了多个网络，以提高鲁棒性和预测性能，但代价是一般会增加训练复杂性。研究者开始采用集成深度学习来获得更好的脑年龄估计结果。下面对这方面的工作进行了更深入的分析：

• 基于切片的集成深度学习模型：

      复习的文献中有两项贡献属于这一类。首先，Ballester等人[67]提出了通过CNN和线性回归进行切片级脑年龄预测。作者们并未使用整个脑图像，而是使用切片级预测来识别最能贡献到脑年龄差距的脑区。此外，作者还评估了切片索引和平面、年龄、性别以及MRI数据采集地点等因素如何影响预测结果。研究揭示出特定的脑切片对预测误差有更大的影响。分层划分训练和测试数据集被证明可以消除站点效应并最小化性别效应。此外，模型的整体误差也会受到选择MRI切片的影响。

       第二项工作是[66]，该研究使用了一个CNN集成来从常规的T2加权自旋回波脑MRI扫描中估算脑年龄。这项研究存在以下限制[71]：(1) 它对所有切片的预测进行了平均，然而，并非所有切片都可能平等地对最终预测产生贡献，可能导致性能不佳；(2) 每个切片都独立于其他切片进行处理，这排除了对轴向分离特征之间非线性交互的建模。对于未针对常规临床MRI开发的脑年龄模型，存在若干缺点。首先，模型大多数是在具有各向同性或近似各向同性体素的高分辨率体积T1加权扫描上进行训练的。然而，这类扫描很少成为常规检查的一部分。其次，大多数模型在遵循精确成像协议和参与者纳入标准的数据集上进行训练和评估。相反，由于扫描设备供应商、不同的成像协议和来自多个站点的异质病人的差异，医院中的常规成像扫描在实践中是异质的。第三，最先进的脑年龄模型依赖于计算密集型的预处理技术，如空间标准化、颅骨剥离和偏置场校正。

• 基于体素的集成深度学习模型：

      在审阅的文献中，有四项贡献可以被分类为基于体素的深度学习模型集成。首先要突出的是[69]，该研究从经验上展示了输入特征集和脑年龄估计方法的预测性能之间的关系，这是在传统机器学习模型的框架下进行的。作者们展示了通过集成深度学习框架将多个输入特征集和目标特定函数相结合，可以提高性能。同样，Couvy-Duchesne等人[54]使用了一个由7个分类器组成的集成，这些分类器是在3D GM和WM地图以及表面面积的顶点测量上进行训练的。他们得出的结论是，通过使用线性回归估计可调整的权重，使用集成深度学习能够获得最佳的性能。此外，使用随机森林组合集成预测，可以进一步提高所提模型的性能。然而，就像在任何其他的集成深度学习方法中一样，需要训练7个不同网络，这导致了计算复杂性的增加。"

      基于体素的集成深度学习的另一个例子是[53]，该研究为了预测历年年龄，提出了一个在10,176名受试者上使用的多个3D CNN网络的集成。该模型在未见过的数据上达到了3.07岁的MAE。他们将脑脊液空腔定位为年龄预测的萎缩标记。此外，作者们通过平均聚合了几个解释图，形成了一个基于人口的地图，并突出了脑室和池作为与早期衰老相关的潜在生物标记。这项工作只考虑了横断面数据，而没有考虑纵向数据；因此，只考虑了受试者之间的年龄变化，而忽略了同一受试者内可能的轨迹。[70]提出了针对神经影像模型解释性的多级集成模型，显示出比他们的个体基础学习者更好的性能。作者们得出的结论是，脑室内部和周围的体素，以及脑与脑膜区域边界的体素，对脑年龄的贡献很大。此外，覆盖皮质沟回结构的体素在老年受试者中似乎比在年轻受试者中更相关。最后，[74]开发了两个通过使用T1脑MRI扫描专注于海马年龄的脑年龄估计CNN模型。作者们使用了数据增强技术，为训练模型提供了大量的数据。这种方法探索了预测误差与认知正常、AD和MCI受试者等不同受试者的关联。他们对基线组之间的delta估计误差进行了统计分析。此外，作者们将结果与临床测量值进行了相关性分析，并发现存在负相关。这项研究提供了0.12秒的推理时间，提到的总处理时间在七分钟以下。

3.2.6. 基于Transformer的模型

      卷积神经网络（CNNs）已被广泛应用于一系列应用中，包括脑年龄估计。然而，在常规的CNN框架中，卷积操作基于小的和局部的邻近像素生成特征，因此缺乏对周围邻居的全局特征表示[77]。最近，引入了Transformer框架，它捕捉输入序列之间的长距离关系，并已成功应用于自然语言处理和计算机视觉问题。由于自我注意机制，Transformer表现出高性能。受此机制的启发，全局-局部注意力框架[75]，也被称为全局-局部变换器（GLT），已被用于脑年龄估计问题。它统一了输入图像的局部信息，并将其与全局信息相结合。然而，Hu等人[77]强调，GLT模型捕捉的全局-局部信息是局部-局部信息的子集。为了捕捉细粒度的局部信息以及局部-局部信息，Hu等人[77]结合了金字塔架构，挤压和激发网络以及自我注意机制，以提高泛化性能。为了进一步提高性能，Cai等人[76]使用了带有图变换器网络的多模态方法，以利用全局以及局部多模态特征在脑年龄估计中。作者们使用了跨模态交互和多模态特征的层次融合，然后通过几何学习对特征节点进行聚合，以精确估计脑年龄。

3.2.7. 其他深度学习模型

    部分文献已经瞥见了其他预训练深度学习网络用于脑年龄估计，包括Alexnet[22]，U-Net[87]，DenseNet[88]，Autoencoder[89]，Inception-V1[90]，和EfficientNet。为了完整性，接下来简要讨论这些工作： 

• 基于切片的深度学习模型：

      林等人[59]提出了2D AlexNet [22,91]用于特征提取，主成分分析（PCA）用于特征选择，以及使用多项式内核的关联向量机用于分类，分类使用从T1加权图像中提取的GM图像。他们测试了阿尔茨海默病患者的数据，发现轻度认知障碍（MCI）患者的预测年龄差异为3.13岁，阿尔茨海默病（AD）患者为6.08岁。然而，作者仅使用Alexnet[22,91]预训练模型展示了结果，这是一个黑盒子，缺乏可靠的解释。此外，作者没有调查其他预训练网络的性能，以比较性地评估他们基于AlexNet的提议的效率。

      一个有趣的进展是[60]的工作，他们提出了一个具有形态特征提取的可解释深度学习网络。作者研究了两种形态描述符——SHAP [92]和LIME [93]——以寻找可靠的衰老生物标志物。实验分析显示，SHAP是解释形态衰老过程的最可靠描述符。然而，为了在体素级别利用3D MRI信息，可以使用基于CNN的显著性地图和逐层相关传播映射代替SHAP和LIME，以突出MRI中的感兴趣区域。此外，还进行了相关性分析，以研究形态特征的重要性与年龄的关系。然而，仍需要进行定量分析，以关联年龄预测的最重要区域。

• 基于体素的深度学习模型：

      当使用体素级信息作为输入时，到目前为止报道的杂项模型的多样性更高。我们首先从[64]开始，该文使用了基于U-Net的模型，通过整合体素信息进行局部脑年龄预测。该研究分析了MCI和AD患者之间的结构差异。此外，它还评估了局部脑年龄预测在扫描器内部和之间的可靠性。该研究发现，在考虑到Cohen's 𝑑值的局部脑预测年龄差异中，豆状核、壳状体、苍白球、海马和杏仁核被证明是皮质下区域的区分因素。此外，扫描仪之间的可靠性是一个中等的因素。然而，这项研究的缺点是需要来自给定站点的健康人群，因为站点的变化或可能导致局部脑预测年龄差异分布不以零为中心。

    这项最新的贡献之一是 [71]，他们基于常规临床头部检查开发了一个基于DenseNet的大脑年龄估计模型。这些数据的使用确保了模型在一系列扫描仪和采集协议上进行训练，因此，这些模型可以自然地代表常规临床人群。这项研究存在以下局限性：（1）由于模型是在放射学上正常的大脑上训练的，因此尚不清楚该模型在具有明显异常的个体中的表现如何；（2）作者将模型的解释性归因于大脑实质，然而，他们并未提供系统分析大脑特征对大脑年龄预测的贡献的研究。

      Lee等人[63]使用了修改过的3D-DenseNet[88]，该网络使用Adam优化器(其中𝛽1 = 0.9，𝛽2 = 0.99)和MAE损失函数进行正常老化和痴呆症的大脑年龄预测。这项研究关注CNN模型的年龄和模态特定地图，这些地图可以通过遮挡敏感性分析来解释对预测年龄子群和模态类型最有贡献的大脑区域。遮挡敏感性分析方法遮挡大脑的一部分，并评估其对MAE变化决策的影响。该研究得出的结论是，对于较年轻的群体(30-40岁和40-50岁)，后部区域在后扣带皮质处达到峰值，贡献更大，而在50-60岁和70-80岁的年龄群体中，下额区域以及眼眶前皮质和嗅皮质的贡献占主导地位。此外，代谢数据比基于MRI的数据对大脑年龄预测更敏感。这项研究的限制在于，它只评估了神经退行性病理，没有评估慢性全身性医疗疾病和血管疾病，这些疾病可能有不同的大脑老化模式。

      Mouches等人[94]使用确定性自动编码器将大脑年龄预测和年龄条件模板生成统一起来。在特定年龄的模板中，作者展示了自然年龄变化，随着年龄的增长，室间隙体积增大和脑沟变宽。同一作者在[72]中提出了一个基于MRI和血管造影数据的自动编码器多模态大脑年龄预测模型。作者利用显著性图研究了皮质、皮质下和动脉结构对预测的贡献。研究得出结论，结合大脑组织和动脉信息可以提高模型的性能。此外，侧脑沟、第四脑室和内侧颞脑区被证明是重要的形态特征。Varatharajah等人[42]采用了通过预训练的Inception-V1[90]进行3D特征提取的迁移学习方法，然后通过回归器和区间分类进行预测。

       我们结束本节的讨论，检查一项由[73]提出的基于深度关系学习的回归模型。这个模型的基本想法是学习不同输入图像对之间的关系。作者考虑了非线性对之间的四种关系。这些关系由单个神经网络同时学习，它执行了两个独立的任务，如关系回归和特征提取。对于特征提取过程，使用了EfficientNet，而为了模拟图像对之间的关系，应用了transformer。模型的性能在年龄在20至72岁之间的不同数据集上进行了评估。也采用了不同的性能评估策略，如使用不同图像估计大脑年龄，使用已知年龄参考估计大脑年龄，以及使用相同图像对估计大脑年龄。在他们的实验中，最低的MAE得分为2.38。根据[73]的说法，深度关系学习模型可以提供比其他最新技术方法更好的大脑年龄估计的泛化性能，MAE更低。

4.挑战和未来方向

图4. 深度学习在脑年龄估计中的挑战与未来方向的图形表示。数字代表第4节中每个挑战的细节讨论的小节。

      本调查中进行的文献回顾揭示了深度学习模型在多年来对大脑年龄估计的日益增长的兴趣。尽管它的相对成熟，我们对迄今为止的贡献的批判性分析揭示了一些研究领域，这些领域仍然值得研究社区进一步关注。我们在此列出这些挑战，以及未来可以有效解决这些挑战的潜在研究途径（我们参考图4进行图形总结）：

4.1. 多模态数据的整合

      迄今为止，大部分已发布的脑龄估计方法仅仅使用了T1加权图像，这只能揭示出大脑器官的结构性萎缩。然而，众所周知，认知衰退严重依赖于其他几个因素，例如铁的沉积、大脑连接性和代谢变化。凭借其模块化和高度灵活的设计，深度学习模型天然地倾向于整合定义在异质领域（包括空间和时间）的多种信息模态。因此，融合其他模态以更准确地估计大脑肯定会提供新的见解，并有机会探索影响大脑老化的其他生物标志物。

4.2. 脑龄差异与认知衰退的关联

       一般来说，脑龄估计框架通过对认知健康参与者的脑部扫描进行建模来构建预测模型。最近的研究已经记录到，脑龄与精神健康、生活满意度和代谢因素（例如，糖尿病）在认知健康的老年人中有关联[6]。另一方面，这些因素可能会在估计的脑龄中产生偏差，这在从健康数据构建脑龄估计模型时应被考虑进来。大多数基于深度学习的脑龄研究已经在有大脑萎缩的阿尔茨海默症患者上测试了他们的技术。尽管深度学习模型在训练集和认知健康的受试者中表现出卓越的性能，但他们的可靠性应在帕金森病、亨廷顿病、癫痫和唐氏综合症等其他神经疾病中进行验证，这些疾病的脑部体积变化较小。

4.3. 计算复杂度

     我们审查的贡献中只有一小部分关注于2D CNN模型，主要目标是在与3D CNN建模对比时，减少设计网络的计算复杂度。可以根据切片的互信息和熵从体积MRI扫描中提取2D切片。此外，可以探索MRI扫描的轴向、冠状和矢状平面的性能比较，为关注区域提供良好的可视性。

      另一方面，大多数脑龄估计器都依赖于计算强度大的预处理技术。然而，只有少数模型被开发用于从常规MRI扫描中估计脑龄。因此，社区应该集中精力开发针对常规MRI扫描的高效和准确的脑龄估计模型，可能涵盖了那些如果不适当处理，将阻碍从这些数据源预测脑龄的伪影。

4.4. 重要大脑区域的提取

      大多数脑龄估计模型下的学习任务寻求准确预测大脑的年龄。这些模型通常用于预测非健康受试者的年龄差距，以用于临床目的。年龄差距越大，大脑中的异常现象就越多。然而，尽管模型最终能准确预测，但只有少数研究分析了哪些大脑区域对脑龄估计的贡献最大。在少数提供了此类分析的报告中，发现大脑的不同区域受到的影响取决于受试者所属的年龄组。因此，未来的研究可以致力于反映年龄组和性别对脑龄估计影响的案例研究。

4.5. 新的深度学习架构

      如我们的文献回顾所证明的，直到最近，集成深度学习架构才被用来提高脑龄预测的准确性。在处理给定数据模态的基础学习者之间引入多样性的最直接方法是装袋。然而，还有其他方法，如负相关学习，它可以提高集成架构的性能，但对于这个特定应用来说，这些方法仍未被探索。

       在这条线上，社区缺乏一项全面的研究，该研究基于公开可用的数据集，使用统一的指标、评估协议和多个数据集，对深度学习架构的性能进行基准测试。因此，该领域需要对已发表的用于脑龄估计的不同深度学习方法进行基准测试。这不仅会以有根据的方式对准确预测脑龄的最先进深度学习模型达成共识作出贡献，而且还将进一步激发从不同角度（包括精确度、可信度和训练/推理效率）改进这种模型的努力。

4.6. 对抗扰动和不确定性估计

      最近发现，深度学习对于某些微不足道的扰动（称为对抗扰动）[95,96]很容易受到影响。那些被对抗扰动破坏的例子被称为对抗性例子。这样的攻击引发了深度学习方法的严重稳健性挑战，并且最近在社区中引起了极大的兴趣。由于脑龄估计方法主要依赖现有的深度学习方法，它们很少考虑对对抗攻击的稳健性。已经有许多提议被提出来，以增强和/或提供稳健和安全的深度学习模型[97,98]。我们倡导在将深度学习模型应用于脑龄估计时，解决这些稳健性问题。

       深度学习模型的另一个重要方面是将固有数据（偶然性）和建模（认知性）不确定性传播到预测输出。如果不能提供关于模型对其产生的估计的置信度的可理解信息，就会危及模型在实际应用中的采用，因为从估计中做出的决定可能会有灾难性的后果，就像在临床实践中一样。不确定性估计技术的目标是通过提供关于每个模型的置信度的信息，提高用户对基于数据的模型输出的信任度[99]。对于回归任务，这些信息以置信区间的形式出现，通常为给定的置信级别估计。因此，未来的研究可以专注于那些既是模型不可知的（例如符合预测或分位数回归）也是特定于深度学习模型的不确定性估计技术和指标（相应地，证据损失，蒙特卡罗dropout或贝叶斯网络），以提高临床医生对这一类模型估计的脑龄的信任度。

4.7. 脑龄估计的深度学习的可解释性

       通常，深度学习模型被认为是“黑箱”，因为它们缺乏一个推理过程，该过程可以映射出给定输入的哪些组成部分对模型输出的值有关。在对复杂数据进行建模时，算法透明模型（如决策树）的性能通常会落后于高参数的深度神经网络。这就需要能够解释已经训练过的模型在预测输出时对输入观察到什么的技术，因此形成了后设解释方法的领域[100]。现在，文献中可以找到大量为深度神经网络提供后设解释的方法，从概念相关方法到模型简化方法和反事实生成。这些技术中的大多数已经集成到用于此目的的主流软件库中。我们坚决主张在未来提出新的神经架构和/或用于脑龄估计的数据集的研究中包含后设解释：这不仅是为了告知可能危及患者生命的决定[101]，还是为了向医学专家提供关于与脑龄高度相关的新生物标记物的信息。尽管最近已经报道了一些这方面的尝试，如使用SHAP和LIME[60]，但在用于脑龄估计的非解释性模型中，可解释性的研究非常稀少。预期的研究应该包括这个必需的组件，并且超越纯粹以性能为导向的研究，确保模型不仅性能良好，而且运行可靠，可以被用于临床实践的信任。

4.8. Transformer中的数据可扩展性和不稳定性问题

      深度学习或Transformer模型需要大量的数据来训练网络。经验研究表明，当在大型数据集上训练时，Transformer模型显示出更好的准确性[102]，然而，随着数据的稀疏性或标注的减少，性能会下降。因此，未来可以探索自监督的transformer，以在这种情况下获得更好的性能。Chen等人[102] 揭示了视觉Transformers的主要挑战是训练的不稳定性。因此，需要进一步的研究来提高Transformers的稳定性。

5. 结论与展望

      本调查回顾了以深度学习架构为核心的脑龄估计框架。本质上，从神经影像数据中估计脑龄可以被视为一种预测建模任务。神经影像MRI扫描和其他形式的高维度要求采用不同的深度学习模型，以便早期诊断与脑龄估计直接或间接相关的各种疾病。本评述试图全面收集它们，深入研究每一项已发表研究是如何处理脑龄估计问题的，哪些建模模式已被有效地用于解决这些问题，报告的预测性能水平以及相关的架构选择。因此，我们提出了一个分类法，以系统地安排和组织所有的文献，作为评估所审查工作的强点和弱点的指南。由于我们对文献的深入审查，我们也列举了脑龄估计的几个研究方向，以推动这个主题的未来努力。我们希望这篇手稿能成为研究人员和从事通过深度学习架构进行脑龄估计的实践者，以及愿意加入这个激动人心的研究领域的新人的有用参考。

 

多年以来，机器学习模型已经成功地在神经影像数据中被用于准确预测大脑年龄。与健康的大脑衰老模式有偏差的情况通常与大脑加速衰老和异常现象有关。因此，我们需要有效且精确的诊断技术来准确估计大脑年龄。过去，为了达到这个目的，已经有许多采用不同数据驱动建模方法的研究做出了贡献。最近，深度神经网络（也被称为深度学习）已在许多神经影像研究中普遍应用，包括大脑年龄估计。在本文中，我们提供了一份关于利用深度学习进行大脑年龄估计的神经影像数据相关文献的全面分析。我们详细地阐述并分析了用于此类应用的不同深度学习架构，并对迄今为止发表的定量探索它们应用的研究作了评述。我们也审查了不同的大脑年龄估计框架，并对比分析了它们的优点和弱点。最后，本文以对未来研究应追求的方向的前瞻性展望作为结论。本文的最终目标是为新入行者和有意使用深度学习模型进行大脑年龄估计的研究者提供一个共享的、知识丰富的参考资源。本文发表在Information Fusion杂志。(可添加微信号siyingyxf或18983979082获取原文，另思影提供免费文献下载服务，如需要也可添加此微信号入群，原文也会在群里发布）

关键词： 大脑年龄估计、神经影像学、机器学习、深度学习、深度神经网络

1.引言 

表1 已发表的调查回顾了大脑年龄估计的研究

      随着全球人口的增长，全球范围内出现了一系列非致命但却导致残疾的疾病的案例激增，包括认知下降和痴呆等神经退行性疾病[1]。为了应对这个挑战，我们越来越需要确定大脑衰老过程与神经退行性疾病机制之间的联系。需要制定方法来识别那些处于高龄相关退化风险的受试者，监控退化的进程，并为涉及的受试者制定适当的治疗方案。年龄相关的大脑变化在大脑疾病的病因学中起着重要的作用。大脑年龄与生理年龄的差异可能揭示出在生命的不同阶段可能遇到的多种健康相关问题的风险。

      在这种情况下，过去几十年，为人类健康开发的数据驱动模型的数量无疑已经激增。实际上，机器学习已成功应用于与大脑年龄相关的各种建模任务，这主要通过使用大脑的磁共振成像（MRI）扫描实现。所有这些任务都属于大脑年龄估计这一总体概念，通过将大脑影像数据与机器学习模型结合，包含了能在个体层面预测正常大脑的均质轨迹的技术[2]。大脑年龄估计框架通常使用认知健康参与者的训练集，结合监督学习（即，回归算法），以建立提取的大脑特征（即，自变量）与患者实际年龄（即，因变量）之间的相关性模型。然后，将此预测模型应用于独立测试数据，以推断训练模型未见过的患者的大脑年龄。这些典型轨迹的偏差（即，正向或反向），通常被称为大脑年龄差（估计的大脑年龄减去实际年龄），已被与大脑状态联系起来[2]。大量研究已证明，正的大脑年龄差与大脑异常和死亡率有关[3]，而负的大脑年龄差则与年轻的大脑有关[4]。大脑年龄度量已成功地用于检测不同的神经和精神疾病[5]。除了检测神经和精神疾病外，大脑年龄度量也被用于探索生活方式（如抗压能力、抑郁症状、生活满意度）对认知健康大脑的影响[6]。

       值得注意的是，解读大脑年龄结果的准确性依赖于所使用的大脑年龄估计框架的稳健性。事实上，更准确的大脑年龄估计框架可以为临床申请者提供更稳健的结果。因此，需要开发更精确的大脑年龄估计框架供临床应用，许多研究小组已经尝试通过采用多种机器学习技术来改进大脑年龄估计框架。除了大脑年龄的传统机器学习方法[7]，[8]，[9]，深度学习近年来已经成为神经影像学领域的热门方法，广泛用于诸如分割、病灶检测和分类等不同的任务[10]。深度学习模型的最显著优势之一是其将特征提取、特征降维和预测阶段合并为统一的计算系统，能够在处理高度复杂的数据时超越传统的机器学习方法。因此，深度学习已经成为大脑影像学研究的首选技术，基于深度学习的神经影像学研究在过去的十年里持续增加，趋势稳步上升[10]。

      到目前为止，只有少数几项调查总结了现有的大脑年龄估计研究[5]，[11]，[12]。值得注意的是，这些调查主要关注了传统机器学习算法（如支持向量回归、相关向量回归和高斯过程回归）、特征提取和数据降维技术，以及开发的大脑年龄技术的临床应用。例如，Sajedi 和 Pardakhti [11]关注了T1加权MRI图像的预处理、特征提取技术和工具。作者们讨论了用于估计大脑年龄的传统机器学习模型的应用，以及这一领域使用的深度学习模型的简要回顾。表1显示了迄今为止总结大脑年龄研究的已发表调查列表。根据表中提供的信息以及我们对该领域文献的检查，以前没有调查提供了关于深度学习用于大脑年龄估计的最新技术的系统性回顾。据我们所知，本研究是第一个通过仔细检查已采用来从神经影像数据估计大脑年龄的不同深度学习架构，来解决这个特殊问题的研究。我们对文献的详细分析还进一步补充了对此领域未来方向的建议，这些建议是基于我们从检查的文献语料中得出的有根据的结论。我们的主要贡献可以总结为：

     • 我们根据用于估计的深度学习架构对现有的大脑年龄估计模型进行分类。此外，我们进一步根据这些模型在建模输入数据时是否采用基于切片的方法或基于体素的方法来分类这些模型。

      • 我们通过讨论他们的模态、使用的数据大小、模型的报告性能以及用于评估目的的数据集，详细地检查这些估计模型。

      • 我们检查在该领域使用的深度学习架构，描述他们在不同超参数中的设计模式，包括隐藏层的数量、激活函数、密集层、损失函数和其他类似的选择。

      • 我们列举了几个尚未解决的挑战，并追踪可以为推进基于数据的解决方案以从图像数据预测大脑年龄的方向。

       本文的其余部分结构如下。第2部分简要描述了在文献回顾中后面提到的深度学习架构。第3部分建立了文献审查的分类法，并回顾了使用深度学习架构从神经影像数据估计大脑年龄的研究。最后，第4部分给出了现有研究的局限性和对未来研究路径的建议。最后，第5部分以从调查中得出的主要观点的总结结束了这篇回顾。

2. 深度学习架构

图 1. 概念图表展示了不同深度学习架构与目标应用（大脑年龄估计）及该应用所追求的最终目的之间的关系。

      在进行文献综述之前，有必要确定与深度神经网络相关的概念和架构，这些概念和架构将在后续的文献研究中被广泛引用。本节简要解释了一些流行的深度学习模型，以便完整性并方便理解我们的检查结果。

      随着技术的日益发展，全球数字信息的数量正在指数级增长。医疗领域可以说是近年来其数字基础设施急剧增长的部门之一。因此，人们急需高性能的模型来消化、处理并从这些数据中提取知识。为了这个目的，深度学习模型的出现和逐步成熟在研究领域中获得了显著的动力，尤其是在生物医学数据处理中。深度学习模型已被全面证明可以显著地推进对不同疾病的生物医学数据的分析，例如阿尔茨海默病[13]，帕金森病[14]和脑肿瘤分类[15]。在这里，我们简要概述了一些用于大脑年龄估计的深度学习架构，包括：前馈神经网络、卷积神经网络（CNN）、VGGNet [16]、ResNet [17]以及深度学习模型的集成 [18]，[19]，[20]。这些架构，本文回顾中关注的应用以及可以使用深度学习架构估计大脑年龄的不同目标，在图1中以概念形式进行了说明。

2.1 前馈神经网络 

       这是神经网络的最简单形式。前馈神经网络的主要目标是计算函数的近似值[21]。前馈网络是序列函数或感知器按链状结构组装在一起，它与有向无环图相结合，表示函数如何关联在一起。在这个网络中，数据只在一个方向上流动。网络中的层总数代表了网络的深度，所以网络中的层数越多，网络可以被声明为越深。通过使用梯度反向传播算法，调整网络中定义这些组合函数的参数以最小化在训练数据集上定义的损失函数。

2.2 卷积神经网络、ResNet和VGGNet 

      前馈神经网络的逐步发展最终产生了卷积神经网络（CNN）作为神经计算模型大家族的下一代。CNN是从计算机视觉领域产生的最成功的基于数据的模型之一[22]，自从它的诞生以来，已经被推广到其他复杂的数据领域，如视频或时间序列建模。它被广泛用于自然语言处理[23]、语音处理[24]或文本挖掘[25]等应用中。一般来说，与其他人工神经网络相比，CNN的优越性能取决于它们自动从复杂的多维数据中提取特征的能力，这是通过将上述的梯度反向传播算法扩展到模拟数据输入到网络内的空间相关性的层来实现的。这些层，被称为卷积层，是堆叠层次结构中的第一层，它们与池化层和全连接（密集）层一起构成了用于分类或回归任务的CNN的整体结构。

       普通的CNN模型在处理大型数据集时，难以达到良好的分类精度，这推动了多年来新的CNN架构的提出。AlexNet [22] 是首个出现的基于CNN的现代架构，它在当时知名的ImageNet分类竞赛中取得了无与伦比的性能。理论上，具有大深度的神经网络具有更好的特征提取能力，可能提高模型的预测性能[26]，[27]。然而，当处理深度卷积架构时，梯度爆炸和消失的概率变得更高，这对模型的训练过程是灾难性的。为解决这些问题，微软的研究人员引入了一种增强的CNN架构，被称为ResNet[16]，[17]。ResNet架构引入了残差块和跳跃连接网络的概念。通过跳跃连接，一个层的激活被连接到层级结构中的后续层，中间跳过了几层，从而形成了一个残差块。换句话说，一个ResNet架构由多个残差块堆叠而成。ResNet的整体精度得到了提高，而没有精度损失或训练和测试误差的增加。

     另一种叫做VGGNet的CNN模型由Simonyan和Zisserman[16]开发，此后产生了一系列以不同深度和超参数配置为特征的不同模型。VGGNet减少了内存消耗和模型时间复杂度，因为它没有使用局部响应归一化算法。VGGNet的各种版本有不同的通道规格，支持从11 权重层（每个包括8 卷积和三个全连接层）到19 权重层（包括16 每个卷积层和3 全连接层）。即使有多种CNN模型的变体，研究人员仍然热衷于提高模型性能和泛化能力。

2.3 集成深度学习 

      为了进一步提高模型在未见查询数据上的性能，集成学习很快进入了深度学习模型的视野。一般来说，集成学习涉及到组合和训练多个模型，目的是提高泛化性能[18]，[28]，[29]，[30]，[31]，[32]。性能的提升是由于不同的网络模型对训练数据的知识多样性，其预测结果被组合在一起以提供更好的性能[33]。使用深度神经网络的集成学习方法可以在广泛的类别中找到，包括bagging [34]，boosting [35] 和stacking [36]。与单个网络相比，这些网络在性能精度和鲁棒性方面被认为是最好的[37]，[38]。集成CNNs是因为分配权重给每个节点的优化问题可能有不同的局部最小值[28]，[39]。到目前为止，CNN集成已经应用于许多建模任务，包括字符识别、图像分析、面部识别和医疗图像诊断。

图 2. 应用于从神经影像数据估计大脑年龄的深度学习模型的文献分类

3.分类和文献回顾

      从上述的深度学习架构出发，我们现在深入研究使用这些架构进行大脑年龄估计的最重要的工作。在此过程中，本节首先确定了收集和组织所有考虑的文献的方法（第3.1节），然后详细研究了围绕一个提出的分类法的贡献，这个分类法根据使用的深度学习架构（即，CNN，VGGNet，ResNet，集成深度学习，和其他）和给模型的输入数据（基于切片或基于体素）对它们进行排序。这个文献回顾在第3.2节给出。

3.1. 搜索策略 

      我们在三月份进行了文献编纂，查询了与研究领域密切相关的搜索关键词，包括“深度学习”与以下项目结合：“大脑年龄估计”，“大脑年龄预测”，“MRI”，“大脑影像”，和“神经影像”。在初始筛选中，我们排除了那些不聚焦于深度学习和神经影像学的研究。最后，我们详细研究了总共保留下来的若干篇研究。

3.2. 分类和文献回顾 

       通过我们的文献研究，我们设计并围绕图2所示的分类对所有工作进行了安排。可以区分两个分类标准：第一个是深度学习架构，这回应了前面部分所修订的架构，并补充了一个额外的类别（其他）来解释在这些广泛的类别中未涉及的其他架构选择。第二个分类标准是给深度学习模型的数据输入格式，即基于切片或基于体素的方法。在基于切片的方法中，深度学习模型使用从3D MRI扫描中提取的二维MRI切片进行训练。因此，基于切片的方法包含的可训练参数较少，因此整体建模解决方案的计算复杂性较低。然而，二维切片并未包含整个大脑的信息（例如，未考虑切片之间的相邻关联）。相比之下，在基于体素的方法中，深度学习模型使用三维MRI扫描或3D MRI块进行训练。首先，3D扫描在标准的大脑模板上进行配准，以使所有3D MRI扫描的尺寸统一。然后，已配准的3D扫描被馈送到深度学习模型进行训练，其中深度学习模型配置有能够处理3D输入数据张量的神经处理元素。基于体素的方法可以考虑切片之间的信息来建模大脑图像数据。然而，其可训练参数的数量比基于切片的方法要多。在明确了这个分类后，我们将按照这个分类的两个标准，在后续的部分中进行系统的文献回顾和分析。使用深度学习进行大脑年龄估计的数据集的概述在表2中展示。分析过的研究的模态、学习模型、正在使用的数据集以及报告的结果的概述在表3中给出。

表2. 使用深度学习进行脑龄估计的数据集摘要

表3. 本文回顾的文献的主要特征和结果摘要。

𝜌表示皮尔逊相关系数，RMSE表示均方根误差，MAE表示平均绝对误差

3.2.1. 神经影像数据预处理

      神经影像数据的预处理阶段是开发脑年龄估计框架的关键步骤。预处理方法取决于神经影像数据的类型。大多数基于深度学习的脑年龄研究使用了T1w-MRI数据，因为相比其他类型的脑部影像，这种数据更为常见。在处理T1w-MRI数据时，最显著的预处理方法之一是基于体素的形态学（VBM），例如统计参数映射（SPM）软件(http://www.fil.ion.ucl.ac.uk/spm)。VBM是一种能够检测脑部形态异常和体素级别上的年龄相关变化的稳健方法[78]，[79]。VBM方法的优点在于它能产生经过处理的灰质（GM）和白质（WM）图像，这些图像可直接用于基于体素的（即3D图像）和基于切片的预测模型（即2D图像）。VBM-based预处理方法的技术细节已在[80]中提供。另一个T1w-MRI预处理方法是区域性方法（例如，FreeSurfer），它提取了皮质和皮层下脑结构的形态特征（例如，基于表面的形态学和皮质厚度特征）。除了T1w-MRI数据，氟脱氧葡萄糖-正电子发射断层扫描（FDG-PET）图像也在基于深度学习的脑年龄研究中被使用[63]。FDG-PET数据提供了关于脑部葡萄糖代谢的信息。T1-w MRI和FDG-PET数据的典型预处理步骤在表4中呈现，并在图3中说明。

图3. T1加权MRI和FD

G-PET数据的预处理步骤

表4. T1加权MRI和FDG-PET数据的典型预处理步骤