医学图像配准入门

医学成像技术

医学图像分类

多模态医学成像图

从左至右、从上往下分别为：X 射线成像、计算机断层成像、超声成像、磁共振成像、功能磁共振成像、正电子断层成像、PET/CT成像、PET/MR 成像;

模态间差异

MRI与CT

• CT（X射线计算机断层成像）
  -成像原理：人体各组织的密度不同；X 射线通过待测物体，能量衰减；射出的X 射线光子带有物体内部的衰减信息和部分空间定位信息；
  -重要概念：分辨率、CT值（密度值）、窗宽和窗位、部分容积效应、噪声、螺距（Pitch）
• MRI（核磁共振成像）
  -成像原理：人体各组织含有的氢化物和水含量不同；进而对人体射频（RF），人体氢核发生磁共振现象；停止RF后，氢核向外发送射频信号（弛豫）；不同的氢核产生的RF强度不同；
  -重要概念：信号强度、T1加权和T2加权图像、分辨率、脉冲重复时间（TR）和回波时间（TE）、磁场强度

坐标系统

世界坐标系
世界坐标系是笛卡尔坐标系, 每个模型(model, 指病人)都有自己的世界坐标系.

解剖学坐标系(LPS/RAS/RAI)

• LPS(Left, Posterior, Superior)：MHD图像(meta image), ITK工具包, ITK-Snap软件(该软件中写的是RAI)使用
• RAS(Right, Anterior, Superior)：Nifti图像和3D Slicer软件使用
  

图像坐标系

• 体素 （voxel）
• 采样原点(origin)
• 采样间距(spacing)
  

参考

1. 医学成像技术简介（CT,MRI等）及相关论坛、技术应用链接 link.
2. 带你深入了解影像类型：CR、DR、CT、MRI、NM、DSA link.
3. 浅谈CT 扫描成像原理 link.
4. 医学影像简介(Medical Imaging Guide)link.

Dicom - 学习资料

1. DICOM blog link.

医学图像配准技术

关于图像配准

医学图像配准
-将来自不同时间或不同成像条件下获取的医学图像进行对齐，使它们在空间上相互匹配
配准意义
-单一模态的医学图像提供的信息有限，利用多种模态的图像可以提供病变的多种互补信息
配准原理
-通过确定两个序列中特定点的对应关系并计算其在世界坐标系中的位置——>实现序列之间的对齐和相对位置的计算——>实现定位线、同步滚动等功能。序列中图像的数量并不影响该过程。
配准难点
-分辨率不同；不同模态对同一个解剖结构的呈现方式可能不同；不同时期组织情况不同病灶变化不同；患者体位、生理结构的不同

配准方法分类

传统图像配准算法

算法流程


几何变换

具体算法

• 特征空间：决定了用于图像配准的特征类型
• 搜索空间：决定了优化的参数数量
• 相似性度量：衡量参考图像和待配准图像间的相似程度，为配准的下一步提供依据
• 搜索测量：通过优化算法，若优化条件满足，则配准过程停止，得到最佳变换参数
  

配准评价

• 数据：利用仿真数据；采用手工标记的解剖结构点；分割的掩模评价算法的精确度
• 定性评价：可视化
• 定量评价：精确度，指利用配准算法得到的估计值与真实值（金标准）之间的差别；成功率；鲁棒性；执行时间

参考

1. 医学图像配准技术 link.
2. Image Registration: From Scale-invariant feature transform to Deep Learning link.

信息论 - 学习资料

1. b站up主：zdr0 link.
2. 哈工大计科小硕学习分享及笔记 link.

基于深度学习的配准

配准思路
（1）利用深度学习网络估计两幅图像的相似性度量，驱动迭代优化；
（2）直接利用深度回归网络预测转换参数；

配准分类

• 监督学习：在训练学习网络时，需要提供与配准对相对应的真实变形场（即Ground Truth）
  
• 非监督学习：只需要提供配准对，不需要标签（即真实的变形场）
  

训练框架

1.Morph训练框架

• VoxelMorph训练框架
  论文：VoxelMorph: A Learning Framework for Deformable Medical Image Registration（2019） link.
  针对问题：针对存在大量图像对的优化问题提出了解决方案
  解决方案：一种基于体积的配准方法，使用全局函数来调整权重
  特点：不需要对特定图像对进行优化，而是通过摊销优化
  
• SynthMorph训练框架
  论文：SynthMorph: Learning Contrast-Invariant Registration Without Acquired Images（2022） link.
  针对问题：克服神经网络对训练数据的依赖的问题
  解决方案：一种用于学习无需真实图像的对比度不变配准的训练框架
  特点：使用合成标签和图像生成策略来生成训练集的输入数据
  
• HyperMorph训练框架
  论文：HyperMorph: Amortized Hyperparameter Learning for Image Registration（2021） link.
  针对问题：超参数调整非常耗时，并且通常涉及使用各种超参数值训练许多单独的模型，可能会导致次优结果
  解决方案：用于图像配准的摊销超参数学习
  特点：利用权重共享，无需在训练期间调整重要的配准超参数
  

2.新型 transformer 模型

• Swin UNETR 训练架构
  论文：Self-Supervised Pre-Training of Swin Transformers for 3D Medical Image Analysis（2022） link.
  针对问题：解决了在医学图像分析中使用Transformer模型时的一些限制（自然图像与医学影像之间的领域差异以及3D医学图像缺乏跨平面上下文信息的问题）
  解决方案：框架通过各种代理任务（如图像修复、3D旋转预测和对比学习）来学习强大的特征表示
  特点：使用自监督学习框架进行预训练，从不同身体部位提取大量补丁查询，学习稳健的特征表示

• Swin-VoxelMorph训练框架
  论文：Swin-VoxelMorph: A Symmetric Unsupervised Learning Model for Deformable Medical Image Registration Using Swin Transformer（2022） link.
  针对问题：长距离图像相关性、解剖结构的语义相关性以及变换拓扑保持和可逆性等问题
  解决方案：引入了3D Swin-UNet作为编码器，应用分层的Swin Transformer并使用平移窗口来提取上下文特征
  特点：Swin Transformer引入了注意力机制，能够处理长距离的图像相关性；对称的解码器和使用补丁扩展层进行上采样操作，保证了变换的拓扑保持和可逆性
  

参考

1. 【综述】基于深度学习的医学图像配准综述 link.
2. Deep Learning Image Registration and Analysis - Lecture 21 - MIT ML in Life Sciences (Spring 2021) link.
3. 基于深度学习的单模医学图像配准综述 link.
4. Swin Transformer论文精读【论文精读】link.

医学配准开源平台或框架

• 3D Slicer：一个开源的医学图像处理和可视化平台
• ITK ：开源跨平台，影像分析扩展软件工具
• ITK-SNAP：基于ITK库开发的应用程序，主要用于医学图像的分割和配准任务
• VTK ：用于三维计算机图形学，图像处理以及可视化的软件包
• MATLAB：是一个功能强大的编程环境和工具包，广泛应用于医学图像处理和配准领域
• NiftyReg：UCL开发，主要实现对nifti图像的刚体、仿射及非线性配准
• ANTS：提供高级工具，主要用于大脑图像的配准映射
• VoxelMorph：是一个开源项目，VoxelMorph是一个用于医学图像配准和形变建模的开源框架
• EasyReg：是一个开源的医学图像配准工具包
• DIPY（Diffusion Imaging in Python）：是一个用于处理和分析扩散磁共振成像（Diffusion Magnetic Resonance Imaging，简称dMRI）数据的Python库
  

参考

1. Comparison of ITK-SNAP and 3D Slicer for medical image segmentation link.

医学图像处理期刊

• Nature Communications link.
• Medical Image Analysis
  link.

卷积神经网络概述

用到的技术

• 卷积池化（特征提取）
• 基础块（网格）
• Dropout【丢掉】（针对过拟合）
• 跳跃连接【防止梯度消失于梯度爆炸】
• 锚点
• 优化算法【梯度下降、Adam、牛顿法等，加速】
• 激活函数【解决模型的线性不可分问题，把非线性的特性引入到网络模型中】
• 批量正则化【加速模型的收敛，避免深层神经网络的梯度消失和梯度爆炸】
• 回归

CNN模型架构

• 输入层
• 特征提取层
• 全连接层【对特征层进行后处理】
• 回归
• 输出层

参考

1. 医学图像配准技术综述 link.

深度学习 - 学习资料

1. 人工智能笔记 link.
2. 吴恩达深度学习deeplearning.ai link.
3. Stanford University CS231n link.
4. How to Train Your Robot link.

在搜索中遇到的无关但未来可能有用的资料：
Huygens Imaging Academy：一个关于3D 显微镜、图像恢复（反卷积）、可视化和分析的公共知识资源 link.