Cross-Modal Alignment

本文主要是介绍Cross-Modal Alignment，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Cross-Modal Alignment 论文阅读

---

原文：Zhu Y , Xu Y , Ni B , et al. Enhancing pulmonary nodule detection via cross-modal alignment[C]// Visual Communications & Image Processing. IEEE, 2018.

---

简介

问题

• 在肺结节检测中，医学影像标注数据稀少。
• 由于成像设备间的差异造成数据间存在差异性。

创新点

本文提出一种跨模态方案，通过模态对齐实现通道聚合检测。

• Cycle-GAN：用于迁移结节形态学特征，即合成结节图像；
• 目标函数：用于评估Cycle-GAN和结节检测的性能；
• 融合方法：用于结节分类。

主要内容

• 通道聚合检测器
• Cycle-GAN
• 结节评估

结节检测

1. 将范围为-1400_{200的HU值图像转换为0}255的灰度图；
2. 采用HOG在六个方向上提取图像特征；
3. 聚合所有特征通道构建结节检测器；
4. 根据置信度评估候选结节。

假阳性率偏高。作者使用了两部分数据集，LUNA16数据集和ChestHosp（上海市胸科医院）数据集。两者由于成像设备原因存在数据差异性，严重影响了结节检测的精度。

跨模态对齐

在Cycle-GAN模型中只用于合成结节图像，因此作者认为数据差异性造成的影响可忽略。

• source model A
• target model B
• negative model C
  

目标函数

• 映射关系：

  • $G:A\to B$
  • $G_i:B\to A$

• 辨别器：$D_A,D_B,D$

对抗损失（Adversarial loss）

• ${\mathcal{L}}_{GAN}(G_i,D_B,A,B)$
• ${\mathcal{L}}_{GAN}(G_i,D_A,B,A)$

$D_A$：$D_A$输出数据来自A而不是B的概率。
$D_B$：$D_B$输出数据来自B而不是A的概率。

循环一致性损失（Cycle consistency loss）

Because the mapping is highly under-constrained, a network can map the same set of source images to any permutation of images in the target modal.

为了减少映射空间，引入循环一致性（Cycle-Consistency）。

$${\mathcal{L}}_{cyc}(G,G_i)={\mathbb{E}}_{a\sim A}\left[\Vert G_i(G(a))-a{\Vert }_1\right]+{\mathbb{E}}_{b\sim B}\left[\Vert G(G_i(b))-b{\Vert }_1\right]$$

其中，$\Vert \cdot {\Vert }_1$表示$L1$正则。

辅助损失（Auxiliary loss）

1. G的输出结果可能偏离理论数据的分布；
2. G的输出结果中的非结节数据难以与结节数据区分。

以上两点易将结节图像迁移至数据集C，因此引入一个辅助辨别器D，用于区分数据属于B还是C。

$$\begin{array}{r}{\mathcal{L}}_{\text{aux}}(G,D)={\mathbb{E}}_{b\sim B}[\log (1-D(b))]+{\mathbb{E}}_{c\sim C}[\log D(c)]+{\lambda }_1{\mathbb{E}}_{a\sim A}[\log (1-D(G(a)))]\end{array}$$

总损失

$$\begin{array}{rl}{G}^{\ast },D^{\ast }& =\arg \underset{G,G_i,D}{\min }\underset{D_A,D_B}{\max }\mathcal{L}\left(G,G_i,D,D_A,D_B\right)\\ & =\arg \underset{G,G_i,D}{\min }\underset{D_A,D_B}{\max }[{\mathcal{L}}_{GAN}\left(G,D_B,A,B\right)+{\mathcal{L}}_{GAN}\left(G_i,D_A,B,A\right)+{\mathcal{L}}_{aux}(G,D)+{\lambda }_2{\mathcal{L}}_{cyc}(G,G_i)]\end{array}$$

融合阶段

降低假阳性率，重用辅助辨别器D用于评估候选结节。

• single vote: D的输出概率
• weight vote：$s=s_2\cdot exp(s_1)$，其中$s_2$为原始得分
• bias vote：$s=s_2+\lambda \cdot exp(s_1)$

这篇关于Cross-Modal Alignment的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---