基于深度学习的病理图片研究进展【含论文及其概述】

DeepPATH：识别与诊断
除了诊断任务自动化，CPATH方法还可用于为病理学家提供更多信息。例如，提取乳腺癌WSI中有丝分裂细胞的2平方毫米热点，就可以根据乳腺癌患者治疗指南（由美国临床肿瘤学会发布）的建议进行肿瘤分级。这种方法的表现与病理学家相当，并且可以减少不同观察者间的诊断差异。使用不同颜色标记前列腺癌区域以代表不同的Gleason分级以及使用CPATH区分不同腺肺癌亚型的生长模式，都能产生类似的结果。此外，分割、检测和分类方法的组合可以对已建立的用于临床实践的生物标志物进行客观量化。一个例子是对肿瘤浸润淋巴细胞的评估，这可以通过苏木精和伊红(H&E)染色或免疫组织化学(IHC)分割载玻片的基质区域并检测基质内淋巴细胞来实现。使用这种方法，肿瘤浸润淋巴细胞的存在被证明与肺腺癌的复发和基因突变相关。再比如与肿瘤内基质量相关的生物标志物，例如肿瘤-基质比，可以通过图像分割并计算肿瘤和肿瘤相关基质之间的比率来评估。再比如用于对患者进行免疫治疗分层的程序性死亡配体1(PD-L1)阳性细胞量化，可以通过检测阳（也可能是阴性）细胞，或者通过分割PD-L1阳性和PD-L1阴性区域，甚至直接从H&E玻片预测。

肺癌识别—from Nature Medicine
文章：Classification and mutation prediction from non–small cell lung cancer histopathology images using deep learning, Nature Med., vol. 24, no. 10, pp. 1559–1567, 2018.

综述：肺癌是发病率和死亡率增长最快，对人群健康和生命威胁最大的恶性肿瘤之一。非小细胞肺癌主要有2类：腺癌和鳞状细胞癌分类，所以将tiles分类为2种癌症与正常3类中的一种。

图1 LUSC和LUAD肺癌检测

完整的深度学习诊断系统—from Nature Machine Intelligence
文章：Pathologist-level interpretable whole-slide cancer diagnosis with deep learning, Nature Machine Intelligence, 2019.

综述：该文章使用尿路上皮癌数据。设计了三步的完整深度学习诊断系统。第一步是肿瘤的检测分割，网络类似于U-Net的架构；第二步是基于文字描述进行注意力选择，去标注出感兴趣区域；第三步是聚合感兴趣区域的特征进行诊断。系统复杂，标注要求高。
图2 3步诊断系统模型流程

诊断癌症的原始病灶—from Nature
文章：AI-based pathology predicts origins for cancers of unknown primary, Nature, 2021.

综述：选题新颖，方法还是常用的多示例学习。

图3 基于注意力机制的多类别多任务多示例学习

全基因组泛癌分析—from Nature Cancer
文章：Pan-cancer computational histopathology reveals mutations, tumor composition and prognosis, Nature Cancer, 2020.

综述：为28种癌症和14种正常组织分类，这里的迁移学习就是在Inception-v4微调。这种基于全基因组癌症的工作一般使用TCGA公开数据集来做。因为这种规模的数据整合实在是太难了。

图4 为28种癌症和14种正常组织分类

文章：Pan-cancer image-based detection of clinically actionable genetic alterations, Nature Cancer, 2020.

综述：卷积神经网络可以直接从病理图像中推断基因变异、分子肿瘤亚型、基因表达特征和标准病理学生物标志。

免疫的多样性造成不同区域的肺腺癌多样演化—from Nature Medicine
文章：Geospatial immune variability illuminates differential evolution of lung adenocarcinoma, Nature Medicine, 2020.

综述：这篇文章探索免疫细胞和基底细胞的地理分布和免疫逃脱的演变的关系。这里用深度学习对图像进行分割个细胞分类，并通过Exome（外显子）和RNA序列信息进行验证。在免疫细胞冷区，癌症亚克隆多，和变异紧密联系。有两个免疫细胞冷区的肿瘤易复发，且不依赖于肿瘤的种类、阶段。抗原表达无中断的区域，癌细胞和基底细胞分布更复杂多变。在克隆抗原负担小的肿瘤里，相邻基底细胞间淋巴细胞积聚减少。免疫地理分布的易变性阐明了肿瘤生态约束能够影响免疫逃脱和严重的临床症状。

图5 分割和细胞分类并划出免疫冷热区

前列腺癌打分与诊断—from Lancet Oncol.
Gleason分级是一种被广泛采用的前列腺癌组织学分级的方法。由于Gleason分级与生物学行为和预后关联良好，逐渐得到承认，使用日渐广泛，成为制定前列腺癌治疗方案的重要参考指标。20世纪90年代以来，美国癌症综合网推荐的前列腺癌治疗指南中，Gleason分级、前列腺特异性抗原（PSA）水平和肿瘤分期是决定治疗方案的最重要的指标。

文章：Automated deep-learning system for Gleason grading of prostate cancer using biopsies: A diagnostic study, Lancet Oncol., vol. 21, no. 2, pp. 233–241, Feb. 2020.

文章：Artificial intelligence for diagnosis and grading of prostate cancer in biopsies: A population-based, diagnostic study,” Lancet Oncol., vol. 21, no. 2, pp. 222–232, Feb. 2020.

文章：Deep-learning approaches for Gleason grading of prostate biopsies, Lancet Oncol., vol. 21, no. 2, pp. 187–189, Feb. 2020.

综述：用Inception v3模型做前列腺活检的Gleason grading打分

基因表达相关性与基因变异测度
除了诊断类型和定级打分，还有其他多种指标能为癌症诊断或治疗提供有效的帮助，比如从基因表达信息区分基因变异情况。ODX和微卫星不稳定性是代表性的指标，可以直接预测也可以从有丝分裂等情况间接关联。

Oncotype DX基因表达鉴定
文章：Automated tubule nuclei quantification and correlation with oncotype DX risk categories in ER+ breast cancer whole slide images, Sci. Rep., vol. 6, no. 1, p. 32706, Dec. 2016.

综述：简单的细胞核检测，再进行分类。然后统计细胞类型直方图，来判断是高风险还是低风险。这篇文章针对雌激素受体（estrogen receptor ER+）乳腺癌。Oncotype DX是一种对21个基因表达的测定，包含16种已知的和癌症相关的基因和5种参考基因。这里假设小管细胞核数目和细胞核总数的比例（TFI）与对应的ODX风险类别具有相关性。
图6 基因表达分类

根据有丝分判断基因表达对应的癌症种类
文章： A deep learning based strategy for identifying and associating mitotic activity with gene expression derived risk categories in estrogen receptor positive breast cancers,” Cytometry A, vol. 91, no. 6, pp. 566–573, Jun. 2017.

综述：这篇文章则是检测有丝分裂的细胞核，分类后得到直方图再用SVM分类得到风险高还是低的判断。

图7 有丝分裂表征预测基因表达
预测RNA-Seq表达—from Nature Communications
文章：A deep learning model to predict RNA-Seq expression of tumours from whole slide images, Nature Communications, 2020.

综述：从病理图像预测RNA序列表达。该方法为每一个tile关联其对于多个基因突变的RNA转录情况。最终为每一种突变形成其全画幅概率图。根据这些信息还可以做出全局性的预测，比如卫星不稳定性的预测。

图8 从病理图像预测RNA转录
预测胃肠癌微卫星不稳定性—from Nature Medicine
文章：Deep learning can predict microsatellite instability directly from histology in gastrointestinal cancer, Nature Med., vol. 25, no. 7, pp. 1054–1056, Jul. 2019.

综述：微卫星不稳定性（MSI）决定了胃肠癌患者是否会对免疫疗法的有好的反应。然而，在临床实践中，并不是每个患者都会进行MSI 测试，因为这需要额外的遗传或免疫组织化学实验。该文章使用深度残差网络可以直接从 H&E 组织学预测 MSI。注：胃癌：（gastric (stomach) adenocarcinoma, STAD）直肠癌：（colorectal cancer, CRC）

图9 检测出癌症区域后再分类成微卫星不稳定和稳定2类
肿瘤浸润淋巴细胞的空间组织和分子关联
文章：Spatial organization and molecular correlation of tumor-infiltrating lymphocytes using deep learning on pathology images,” Cell Rep., vol. 23, no. 1, pp. 181–193, 2018.

综述：肿瘤浸润淋巴细胞（TIL）表征与13种癌症的对应，通过神经网络生成对应的空间Map再进行分类。

图10 肿瘤浸润淋巴细胞（TIL）Map表征获得流程
总结
这些研究已经展示了基于深度学习的CPATH算法的良好性能和应用广泛程度。但研究者必须将希望与夸张宣传区分开来。CPATH算法提高了病理学的许多领域中的准确度，这是希望所在。这些算法有可能帮助病理学家进行临床实践，但夸张宣传往往会引出人工智能是否会取代病理学家的问题。对于这个问题，认识到病理学家执行的任务的广度是很重要的：病理学家不是简单地在显微镜下分析一块组织；他们还整合了来自不同临床数据来源的信息、他们自己对疾病的理解、诊断过程和患者的具体情况，然后为其他临床医生以及越来越多的患者交流和解释分析结果。因此，重要的是要强调病理学家不太可能被人工智能算法取代。相对较快可以实现的是人工智能算法将与病理学家一起工作，而不是作为独立的解决方案，以消除繁琐、重复的工作，例如识别淋巴结转移，或提高诊断分级的质量。

存活预测与预后估计
传统的检测、分割、分类或发现性状关联性等任务，数据都是即得即用的。但癌症患者的存活预测或预后估计等任务则需要对患者的后续情况做持续的跟踪。

预测预后乐观不乐观—from Lancet
文章：Deep learning for prediction of colorectal cancer outcome: A discovery and validation study,” Lancet, vol. 395, no. 10221, pp. 350–360, Feb. 2020.

综述：结肠直肠癌预后乐观性估计。采用二个尺度多模型进行分数回归。

图11 预后乐观/不乐观估计流程
间皮瘤存活时间估计—from Nature Medicine
文章：Deep learning-based classification of mesothelioma improves prediction of patient outcome,” Nature Med., vol. 25, no. 10, pp. 1519–1525, Oct. 2019.

综述：恶性间皮瘤 (Malignant mesothelioma, MM)，一种侵袭性癌症，主要根据组织学进行诊断。间皮瘤分为三种组织学类型：上皮样、双相和肉瘤样 MM。 MM是一种高度复杂和异质性的疾病，其诊断和组织学定型困难。该文章提出了MesoNet 来预测患者存活时间。实验证明MesoNet 比病理学常规预测更准确。它不但能够进行预测，而且能够确定对这项任务有贡献的组织区域。这些区域主要位于基质中，是与炎症、细胞多样性和空泡化有关的组织学特征。这说明深度学习拥有发现新的biomarker的潜能。

图12 间皮瘤存活估计流程
术语：

Epithelioid MM (EMM) ：上皮样的MM

Sarcomatoid (SMM) ：肉瘤样的MM

Transitional patterns (TMM) ：过渡形态的MM

Tiles of unknown significance (TUS)：难以判定的MM

肝细胞癌存活预后预测
文章： Predicting survival after hepatocellular carcinoma resection using deep-learning on histological slides,” J. Hepatol., vol. 73, p. S381, Aug. 2020.

综述：这篇文章介绍了肝细胞癌切除术后的存活预测。

图13 注意力机制进行病症风险打分流程
内分泌疗法后乳腺癌复发预测
文章：Relevance of spatial heterogeneity of immune infiltration for predicting risk of recurrence after endocrine therapy of ER+ breast cancer,” JNCI, J. Nat. Cancer Inst., vol. 110, no. 2, pp. 166–175, Feb. 2018.

综述：用神经网络根据免疫浸润的空间异质性与内分泌疗法后复发的联系预测复发风险。流程：无监督分割细胞核，有监督细胞核分类，平滑，癌细胞团分类。结果发现，免疫细胞丰富程度和无复发无关。但免疫细胞聚集程度和无复发有较强的相关性。

肝癌复发预测
文章：Spatial architecture and arrangement of tumor-infiltrating lymphocytes for predicting likelihood of recurrence in early-stage non–small cell lung cancer,” Clin. Cancer Res., vol. 25, no. 5, pp. 1526–1534, Mar. 2019.

综述：训练神经网络直接利用细胞团密度判别是否复发。

图14 复发与未复发组织区别：细胞团紧密程度
总结
尽管CPATH在这些领域取得了长足的进步，无论是在算法性能还是在新方法的开发方面，但是挑战仍然存在。其中一些挑战，例如缺乏真正代表临床实践的公共数据集，阻碍了CPATH算法的真正临床采用。其他挑战（例如解释CPATH 算法如何工作的困难）并不像人们通常认为的那样构成障碍。后面将重点介绍一些重要挑战以及为解决这些问题已经开展的工作。