精读论文：A Review on Deep Learning Techniques for the Diagnosis of Novel Coronavirus (COVID-19)（附翻译）

A Review on Deep Learning Techniques for the Diagnosis of Novel Coronavirus (COVID-19)

小孙这周末回了趟奶奶家，时隔一年半又看到了奶奶，唉，非常心酸。由于周日要开组会，爸爸又开了三小时车带我回家了，一路奔波，路上把师兄的实验跑完了。用了三天时间看完了这篇综述，难度不大，内容主要包括数据集、方法、评判标准等几部分，看完一遍记住的不太多，主要还是找到了能用的数据集以及两篇多任务相关的论文，也算有所收获吧。感觉医疗影像和多任务学习的工作并行对我而言还是有点难度，看了一头忘另一头，咋办呢，秃头，明天开始看多任务学习，希望能看懂。

一、纸质版材料

二、翻译

0. 摘要

abstract：
　　新型冠状病毒（COVID-19）的爆发，在世界各地引起了灾难性的局面，并已成为近百年来最严重的疾病之一。全球范围内，COVID-19的患病率每天都在迅速上升。虽然目前还没有发现这种流行病的疫苗，但深度学习技术已证明是临床医生用于自动诊断COVID-19的武器库中的强大工具。本文旨在概述最近开发的基于深度学习技术的系统，这些系统使用不同的医学成像方式，如计算机断层扫描(CT)和X射线。这篇综述专门讨论了使用深度学习技术为COVID-19诊断开发的系统，并提供了对用于训练这些网络的知名数据集的见解。它还重点介绍了该领域研究人员开发的数据划分技术和各种性能指标。为获取适当的见解，需要对最近的作品进行分类。最后，我们通过解决与将深度学习方法用于COVID-19检测相关的挑战以及该研究领域可能的未来趋势来得出结论。本文旨在为专家（医学或其他方面）和技术人员提供有关深度学习技术在这方面的使用方式的新见解，以及它们如何在对抗COVID-19爆发中进一步发挥作用。

1. 引言

introduction：
　　新型冠状病毒（COVID-19），由严重的急性呼吸系统综合症冠状病毒2（SARSCoV-2）引起的，近段时间来已在全球范围内流行。感染病例的数量以及死亡率正在迅速增加。 据报道，全球约有1900万人感染了COVID-19，死亡病例约70万人，康复病人的数量约为1000万人。COVID19的普遍传播已使世界上大量人口隔离，并摧残了许多工业部门，进而造成了全球金融危机。
　　新型冠状病毒的最典型症状包括发烧，干咳，肌痛，呼吸困难和头痛，但在某些情况下，没有可见的症状（无症状），使该疾病对公众健康的威胁更大。 逆转录聚合酶链反应（RT-PCR）被认为是诊断COVID-19的金标准。 但是，缺乏资源和严格的测试环境要求限制了对可疑病例的快速有效筛查。此外，RT-PCR检测还具有较高的假阴性率。 不幸的是，有效对抗这种传播性疾病的唯一解决方案是通过临床疫苗以及精确的药物/疗法实践，这些手段尚不可用。
　　COVID-19已被证明是对人类文明构成严重威胁的最危险疾病之一。在过去的几十年中，随着现代技术的发展，已经创建了巧妙的解决方案来帮助疾病诊断，预防和控制，这些解决方案利用了智能医疗工具和设施。具体而言，对于COVID-19诊断，在最有效的技术中考虑了不同的成像方式，例如CT和X射线。如果可用，与X射线相比，CT筛查更可取。 尽管X射线必须更便宜且可广泛获得，但CT具有多功能性和三维肺部视野。 这些传统的医学成像方法在控制流行病中起着至关重要的作用。
　　人工智能（AI）是医学图像分析领域中一种不断发展的软件技术，它通过有效地提供高质量的诊断结果并显著减少、消除了人力，有效地直接帮助抵抗了新型冠状病毒。最近，深度学习和机器学习是AI的两个主要领域，在医学应用中非常流行。基于深度学习的支持系统被开发用于使用CT和X射线样本进行COVID-19诊断。其中一些系统是基于具有迁移学习的预先训练模型开发的，其中一些是使用定制的网络引入的。机器学习和数据科学（data science）也是积极用于电晕诊断、预后、预测和暴发预测的不同领域。计算机视觉也有助于降低这种流行病的严重程度。 此外，物联网（IoT）大数据和智能手机技术被广泛利用，以实现创新的解决方案来对抗COVID的传播。
　　本文的主要目的是回顾基于从医学成像样本中收集的数据，基于深度学习的COVID-19诊断系统的最新发展。本文提出了一种基于预先训练模型的深度迁移学习和定制深度学习技术的系统分类方法。我们回顾了为诊断COVID-19而开发的最重要的方案，重点介绍了一些方面，例如用于实验的数据，数据拆分技术和评估指标。还公开讨论了现有基于深度学习的系统所面临的挑战以及对未来工作的预测。
　　本文的其余部分如下。 第二节对已有的系统进行了分类，以进行适当的理解。 第三部分介绍了使用预训练模型和深度转移学习技术从CT和X射线样本中诊断COVID-19的最新开发系统。 第四部分演示了来自CT和X射线的基于定制网络的COVID-19诊断系统。 第五节描述了面临的挑战和未来趋势的讨论。最后，第六节总结了本文。

2. 基于深度学习的COVID-19诊断系统分类

taxonomy of deep learning based COVID-19 diagnosis system：
　　深度学习技术能够通过从简单的描述中学习来解释复杂的问题。 使深度学习方法流行的主要特征是学习精确表示的能力和以深度方式学习数据的特性，其中多个层被依次使用。深度学习方法被广泛用于医疗系统，例如生物医学，智能医疗，药物发现，医学图像分析等。
最近，它被广泛用于COVID-19患者的自动诊断。通常，基于深度学习的系统由几个步骤组成，例如数据收集，数据准备，特征提取和分类以及性能评估。基于深度学习的COVID-19诊断系统的总体流程如图所示。

　　在数据收集阶段，来自医院环境的患者被视为参与者。数据可能具有不同的形式，但是对于COVID19诊断，采用了像CT和X射线样本这样的成像技术。接下来的必要步骤是将数据转换为适当格式的数据准备。在此步骤中，数据预处理包括一些操作，例如噪声消除，调整大小，增强等。数据分区步骤将数据分为实验的训练，验证和测试集。通常，交叉验证技术用于数据分区。训练集用于训练模型，验证集用于评估特定模型，而开发的模型的性能由测试数据评估。基于深度学习的COVID-19诊断的主要步骤是特征提取和分类。 在此阶段，深度学习技术会自动提取重复执行多个操作的特征，最后，基于类别标签（健康标签或COVID-19）进行分类。 最后，通过一些评估指标对开发的系统进行评估，例如准确性（accuracy），敏感性（sensitivity），特异性（specificity），精密度（precision），F1得分（F1-score）等。
　　在本文中，提出了分类COVID-19诊断系统的分类法，以方便景观导航。应用了两种不同的观点，它们与所使用的深度学习技术和所使用的成像方式有关。在本文中，我们共审查了45个COVID-19诊断系统。 其中，有23个系统（51.11％）使用了预训练模型进行诊断，而22个系统（48.89％）使用了定制的深度学习技术来诊断COVID-19。 从不同的角度来看，有25个系统使用X射线图像（55.55％）作为数据源，其余20个系统使用CT扫描（44.44％）。

3. 利用迁移学习的预训练模型

pre-trained model with deep transfer learning:
　　预训练模型是依据上下文信息在相似领域已经训练好的模型。在迁移学习中，weight和bias从大型训练模型转移到类似的新模型以进行测试或再训练。将预训练的模型与深度迁移学习结合使用有多个优点。通常，从头开始为大型数据集训练模型需要较高的计算能力，并且很耗时。带有迁移学习的预训练模型可以通过网络泛化来加快收敛速度。在迁移学习中使用的许多预训练模型是为大型卷积神经网络（CNN）设计的。有几种用于COVID-19诊断的预训练模型，例如AlexNet，GoogleNet，SqueezeNet，不同版本的Visual Geometry Group（VGG），各种ResNet，Xception，不同形式的Inception，各种类型的MobileNet，DenseNet，U-Net等。接下来将介绍为COVID-19诊断开发的系统。

A. 使用计算机断层扫描技术图像（CT）

1. 基于多源数据的诊断

diagnosis based on multiple source data：
　　Wu等介绍了一种基于深度学习的冠状病毒筛选框架，该框架使用了多视图融合的概念。 系统使用了ResNet50的CNN变体。 该数据集来自中国两家不同的医院。 该实验总共考虑了495张图像，其中368例与确诊的COVID-19病例相关，而127例与其他肺炎有关。 在此方案中，将数据集分为80％，10％和10％的比例分别用于训练，测试和验证。 在网络开发之前，系统中考虑的每个图像都将尺寸调整为256×256。 在测试案例中，开发的系统的准确度为76％，灵敏度为81.1％，特异性为61.5％，AUC为81.9％。分析了单视图和多视图融合模型的结果，但多视图融合模型显示出优异的性能。在另一项研究中，Xu等开发了一种利用CNN变体从COVID-19肺炎和A型流感病毒性肺炎中对健康个体进行分类的系统。该系统中使用的预训练模型是Resnet18。 数据是从中国三家不同的医院收集的。 这项研究考虑了618幅CT图像，其中219幅图像来自感染COVID-19的患者，224幅图像来自A型流感病毒性肺炎，175幅图像来自正常个体。 为了训练模型，总共使用了85.4％（528）的图像，其余的样本用于测试开发的模型。 该框架通过实验获得了86.7％的准确度，81.5％的灵敏度，80.8％的准确度和81.1％的F1得分。
　　之后，金等使用名为ResNet152的CNN变体开发了基于人工智能的冠状病毒诊断系统。预先训练的模型使用了152个卷积，降采样和全连接层。 使用的数据集是从中国三所著名医院和两个公开数据库中收集的。 总共考虑了1881例病例，其中496例是COVID19感染患者，而1385例是阴性病例。随机分割数据集以进行实验。 该系统从实验中获得了94.98％的准确度，94.06％的灵敏度，95.47％的特异性，91.53％的精确度，92.78的F1得分和97.91％的AUC。 此外，金等介绍了一种使用深度学习技术进行COVID-19筛查的医疗系统。 他们的系统使用了CNN的各种预训练模型，例如DPN-92，Inception-v3，ResNet-50和Attention ResNet-50，3D U-Net ++。 该数据集来自中国五家不同的医院。在该系统中，总共使用了1390个样本，其中来自COVID-19的850个样本和来自其他情况的541个样本被视为阴性。将总数据随机分为训练集和测试集以进行评估。作为评估指标，系统使用3D Unet +±ResNet-50作为最佳模型，分别获得了97.4％，92.2％和99.1％的灵敏度，特异性和AUC。Li等人在另一项研究工作中展示了一种使用深度学习技术从CT图像诊断冠状病毒的自动系统（COVNet），该技术是CNN的一种变体ResNet50。 使用的数据集包括4536例胸部CT样本，其中1296样本用于COVID-19，1735样本用于社区获得性肺炎（CAP），而1325样本用于非肺炎。 数据集分别按90％和10％的比例划分为训练集和测试集。 实验结果表明，该系统对COVID-19的敏感性为90％，特异性为96％，AUC为96％。
　　此外，Javaheri等开发了一种称为CovidCTNet的深度学习方法，用于通过CT图像检测冠状病毒感染。该系统使用基于U-Net开发的BCDU-Net架构。该方案将COVID-19与CAP以及其他肺部疾病区分开来。对于该实验，系统总共使用89,145张CT图像，其中用COVID-19确认了32,230个CT切片，用CAP确认了25,699个CT切片，以及31,216个CT切片具有健康的肺或其他疾病。使用保留方法对数据集进行分区，即90％用于训练，而10％用于测试。从实验结果可以明显看出，所开发的系统的准确度，灵敏度，特异性，AUC分别为91.66％，87.5％，94％和95％。

2. 基于单源数据的诊断

diagnosis based on single source data：
　　Ardakani等提出了一种在CT图像中使用CNN技术的十种变体检测COVID-19的系统。 用于诊断的常用流行变体是AlexNet，VGG-16，VGG-19，SqueezeNet，GoogleNet，MobileNet-V2，ResNet-18，ResNet-50，ResNet-101和Xception。 在建议的系统中，从COVID-19和非COVID-19的情况中考虑了总共1020个CT样本。 数据集分为训练集和验证集，分别占80％和20％。 在这10个网络中，ResNet-101和Xception的性能相对优于其他网络。 从实验结果可以明显看出，ResNet-101模型的准确度为99.51％，灵敏度为100％，AUC为99.4％，特异性为99.02％。 在其他网络中，Xception发现准确性，敏感性，AUC和特异性分别为99.02％，98.04％，87.3％和100％。在另一项研究中，Chen等提出了一种基于深度学习的方案，用于高分辨率CT图像的COVID-19检测，其中他们使用了功能强大的预训练模型UNet ++进行检测。最初，UNet ++提取了CT图像中的有效区域。在这项研究中，从一家医院收集了46,096张图像，包括51名感染COVID-19的患者和55名感染其他疾病的患者。在数据集中，选择35,355张图像，同时使用过滤消除低图像，并分别划分为训练集和测试集。灵敏度为94.34％，特异性为99.16％，准确度为98.85％，准确度为88.37％，阴性预测值（NPV）为99.61％。此外，Cifci 提出了使用带有深度迁移学习的预训练模型对冠状病毒进行早期诊断的方案。 预先训练的模型是AlexNet和Inception-V4，它们在医学图像分析中很流行。 该研究是通过CT图像进行的。 为了开发该系统，需要从公共存储库中检索5800个CT图像。 作为训练步骤，使用4640（80％）个CT样本，而使用1160（20％）的样本进行测试。 AlexNet的性能要比通过实验结果发现的Inception-V4更好。 AlexNet的灵敏度为94.74％，特异性为87.37％，特异性为87.45％。
　　表一总结了上述使用基于深度学习的预训练模型从CT样本中基于深度学习的COVID-19诊断系统，并描述了一些重要因素，例如数据源，图像和类别的数量，数据分割技术， 诊断技术以及性能指标。

B. 使用X光图像诊断

1. 基于多源数据的诊断

diagnosis based on multiple source data：
　　Apostolopoulos和Bessiana利用迁移学习的概念和五种CNN变体，开发了一种自动诊断COVID-19病例的系统。系统中使用的预训练模型是VGG19，MobileNetv2，Inception，Xception和Inception-ResNetv2。在第一种情况下，系统考虑了1427张图像，包括COVID19的224张，普通肺炎的700张和健康病例的504张。在第二种情况下，考虑了224个COVID-19图像，714个细菌和病毒性肺炎图像以及504个健康的个人图像。使用10折交叉验证方法对数据集进行划分。结果表明，使用MobileNetv2获得的第二个数据集的最高准确度为96.78％，灵敏度为98.66％，特异性为96.46％。在另一项研究工作中，Loey等人引入了一种利用生成对抗网络（GAN）和带有深度转移学习的CNN预先训练模型来诊断冠状病毒的新系统。 系统中使用的预训练模型是Alexnet，Googlenet和Resnet18。 由于COVID-19的X射线图像数量很少，因此GAN用于生成更多样本以准确检测该病毒。 总共考虑了307张图像，包括四个类别，例如COVID19，正常，肺炎bac和肺炎vir。
　　霍里等描述了使用X射线图像中的预训练模型概念的COVID-19检测框架。拟议的系统使用了四个流行的预训练模型，例如VGG，Inception，Xception和Resnet以及转移学习。使用的数据集由100例COVID-19病例，100例肺炎和200例健康病例组成。在该系统中，保留了80:20的比例用于数据集的训练和测试。实验结果表明，使用VGG-19可以将系统的精度，灵敏度和F1分数分别提高到83％，80％和80％，考虑到三类数据，VGG-19被视为研究中的最高性能。此外，Ozcan提出了一种深度学习方案，该方案结合了网格搜索策略和三个CNN的预训练模型。 使用的预训练模型是GoogleNet，ResNet18和ResNet50。 网格搜索技术用于选择最佳超参数，而预训练模型则用于特征提取和分类。 该系统使用了三个公共数据集，其中图像分别为242个细菌病例，131个COVID-19病例，200个正常病例和148个病毒病例。 将所有数据按50:30:20的比例划分为训练，测试和验证集。 带有网格搜索的ResNet50表现更好，获得了97.69％的准确度，97.26％的灵敏度，97.90％的特异性，95.95％的精确度以及96.60％的F1得分。
　　Sethy和Behra引入了使用CNN和支持向量机（SVM）的预训练模型诊断COVID-19病例的系统。该算法使用11个CNN预训练模型来自动提取特征，并使用SVM进行分类。在该系统中，使用了两个单独的数据集，其中第一个数据集包括25个COVID-19阳性正像和25个COVID-19阴性X射线像。在第二个数据集中，总共使用了133张包含中东呼吸综合征（MERS），SARS和急性呼吸窘迫综合征（ARDS）的图像作为阳性样本，并使用133张正常X射线图像作为阴性样本。从实验结果中发现，具有SVM的Resnet50获得的准确度，误报率（FPR），马修斯相关系数（MCC）和Kappa分别为95.38％，95.52％，91.41％和90.76％，对于数据集的第一个场景，这是在开发的系统中最好的。Minaee等提出了一个名为Deep-COVID的框架，该框架使用了用于X射线图像中COVID-19预测的深度转移学习的概念。 在这项研究中考虑了四个流行的预训练模型，如ResNet18，ResNet50，SqueezeNet和DenseNet-121，用于COVID-19诊断。 总共从不同的开放访问资源中收集了5071张图像。 其中，对31例COVID-19病例的2000幅图像进行了训练，对40例COVID-19感染病例的3000幅图像进行了测试。 所得数据集名为COVID-Xray-5k。 该系统获得的最佳性能是使用SqueezeNet的灵敏度为100％，特异性为95.6％。
　　在另一项研究中，Punn和Agarwal 使用几个经过预训练的模型（例如ResNet，Inception-v3，Inception ResNet-v2，DenseNet169和NASNetLarge）开发了自动COVID-19诊断系统，并使用少量X射线图像。该系统使用随机过采样和加权类损失函数进行微调，称为转移学习。在该系统中，总共考虑了1076张胸部X射线图像用于实验。分别将数据集分为80％，10％和10％的比例用于训练，测试和验证集。从实验结果可以看出，NASNetLarge的性能相对较好，准确度，精密度，灵敏度，AUC，特异性和F1分数分别达到98％，88％，91％，99％，98％和89％。之后，纳林等。之后，纳林等介绍了一种使用CNN变体从X射线图像自动分类感染COVID-19的患者的方法。 使用的预训练模型是ResNet50，InceptionV3和Inception-ResNetV2，它们在子集X射线数据集上获得了更高的预测精度。 该系统总共使用了100幅X射线图像，其中50幅图像来自COVID-19患者，其余50幅来自健康个体。 5折交叉验证用于划分实验数据集。 在测试案例中，该系统分别从ResNet50，InceptionV3和Inception-ResNetV2获得了98％，97％和87％的准确性。 在其他评估指标方面，使用RecNet50获得了最佳性能，召回率为96％，特异性为100％，精度为100％，F1得分为98％。
　　Bukharia等提出了一种使用CNN变体Resnet50的COVID-19诊断系统。 该系统考虑了三类278张X射线图像，其中89份感染了COVID-19样本，93例健康参与者和96例肺炎患者样本。 收集的数据集分为两组，如训练和测试，分别占80％（223张图像）和20％（55张图像）的比例。 该诊断过程从实验中获得的准确性，准确性，召回率和F1分数分别为98.18％，98.14％，98.24％和98.19％。
　　此外，Abbas等使用深层分解，转移和合成（DeTraC）深层ResNet对健康个体中被COVID-19感染的患者进行分类。 提出的DeTraC可以通过使用类分解方法研究其类边界来修复图像数据集中的任何异常。 在该系统中，总共使用了196张图像，其中80例正常患者，105例COVID-19样本和11例SARS样本。 系统使用分解从给定样本中生成了1764个样本。 数据集分为两组，70％用于系统训练，30％用于评估。 该系统使用DeTraC-ResNet18框架实现了95.12％的准确性，97.91％的灵敏度，91.87％的特异性以及93.36％的精度。
　　在另一个研究项目中，Moutounet-Cartan开发了一种基于深度学习的系统，可以从X射线图像诊断新型冠状病毒以及其他肺炎。系统使用CNN架构的以下变体（名为VGG-16，VGG-19，InceptionResNetV2，InceptionV3和Xception）进行诊断。在这项研究中，总共拍摄了327幅X射线照片，其中152例来自健康人群，125例来自COVID-19病例，其余50例来自其他肺炎疾病。使用5折交叉验证的原则对数据集进行分区。该系统发现VGG-16是性能最好的模型，并获得了84.1％的整体准确度，87.7％的灵敏度和97.4％的AUC，其中仅在COVID-19情况下才考虑灵敏度和AUC。此外，Maguolo和Nanni使用一种流行的相关模型AlexNet评估了X射线样品中COVID-19检测系统的性能。 该系统使用四个不同的公开可用数据集来评估性能。 总共拍摄了339,271张图像，其中COVID-19患者的144张图像，除COVID-19外的108,948例肺炎和细菌样本，224,316张细菌和肺炎的胸部X光片以及5863例病毒和细菌性肺炎的儿科图像。 将数据集划分为10折交叉验证，以进行训练和测试。 使用深度转移学习的概念，系统在研究中获得了99.97％的最高AUC。

2. 基于单源数据的诊断

diagnosis based on single source data：
　　最近，Hemdan等人提出了一个名为COVIDX-Net的系统，用于使用X射线图像中CNN的变体诊断冠状病毒。 本研究共考虑了七个预训练模型。 该数据集由50幅图像组成，其中25幅图像来自健康人，其余25幅样本来自COVID-19病例。 对于实验，将数据集分别分为训练集和测试集的80％和20％。 实验结果表明，VGG-19和DenseNet优于其他预训练模型，其准确度为90％，F1得分为91％。 InceptionV3获得了最差的结果。
表II总结了上述基于深度学习的基于X射线的基于深度学习的COVID-19诊断系统，其中使用了经过深度迁移学习的预训练模型，并描述了一些重要因素，例如数据源，图像和类别的数量，数据划分技术， 诊断技术以及性能指标。

4. 定制深度学习技术

custom deep learning techniques：
　　定制的深度学习技术提供了开发用户友好的体系结构的能力，并且和所关注的特定应用程序而具有更一致，更准确的性能。定制网络是通过使用特定的深度学习方法或深度学习算法，的混合或深度学习与其他AI领域（例如机器学习，数据挖掘， 自然启发算法等。不像预训练模型一样，在定制网络中没有使用先前的权重和偏差，因此需要相对较高的计算能力和时间。 为COVID-19诊断开发的系统概述如下。

A. 使用计算机断层扫描技术图像（CT）

1. 基于多源数据的诊断

diagnosis based on multiple source data：
　　Elghamrawy和Hassanien提出了一种使用CNN和鲸鱼优化算法（WOA）结合CT样本诊断和预测冠状病毒感染患者的方案。在提出的方法中，使用CNN进行诊断，并使用WOA进行预测。使用的数据集是从617次CT扫描组成的公共数据库中收集的。其中，由于包含非肺区域，因此排除了134张图像。总共考虑了432幅确认为COVID-19的图像和151例其他病毒性肺炎。为了获得更好的性能，将数据集分为65％和35％进行训练和测试。提出的系统用于诊断的总体准确度，灵敏度和准确度分别为96.40％，97.25％和97.3％。此外，He等提出了一种名为CRNet的深度学习方法，用于使用CT图像检测COVID-19。 在该系统中，共分析了746张CT图像，其中349例与COVID-19病例相关，397例与非COVID-19病例相关。 该数据集是通过合并三个可公开获得的数据集而形成的，分别分为60％，25％和15％的比例分为三个集，分别称为训练集，测试集和验证集。 实验结果表明，该系统的准确度为86％，F1分数为85％，AUC为94％。 与其他突出的预训练模型相比，该系统使用了相对较少的调整参数。
　　之后Wang等人提出了一个名叫modified-Inception的CNN改良技术来预测COVID-19。Inception和Modifyed-Inception之间的基本区别在于，Modified-Inception在最终分类之前减小了属性的维数。在实验中，该方案使用了1040张CT图像，其中740张被标记为COVID-19阳性，而325张被标记为COVID-19阴性。数据集被随机分为训练，测试和验证集。实验结果表明，该方案在测试样品上的准确度，灵敏度，特异性，精密度和F1分数分别为79.3％，83％，67％，55％和63％。此外，刘等开发了一种通过CT图像使用深度学习方法的自动COVID-19诊断系统。该系统使用修改后的DenseNet-264（COVIDNet）进行诊断，其中模型由4个密集块组成。在该系统中，考虑了920个COVID19和1,073个非COVID-19病例。为了获得更好的性能，将数据集分为三组，分别是训练，测试和验证，其比例分别为60％，20％和20％。开发的系统的准确度为94.3％，AUC为98.6％，灵敏度为93.1％，特异性为95.1％，精确度为93.9％，NPV为94.5％，F1得分为93.5％。
　　在另一项研究中，Ying等人引入了一种基于细节关系提取神经网络Details Relations Extraction neural network（DRE-Net）的深度学习技术，称为深度肺炎，用于利用CT图像诊断COVID-19病例。 该数据集是从中国两家流行医院收集的。 在该系统中，总共拍摄了1990个图像切片，其中COVID-19的图像为777幅，细菌性肺炎的图像为505幅，而正常人的708个样品。分别将数据集分为60％，30％和10％的比例用于训练，测试和验证集。系统获得了94％的准确度，93％的灵敏度，96％的精确度，94％的F1分数和99％的AUC。 为了检测COVID-19，Zheng等人从CT扫描中提出了3D深度卷积神经网络（DeCoVNet）。 网络由三个部分组成，例如普通3D卷积，批处理规范层和子采样层。 该研究的数据是从医院环境中收集的。 总共630个CT样本用于实验，其中80％（499张图像）在训练集中，其余20％（131张图像）用于测试。 从实验结果来看，准确度，灵敏度，特异性，精密度，NPV，AUC分别达到90.1％，90.7％，91.1％，84％，98.2％和95.9％。
　　哈桑等提出了一种混合系统，该系统使用Q变形熵和深度学习特征（QDE-DF）的概念来区分COVID-19感染者与肺炎病例以及使用CT图像的健康人。对于深度特征提取，使用了CNN和Q变形熵，并使用LSTM从深度特征中对案例进行了分类。总共321例胸部CT样本用于这项研究，包括118例COVID-19病例的CT样本，96例肺炎病例的CT样本和107例健康个体的CT样本。使用特征提取技术从每个图像中大约提取了16个属性。为了评估开发的系统，将数据集分别按训练集和测试集的70％和30％进行分区。该系统获得了99.68％的准确度，在本研究中被认为是最高的。此外，Amyar等开发了一种使用深度学习方法从CT样本诊断COVID-19患者的方案。该系统由一个用于重构的编码器和两个用于分段的解码器组成，出于分类目的，使用了多层感知器。使用的数据集包括1044例病例，其中449例确认的COVID-19，100例来自健康个体，98例来自确认的肺癌患者，397例来自其他各种病理学。总共有449个与COVID-19相关，而595个没有与COVID-19相关。将数据集分为训练集，验证集和测试集，其比例分别为80％，10％和10％。拟议的系统的准确度为86％，灵敏度为94％，特异性为79％，AUC为93％。

2. 基于单源数据的诊断

diagnosis based on single source data：
　　辛格等使用深度学习技术（CNN）将COVID-19感染（阳性）病例与其他（阴性）病例进行了分类。在该网络中，CNN的初始参数是通过多目标差分进化（MODE）进行调整的。总共采集了150个CT样本，其中75个样本的COVID-19阳性和75例图像的COVID-19阴性。训练和测试数据集比率的不同变化为20:80％，30：70％，40：60％，50：50％，60：40％，70：30％，80：20％和90：10％，分别进行实验。所建议系统最大情况下单独进行，训练90%和测试为10％。该系统从实验中获得了93.25％的准确性，90.70％的灵敏度，90.72％的特异性，F1得分89.96％以及Kappa达到90.60％的准确性。
　　在另一项工作中，Farid等人引入了一种使用CT图像属性对COVID-19感染进行分类的新方法。 图像参数是使用四个image filters混合提取方法采集的。 系统考虑了两类数据，分别称为COVID-19和SARS，每类数据由51张图像组成。 使用10折交叉验证技术对数据集进行分区，以获得更好的结果。 开发的系统获得的准确度，精确度，f1-得分和AUC分别为94.11％，99.4％，94％和99.4％。
　　表III总结了上述使用定制深度学习技术从CT样本中基于深度学习的COVID-19诊断系统，并展示了一些重要因素，例如数据源，图像和类别的数量，数据划分技术，诊断技术以及评估指标。

B. 使用X光图像诊断

1. 基于多源数据的诊断

diagnosis based on multiple source data：
　　Ozturk等提出了一个定制的网络（DarkCovidNet），利用深层神经网络自动诊断原​​始胸部X射线样本中的COVID-19。系统使用DarkNet作为具有17个卷积层的分类器。在该系统中，使用了数据集的两个来源，其中包括来自第一个来源的127张图像，以及来自第二个来源的X射线样本的500例正常和500例肺炎病例。数据集采用5倍交叉验证技术进行了划分。二元类的灵敏度，特异性，精密度，F1得分和准确度分别为95.13％，95.3％，98.03％，96.51％和98.08％，在本研究中最高。此外，Ucar和Korkmaz 开发了一种基于Bayes-SqueezeNet的COVIDiagnosis-Net，用于利用X射线样品诊断冠状病毒。 该系统共使用1591例非COVID-19的肺炎病例，45例COVID-19病例和1203例未感染的正常患者作为数据集。 该数据集由三个公开可用的数据集的组合形成。 从总数据中，在建议的系统中使用了80％用于培训，10％用于验证和10％用于测试。 实验结果分别获得了准确率，正确性，完整性，特异性，f1-得分和MCC，分别为98.26％，98.26％，98.26％，99.13％，98.25％和97.39％。
　　在另一项研究中，Wong和Wang从胸部X射线数据开发了一种冠状病毒检测机制被称为COVID-Net。系统通过组合和修改两个开放访问数据集来生成数据集COVIDx。在这项研究中，数据集包括来自13,645名患者的总共13项800例胸部X射线样本。该系统通过将细菌和病毒类别合并为阴性案例来考虑三个类别。在总数据中，90％用于培训，其余10％用于验证。对于测试用例，该网络在10次迭代中获得了92.4％的精度，而在COVID-19类的情况下，灵敏度和精度分别达到了80％和88.9％。此外，Khan等提出了一种名为CoroNet的深层CNN架构，用于根据胸部X射线照片诊断被COVID-19感染的患者。 在该系统中，总共考虑了1300张图像，其中290份COVID-19样本，660份细菌性肺炎，931份病毒性肺炎和1203例正常患者。 分别以训练集和验证集的80％和20％的比例分割数据集。 对于COVID-19类，系统分别获得89.5％，97％，100％和98％的准确度，精确度，灵敏度和F1得分。
　　最近，Rahimzadeh和Attar提出了一种经过改进的CNN网络，用于使用X射线样本诊断新型冠状病毒病例。该系统将CNN的两个著名架构（名为Xception和ResNet50V2）连接在一起，这两个架构使用多个特征提取功能使系统变得强大。在15085幅图像中，有180幅被确认为COVID-19，6054幅是肺炎，而8851幅是正常病例。该方案使用5倍交叉验证进行数据分区。该网络在COVID-19检测中获得了99.50％的准确度，80.53％的灵敏度，99.56％的特异性以及35.27％的精确度。此外，Mukherjee等提出了一种在胸部X光片中使用浅层CNN检测新型冠状病毒的系统。 由于参数数量少，因此开发的网络相对较轻。 在该系统中，考虑了130例COVID-19阳性和130例非COVID病例，其中非COVID病例包括MERS，SARS，肺炎和正常的X线胸片。 为了获得更好的性能，使用5折交叉验证对数据集进行了拆分。 通过调整CNN体系结构的批处理大小来评估系统的性能。 从实验结果发现，该系统批处理的最高准确度，灵敏度，特异性，精密度，F1得分和AUC最高，分别为96.92％，94.20％，100％，100％，97.01％和99.22％，batch size为50。
　　在另一项研究中，李等人引入了使用判别成本敏感学习（DCSL）进行自动COVID-19筛查的可靠技术。 DCSL结合了细粒度的分类和对成本敏感的学习。使用的数据集包括2239例胸部X射线样本，其中239例COVID-19病例，1000例细菌性或病毒性肺炎病例以及1000例正常人样本。为了获得更好的性能，使用5折交叉验证方法对数据集进行了分区。拟议的系统实现了97.01％的精度，97％的精度，97.09％的灵敏度和96.98％的F1得分。 Khobahi等。Khobahi等开发了一种基于自动编码器的半监督式深度学习系统CoroNet，用于检测感染了COVID-19的患者。系统合并了三个开放式访问数据集进行实验。在该方案中，使用了18,529张不同类别的图像。在这些图像中，有99个样本属于COVID-19类别，9579个样本属于非COVID肺炎，并且有8851个样本与健康病​​例相关。分别将数据集分为90％和10％的比例用于训练和测试集。总体而言，从实验中获得了93.50％，93.63％，93.50％和93.51％的准确性，准确性，召回率和F1得分。此外，卢兹等提出了一种有效的深度学习方案，称为EfficientNet，用于从X射线照相片中检测冠状病毒模式。 EfficientNet的主要优点是它使用的参数更少，比预训练模型使用的参数少30倍。 系统考虑了30,663张图像进行实验，其中183例被视为COVID-19,16,132图像被视为正常病例，而14,348幅图像被视为其他肺炎病例。 该系统的整体精度为93.9％，灵敏度为96.8％，精度为100％。

2. 基于单源数据的诊断

diagnosis based on single source data：
　　Alqudah等提出了一种从X射线数据诊断冠状病毒患者的混合方法。拟议的系统结合了深度学习（CNN）和机器学习（SVM，RF）架构。深度学习既用于特征提取又用于分类任务，而机器学习仅用于分类任务。在该系统中，总共使用了71张胸部X射线图像，其中48张用于阳性，23张用于阴性。该系统使用了70％的训练和30％的测试，并且对诸如CNN-Softmax，CNN-SVM和CNN-RF的几种组合进行了实验。对于CNN-Softmax分类器，该系统获得的准确度，灵敏度，特异性和精确度分别为95.2％，93.3％，100％和100％。之后，Farooq和Hafeez提出了一种具有预训练的ResNet-50网络的深度学习方案，以检测名为COVID-ResNet的被COVID-19感染的患者。拟议的系统实现了一个总共有50层的残差神经网络。在这项研究中，该数据集包括总共13,645名患者的13,800例胸部X射线样本。该系统使用COVIDx数据集进行了41次迭代，整体精度达到96.23％。仅在考虑COVID-19的情况下，才能获得其他评估指标，例如灵敏度，精度和100％，100％和100％的F1得分。此外，Afshar等开发了一个基于胶囊网络的系统，名为COVID-CAPS，用于使用X射线样本诊断COVID-19患者。提出的框架非常适合用于小型数据集。网络中使用的数据集是COVIDx数据集，在COVID-19研究中很流行。开发的方案使用了来自13,645位患者的13,800张胸部X射线图像进行实验。尽管数据集中有四类，但系统会将细菌和病毒归类为一类，将图像分为三类。 COVIDCAPS获得的准确度，敏感性，特异性和AUC分别为95.7％，90％，95.8％和0.97。
　　表IV总结了使用自定义深度学习技术从X射线样本中得出的上述基于深度学习的COVID-19诊断系统，并展示了一些重要因素，例如数据源，图像和类别的数量，数据划分技术，诊断技术以及评估指标。

5. 公开讨论，挑战和未来趋势

OPEN DISCUSSIONS, CHALLENGES AND FUTURE TRENDS：
本节演示了针对基于深度学习的COVID-19诊断系统的系统，挑战和可能的未来趋势的讨论。

A. 公开讨论

open discussion：
　　本文审查了45个系统，其中23个系统使用预训练模型作为深度学习架构，其余22个系统使用自定义深度学习框架。给出单个系统的结果用于解释。两种流行的成像技术CT和X射线用于数据样本。在审查过的系统中，基于X射线数据开发了25个系统，其余20个使用了CT样本。大多数系统使用多个源数据，而少数系统使用单个源数据。我们总结了已开发的系统，其中考虑了一些功能，例如数据源，图像和类的数量，数据分区技术，用于诊断的深度学习技术，最后是性能度量的评估指标。数据源是基准数据集或来自医院环境的实时数据。一些系统使用了大量的图像，但COVID-19案例的样本数量相对较少。在整个审查过程中，均考虑了二进制和多类。关于数据分区，某些系统使用了交叉验证技术，而其他系统则使用了保留方法。预训练模型和自定义深度学习架构都被考虑在内。几乎所有系统都使用CNN或CNN的变体进行诊断。在整个审查过程中，使用了一些常见的评估指标，如准确性，敏感性，特异性，准确性，F1得分，AUC等。
　　表I和表III说明了使用预训练模型以及定制的深度学习技术进行的基于CT扫描的COVID-19诊断的摘要。 从结果可以明显看出，大多数已开发的系统都使用了来自中国医院环境的实时数据，还有一些系统[61]，[64]，[103]，[104]，[109]，[110]， [111]和[119]使用了基准数据。 一些开发的系统[66]，[67]，[68]，[111]和[119]使用来自单一来源的数据，大多数开发的方案使用多个来源数据。 在已审查的系统中多次使用的数据集是COVID-CT [112]和COVID-19 [113]。在本实验中，使用最大图像数量和最小图像数量的已审查系统分别为[64]和[119]，其中COVID-19案例分别为32,230（增强数据）和51。在要分类的类别数量的情况下，大多数已开发的系统都将其视为二进制类别（COVID-19和非COVID-19），而其中一些[60]，[63]，[64]，[107] ，[109]考虑了多种类别（COVID-19，肺炎和正常）。在某些情况下，会考虑使用10折交叉验证[119]，而某些发达的系统[61]，[62]，[67]和[105]使用了随机分区，其中大多数考虑了保留方法。就性能而言，[66]中开发的系统获得了100％的灵敏度。在审查过的系统中，大多数框架[61]，[62]，[63]，[65]，[66]，[103]，[106]，[107]，[109]都获得了相对较高的准确性，敏感性，特异性，精密度，F1得分和AUC（这些指标）（如果适用）大于90％。使用预训练模型和定制网络分别在[66]，[119]上发现了最高的准确率99.51％和99.68％。
　　表II和表IV描述了使用具有深度迁移学习和定制深度学习体系结构的预训练模型对COVID-19进行基于X射线的诊断。我们的分析表明，几乎所有已开发的系统都使用通用的COVID-19 X射线图像数据集[82]。一些系统使用Kermany [84]数据集和COVIDx数据集[123]经常用于诊断。所有提出的方案都使用基准数据进行实验，没有系统应用实时数据。在[97]，[131]，[132]和[133]中引入的系统使用单个源数据，而其余已审查系统则考虑了来自多个源的数据。 [95]和[97]的COVID19病例数分别为144和25。尽管某些系统考虑了最大图像数量，但COVID-19的图像总数相对较小。就类别考虑的数量而言，某些系统[70]，[76]，[124]和[131]考虑了4个类别，其中一些[69]，[75]，[79]，[81] ]，[91]，[94]等使用3类，其余的系统则使用二进制类进行实验。在某些情况下，会使用交叉验证技术，例如10折[69]，[95]和5折[80]，[94]，[121]，[125]，[126]，[127] ，以及其他系统认为是用于数据分区的保留方法。对于已开发系统的性能，在[70]中，建议的系统可实现100％的精度；在[70]，[78]，[97]，[124]和[132]中，100％的灵敏度可达到，[80]，[97]，[126]和[131]中的特异性为100％，[70]，[80]，[97]，[126]，[130]，[131]和[ 132]100％F1-分数[70]和[132]，[80]中获得的100％AUC。大多数开发的系统在精确测量的情况下表现更好，而在灵敏度方面则获得次优。尽管经过审查的系统在预训练和定制网络的X射线情况下均取得了相对较好的结果，但开发的系统并未与目标人员进行实时测试。
　　在将预训练模型与定制网络进行比较时，一些经过审查的系统对于定制网络表现更好。 所开发系统的性能取决于数据集。 审查过的系统的性能无法与之相比，因为几乎所有系统都为实验使用了不同的数据大小。 在成像模态比较方面，基于X射线的系统比基于CT的系统表现更好。 但是，大多数基于X射线的框架都使用基准数据，而在基于CT的系统中，则要考虑来自医院环境的实时数据。 可以设想使用CT样本引入的系统适用于实时测试，但是基于X射线的建议方案在应用之前需要与目标人群进行实时测试。

B. 挑战与未来趋势

Challenges and Future Trends:
　　应用深度学习技术和算法检测新型冠状病毒（COVID-19）面临许多独特的挑战。
　　虽然深度学习技术具有高度的自动化性，但它需要大量数据才能开发出强大的诊断系统。 由于COVID-19刚开始研究，因此缺乏标准数据是诊断的主要挑战。 另一方面，在某些情况下，COVID-19患者的可用成像数据不完整，嘈杂，模棱两可且标签不准确。 要使用如此庞大且多样化的数据集来训练深度学习架构是非常复杂的，并且需要解决各种问题，例如数据冗余，稀疏性以及价值缺失。 几乎所有审查过的系统都为实验使用了不同的数据集。 已开发的系统从Internet来源收集数据，以其方式准备数据，最后使用评估指标对系统进行评估。 因此，很难确切地得出哪个系统对COVID-19检测产生最佳结果。
　　COVID-19检测系统的进一步挑战是数据集样本中的不平衡。 由于存在少量CT和X射线的COVID-19样本，而肺炎和正常病例比COVID-19病例要多，因此这是一个关键问题。 从[61]，[62]，[78]，[95]等中提出的审阅系统中可以明显看出。数据的不平衡通常会在深度学习技术的训练阶段引起偏差。 随着阳性样本数量的减少，平衡目标样本变得越来越困难。缺乏置信区间是在基于深度学习的COVID-19诊断系统中发现的另一个挑战。 深度学习架构将输出提供为预测置信度，而将特定神经元的输出指示符视为单个概率。 对于COVID-19诊断，通常不希望在预测值上缺少置信区间。
　　为了克服这些挑战，研究人员可能会考虑优化深度学习算法的设计，这些算法可以轻松应对少量数据[26]。 浅层长期短期记忆（LSTM）用于解决小型数据集的局限性。 在缺乏大规模训练数据集的情况下，利用当前的深度学习架构作为特征提取器，然后使用端到端的方式[135]，[136]对这些属性进行更多的学习。
　　冻结是一种技术，可用于缩减深度学习体系结构中的参数数量，在深度学习体系结构中，减少的参数是从另一个出于类似目的而训练的网络中租用的。 虽然参数的数量会减少，但可能会从少量的COVID-19案例中获得良好的性能[137]，[138]。 集成学习[139]，[140]和多任务学习[110]，[141]在少量数据的情况下更适合于COVID-19诊断。 在集成学习的情况下，开发了多种体系结构而不是单个网络，最后，将每个网络的结果组合在一起。 在多任务体系结构中，将各种任务组合在一起以相互利用数据注释。
　　此外，合成数据生成可能是克服基于深度学习的COVID-19检测系统挑战的可能解决方案。用于数据生成的最常用技术是数据增强和GAN，它们经常用于解决类不平衡问题。数据增强技术[142]，[143]使用给定图像的翻转，旋转，修剪，随机噪声添加等方法，从给定的COVID-19样本中生成新的病变。但是在数据扩充的情况下可能会出现过度拟合的问题。GAN是用于生成实际合成数据的最复杂的技术。 GAN [70]，[144]从少量的COVID-19样本中生成大量图像，这些图像用于训练用于新型病毒诊断的深度学习系统。此外，缺乏监督的深度学习方法[145]，[146]将是有限训练数据的可能解决方案。此外，由于人工标记COVID-19成像数据非常昂贵，而且过程冗长，因此强烈建议使用自我监督的深度学习技术[147]，[148]。

6. 结论

conclusion：
　　COVID-19仍是一种持续的大流行病，正在就全球感染和死亡的累积和每日数量创造新的记录。基于深度学习的COVID-19自动诊断可提供一致且准确的解决方案，在协助诊断该疾病方面发挥了重要作用。本文介绍了使用两种类型的成像技术（例如CT和X射线样本）的深度学习技术进行COVID-19诊断的最新工作。这篇综述描述了基于预训练模型开发的系统，该模型具有深度迁移学习和针对COVID-19诊断的定制深度学习架构。提出了两级分类法，探讨了深度学习技术和成像方式的观点。本文概述了使用过的数据集的所有来源，这些资源可以很容易地被研究团体理解和访问。基于深度学习的COVID-19诊断系统的主要挑战是缺乏黄金标准。此外，建议了克服当前挑战的可能解决方案，以鼓励希望在这一领域做出贡献的研究人员。请谨慎注意，具有成像模式的深度学习技术仅提供有关感染患者的部分详细信息。但是，目前还没有真正想到用深度学习技术来代替医师或临床医生在临床诊断中的作用。 希望在不久的将来，具有放射科医生的深度学习专家将为识别COVID-19感染患者提供适当的支持系统。