临床应用的深度学习在视网膜疾病的诊断和转诊中的应用| 文献速递-视觉通用模型与疾病诊断

本文主要是介绍临床应用的深度学习在视网膜疾病的诊断和转诊中的应用| 文献速递-视觉通用模型与疾病诊断,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Title

题目

Clinically applicable deep learning for diagnosis

and referral in retinal disease

临床应用的深度学习在视网膜疾病的诊断和转诊中的应用

01

文献速递介绍

诊断成像的数量和复杂性正在以比人类专家可用性更快的速度增加。人工智能在分类一些常见疾病的二维照片方面表现出了巨大的潜力,通常依赖于数百万张带注释的图像数据库。直到现在,在三维诊断扫描的实际临床路径中达到或超过专家临床医师性能的挑战仍未解决。在这里,我们将一种新颖的深度学习架构应用到了一组临床异质的来自一家主要眼科医院转诊患者的三维光学相干断层扫描中。我们证明了在仅训练了14,884次扫描后,我们的模型在制定转诊建议方面达到或超过了专家对一系列威胁视力的视网膜疾病的表现。此外,我们证明了我们的架构产生的组织分割作为一种设备独立的表示;当使用来自不同类型设备的组织分割时,转诊准确性得到了保持。我们的工作消除了在真实世界环境中跨多种病理学使用的先前障碍,而无需繁琐的训练数据要求。

Results

结果

Clinical application and AI architecture. We developed our architecture in the challenging context of OCT imaging for ophthalmology. We tested this approach for patient triage in a typical ophthalmology clinical referral pathway, comprising more than 50 common diagnoses for which OCT provides the definitive imaging modality (Supplementary Table 1). OCT is a threedimensional volumetric medical imaging technique analogous to three-dimensional ultrasonography but measuring the reflection of near-infrared light rather than sound waves at a resolution for living human tissue of ~5µm

临床应用和AI架构。我们在眼科OCT成像的具有挑战性的背景下开发了我们的架构。我们在一个典型的眼科临床转诊路径中测试了这种方法,该路径包括了超过50种常见诊断,其中OCT提供了确定性的成像模态(附录表1)。OCT是一种三维体积医学成像技术,类似于三维超声成像,但测量的是近红外光的反射,而不是声波,其分辨率为约5µm,适用于活体人组织。

Figure

图片

Fig. 1 | Our proposed AI framework. a, Raw retinal OCT scan (6 × 6 × 2.3 mm³ around the macula). b, Deep segmentation network, trained with manually segmented OCT scans. c, Resulting tissue segmentation map. d, Deep classification network, trained with tissue maps with confirmed diagnoses and optimal referral decisions. e, Predicted diagnosis probabilities and referral suggestions.

图1 | 我们提出的AI框架。a, 原始视网膜OCT扫描(在黄斑周围6×6×2.3mm³)。b, 深度分割网络,使用手动分割的OCT扫描进行训练。c, 结果组织分割地图。d, 深度分类网络,使用具有确认诊断和最佳转诊决策的组织地图进行训练。e, 预测的诊断概率和转诊建议。

图片

Fig. 2 | Results of the segmentation network. Three selected two-dimensional slices from the n= 224 OCT scans in the segmentation test set (left) with manual segmentation (middle) and automated segmentation (right; detailed color legend in Supplementary Table 2). a, A patient with diabetic macular edema. b, A patient with choroidal neovascularization resulting from age-related macular degeneration (AMD), demonstrating extensive fibrovascular pigment epithelium detachment and associated subretinal fluid. c, A patient with neovascular AMD with extensive subretinal hyperreflective material. Further examples of the variation of pathology with model segmentation and diagnostic performance can be found in Supplementary Videos 1–9. In all examples the classification network predicted the correct diagnosis. Scale bars, 0.5 mm.

图2 | 分割网络的结果。分割测试集中224个OCT扫描的三个选定的二维切片(左)与手动分割(中)和自动分割(右;详细的颜色图例见附录表2)。a, 患有糖尿病性黄斑水肿的患者。b, 因年龄相关性黄斑变性(AMD)引起的脉络膜新生血管,显示广泛的纤维血管素上皮脱离和相关的视网膜下液体。c, 患有新生血管型AMD,具有大量视网膜下高反射物质。在所有示例中,分类网络预测了正确的诊断。比例尺,0.5mm。

图片

Fig. 3 | Results on the patient referral decision. Performance on an independent test set of n= 997 patients (252 urgent, 230 semi-urgent, 266 routine, 249 observation only). a, ROC diagram for urgent referral (for choroidal neovascularization (CNV)) versus all other referrals. The blue ROC curve is created by sweeping a threshold over the predicted probability of a particular clinical diagnosis. Points outside the light blue area correspond to a significantly different performance (95% confidence level, using a two-sided exact binomial test). The asterisk denotes the performance of our model in the ‘balanced performance’ setting. Filled markers denote experts’ performance using OCT only; empty markers denote their performance using OCT, fundus image and summary notes. Dashed lines connect the two performance points of each expert. b, Confusion matrices with patient numbers for referral decision for our framework and the two best retina specialists. These show the number of patients for each combination of gold standard decision and predicted decision. The numbers of correct decisions are found on the diagonal. Wrong decisions due to overdiagnosis are in the bottom-left triangle, and wrong decisions due to underdiagnosis are in the top-right triangle. c, Total error rate (1 − accuracy) on referral decision. Values outside the light-blue area (3.9–7.3%) are significantly different (95% confidence interval, using a two-sided exact binomial test) to the framework performance (5.5%). AUC, area under curve.

图3 | 患者转诊决策结果。对包括252例紧急、230例半紧急、266例常规和249例仅观察的独立测试集中的997名患者的性能进行评估。a, 对于紧急转诊(用于脉络膜新生血管(CNV))与所有其他转诊的ROC图。蓝色ROC曲线通过在特定临床诊断的预测概率上扫描阈值而创建。在浅蓝色区域之外的点对应于显着不同的性能(使用双侧精确的二项检验,95%置信水平)。星号表示我们模型在“平衡性能”设置下的性能。实心标记表示专家仅使用OCT的性能;空心标记表示他们使用OCT、眼底图像和摘要笔记的性能。虚线连接了每位专家的两个性能点。b, 转诊决策的混淆矩阵及患者数量,显示了每个标准决策和预测决策的患者数量。对角线上是正确决策的数量。由于过度诊断而导致的错误决策在左下三角形中,由于欠诊而导致的错误决策在右上三角形中。c, 转诊决策的总错误率(1-准确率)。在浅蓝色区域之外的值(3.9-7.3%)与框架性能(5.5%)显着不同(使用双侧精确的二项检验,95%置信区间)。AUC,曲线下面积。

图片

Fig. 4 | Generalization to a new scanning device type. a, Low performance of original network on OCT scans from the new device type 2. Left, the selected slice shows the different appearance of structures in device type 2. Middle, a poor quality segmentation map created with our original segmentation network (color legend in Supplementary Table 2). Right, resulting performance on a new test set of n= 116 patients. The confusion matrix shows patient numbers for the referral suggestion. b, All five segmentation hypotheses from our original network. The strong variations show the large uncertainty. c, High performance was attained on the device type 2 test set (n= 116) after retraining the segmentation network with OCT scans from device type 1 and device type 2. The classification network is unchanged. d, All five segmentation hypotheses from the retrained segmentation network. The network is confident in the interpretation of most structures, and just highlights the ambiguities in the sub-retinal pigment epithelium (RPE) space. Scale bars: 0.5 mm.

图4 | 对新扫描设备类型的泛化性能。a, 原始网络在来自新设备类型2的OCT扫描上的低性能。左边,选定的切片显示了设备类型2中结构的不同外观。中间,使用我们的原始分割网络创建的质量差的分割地图(颜色图例见附录表2)。右边,对新测试集(n=116名患者)的结果。混淆矩阵显示了转诊建议的患者数量。b, 我们原始网络的所有五个分割假设。强烈的变化显示了大的不确定性。c, 通过使用设备类型1和设备类型2的OCT扫描重新训练分割网络,在设备类型2测试集(n=116)上实现了高性能。分类网络保持不变。d, 重新训练的分割网络的所有五个分割假设。网络对大多数结构的解释都很自信,只是突出了亚视网膜色素上皮(RPE)空间的不确定性。比例尺:0.5mm。

图片

Fig. 5 | Visualization of the segmentation results as thickness maps. a, The average intensity projection of the OCT scan along A-scan direction (frontal view of the eye) is overlaid with a thickness map of the fibrovascular pigment epithelium detachment (PED, red segment). b, Screenshot from our OCT viewer. First row (left), referral suggestion, tissue volumes and diagnosis probabilities. The highlighted bars correspond to the selected segmentation model. First–third rows, thickness maps of the 10 relevant tissue types from segmentation model instance 2. The two healthy tissue types (high level retina and RPE) are displayed in a black–blue–green–brown–white color map, the pathological tissues (all others) are displayed as overlay on a projection of the raw OCT scan. The thin white line indicates the position of slice 80. Fourth row, slice 80 from the OCT scan and the segmentation map from segmentation model instance 2. Detailed tissue legend in Supplementary Table 2. The slice and model instance can be interactively selected .

图5 | 分割结果的厚度图可视化。a, 沿着A扫描方向(眼睛的前视图)的OCT扫描的平均强度投影与纤维血管素上皮脱离(PED,红色段)的厚度图叠加在一起。b, 我们OCT查看器的屏幕截图。第一行(左侧),转诊建议、组织体积和诊断概率。高亮的条形对应于所选的分割模型。第一至第三行,来自分割模型实例2的10种相关组织类型的厚度图。两种健康组织类型(高级视网膜和RPE)以黑-蓝-绿-棕-白色图显示,病理组织(其他所有组织)显示为覆盖在原始OCT扫描投影上。细白线表示切片80的位置。第四行,来自OCT扫描的切片80和分割模型实例2的分割图。详细的组织图例请参见附录表2。切片和模型实例可以交互式选择。

Table

图片

Table 1 | Number of training scans and achieved performance on the two device types

表1 | 两种设备类型上的训练扫描数量和达到的性能

这篇关于临床应用的深度学习在视网膜疾病的诊断和转诊中的应用| 文献速递-视觉通用模型与疾病诊断的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1040212

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

水位雨量在线监测系统概述及应用介绍

在当今社会,随着科技的飞速发展,各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中,水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术,其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成,形成了一个完整的闭环系统。 数据采集单元:这是系统的“眼睛”,

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

csu 1446 Problem J Modified LCS (扩展欧几里得算法的简单应用)

这是一道扩展欧几里得算法的简单应用题,这题是在湖南多校训练赛中队友ac的一道题,在比赛之后请教了队友,然后自己把它a掉 这也是自己独自做扩展欧几里得算法的题目 题意:把题意转变下就变成了:求d1*x - d2*y = f2 - f1的解,很明显用exgcd来解 下面介绍一下exgcd的一些知识点:求ax + by = c的解 一、首先求ax + by = gcd(a,b)的解 这个

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

hdu1394(线段树点更新的应用)

题意:求一个序列经过一定的操作得到的序列的最小逆序数 这题会用到逆序数的一个性质,在0到n-1这些数字组成的乱序排列,将第一个数字A移到最后一位,得到的逆序数为res-a+(n-a-1) 知道上面的知识点后,可以用暴力来解 代码如下: #include<iostream>#include<algorithm>#include<cstring>#include<stack>#in