用于超声电影中同时检测关键帧和地标的贝叶斯网络| 文献速递-大模型与多模态诊断阿尔茨海默症与帕金森疾病应用

本文主要是介绍用于超声电影中同时检测关键帧和地标的贝叶斯网络| 文献速递-大模型与多模态诊断阿尔茨海默症与帕金森疾病应用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Title

题目

A Bayesian network for simultaneous keyframe and landmark detection inultrasonic cine

用于超声电影中同时检测关键帧和地标的贝叶斯网络

01

文献速递介绍

超声电影(Ultrasonic cine)是超声检查中常见的保存形式,允许实时回顾移动结构和流动模式,提供额外的诊断信息,并有助于识别微妙的异常(Mitchell等,2019)。在临床常规中,手动识别超声电影中的感兴趣事件并进一步进行测量和诊断是基本任务(Lang等,2015)。然而,即使对于有经验的专业人员来说,执行这项重复性任务也可能具有挑战性,特别是在处理复杂的解剖变异、图像质量欠佳或患者病例负担较重的情况下。因此,市场上对能够简化并提高这一关键过程准确性的自动化辅助工具的需求正在增加(Ouyang等,2020)。

自动识别超声心动图中的心动周期相位以测量各种心脏参数是一个重要的临床应用,尤其是在可能缺乏心电图数据的即时护理场景中,这可以减少观察者之间的变异性(Ciusdel等,2020;Zhang等,2023)。Dezaki等(2017)基于心脏体积的变化提出了结构化损失来识别舒张末期(ED)和收缩末期(ES)帧。Dai等(2023)利用心脏泵送的周期性设计了自监督正则化项,以便帧的特征表现出时间的周期性。然而,这些方法实现关键帧检测的前提是心脏体积在不同时间相位内单调变化。我们认为,依赖这一假设的模型可能缺乏对心律不齐患者的适应性,因此需要设计更为通用的关键帧检测模型。此外,对于定量描述任务,必须在超声电影中找到具有清晰目标形态的帧。因此,需要引入更多的目标特征,如纹理、时间或空间特征(Wang等,2022)。

Aastract

摘要

医学影像中准确的地标检测对于量化各种解剖结构以及辅助诊断和治疗计划至关重要。在超声电影中,地标检测通常与关键帧的识别相关联,这些关键帧代表特定事件的发生,例如在特定时间相位测量目标尺寸。现有方法主要将地标和关键帧检测作为独立任务处理,而未能利用它们之间的潜在关联。此外,由于超声成像的内在特性,这两项任务受制于观察者之间的变异性,从而可能导致更高的不确定性。在本文中,我们提出了一种贝叶斯网络,用于在超声电影中实现同时关键帧和地标检测,特别是在训练数据极为稀疏的情况下。我们采用了从粗到细的地标检测架构,并提出了一种自适应贝叶斯超图,用于在基于热图回归的结果上进行坐标精化。此外,我们提出了“顺序损失”来训练双向门控循环单元(GRU),以基于序列中的相对可能性识别关键帧。进一步地,为了利用这两项任务之间的潜在关联性,我们使用共享编码器来提取两项任务的特征,并通过时序和运动信息的交互来提高检测精度。在两个内部数据集(多视图经食道和经胸超声心动图)和一个公共数据集(经胸超声心动图)上的实验表明,我们的方法优于现有的最先进方法。左心耳、主动脉瓣环和左心室尺寸测量的平均绝对误差分别为2.40毫米、0.83毫米和1.63毫米。

Method

方法

We aim to identify the keyframe in the ultrasonic cine and locatelandmarks in the keyframe to measure anatomical parameters ultimately. For this multi-task model M, we represent the training data𝐷𝑡𝑟𝑎𝑖𝑛 = {(𝑋𝑖 , 𝐼𝑖 , 𝑌𝑖 )}𝑁𝑖=1, where 𝑋𝑖 = {𝑥1 ...𝑥𝑇 } denotes the 𝑖th cinesample, T is the number of frames, 𝐼𝑖 denotes the index of keyframe,and 𝑌𝑖 denotes the landmark coordinates in the keyframe. We remarkthat the annotation of each training sample is sparse, containing onlyone keyframe and a set of landmark annotations on it. In the test phaseof this sparse problem, for an ultrasonic cine 𝑋𝑡 , the model predictsits keyframe and landmarks, i.e., (𝐼̂𝑡 ,𝑌𝑡 ) = 𝑀(𝑋𝑡 ). The overview ofproposed multi-task detection model is shown in Fig. 1 and furtherdetailed below.

我们旨在识别超声电影中的关键帧并定位关键帧中的地标,以最终测量解剖参数。对于这个多任务模型 M,我们将训练数据表示为 𝐷𝑡𝑟𝑎𝑖𝑛 = {(𝑋𝑖 , 𝐼𝑖 , 𝑌𝑖 )}𝑁𝑖=1,其中 𝑋𝑖 = {𝑥1 ...𝑥𝑇 } 表示第 𝑖 个超声电影样本,T 是帧数,𝐼𝑖 表示关键帧的索引,𝑌𝑖 表示关键帧中地标的坐标。我们指出,每个训练样本的标注是稀疏的,只包含一个关键帧及其上的一组地标标注。在这个稀疏问题的测试阶段,对于一个超声电影 𝑋𝑡 ,模型预测其关键帧和地标,即 (𝐼̂𝑡 ,𝑌𝑡 ) = 𝑀(𝑋𝑡 )。所提出的多任务检测模型的概述如图1所示,具体细节如下。

Conclusion

结论

In this article, we propose a Bayesian multi-task network to tacklethe challenges of keyframe and landmark detection in ultrasonic cinewith high uncertainty. Following the coarse-to-fine detection architecture, we propose ABHG to explicitly model the structural relationshipof landmarks and fine-tune the prediction of heatmap-based regression. To overcome the potential limitations arising from informationpropagation and overfitting due to the scale of the hypergraph, weimplement adaptive expansion within the 8-neighborhood directionsof hyper-nodes. Furthermore, we establish a synergistic relationshipbetween the receptive field of hyper-nodes and the landmark offset andintroduce MC Dropout during testing to further improve the landmarklocalization accuracy.

在本文中,我们提出了一种贝叶斯多任务网络,以应对超声电影中关键帧和地标检测所面临的高不确定性挑战。遵循从粗到细的检测架构,我们提出了ABHG,以明确建模地标的结构关系,并对基于热图回归的预测进行微调。为了解决由于超图规模导致的信息传播和过拟合的潜在限制,我们在超节点的8邻域方向内实现了自适应扩展。此外,我们在超节点的感受野与地标偏移之间建立了协同关系,并在测试期间引入了MC Dropout,以进一步提高地标定位的准确性。

Figure

图片

Fig. 1. The proposed architecture simultaneously identifies landmarks and keyframe for ultrasonic cine. First, a shared encoder–decoder is utilized to extract the features of eachframe and perform coarse localization of landmarks. Next, the Bayesian hypergraph is adaptively constructed by utilizing the local information of the original image, the shallowfeatures of the encoder, the structural relationships between landmarks and the coarse locations as the node features. To achieve accurate coordinate fine-tuning, we use Bayesianhypergraph convolution to establish hypernode connections within 8-neighborhoods and predict the direction and scale of the offset. Finally, the predicted landmark coordinatesand coder–decoder global features are fed into a Bi-GRU to obtain the likelihoods of keyframes.

图1. 提出的架构能够同时识别超声电影中的地标和关键帧。首先,使用共享的编码器–解码器来提取每一帧的特征,并对地标进行粗略定位。接下来,利用原始图像的局部信息、编码器的浅层特征、地标之间的结构关系和粗略定位结果作为节点特征,自适应地构建贝叶斯超图。为了实现精确的坐标微调,我们使用贝叶斯超图卷积在8邻域内建立超节点连接,并预测偏移的方向和尺度。最后,将预测的地标坐标和编码器–解码器的全局特征输入到双向门控循环单元(Bi-GRU)中,以获得关键帧的可能性。

图片

Fig. 2. The 8-neighborhood hyper-nodes and the incidence matrix of ABHG.

图2. ABHG(自适应贝叶斯超图)的8邻域超节点和关联矩阵。

图片

Fig. 3. In the two in-house datasets, LAA and PLAX, we annotate four anatomical landmarks on the left atrial appendage of multi-view transesophageal echocardiography: (1) theleft circumflex branch of the coronary artery, (2) the inner wall of the left auricular wall, (3) a landmark located 2 mm below the opening of the left upper pulmonary vein onthe opposite side, and (4) the tip of the left atrial appendage. Additionally, two anatomical landmarks, namely (1) the anterior inner edge and (2) the posterior inner edge, wereidentified in the parasternal long-axis view of transthoracic echocardiography. In the public dataset UIC, four landmarks are annotated: the top and bottom of the interventricularseptum, as well as the top and bottom of the posterior wall.

图3. 在两个内部数据集LAA和PLAX中,我们在多视图经食道超声心动图的左心耳上标注了四个解剖地标:(1)冠状动脉左旋支,(2)左耳壁内壁,(3)位于左上肺静脉开口对侧下方2毫米处的一个地标,以及(4)左心耳尖端。此外,在经胸超声心动图的胸骨旁长轴视图中识别了两个解剖地标,分别是:(1)前内缘和(2)后内缘。在公开数据集UIC中,标注了四个地标:室间隔的顶部和底部,以及后壁的顶部和底部。

图片

Fig. 4. Qualitative results for locating the landmarks of the left atrial appendage, aortic annulus, and left ventricle. Green points indicate ground truth, while yellow points markthe predictions.

图4. 左心耳、主动脉瓣环和左心室地标定位的定性结果。绿色点表示真实值,黄色点表示预测值。

图片

Fig. 5. Agreement between two measurements (Bland–Altman plot).

图5. 两次测量之间的一致性(Bland-Altman图)。

图片

Fig. 6. Landmark trajectories over 20 iterations of ABHG. A random initial position is marked in blue, the ground truth in green, and the updating trajectory in red.

图6. ABHG在20次迭代中的地标轨迹。随机初始位置以蓝色标记,真实值以绿色标记,更新轨迹以红色标记。

图片

Fig. 7. Effectiveness assessment of multi-task learning. The bar chart shows thecomparison of the mean absolute errors among the single-task, simple multi-task, andproposed multi-task models on the two detection tasks.

图7. 多任务学习效果评估。柱状图显示了在两个检测任务中,单任务、简单多任务和所提出的多任务模型的平均绝对误差比较。

图片

Fig. 8. Effectiveness assessment of Monte Carlo Dropout. (a) Illustration of the MAE formeasurements of left atrial appendage at different drop rates. (b) The doughnut chartshows the proportion of samples correctly detecting varying numbers of landmarksat different drop rates using the PCK@0.2 metric. Different colors indicate differentproportions of correctly detected landmarks. 0 indicates that all landmark coordinateerrors are not within tolerance, while 4 indicates that all four landmark coordinateerrors are within tolerance.

图8. 蒙特卡罗Dropout效果评估。(a) 不同Dropout率下左心耳测量的平均绝对误差(MAE)示意图。(b) 环形图显示在不同Dropout率下使用PCK@0.2指标正确检测到不同数量地标的样本比例。不同颜色表示正确检测到地标的不同比例。0表示所有地标坐标误差均不在容差范围内,而4表示所有四个地标坐标误差均在容差范围内。-

Table

图片

Table 1Comparison of Landmark Detection with state-of-the-art methods on LAA and PLAX datasets using evaluation metrics of Percentage of Correct Keypoints (PCK) and Mean AbsoluteError (MAE). MAE is expressed as mean ± SD.

表1 在LAA和PLAX数据集上使用正确关键点百分比(PCK)和平均绝对误差(MAE)评价指标与最先进方法进行的地标检测比较。MAE表示为平均值 ± 标准差(SD)。

图片

Table 2Comparison of Landmark Detection with state-of-the-art methods on the UIC dataset and by evaluation metrics of Success Detection Rate (SDR) and Mean Absolute Error (MAE).MAE is expressed as median (first quartile-third quartile).

表2在UIC数据集上使用成功检测率(SDR)和平均绝对误差(MAE)评价指标与最先进方法进行的地标检测比较。MAE表示为中位数(第一四分位数-第三四分位数)

图片

Table 3Comparison of Keyframe Detection with state-of-the-art methods on LAA and PLAXdatasets using evaluation metrics of Mean Absolute Error (MAE). MAE is expressed asmean ± SD.

表3 在LAA和PLAX数据集上使用平均绝对误差(MAE)评价指标与最先进方法进行关键帧检测的比较。MAE表示为平均值 ± 标准差(SD)。

图片

Table 4Comparison of ABHG and GCN for Landmark Detection on LAA and PLAX Datasets.MAE is expressed as mean ±SD.

表4 ABHG与GCN在LAA和PLAX数据集上进行地标检测的比较。MAE表示为平均值 ± 标准差(SD)。

图片

Table 5Accuracy of keyframe detection under varying degrees of landmark location errors.MAE is expressed as mean ±SD.

表5 不同地标定位误差下的关键帧检测准确性。MAE表示为平均值 ± 标准差(SD)。

图片

Table 6Hyper-parameters impact assessment on landmark detection model on LAA dataset using evaluation metrics of Percentage of Correct Keypoints (PCK) and Mean Absolute Error(MAE). MAE is expressed as mean ±SD.

表6 超参数对LAA数据集地标检测模型的影响评估,使用正确关键点百分比(PCK)和平均绝对误差(MAE)作为评价指标。MAE表示为平均值 ± 标准差(SD)。

这篇关于用于超声电影中同时检测关键帧和地标的贝叶斯网络| 文献速递-大模型与多模态诊断阿尔茨海默症与帕金森疾病应用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1102293

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

水位雨量在线监测系统概述及应用介绍

在当今社会,随着科技的飞速发展,各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中,水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术,其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成,形成了一个完整的闭环系统。 数据采集单元:这是系统的“眼睛”,

csu 1446 Problem J Modified LCS (扩展欧几里得算法的简单应用)

这是一道扩展欧几里得算法的简单应用题,这题是在湖南多校训练赛中队友ac的一道题,在比赛之后请教了队友,然后自己把它a掉 这也是自己独自做扩展欧几里得算法的题目 题意:把题意转变下就变成了:求d1*x - d2*y = f2 - f1的解,很明显用exgcd来解 下面介绍一下exgcd的一些知识点:求ax + by = c的解 一、首先求ax + by = gcd(a,b)的解 这个

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

hdu1394(线段树点更新的应用)

题意:求一个序列经过一定的操作得到的序列的最小逆序数 这题会用到逆序数的一个性质,在0到n-1这些数字组成的乱序排列,将第一个数字A移到最后一位,得到的逆序数为res-a+(n-a-1) 知道上面的知识点后,可以用暴力来解 代码如下: #include<iostream>#include<algorithm>#include<cstring>#include<stack>#in

zoj3820(树的直径的应用)

题意:在一颗树上找两个点,使得所有点到选择与其更近的一个点的距离的最大值最小。 思路:如果是选择一个点的话,那么点就是直径的中点。现在考虑两个点的情况,先求树的直径,再把直径最中间的边去掉,再求剩下的两个子树中直径的中点。 代码如下: #include <stdio.h>#include <string.h>#include <algorithm>#include <map>#

Linux 网络编程 --- 应用层

一、自定义协议和序列化反序列化 代码: 序列化反序列化实现网络版本计算器 二、HTTP协议 1、谈两个简单的预备知识 https://www.baidu.com/ --- 域名 --- 域名解析 --- IP地址 http的端口号为80端口,https的端口号为443 url为统一资源定位符。CSDNhttps://mp.csdn.net/mp_blog/creation/editor

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了