文献速递:生成对抗网络医学影像中的应用——基于CycleGAN的图像到图像转换,用于逼真的外科手术训练模型

本文主要是介绍文献速递:生成对抗网络医学影像中的应用——基于CycleGAN的图像到图像转换,用于逼真的外科手术训练模型,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文献速递:生成对抗网络医学影像中的应用——基于CycleGAN的图像到图像转换,用于逼真的外科手术训练模型

本周给大家分享文献的主题是生成对抗网络(Generative adversarial networks, GANs)在医学影像中的应用。文献的研究内容包括同模态影像生成、跨模态影像生成、GAN在分类和分割方面的应用等。生成对抗网络与其他方法相比展示出了优越的数据生成能力,使它们在医学图像应用中广受欢迎。这些特性引起了医学成像领域研究人员的浓厚兴趣,导致这些技术在各种传统和新颖应用中迅速实施,如图像重建、分割、检测、分类和跨模态合成。

01

文献速递介绍

外科手术训练对于发展技能和灵巧性至关重要。为了获得必要的经验,外科医生需要数千小时的实践。在内窥镜微创手术中,任务更加具有挑战性。为了避免仅与真实病人进行训练,外科医生通常在离体器官、虚拟模拟器或物理训练幻影上发展他们的技能。物理训练幻影为缝合和使用真实仪器操作提供了出色的触觉反馈和组织特性,并且易于获得。此外,它们可以为特定病人解剖定制,并为期望的程序进行优化 。在不同的范围内,外科训练幻影甚至可以用于开发额外的外科应用,如自动外科阶段识别。然而,它们缺乏生命力和不现实的外观,并不反映外科场景的复杂环境 。正如 Engelhardt 等人 所提出的,超现实主义是一种新的增强现实范式,旨在通过将手术过程中的域内模式映射到在这些外科模拟器训练期间捕获的视频流上,解决物理幻影中缺乏现实感的问题。通过生成模型,可以实现从一幅图像到另一幅图像的特征映射。这些生成模型存在不同的方法和概念,即应用变分自编码器(VAE)或生成对抗网络(GANs)。近年来,GANs 在图像合成和图像到图像转换 (I2I) 方面表现出了巨大的潜力 。

最近,已经开发了具有不同架构的几种 GAN 模型,这些架构高度依赖于用作输入的信息类型。对于这种每个域的图像都是未配对的特定域适应任务,CycleGAN 模型已显示出有希望的结果。 本工作的目标是从未配对的合成训练幻影图像生成逼真的二尖瓣术中图像。我们旨在使用 CycleGAN 生成模型实现成功的 I2I 转换,并进行以下实验:

  1. 研究最合适的训练损失函数;
  2. 建立训练和图像质量度量标准,以实现客观和定量的结果评估;
  3. 评估输入变异性对模型性能的影响。

Title

题目

CycleGAN-Based Image to Image Translation for Realistic SurgicalTraining Phantoms

基于CycleGAN的图像到图像转换,用于逼真的外科手术训练模型

Abstract

摘要

Training in surgery is essential for surgeons to develop skill and dexterity. Physical training phantoms provide excellent haptic feedback and tissue properties for stitching and operating with authentic instruments and are easily available. However, they lack realistic traits and fail to reflect the complex environment of a surgical scene. Generative Adversarial Networks can be used for image-to-image translation,addressing the lack of realism in physical phantoms, by mapping patterns from the intraoperative domain onto the video stream captured during training with these surgical simulators. This work aims to achieve a successful I2I translation, from intra

operatory mitral valve surgery images onto a surgical simulator,using the CycleGAN model. Different experiments are performed - comparing the Mean Square Error Loss with the Binary Cross Entropy Loss; validating the Fréchet Inception Distance as a training and image quality metric; and studying the impact of input variability on the model performance.Differences between .

MSE and BCE are modest, with MSE being marginally more robust. The FID score proves to be very useful in identifying the best training epochs for the CycleGAN I2I translation architecture. Carefully selecting the input images**can have a great impact in the end results. Using less style variability and input images with good feature details and clearly defined characteristics enables the network to achieve better results.

Clinical Relevance— This work further contributes for the domain of realistic surgical training, successfully generating fake intra operatory images from a surgical simulator of thecardiac mitral valve.

外科手术训练对于外科医生培养技能和灵巧性至关重要。物理训练模型提供了极佳的触感反馈和缝合以及使用真实器械操作的组织特性,并且容易获得。然而,它们缺乏逼真的特质,无法反映外科手术现场的复杂环境。生成对抗网络可用于图像到图像的转换,通过将术中领域的模式映射到在这些外科模拟器训练期间捕获的视频流中,解决物理模型缺乏现实感的问题。这项工作旨在使用CycleGAN模型实现从术中二尖瓣手术图像到外科模拟器的成功I2I(Image-to-Image)转换。进行了不同的实验 - 比较均方误差损失与二元交叉熵损失;验证Fréchet Inception Distance作为训练和图像质量指标;以及研究输入变异性对模型性能的影响。

MSE和BCE之间的差异较小,MSE略微更加稳健。FID得分在确定CycleGAN I2I转换架构的最佳训练时期方面非常有用。仔细选择输入图像可以对最终结果产生很大影响。使用风格变异性较小且输入图像具有良好特征细节和清晰定义的特征可以使网络取得更好的结果。

临床相关性 - 这项工作为逼真的外科手术训练领域做出了进一步的贡献,成功地从心脏二尖瓣的外科模拟器生成了虚假的术中图像。

Methods

方法

A. Image to Image translation using CycleGAN The goal of I2I is to convert an input image from a source domain A to a target domain B. Ideally the extrinsic target style (domain specific features) should be transferred withoutaltering the inherent physical content of the source domain.

A. 使用 CycleGAN 进行图像到图像的转换 图像到图像转换的目标是将输入图像从源域 A 转换到目标域 B。理想情况下,应该转换外在的目标风格(特定于域的特征),而不改变源域的固有物理内容。

Results

结果

Figure 3 displays some of the results obtained with the previously described experiments. Three frames from the validation data set were selected based on the presence of specific attributes, such as surgical instruments in a large area of the image, suture wires with different colors and clear contact points with the phantom and, finally, a frame in which the surgical wires overlap with the surgical instrument. The image shows the best and worst FID results for both MSE and BCE losses, from all training epochs.

The final experiment results, comparing the performance of the GAN with one single surgical style input, are shown in Figure 4. The same frames were used in order to enable a better

comparison with the experiments with 3 surgical styles. Again, the best and worst FID results for both MSE and BCE losses, from all training epochs, are displayed.

图3展示了之前描述实验中获得的一些结果。根据特定属性的存在,从验证数据集中选择了三个帧,例如手术工具占据大面积的图像、不同颜色的缝合线和与幻影明显接触的点,以及手术线与手术工具重叠的一个帧。该图像显示了MSE和BCE损失下的所有训练周期中最佳和最差的FID结果。

最终实验结果,比较了仅使用单一手术风格输入的GAN的性能,在图4中展示。为了更好地与使用3种手术风格的实验进行比较,使用了相同的帧。同样,展示了MSE和BCE损失下的所有训练周期中最佳和最差的FID结果。

Conclusions

结论

MSE Loss is more stable than BCE Loss as, usually, better results are achieved, in a fewer number of epochs. The FID score proves be very useful in identifying the best training epochs for the CycleGAN I2I translation architecture. Carefully selecting the input images can cause a big impact on the end results. Images can be from multiple domains, however using images, with good feature details and clearly defined characteristics, enables the network to achieve better results. Not using sets of images that feature specific instruments, that do not appear in the simulator domain, further potentiates the network performance.

与BCE损失相比,MSE损失更稳定,通常在较少的训练周期内就能达到更好的结果。FID得分在识别CycleGAN图像到图像(I2I)翻译架构的最佳训练周期方面证明非常有用。仔细选择输入图像可以对最终结果产生重大影响。图像可以来自多个领域,但使用具有良好特征细节和清晰定义特性的图像,可以使网络获得更好的结果。不使用特定仪器的图像集,这些仪器在模拟器领域中不出现,进一步增强了网络性能。

Figure

图片

Figure 1 - CycleGAN architecture. The Generator network path is represented in blue and the Discriminator in yellow. Cycle loss is schematized in orange, with a backward flow. The identity loss input is shown in green.

图1 - CycleGAN架构。生成器网络路径用蓝色表示,判别器用黄色表示。循环损失用橙色示意,带有反向流动。身份损失输入用绿色显示。

图片

Figure 2 - Samples of the training dataset. 3 surgical styles are used,numbered 1 to 3 from top to bottom.

图2 - 训练数据集的样本。使用了3种手术风格,从上到下编号为1至3。

图片

Figure 3 - Selection of images to show the obtained results for both losses.Top row: original phantom image. 2nd and 3rd rows: best and worst FIDscores for MSE, respectively. 4th and 5th rows: best and worst FID scores for BCE, respectively.

图3 - 选择图像以显示两种损失所获得的结果。

顶部行:原始幻影图像。第2和第3行:分别为MSE的最佳和最差FID得分。第4和第5行:分别为BCE的最佳和最差FID得分。

图片

Figure 4 - Selection of images to show the obtained results using only surgical style 3 as input. Top row: original phantom image. 2nd and 3rd
rows: best and worst FID scores for MSE, respectively. 4th and 5th rows: best and worst FID scores for BCE, respectively.*

图4 - 选择图像以显示仅使用手术风格3作为输入获得的结果。

这篇关于文献速递:生成对抗网络医学影像中的应用——基于CycleGAN的图像到图像转换,用于逼真的外科手术训练模型的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/527387

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务,目标是自动识别图像中的对象类别。通过卷积神经网络(CNN)等深度学习技术,我们可以构建高效的图像分类系统,广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统,包括环境

水位雨量在线监测系统概述及应用介绍

在当今社会,随着科技的飞速发展,各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中,水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术,其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成,形成了一个完整的闭环系统。 数据采集单元:这是系统的“眼睛”,

AI一键生成 PPT

AI一键生成 PPT 操作步骤 作为一名打工人,是不是经常需要制作各种PPT来分享我的生活和想法。但是,你们知道,有时候灵感来了,时间却不够用了!😩直到我发现了Kimi AI——一个能够自动生成PPT的神奇助手!🌟 什么是Kimi? 一款月之暗面科技有限公司开发的AI办公工具,帮助用户快速生成高质量的演示文稿。 无论你是职场人士、学生还是教师,Kimi都能够为你的办公文

csu 1446 Problem J Modified LCS (扩展欧几里得算法的简单应用)

这是一道扩展欧几里得算法的简单应用题,这题是在湖南多校训练赛中队友ac的一道题,在比赛之后请教了队友,然后自己把它a掉 这也是自己独自做扩展欧几里得算法的题目 题意:把题意转变下就变成了:求d1*x - d2*y = f2 - f1的解,很明显用exgcd来解 下面介绍一下exgcd的一些知识点:求ax + by = c的解 一、首先求ax + by = gcd(a,b)的解 这个

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

hdu1394(线段树点更新的应用)

题意:求一个序列经过一定的操作得到的序列的最小逆序数 这题会用到逆序数的一个性质,在0到n-1这些数字组成的乱序排列,将第一个数字A移到最后一位,得到的逆序数为res-a+(n-a-1) 知道上面的知识点后,可以用暴力来解 代码如下: #include<iostream>#include<algorithm>#include<cstring>#include<stack>#in

zoj3820(树的直径的应用)

题意:在一颗树上找两个点,使得所有点到选择与其更近的一个点的距离的最大值最小。 思路:如果是选择一个点的话,那么点就是直径的中点。现在考虑两个点的情况,先求树的直径,再把直径最中间的边去掉,再求剩下的两个子树中直径的中点。 代码如下: #include <stdio.h>#include <string.h>#include <algorithm>#include <map>#

Linux 网络编程 --- 应用层

一、自定义协议和序列化反序列化 代码: 序列化反序列化实现网络版本计算器 二、HTTP协议 1、谈两个简单的预备知识 https://www.baidu.com/ --- 域名 --- 域名解析 --- IP地址 http的端口号为80端口,https的端口号为443 url为统一资源定位符。CSDNhttps://mp.csdn.net/mp_blog/creation/editor