【医学大模型】MEDDM LLM-Executable CGT 结构化医学知识: 将临床指导树结构化,便于LLM理解和应用

本文主要是介绍【医学大模型】MEDDM LLM-Executable CGT 结构化医学知识: 将临床指导树结构化,便于LLM理解和应用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

MEDDM LLM-Executable CGT 结构化医学知识: 将临床指导树结构化,便于LLM理解和应用

    • 提出背景
      • 对比传统医学大模型
      • 流程步骤
      • 临床指导树
      • 流程图识别
      • 临床决策支持系统
    • 总结
      • 解决方案设计
      • 数据收集与处理
      • 系统实施
      • 临床决策支持

 


提出背景

论文:https://arxiv.org/pdf/2312.02441.pdf

现有的大型语言模型(LLM)在临床决策支持方面缺乏专业化和结构化的决策路径,无法进行深度的医学诊断推理。

因为LLM通常设计为通用的问答模型,而不是为特定的领域如医学诊断定制的,它们缺少能够理解和遵循临床实践中使用的详细决策树的能力。

医学决策通常非常复杂,涉及多个变量和条件的判断,需要丰富的医学知识和经验,而这些是传统LLM不具备的。

当前的医学LLMs无法通过多轮询问获取完整信息,从而无法提供具体的医疗建议,而是仅仅像一个医学问答系统一样询问一些常见症状并给出一般性回应。

在传统的LLMs系统中,可能只能提供一些基本的建议或通用的信息,如建议患者休息和多喝水,或提示可能需要看医生,但缺乏深入分析和个性化的诊断建议。

解法:LLM-Executable Clinical Guidance Tree (CGT)。

  • 特征1:使用自然语言表示树节点的决策树结构,允许LLM执行CGT上的推理,从而生成更可信的医疗响应。
  • 特征2:构建医学诊断决策制定数据集(MedDM),通过从临床实践指南中的流程图转换而来。
  • 特征3:采用先进的图像处理和文本识别技术,如Faster R-CNN和CnOCR,来识别流程图中的基本结构和文本内容。
  • 特征4:提出一个决策检索基础的生成框架来处理医学决策知识。

完整流程:

  1. 构建决策树(CGT):首先,通过自然语言表示法构建一个可以由LLM执行的临床指导树,使LLM能够理解并遵循医疗决策过程。
  2. 数据集构建(MedDM):然后,通过从医学指南中提取流程图并转换为CGT格式,创建一个专门的医学诊断决策数据集。
  3. 图像和文本处理:使用图像识别和文本识别技术来精确地识别和解析流程图中的信息,确保数据集的准确性和可用性。
  4. 决策检索与生成:最后,通过决策检索基础的生成框架,利用CGT和MedDM数据集来生成针对具体医疗询问的专业化响应。

通过结合结构化的决策树和丰富的医学知识数据集,提高LLMs在医学诊断和咨询中的性能和准确性。

假设有一位患者向医学LLM(如ChatGPT)咨询关于持续性咳嗽和呼吸困难的症状。

  1. 初步询问

    • LLM通过CGT开始询问患者具体症状的细节,例如咳嗽的性质(干咳或湿咳)、持续时间、伴随症状(如发热、胸痛)、以往医疗历史等。
  2. 症状分析

    • 根据患者的回答,LLM利用MedDM数据集中的信息,通过决策树结构定位到具体的诊断路径。
    • 例如,如果患者描述了伴随发热和持续性干咳,LLM可能会考虑流感、COVID-19或其他呼吸道感染的可能性。
  3. 进一步的诊断建议

    • 接下来,LLM会根据CGT的指导,提出进一步的检查建议,如建议患者进行肺部X光检查或血液检测,以排除或确认某些疾病的可能性。
  4. 个性化建议

    • 根据所有收集的信息和分析结果,LLM会提供个性化的建议,例如建议患者就近访问专业的呼吸系统疾病医生,同时提供一些即时缓解症状的建议,比如使用蒸汽吸入或特定的药物(前提是在专业医疗人员指导下)。

从收集症状细节开始,到利用决策树进行深入分析,再到提出进一步诊断和个性化建议的过程,展示了一个从初步询问到专业化建议的连续流程。

CGT为LLM提供了一个明确的决策路径,而MedDM数据集则为这一路径提供了必要的医学知识支持,使得LLM能够根据具体的医学信息生成更准确、个性化的回应,从而解决了传统LLMs在医学诊断场景中专业化不足的问题。

 


对比传统医学大模型

克服传统医学大模型在深度、互动性和个性化医疗建议提供方面的限制。

传统医学大模型:通常侧重于从大量医学文献、临床案例和指南中学习,以生成响应或提供诊断。

这些模型可能缺乏针对特定临床决策路径的明确结构化指导。

MEDDM:LLM-Executable CGT:结合了决策树的结构化表示和大型语言模型(LLM)的自然语言处理能力。

它通过具体的、预定义的临床指导路径(CGT)来引导诊断和治疗决策过程,使得LLM能够在医疗咨询中进行更加结构化和深入的推理。

 
传统医学大模型:更多地依赖单次输入输出的交互模式,缺乏深入的对话式询问过程,因而在提供个性化诊断和治疗建议方面可能不如CGT结构化方法有效。

MEDDM:LLM-Executable CGT:提供了一种更加互动的咨询体验,通过多轮对话收集症状信息,基于决策树逐步缩小诊断范围,并给出个性化建议。这种方法模拟了医生与患者之间的实际交互。

 

MEDDM:LLM-Executable CGT:通过结构化的决策树直接引入了临床实践中的决策逻辑,使得模型能够更精确地模拟医生的诊断思维过程,提供针对特定情况的深度分析和建议。

传统医学大模型:虽然能够访问广泛的医学知识,但在没有明确决策路径的指导下,其推理和建议的深度可能受限,难以达到CGT方法的个性化和精确度。

 
MEDDM:LLM-Executable CGT:其设计允许快速适应新的指南和治疗建议,通过更新CGT可以轻松集成最新的医学知识和临床实践。

传统医学大模型:虽然更新医学知识库可以提高模型的准确性和相关性,但在没有结构化决策支持的情况下,适应新的临床指南和实践可能需要更复杂的模型重新训练。

 


流程步骤

  1. 临床指导树:利用文本基的表示方法定义指导树,以改进医学实践中的决策树。
  2. 流程图识别:将流程图识别分为手写识别和机器生成识别两大类,专注于机器生成的流程图识别。
  3. 临床决策支持系统:为医生提供病人咨询时的指导和建议。
  • 解法1(临床指导树)

    • 特征1:基于医学专家规则和医学文献提取的Text2DT数据集构建,采用二叉树表示,节点信息以三元组形式表示。
  • 解法2(流程图识别)

    • 特征1:区分文本识别和图形识别两个任务,分别训练模型进行检测。
    • 特征2:提出基于变换器架构的多任务模型,实现文本和图形的同时识别,实现端到端的流程图识别。
  • 解法3(临床决策支持系统)

    • 特征1:基于临床指南开发的规则引擎,用于管理慢性病。
    • 特征2:利用分组的电子病历数据提供个性化治疗,展示在实际案例中的有效性。
    • 特征3:结合临床指南和电子病历数据,构建嵌套决策树,为患者提供分组和治疗建议。

假设一个场景,其中一个医生需要对患有慢性病的病人进行诊断和治疗建议:

  1. 临床指导树:医生首先利用临床指导树进行初步判断,该树基于专家规则和医学文献,为医生提供一个结构化的诊断流程。

  2. 流程图识别:通过机器生成的流程图识别,医生能够快速理解复杂的诊断流程和治疗指南,尤其是在处理电子PDF格式的医学文献时。

  3. 临床决策支持系统:结合患者的电子病历数据和临床指南,医生使用临床决策支持系统对病人进行个性化的治疗建议,利用规则引擎管理慢性病,并根据嵌套决策树进行更细致的分组和治疗建议。

在整个过程中,医生通过这些技术特征的相互作用,能够更系统、高效地进行诊断和制定治疗计划,这些技术特征之间形成了一个互补和增强的网络,而不是简单的顺序链条。

 


属于哪个部分 临床决策支持系统、流程图识别、临床指导树

临床指导树

在这里插入图片描述

以呼吸困难(气促)为主诉的差异诊断临床指导树。

说明了一个决策流程图,从根症状(气促)开始,分支到条件节点(如“你有发热吗?”或“你胸部感到疼痛吗?”),根据患者的回答指向动作节点,这些节点提出了可能的诊断。

流程图识别

如何收集和构建医学诊断决策制定数据集(MedDM),包括从医学书籍、治疗指南和其他医学文献中收集临床指导树的方法。

涉及三个步骤:收集医学文献并筛选出流程图、识别流程图中的基本形状、连接线和文字,并将它们重构为流程图,以及对流程图识别结果进行人工验证。

  • 特征1(医学文献收集和流程图选择)
    • 收集约5,000本发布的权威医学教科书、治疗指南和专家共识文档。
    • 使用PyMuPDF工具和PaddleOCR的布局分析算法自动捕获医学文献中的所有流程图,获取约100,000张图片,经过筛选,得到约2,200张流程图。
    • 通过一组选择标准,最终得到大约1,202张高质量流程图。

在这里插入图片描述
从医学书籍中筛选和识别流程图的整体框架。

它概述了收集书籍的过程,使用布局分析过滤掉非流程图内容,预检测过滤,手动筛选,以及流程图识别的步骤,如形状检测,轮廓检测,以及将文本与图形合并以重构流程图。

  • 特征2(流程图识别管道)
    • 形状检测:使用Faster R-CNN模型识别流程图中的基本形状,如处理、决策、开始/结束、扫描和箭头,并检测它们的位置、边界框和分类。
    • 连接线识别:使用OpenCV的轮廓检测和DBSCAN聚类算法识别每个连接线的起点和终点。
    • 文字识别:使用CnOCR模型识别基本形状中的文本信息。
    • 节点整合:将每个形状及其对应的文本合并为一个节点,并分析节点之间的连接,以重构完整的流程图。

 

特征1和特征2是关于流程图识别的部分。

从医学文献中收集流程图的过程以及如何将这些流程图转换为可以被LLM执行的临床指导树(CGT)。

  • 特征1 涉及的是数据收集阶段,这是构建LLM可执行的CGT之前的准备工作,包括从医学文献中提取相关的流程图信息。
  • 特征2 描述了流程图识别和处理阶段,这是数据处理的一部分,旨在从提取的图像中识别和构建用于LLM的结构化决策支持信息。

两者共同为构建LLM可用的临床决策支持系统提供了必要的数据和预处理步骤,但它们直接关联的是流程图的识别和数字化处理,而不是最终的临床决策支持系统或CGT本身。

临床决策支持系统会使用这些经过识别和处理的流程图数据来帮助决策。

 

  1. 医学文献收集:首先从各种医学领域收集约5,000本权威文献,包括急诊医学、内科、外科等,涵盖了胃癌、肺炎、糖尿病等多种疾病的治疗指南。

  2. 流程图自动捕获:通过PyMuPDF和PaddleOCR技术自动转换文献页面为图片,并从中提取出流程图。通过预训练的Faster R-CNN模型筛选出含有基本流程图形状的图片,最终得到约2,200张流程图。

  3. 流程图选择:一组五名研究生根据一组标准审查每张流程图,确保它们从疾病或症状开始,以诊断的疾病或治疗计划结束,过程详尽、清晰易懂,最终选出约1,202张高质量流程图。

  4. 流程图识别管道:利用Faster R-CNN模型进行形状检测,OpenCV和DBSCAN进行连接线识别,CnOCR进行文字识别,最后将检测到的形状、文字和连接线整合成节点和边,重构为完整的流程图。

这个链条清晰展示了从收集、筛选到重构流程图。

整个过程,每一步都为下一步提供了必要的基础,最终构建了一个可用于LLM执行的医学诊断决策制定数据集(MedDM)。

 

临床决策支持系统

如何通过LLM执行CGT进行临床决策推理的方法。我们将按照要求逐步拆解这一解决方案。

  • 问题:提高LLM在临床诊断决策中的参与度和准确性。
  • 解法:LLM-executable Clinical Guidance Tree (CGT)。

解法拆解

  • 特征1:使用自然语言表示节点内容,提高信息的清晰度和LLM的直接兼容性。
  • 特征2:采用增强的、半结构化的决策树表示方法,便于LLM理解和执行。
  • 特征3:CGT采用多树结构,包含根节点、条件节点和动作节点。
  • 特征4:存储框架将边关系直接集成到节点结构中,通过父子节点ID定义关系。
  • 特征5:开发了LLM-interactive If-Elif-Else Tree (IEET)结构,以更贴近人类的认知模式呈现节点内容及其关系。
  • 特征6:提出了基于LLM-executable CGT的推理引擎(CDM引擎),能够进行逐步推理并根据不同的推理结果采取不同的措施。

 

特征1特征5 关注于如何使LLM能更自然和直观地理解和处理临床信息。

特征2特征3特征4 强调CGT的结构性和存储方式,以优化LLM的执行和推理路径。

特征6 描述了利用这些结构的推理引擎,它利用LLM的分析能力和提供的病人信息进行决策。

这些特征共同构建了一个能够与LLM互动的临床决策支持系统,使其能够在临床诊断场景中提供更加精确和可行的推理和诊断。

 

假设有一个患者咨询关于呼吸困难(Dyspnea)的问题:

  1. 定义问题:首先通过CGT的根节点确定核心问题为“呼吸困难”。
  2. 逐步推理:接着,LLM使用条件节点(如“有发热症状吗?”)进行逐步推理。
  3. 动作节点决策:根据条件节点的判断,LLM最终到达一个动作节点,该节点可能表示确诊的疾病或需要进行的检查和治疗程序。
  4. IEET结构转换:在遇到“不确定”的回答时,CDM引擎会将CGT的相关部分转换为LLM-interactive IEET格式,让LLM生成可能的诊断。
  5. 生成进一步的问题:CDM引擎根据LLM的判断生成后续问题,与患者进行多轮对话,以获得更多的患者信息,并最终做出准确的决策。

从初始咨询到最终决策的整个流程,强调了LLM-executable CGT在提高LLM参与临床决策制定中的作用,以及如何通过结构化的决策支持和自然语言处理来实现更准确的医疗咨询和诊断。

 


总结

假设一位患者出现了胸痛和呼吸困难的症状,并且正在使用一个基于LLM-executable CGT的系统寻求帮助。

解决方案设计

  • CGT设计: 研究团队首先从医学文献中收集相关的流程图,使用图像处理技术提取症状和决策路径。
  • IEET结构: 将流程图转化为If-Elif-Else树形结构,这种结构能被LLM理解并用于模拟决策过程。

数据收集与处理

  • 流程图收集: 从医学文献中提取出与胸痛和呼吸困难相关的流程图。
  • 流程图识别: 使用Faster R-CNN模型识别图中的形状、连接线,并使用CnOCR模型识别形状中的文本。

系统实施

  • CDM引擎: 患者通过与LLM对话,描述他们的症状。LLM使用CGT进行推理,并根据决策树中的节点提出问题,如“你有发热吗?”。
  • 用户交互: 患者的回答将被用来在CGT中导航,以确定下一个条件节点或动作节点。

临床决策支持

  • 患者表示没有发热,但胸痛很严重。
  • LLM结合CGT,推断患者可能需要进一步的检查,如心电图或胸部X光片,并建议患者前往急诊室。

LLM-executable CGT被用来模拟一个详细的临床决策路径,CDM引擎根据患者的回答和决策树提供了相应的诊断和建议。

这篇关于【医学大模型】MEDDM LLM-Executable CGT 结构化医学知识: 将临床指导树结构化,便于LLM理解和应用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/729183

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

水位雨量在线监测系统概述及应用介绍

在当今社会,随着科技的飞速发展,各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中,水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术,其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成,形成了一个完整的闭环系统。 数据采集单元:这是系统的“眼睛”,

认识、理解、分类——acm之搜索

普通搜索方法有两种:1、广度优先搜索;2、深度优先搜索; 更多搜索方法: 3、双向广度优先搜索; 4、启发式搜索(包括A*算法等); 搜索通常会用到的知识点:状态压缩(位压缩,利用hash思想压缩)。

csu 1446 Problem J Modified LCS (扩展欧几里得算法的简单应用)

这是一道扩展欧几里得算法的简单应用题,这题是在湖南多校训练赛中队友ac的一道题,在比赛之后请教了队友,然后自己把它a掉 这也是自己独自做扩展欧几里得算法的题目 题意:把题意转变下就变成了:求d1*x - d2*y = f2 - f1的解,很明显用exgcd来解 下面介绍一下exgcd的一些知识点:求ax + by = c的解 一、首先求ax + by = gcd(a,b)的解 这个

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

hdu1394(线段树点更新的应用)

题意:求一个序列经过一定的操作得到的序列的最小逆序数 这题会用到逆序数的一个性质,在0到n-1这些数字组成的乱序排列,将第一个数字A移到最后一位,得到的逆序数为res-a+(n-a-1) 知道上面的知识点后,可以用暴力来解 代码如下: #include<iostream>#include<algorithm>#include<cstring>#include<stack>#in

zoj3820(树的直径的应用)

题意:在一颗树上找两个点,使得所有点到选择与其更近的一个点的距离的最大值最小。 思路:如果是选择一个点的话,那么点就是直径的中点。现在考虑两个点的情况,先求树的直径,再把直径最中间的边去掉,再求剩下的两个子树中直径的中点。 代码如下: #include <stdio.h>#include <string.h>#include <algorithm>#include <map>#

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了

【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

伴随着区块链技术的不断完善,其在教育信息化中的应用也在持续发展。利用区块链数据共识、不可篡改的特性, 将与教育相关的数据要素在区块链上进行存证确权,在确保数据可信的前提下,促进教育的公平、透明、开放,为教育教学质量提升赋能,实现教育数据的安全共享、高等教育体系的智慧治理。 可信教育区块链治理系统的顶层治理架构由教育部、高校、企业、学生等多方角色共同参与建设、维护,支撑教育资源共享、教学质量评估、