本文主要是介绍大模型-智能儿科助手，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
论文摘要
论文标题为“PediatricsGPT: Large Language Models as Chinese Medical Assistants for Pediatric Applications”，提出了一种用于儿科应用的中文大模型助手。为了解决现有大模型在儿科应用中表现欠佳的问题，作者构建了一个高质量的数据集 PedCorpus，并提出了一个系统的训练流程来构建 PediatricsGPT。这包括持续预训练、全参数监督微调、人类偏好优化和参数高效的二次微调。通过实验证明，PediatricsGPT 在多项儿科任务上优于之前的中文医疗大模型。
主要方法
-
PedCorpus 数据集构建：
- 包含来自儿科教科书、指南和知识图谱的 30 万多条指令数据。
- 数据涵盖单轮和多轮医疗对话，以确保医疗知识的准确性。
-
训练流程：
- 持续预训练（CPT）：引入混合指令预训练机制，解决大模型在医疗领域适应中的知识不一致性问题。
- 全参数监督微调（FSFT）：通过全面参数监督微调将通用医疗知识架构融入模型中。
- 人类偏好优化（DFPO）：优化生成类似儿科医生的人性化响应。
- 参数高效的二次微调（PSFT）：采用通用-特定专家策略解决医学通识和儿科专业知识之间的能力冲突。
主要贡献
- 构建了高质量的 PedCorpus 数据集，满足多种诊断需求。
- 提出了 PediatricsGPT，首个专门针对儿科的中文大模型助手。
- 通过系统的训练流程，包括持续预训练、全参数监督微调、人类偏好优化和二次微调，提升了模型的医疗知识和对话生成能力。
- 实验结果表明 PediatricsGPT 在多个儿科任务上均优于现有的中文医疗大模型。
创新点
- 混合指令预训练机制：在持续预训练阶段引入，解决大模型内部注入知识和医疗领域适应中的不一致性问题。
- 直接跟随偏好优化：在人类偏好对齐中增强响应的鲁棒性和对人类偏好的对齐。
- 通用-特定专家策略：通过 LoRA 实现，用于解决医学通识和儿科专业知识之间的能力冲突。
方法的长处和弱点
长处：
- 高质量数据集：PedCorpus 数据集覆盖广泛，包含了多维度的儿科知识。
- 系统的训练流程：从预训练到微调，整个流程设计严谨，确保了模型的高性能。
- 实验验证充分：通过多项实验证明模型的有效性和优越性。
弱点：
- 依赖大规模计算资源：训练流程复杂，需要大量计算资源和时间。
- 领域适应性有限：虽然在儿科领域表现出色，但在其他医疗领域的适应性仍需进一步验证。
总结
论文通过构建高质量的儿科数据集 PedCorpus 和设计系统的训练流程，提出了 PediatricsGPT，大大提升了模型在儿科医疗任务中的表现。该研究为发展智能儿科咨询系统提供了新的思路和方法，有望在医疗服务中发挥重要作用。
论文下载地址
链接：https://pan.quark.cn/s/1158e4f444ce
这篇关于大模型-智能儿科助手的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
