一文实现nnUNet v2 分割肾脏肿瘤数据集KiTS19

2023-10-27 18:59

本文主要是介绍一文实现nnUNet v2 分割肾脏肿瘤数据集KiTS19,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

首先,需要安装nnUNet v2,注意2023年nnUnet更新了V2版本,做了许多改动。

1、数据集准备

下载百度飞桨的公共数据集 – Kits19肾脏肿瘤分割 - 飞桨AI Studio (baidu.com)

2、数据集结构化处理

在下载好数据以后,对数据进行处理。首先,先新建几个文件夹。

在nnUNet文件夹下,新建dataset。

然后在dataset中,新建四个文件夹如下图所示,其中后三个用来存储nnunet数据和结果。dataset_conversion用来存储过程代码。 

在nnUNet_raw文件中,新建文件夹Dataset040_KiTS。注意此处必须为Dataset,因为nnunetV1版本是task,v2改为了Dataset。然后在其中存放结构化处理后的数据。

然后在dataset_conversion文件中,新建一个py文件,用来生成对KiTS数据集做出描述的json文件dataset。(此处我还将其命名为Dataset040_KiTS)

 代码内容如下:(此处参考博客nnUnet肾脏肿瘤分割实战(KiTS19)_宁远x的博客-CSDN博客,并做了一些改动)

import os
import json
import shutildef save_json(obj, file, indent=4, sort_keys=True):with open(file, 'w') as f:json.dump(obj, f, sort_keys=sort_keys, indent=indent)def maybe_mkdir_p(directory):directory = os.path.abspath(directory)splits = directory.split("/")[1:]for i in range(0, len(splits)):if not os.path.isdir(os.path.join("/", *splits[:i + 1])):try:os.mkdir(os.path.join("/", *splits[:i + 1]))except FileExistsError:# this can sometimes happen when two jobs try to create the same directory at the same time,# especially on network drives.print("WARNING: Folder %s already existed and does not need to be created" % directory)def subdirs(folder, join=True, prefix=None, suffix=None, sort=True):if join:l = os.path.joinelse:l = lambda x, y: yres = [l(folder, i) for i in os.listdir(folder) if os.path.isdir(os.path.join(folder, i))and (prefix is None or i.startswith(prefix))and (suffix is None or i.endswith(suffix))]if sort:res.sort()return resbase = "/root/data/wt/data/KiTS19/origin"  # 原始数据集路径
out = "/root/data/wt/nnUNet/dataset/nnUNet_raw/Dataset040_KiTS"  # 结构化数据集目录
cases = subdirs(base, join=False)maybe_mkdir_p(out)
maybe_mkdir_p(os.path.join(out, "imagesTr"))
maybe_mkdir_p(os.path.join(out, "imagesTs"))
maybe_mkdir_p(os.path.join(out, "labelsTr"))for c in cases:case_id = int(c.split("_")[-1])if case_id < 210:shutil.copy(os.path.join(base, c, "imaging.nii.gz"), os.path.join(out, "imagesTr", c + "_0000.nii.gz"))shutil.copy(os.path.join(base, c, "segmentation.nii.gz"), os.path.join(out, "labelsTr", c + ".nii.gz"))else:shutil.copy(os.path.join(base, c, "imaging.nii.gz"), os.path.join(out, "imagesTs", c + "_0000.nii.gz"))json_dict = {}
"""
name: 数据集名字
dexcription: 对数据集的描述
modality: 模态,0表示CT数据,1表示MR数据。nnU-Net会根据不同模态进行不同的预处理(nnunet-v2版本改为channel_names)
labels: label中,不同的数值代表的类别(v1版本和v2版本的键值对刚好是反过来的)
file_ending: nnunet v2新加的
numTraining: 训练集数量
numTest: 测试集数量
training: 训练集的image 和 label 地址对
test: 只包含测试集的image. 这里跟Training不一样
"""
json_dict['name'] = "KiTS"  
json_dict['description'] = "kidney and kidney tumor segmentation"
json_dict['tensorImageSize'] = "4D"
json_dict['reference'] = "KiTS data for nnunet"
json_dict['licence'] = ""
json_dict['release'] = "0.0"json_dict['channel_names'] = {"0": "CT",
}
json_dict['labels'] = {"background": "0","Kidney": "1","Tumor": "2"
}
json_dict['numTraining'] = len(cases)  # 应该是210例
json_dict['file_ending'] = ".nii.gz"
json_dict['numTest'] = 0
json_dict['training'] = [{'image': "./imagesTr/%s.nii.gz" % i, "label": "./labelsTr/%s.nii.gz" % i} for i in cases]
#json_dict['test'] = []
save_json(json_dict, os.path.join(out, "dataset.json"))

 结构化处理的结果是在nnUNet_raw/Dataset040_KiTS文件下,生成四个文件。

 分别是,训练数据(应该是210条),测试数据(90),训练标签(210),数据说明。

3、设置数据路径

命令行,确保在nnunet激活环境下,输入vim ~/.bashrc,然后点击键盘insert开始插入,在bashrc文末,添加如下三行代码。然后按Esc键,输入:wq,就可以保存退出。

vim ~/.bashrc
'''
说明,这里是路径是你自己的路径,就是上一步创建的三个文件夹的路径(这部分说明不需要写进去,只需要以下三行代码)
'''
export nnUNet_raw="/root/data/wt/nnUNet/dataset/nnUNet_raw"
export nnUNet_preprocessed="/root/data/wt/nnUNet/dataset/nnUNet_preprocessed"
export nnUNet_results="/root/data/wt/nnUNet/dataset/nnUNet_trained_models" 

 然后命令行输入source ~/.bashrc,确保激活路径。

source ~/.bashrc

重点:然后分别键入三个echo $nnUNet_results,验证是否可以识别。不能识别,后续无法进行数据预处理。

 最好三个都验证一下,避免后续出现问题。

4、数据集预处理

输入下面这行命令:

nnUNetv2_plan_and_preprocess -d 040 --verify_dataset_integrity

新旧版本不同,有的此处为t,有的为d,新版本应该用d,用t会发现显示没有此命令。

040表示KiTS分割任务在nnunet中,为第40个任务,代号040。

注意:可能会出现如下错误,不识别背景标签0。原因是v1和v2版本不同,dataset.json文件做出了改动。具体解决办法,见我的另一篇博客RuntimeError: Background label not declared (remeber that this should be label 0!)_路人八荒的博客-CSDN博客

除了上述错误,可能由于V1和V2的区别,有很多错误,具体区别见我的博客:

nnUNet v2和v1版本在dataset.json的区别(KiTS19数据集)_路人八荒的博客-CSDN博客

预处理结果会在nnUNet_preprocessed文件夹下生成一个Dataset040_KiTS文件夹,里边会包含如下几个文件:

预处理结果分析:

       gt_segmentations为标签

       dataset.json就是上一步数据结构化处理生成的

        

5、参考博客

1、nnU-Net v2的环境配置到训练自己的数据集(详细步骤)_小萝北hh的博客-CSDN博客

2、nn-UNet使用记录--开箱即用_kits数据集_宁远x的博客-CSDN博客

这篇关于一文实现nnUNet v2 分割肾脏肿瘤数据集KiTS19的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/287695

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现,因为rasa本身是带有remindschedule模块的。不过经过一番折腾后,忽然发现,chatbot上实现的定时,语音助手不一定会有响应。因为,我目前语音助手的代码设置了长时间无应答会结束对话,这样一来,chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢? 我最后选择的方法是用threading.Time