脑PET图像分析和疾病预测挑战赛---CNN进阶版

2023-10-15 03:50

本文主要是介绍脑PET图像分析和疾病预测挑战赛---CNN进阶版,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前情提要:通过使用CNN成功将F1-score刷到0.74214,详情见:

脑PET图像分析和疾病预测挑战赛---CNN_Vector Jason的博客-CSDN博客本次使用卷积神经网络(CNN)进行医学图像预测,其能够自动学习和提取图像中的特征,相比于基于sklearn的逻辑回归统计算法,最终F1-score提高了0.4https://blog.csdn.net/Vectorln/article/details/132383243

目录

数据预处理

数据增强

迁移学习

优化器

保存最佳的参数

集成学习

保存参数

循环载入并预测 

结果

总结

疑问


        本次重点对CNN代码进行优化,分别从数据预处理、数据增强、迁移学习、优化器与集成学习五个方向进行扩展。

数据预处理

        经过查阅相关资料,部分网友提出nii数据具有header属性,再进一步查找,发现有个名为‘db_name’的字符,可能用来表示患者ID、检测设备ID等等,此处不妨假设表示患者ID,这样将会大大提高结果的预测精度---相同患者的诊断结果一定相同。

        在数据预处理阶段初期,根据经验我先确定测试集中每个样本的db_name(以下称为患者ID),然后在训练集当中进行遍历,看看有没有可能寻找到相同的患者ID,然而最终发现具有戏剧性的一幕是:测试集的部分样本出现在训练集当中!

        接下来问题就变得简单起来了,因为训练集的label是真实的,那么我们只需要保证:

               在测试集的预测结果中,已经在训练集出现过的样本,其label依然一致即可

        具体流程如下:

1.在测试集中统计所有nii文件的db_name

2.在训练集中寻找与测试集相同db_name的nii文件

3.将训练集中的labe赋值给相同db_name的测试集文件

4.整理到CSV文件中

定义的函数:

def invert_dict_with_duplicates(original_dict):inverted_dict = {}for key, value in original_dict.items():if value in inverted_dict:inverted_dict[value].append(key)# key value互换elseelse:inverted_dict[value] = [key]return inverted_dict

 正式处理:

import nibabel as nb
import pandas as pd
import glob # 获取文件路径
import os
import numpy as np
import nibabel as nib train_path = glob.glob('./BrainPET/Train/*/*')
test_path = glob.glob('./BrainPET/Test/*')test_dict = {}
for path in test_path:img = nb.load(path)header = img.headername = path.split(os .sep)[-1][:-4]test_dict[name] = header['db_name'].item().decode('utf-8')#翻转字典
invers_dict = invert_dict_with_duplicates(test_dict)
res = []   #debug用
labels = []
test_names = [] 
for path in train_path:img = nb.load(path)header = img.headerdb_name = header['db_name'].item().decode('utf-8')if db_name in invers_dict:if len(invers_dict[db_name]) == 1:test_name = invers_dict[db_name][0]else:test_name = invers_dict[db_name]label = path.split(os.sep)[-2]train_name = path.split(os.sep)[-1][:-4]res.append([train_name, label, test_name])labels.append(label)test_names.append(int(test_name))
submit = pd.DataFrame({    'uuid': test_names,'label': labels})
submit = submit.sort_values(by='uuid')
submit.to_csv('submit2.csv', index=None)
print('done')

数据增强

        对train_loader, val_loader和 test_loader的batch_size修改为4,在val_loader和 test_loader中增加了 RandomContrast(p=0.5),经过测试,发现 RandomBrightnessContrast(p=0.5) 的处理会很大程度影响预测结果,因此未在验证集与测试集中进行运用。

import albumentations as A
train_loader = torch.utils.data.DataLoader(XunFeiDataset(train_path[:-10],A.Compose([A.RandomRotate90(),A.RandomCrop(120, 120),A.HorizontalFlip(p=0.5),A.RandomContrast(p=0.5),A.RandomBrightnessContrast(p=0.5),])), batch_size=4, shuffle=True, num_workers=1, pin_memory=False
)val_loader = torch.utils.data.DataLoader(XunFeiDataset(train_path[-10:],A.Compose([#A.RandomCrop(120, 120),#A.HorizontalFlip(p=0.5)A.RandomCrop(120, 120),A.HorizontalFlip(p=0.5),A.RandomContrast(p=0.5),])), batch_size=4, shuffle=False, num_workers=1, pin_memory=False
)test_loader = torch.utils.data.DataLoader(XunFeiDataset(test_path,A.Compose([A.RandomCrop(128, 128),A.HorizontalFlip(p=0.5),A.RandomContrast(p=0.5),])), batch_size=4, shuffle=False, num_workers=1, pin_memory=False
)

        在通道选择方面,经过分析数据集,发现一些医学影像的图片切片数不均匀,此处统一选择设置为32(炼丹经验来源于对batch_size的认识) 。

idx = np.random.choice(range(img.shape[-1]), 32) # 将图片的切片数统一修改为32

迁移学习

        可以直接设置 model = resnet50 进行训练,其中True or False 取决于当前任务下的数据集与Imagenet的数据集是否相似,例如本次数据集是医学影像数据集,严格意义上来说与Imagenet数据集差距很大,因此选择 False ,表示不使用预训练所得到的参数。

        但通过实际测试,发现resnet18的网络规模已经足够,反而如果使用resnet50 训练所得到的效果并不如resnet18 ,究其原因认为是数据集太小,导致越靠近最终全连接分类层的网络几乎没有学习到一些有用的参数。

# 采用迁移学习,使用resnet50的架构进行训练class XunFeiNet(nn.Module):def __init__(self):super(XunFeiNet, self).__init__()model = models.resnet50(False)model.conv1 = torch.nn.Conv2d(32, 64, kernel_size=(7, 7), stride=(2, 2), padding=(3, 3), bias=False)model.avgpool = nn.AdaptiveAvgPool2d(1)model.fc = nn.Linear(512, 2)self.resnet = modeldef forward(self, img):out = self.resnet(img)return out

优化器

        结合所学的深度学习相关知识,SGD所取得的最优效果往往要比Adam好(详见李宏毅老师的机器学习在线课程),所以此处优化器选择SGD。此外,可能存在初期学习率较低,从而最终收敛域一个局部最优,因此导入 lr_scheduler 对学习率进行调节,具体而言表示每隔5个epoch,learning rate 就变为原来的0.1,因此初始学习率设置为0.1,并初始化一个较大的训练次数即可。

# 导入训练所需要的包
from torchvision import models
import torch.optim as optim
from torch.optim import lr_scheduleroptimizer = torch.optim.SGD(model.parameters(), 0.1)
lr_scheduler = lr_scheduler.StepLR(optimizer, step_size=5, gamma=0.1) # 采用阶梯变化的学习率

保存最佳的参数

        在上一次的CNN---Baseline中,发现最终测试所用的参数源于训练过程中最后一次的参数,显然这种做法是存在问题的,因此对此部分进行修改:

#if val_acc > best_test_accuracy:
#    # 删除旧的最佳模型文件(如有)
#    old_best_checkpoint_path = 'checkpoints/best{:.3f}.pth'.format(best_test_accuracy)
#    if os.path.exists(old_best_checkpoint_path):
#        os.remove(old_best_checkpoint_path)# 保存新的最佳模型文件
#    new_best_checkpoint_path = 'checkpoints/best-{:.3f}.pth'.format(val_acc)
#    torch.save(model, new_best_checkpoint_path)
#    print('保存新的最佳模型', 'checkpoints/best-{:.3f}.pth'.format(best_test_accuracy))
#    best_test_accuracy = val_acc#model = torch.load('checkpoints/best-{:.3f}.pth'.format(best_test_accuracy))#pred = None
#for _ in range(3):
#    if pred is None:
#        pred = predict(test_loader, model, criterion)
#    else:
#        pred += predict(test_loader, model, criterion)

集成学习

        在对测试集进行预测的过程中,我们可以采取一种集成学习的做法:

1. 使用不同模型进行多次预测,并取出现次数最多的结果作为最终结果

2. 使用相同模型,但加载不同参数进行多次预测,并取出现次数最多的结果作为最终结果

        经过考虑,此处我首先选择了第二种做法(第一种做法还在尝试实现):

        首先保存训练过程中 val_acc > 0.5 的参数文件,然后在预测过程中循环载入这些文件进行预测,最后选择出现次数最多的标签作为最终结果即可。

保存参数

        此处与“保存最佳的参数”步骤发生冲突,只能在训练过程中选择其一进行训练。

 if val_acc > 0.5:new_best_checkpoint_path = 'checkpoints/best-{:.3f}.pth'.format(val_acc)torch.save(model, new_best_checkpoint_path)

循环载入并预测 

pred = Nonefor model_path in ['/content/checkpoints/best-0.600.pth', '/content/checkpoints/best-0.700.pth','/content/checkpoints/best-0.800.pth','/content/checkpoints/best-0.900.pth','/content/checkpoints/best-1.00.pth']:model = torch.load(model_path)for _ in range(5):if pred is None:pred = predict(test_loader, model, criterion)else:pred += predict(test_loader, model, criterion)submit = pd.DataFrame({'uuid': [int(x.split('/')[-1][:-4]) for x in test_path],'label': pred.argmax(1)
})

结果

        综合目前所有技巧,可得到的F1-score为:

 

总结

        本次基于CNN---Baseline在数据增强、迁移学习、优化器、集成学习四个方向进行了优化,相比之下提高了约0.04,但仍未解决主要问题。

        个人认为问题的关键仍然在于对数据集的预处理有失偏颇,因为通过提取各个医学影像图片,可以发现所拍摄的人脑大小不一,这就需要我们重新定义一个函数先对每张图片进行统一(该部分仍在尝试),这样在crop之后得到的每张图片才具有训练价值。

疑问

        竞赛过程中依然存在一些疑问,比如在最初的数据预处理部分,按道理来说医学影像图片为灰白图片,其通道数必定为1,但是为什么能够随机选择通道数(比如将其设置为50)呢?

这篇关于脑PET图像分析和疾病预测挑战赛---CNN进阶版的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/215151

相关文章

Spring事务中@Transactional注解不生效的原因分析与解决

《Spring事务中@Transactional注解不生效的原因分析与解决》在Spring框架中,@Transactional注解是管理数据库事务的核心方式,本文将深入分析事务自调用的底层原理,解释为... 目录1. 引言2. 事务自调用问题重现2.1 示例代码2.2 问题现象3. 为什么事务自调用会失效3

找不到Anaconda prompt终端的原因分析及解决方案

《找不到Anacondaprompt终端的原因分析及解决方案》因为anaconda还没有初始化,在安装anaconda的过程中,有一行是否要添加anaconda到菜单目录中,由于没有勾选,导致没有菜... 目录问题原因问http://www.chinasem.cn题解决安装了 Anaconda 却找不到 An

Spring定时任务只执行一次的原因分析与解决方案

《Spring定时任务只执行一次的原因分析与解决方案》在使用Spring的@Scheduled定时任务时,你是否遇到过任务只执行一次,后续不再触发的情况?这种情况可能由多种原因导致,如未启用调度、线程... 目录1. 问题背景2. Spring定时任务的基本用法3. 为什么定时任务只执行一次?3.1 未启用

C++ 各种map特点对比分析

《C++各种map特点对比分析》文章比较了C++中不同类型的map(如std::map,std::unordered_map,std::multimap,std::unordered_multima... 目录特点比较C++ 示例代码 ​​​​​​代码解释特点比较1. std::map底层实现:基于红黑

Spring、Spring Boot、Spring Cloud 的区别与联系分析

《Spring、SpringBoot、SpringCloud的区别与联系分析》Spring、SpringBoot和SpringCloud是Java开发中常用的框架,分别针对企业级应用开发、快速开... 目录1. Spring 框架2. Spring Boot3. Spring Cloud总结1. Sprin

Spring 中 BeanFactoryPostProcessor 的作用和示例源码分析

《Spring中BeanFactoryPostProcessor的作用和示例源码分析》Spring的BeanFactoryPostProcessor是容器初始化的扩展接口,允许在Bean实例化前... 目录一、概览1. 核心定位2. 核心功能详解3. 关键特性二、Spring 内置的 BeanFactory

Java进阶学习之如何开启远程调式

《Java进阶学习之如何开启远程调式》Java开发中的远程调试是一项至关重要的技能,特别是在处理生产环境的问题或者协作开发时,:本文主要介绍Java进阶学习之如何开启远程调式的相关资料,需要的朋友... 目录概述Java远程调试的开启与底层原理开启Java远程调试底层原理JVM参数总结&nbsMbKKXJx

MyBatis-Plus中Service接口的lambdaUpdate用法及实例分析

《MyBatis-Plus中Service接口的lambdaUpdate用法及实例分析》本文将详细讲解MyBatis-Plus中的lambdaUpdate用法,并提供丰富的案例来帮助读者更好地理解和应... 目录深入探索MyBATis-Plus中Service接口的lambdaUpdate用法及示例案例背景

MyBatis-Plus中静态工具Db的多种用法及实例分析

《MyBatis-Plus中静态工具Db的多种用法及实例分析》本文将详细讲解MyBatis-Plus中静态工具Db的各种用法,并结合具体案例进行演示和说明,具有很好的参考价值,希望对大家有所帮助,如有... 目录MyBATis-Plus中静态工具Db的多种用法及实例案例背景使用静态工具Db进行数据库操作插入

使用Python开发一个图像标注与OCR识别工具

《使用Python开发一个图像标注与OCR识别工具》:本文主要介绍一个使用Python开发的工具,允许用户在图像上进行矩形标注,使用OCR对标注区域进行文本识别,并将结果保存为Excel文件,感兴... 目录项目简介1. 图像加载与显示2. 矩形标注3. OCR识别4. 标注的保存与加载5. 裁剪与重置图像