ResNet 皮肤癌分类tricks总结

2024-02-27 13:50

本文主要是介绍ResNet 皮肤癌分类tricks总结,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

project introduction

project使用的数据为皮肤癌的图片数据,分为了训练和测试集,两个数据集内图片没有重合,均为彩色图像,因为为良恶性皮肤癌的二分类任务,所以相对来讲比较简单。对于网络选择我个人不是很赞成使用算力很大的网络来提升参数指标,毕竟大算力可能会造成落地困难并且较大的算力并不亲民。

Approach

与分割任务不同,分类任务对应的label不会改变所以可以随心的添加许许多多的变换操作。对于皮肤癌的分类数据并没有做过多的预处理操作,仅仅使用的pytorch中自带的一些数据增强操作比如随机上下反转,随机左右翻转,随机旋转,说实话由于皮肤癌的图片大多都是居于中央的所以这些操作对于数据的增强效果并不显著。使用随机擦除以及随机仿射变换的操作就需要相应的提升训练的epoch才会达到较好的收敛效果。

在网络的选择上我选用的是ResNet,具体的搭建步骤参考的是B站一位大佬的视频代码搭建的,更改一下目录就可以用了。探讨了18层,34层,50层的网络的分类效果,因为数据量也没有很大所以50层已经可以做到较全面的提取图像特征。过深的网络反而可能会造成过拟合。

在这里插入图片描述

图1 ResNet的网络架构图

使用一些加速、以及提升算力的技巧来提升网络的性能,从而在有限的算力下获得更好的结果。

Tricks

使用了一系列的训练技巧的来提升网络性能,大部分都可以在pytorch的官网找到相应的调用代码

迁移学习

主要是将预训练好的模型权重加载进来

https://pytorch.org/hub/research-models

# 加载预训练预训练模型
model_weight_path = "./resnet34_pre.pth"
assert os.path.exists(model_weight_path), "file {} does not exist.".format(model_weight_path)
net.load_state_dict(torch.load(model_weight_path, map_location=device))

Auto Mix Precision

使用16位与32位存储混合精度训练,增加计算速度,但不会影响结果的准确度。

https://pytorch.org/docs/stable/amp.html

在这里插入图片描述

图2 在不同的网络中使用相同的训练超参数均没有出现准确率的下降

from torch.cuda.amp import autocast, GradScaler
scaler = GradScaler()                for step, data in enumerate(train_bar):images, labels = datawith autocast():logits = net(images.to(device))loss = loss_function(logits, labels.to(device))/ accumulation_steps            scaler.scale(loss).backward()if((step+1) % accumulation_steps)==0:scaler.step(optimizer)scaler.update()optimizer.zero_grad()

梯度累计

内存不够,梯度累及来凑,计算多个轮次再更新一次权重。这里的accumulation_step用来决定多少个iteration更新一次权重。

loss = loss_function(logits, labels.to(device))
loss = loss / accumulation_steps
#   梯度累计训练
if((step+1) % accumulation_steps)==0:optimizer.step()optimizer.zero_grad()

预处理

添加预处理操作做数据增强

https://pytorch.org/vision/stable/transforms.html

from torchvision import transforms
transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,))])

网络层数

调用一下18层、34层、还有50层,实在不行自己造一个10层,不过34层和18层我可以训练到0.9的准确率,auc可以达到0.97

动态学习率

https://pytorch.org/docs/stable/optim.html

optimizer = optim.Adam(params, lr=0.0001) #lr =0.0001
scheduler = optim.lr_scheduler.ExponentialLR(optimizer, gamma=0.98)
# 添加在epoch for循环的最后面lr_rate.append(optimizer.state_dict()['param_groups'][0]['lr'])scheduler.step()

Metrics

准确率(Accuracy): A c c = T P + T N T P + T N + F P + F N Acc = \frac{TP+TN}{TP+TN+FP+FN} Acc=TP+TN+FP+FNTP+TN

AUC_ROC

在这里插入图片描述

confusion matrix

在这里插入图片描述

使用的评价指标包括了准确率,AUC曲线,以及混淆矩阵

result

整体上分类的准确率可以达到0.9左右,使用梯度累计法可以有效的提高计算精度

使用AMP没有导致计算准确率的下降

在这里插入图片描述

Summary

总的来讲实现的过程比较简单,实现的结果也比较初级,感谢大佬提供参考的代码,大佬的B站id是霹雳吧啦Wz

小白上路还有很多不足请大家多多指教!

文中使用的图片来源于ResNet原论文以及NVIDIA官方的文档,侵权即删

这篇关于ResNet 皮肤癌分类tricks总结的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/752609

相关文章

Android数据库Room的实际使用过程总结

《Android数据库Room的实际使用过程总结》这篇文章主要给大家介绍了关于Android数据库Room的实际使用过程,详细介绍了如何创建实体类、数据访问对象(DAO)和数据库抽象类,需要的朋友可以... 目录前言一、Room的基本使用1.项目配置2.创建实体类(Entity)3.创建数据访问对象(DAO

Java向kettle8.0传递参数的方式总结

《Java向kettle8.0传递参数的方式总结》介绍了如何在Kettle中传递参数到转换和作业中,包括设置全局properties、使用TransMeta和JobMeta的parameterValu... 目录1.传递参数到转换中2.传递参数到作业中总结1.传递参数到转换中1.1. 通过设置Trans的

C# Task Cancellation使用总结

《C#TaskCancellation使用总结》本文主要介绍了在使用CancellationTokenSource取消任务时的行为,以及如何使用Task的ContinueWith方法来处理任务的延... 目录C# Task Cancellation总结1、调用cancellationTokenSource.

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务,目标是自动识别图像中的对象类别。通过卷积神经网络(CNN)等深度学习技术,我们可以构建高效的图像分类系统,广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统,包括环境

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

认识、理解、分类——acm之搜索

普通搜索方法有两种:1、广度优先搜索;2、深度优先搜索; 更多搜索方法: 3、双向广度优先搜索; 4、启发式搜索(包括A*算法等); 搜索通常会用到的知识点:状态压缩(位压缩,利用hash思想压缩)。

git使用的说明总结

Git使用说明 下载安装(下载地址) macOS: Git - Downloading macOS Windows: Git - Downloading Windows Linux/Unix: Git (git-scm.com) 创建新仓库 本地创建新仓库:创建新文件夹,进入文件夹目录,执行指令 git init ,用以创建新的git 克隆仓库 执行指令用以创建一个本地仓库的

二分最大匹配总结

HDU 2444  黑白染色 ,二分图判定 const int maxn = 208 ;vector<int> g[maxn] ;int n ;bool vis[maxn] ;int match[maxn] ;;int color[maxn] ;int setcolor(int u , int c){color[u] = c ;for(vector<int>::iter

整数Hash散列总结

方法:    step1  :线性探测  step2 散列   当 h(k)位置已经存储有元素的时候,依次探查(h(k)+i) mod S, i=1,2,3…,直到找到空的存储单元为止。其中,S为 数组长度。 HDU 1496   a*x1^2+b*x2^2+c*x3^2+d*x4^2=0 。 x在 [-100,100] 解的个数  const int MaxN = 3000