paddle2.0高层API实现ResNet50(十二生肖分类实战)

2023-11-23 03:00

本文主要是介绍paddle2.0高层API实现ResNet50(十二生肖分类实战),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • paddle2.0高层API实现ResNet50(十二生肖分类实战)
  • ① 问题定义
  • ② 数据准备
    • 2.1 解压缩数据集
    • 2.2 数据标注
    • 2.3 数据集定义
      • 2.3.1 导入相关库
      • 2.3.2 导入数据集的定义实现
      • 2.3.3 实例化数据集类
  • ③ 模型选择和开发
    • 3.1 网络构建
    • 超参数配置
  • ④ 模型训练和优化
    • VisualDL训练过程可视化展示
      • 模型存储
  • ⑤ 模型评估和测试
    • 5.1 批量预测测试
      • 5.1.1 测试数据集
      • 5.1.2 执行预测
  • ⑥ 模型部署
    • MobileNet_V2测试

paddle2.0高层API实现ResNet50(十二生肖分类实战)

『深度学习7日打卡营·快速入门特辑』

零基础解锁深度学习神器飞桨框架高层API,七天时间助你掌握CV、NLP领域最火模型及应用。

  1. 课程地址
    传送门:https://aistudio.baidu.com/aistudio/course/introduce/6771

  2. 目标

  • 掌握深度学习常用模型基础知识
  • 熟练掌握一种国产开源深度学习框架
  • 具备独立完成相关深度学习任务的能力
  • 能用所学为AI加一份年味

① 问题定义

十二生肖分类的本质是图像分类任务,我们采用CNN网络结构进行相关实践。

② 数据准备

2.1 解压缩数据集

我们将网上获取的数据集以压缩包的方式上传到aistudio数据集中,并加载到我们的项目内。

在使用之前我们进行数据集压缩包的一个解压。

!unzip -q -o data/data68755/signs.zip

2.2 数据标注

我们先看一下解压缩后的数据集长成什么样子。

.
├── test
│   ├── dog
│   ├── dragon
│   ├── goat
│   ├── horse
│   ├── monkey
│   ├── ox
│   ├── pig
│   ├── rabbit
│   ├── ratt
│   ├── rooster
│   ├── snake
│   └── tiger
├── train
│   ├── dog
│   ├── dragon
│   ├── goat
│   ├── horse
│   ├── monkey
│   ├── ox
│   ├── pig
│   ├── rabbit
│   ├── ratt
│   ├── rooster
│   ├── snake
│   └── tiger
└── valid├── dog├── dragon├── goat├── horse├── monkey├── ox├── pig├── rabbit├── ratt├── rooster├── snake└── tiger

数据集分为train、valid、test三个文件夹,每个文件夹内包含12个分类文件夹,每个分类文件夹内是具体的样本图片。

我们对这些样本进行一个标注处理,最终生成train.txt/valid.txt/test.txt三个数据标注文件。

# %cd work
!ls
1512224.ipynb  config.py  data	dataset.py  __MACOSX  __pycache__  signs  work
import io
import os
from PIL import Image
from config import get# 数据集根目录
DATA_ROOT = 'signs'# 标签List
LABEL_MAP = get('LABEL_MAP')# 标注生成函数
def generate_annotation(mode):# 建立标注文件with open('{}/{}.txt'.format(DATA_ROOT, mode), 'w') as f:# 对应每个用途的数据文件夹,train/valid/testtrain_dir = '{}/{}'.format(DATA_ROOT, mode)# 遍历文件夹,获取里面的分类文件夹for path in os.listdir(train_dir):# 标签对应的数字索引,实际标注的时候直接使用数字索引label_index = LABEL_MAP.index(path)# 图像样本所在的路径image_path = '{}/{}'.format(train_dir, path)# 遍历所有图像for image in os.listdir(image_path):# 图像完整路径和名称image_file = '{}/{}'.format(image_path, image)try:# 验证图片格式是否okwith open(image_file, 'rb') as f_img:image = Image.open(io.BytesIO(f_img.read()))image.load()if image.mode == 'RGB':f.write('{}\t{}\n'.format(image_file, label_index))except:continuegenerate_annotation('train')  # 生成训练集标注文件
generate_annotation('valid')  # 生成验证集标注文件
generate_annotation('test')   # 生成测试集标注文件

2.3 数据集定义

接下来我们使用标注好的文件进行数据集类的定义,方便后续模型训练使用。

2.3.1 导入相关库

import paddle
import numpy as np
from config import getpaddle.__version__
'2.0.0'

2.3.2 导入数据集的定义实现

我们数据集的代码实现是在dataset.py中。

数据增强data_augumentation为:

            self.transforms = T.Compose([T.RandomResizedCrop(IMAGE_SIZE),    # 随机裁剪大小T.RandomHorizontalFlip(0.5),        # 随机水平翻转T.ToTensor(),                       # 数据的格式转换和标准化 HWC => CHW  T.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])  # 图像归一化])
from dataset import ZodiacDataset

2.3.3 实例化数据集类

根据所使用的数据集需求实例化数据集类,并查看总样本量。

train_dataset = ZodiacDataset(mode='train')
valid_dataset = ZodiacDataset(mode='valid')print('训练数据集:{}张;验证数据集:{}张'.format(len(train_dataset), len(valid_dataset)))
训练数据集:7096张;验证数据集:639张

③ 模型选择和开发

3.1 网络构建

本次我们使用ResNet50网络来完成我们的案例实践。

1)ResNet系列网络

2)ResNet50结构

3)残差区块

4)ResNet其他版本

# 请补齐模型实例化代码network = paddle.vision.models.resnet50(num_classes=get('num_classes'), pretrained=True)
100%|██████████| 151272/151272 [00:03<00:00, 41104.37it/s]
/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/paddle/fluid/dygraph/layers.py:1263: UserWarning: Skip loading for fc.weight. fc.weight receives a shape [2048, 1000], but the expected shape is [2048, 12].warnings.warn(("Skip loading for {}. ".format(key) + str(err)))
/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/paddle/fluid/dygraph/layers.py:1263: UserWarning: Skip loading for fc.bias. fc.bias receives a shape [1000], but the expected shape is [12].warnings.warn(("Skip loading for {}. ".format(key) + str(err)))

模型可视化

model = paddle.Model(network)
model.summary((-1, ) + tuple(get('image_shape')))
-------------------------------------------------------------------------------Layer (type)         Input Shape          Output Shape         Param #    
===============================================================================Conv2D-1        [[1, 3, 224, 224]]   [1, 64, 112, 112]        9,408     BatchNorm2D-1    [[1, 64, 112, 112]]   [1, 64, 112, 112]         256      ReLU-1        [[1, 64, 112, 112]]   [1, 64, 112, 112]          0       MaxPool2D-1     [[1, 64, 112, 112]]    [1, 64, 56, 56]           0       Conv2D-3        [[1, 64, 56, 56]]     [1, 64, 56, 56]         4,096     BatchNorm2D-3     [[1, 64, 56, 56]]     [1, 64, 56, 56]          256      ReLU-2         [[1, 256, 56, 56]]    [1, 256, 56, 56]          0       Conv2D-4        [[1, 64, 56, 56]]     [1, 64, 56, 56]        36,864     BatchNorm2D-4     [[1, 64, 56, 56]]     [1, 64, 56, 56]          256      Conv2D-5        [[1, 64, 56, 56]]     [1, 256, 56, 56]       16,384     BatchNorm2D-5     [[1, 256, 56, 56]]    [1, 256, 56, 56]        1,024     Conv2D-2        [[1, 64, 56, 56]]     [1, 256, 56, 56]       16,384     BatchNorm2D-2     [[1, 256, 56, 56]]    [1, 256, 56, 56]        1,024     BottleneckBlock-1   [[1, 64, 56, 56]]     [1, 256, 56, 56]          0       Conv2D-6        [[1, 256, 56, 56]]    [1, 64, 56, 56]        16,384     BatchNorm2D-6     [[1, 64, 56, 56]]     [1, 64, 56, 56]          256      ReLU-3         [[1, 256, 56, 56]]    [1, 256, 56, 56]          0       Conv2D-7        [[1, 64, 56, 56]]     [1, 64, 56, 56]        36,864     BatchNorm2D-7     [[1, 64, 56, 56]]     [1, 64, 56, 56]          256      Conv2D-8        [[1, 64, 56, 56]]     [1, 256, 56, 56]       16,384     BatchNorm2D-8     [[1, 256, 56, 56]]    [1, 256, 56, 56]        1,024     BottleneckBlock-2   [[1, 256, 56, 56]]    [1, 256, 56, 56]          0       Conv2D-9        [[1, 256, 56, 56]]    [1, 64, 56, 56]        16,384     BatchNorm2D-9     [[1, 64, 56, 56]]     [1, 64, 56, 56]          256      ReLU-4         [[1, 256, 56, 56]]    [1, 256, 56, 56]          0       Conv2D-10       [[1, 64, 56, 56]]     [1, 64, 56, 56]        36,864     BatchNorm2D-10     [[1, 64, 56, 56]]     [1, 64, 56, 56]          256      Conv2D-11       [[1, 64, 56, 56]]     [1, 256, 56, 56]       16,384   

这篇关于paddle2.0高层API实现ResNet50(十二生肖分类实战)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/414875

相关文章

SpringBoot3实现Gzip压缩优化的技术指南

《SpringBoot3实现Gzip压缩优化的技术指南》随着Web应用的用户量和数据量增加,网络带宽和页面加载速度逐渐成为瓶颈,为了减少数据传输量,提高用户体验,我们可以使用Gzip压缩HTTP响应,... 目录1、简述2、配置2.1 添加依赖2.2 配置 Gzip 压缩3、服务端应用4、前端应用4.1 N

SpringBoot实现数据库读写分离的3种方法小结

《SpringBoot实现数据库读写分离的3种方法小结》为了提高系统的读写性能和可用性,读写分离是一种经典的数据库架构模式,在SpringBoot应用中,有多种方式可以实现数据库读写分离,本文将介绍三... 目录一、数据库读写分离概述二、方案一:基于AbstractRoutingDataSource实现动态

Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

《PythonFastAPI+Celery+RabbitMQ实现分布式图片水印处理系统》这篇文章主要为大家详细介绍了PythonFastAPI如何结合Celery以及RabbitMQ实现简单的分布式... 实现思路FastAPI 服务器Celery 任务队列RabbitMQ 作为消息代理定时任务处理完整

Java枚举类实现Key-Value映射的多种实现方式

《Java枚举类实现Key-Value映射的多种实现方式》在Java开发中,枚举(Enum)是一种特殊的类,本文将详细介绍Java枚举类实现key-value映射的多种方式,有需要的小伙伴可以根据需要... 目录前言一、基础实现方式1.1 为枚举添加属性和构造方法二、http://www.cppcns.co

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.

MySQL双主搭建+keepalived高可用的实现

《MySQL双主搭建+keepalived高可用的实现》本文主要介绍了MySQL双主搭建+keepalived高可用的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,... 目录一、测试环境准备二、主从搭建1.创建复制用户2.创建复制关系3.开启复制,确认复制是否成功4.同

Java实现文件图片的预览和下载功能

《Java实现文件图片的预览和下载功能》这篇文章主要为大家详细介绍了如何使用Java实现文件图片的预览和下载功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... Java实现文件(图片)的预览和下载 @ApiOperation("访问文件") @GetMapping("

Spring Boot + MyBatis Plus 高效开发实战从入门到进阶优化(推荐)

《SpringBoot+MyBatisPlus高效开发实战从入门到进阶优化(推荐)》本文将详细介绍SpringBoot+MyBatisPlus的完整开发流程,并深入剖析分页查询、批量操作、动... 目录Spring Boot + MyBATis Plus 高效开发实战:从入门到进阶优化1. MyBatis

MyBatis 动态 SQL 优化之标签的实战与技巧(常见用法)

《MyBatis动态SQL优化之标签的实战与技巧(常见用法)》本文通过详细的示例和实际应用场景,介绍了如何有效利用这些标签来优化MyBatis配置,提升开发效率,确保SQL的高效执行和安全性,感... 目录动态SQL详解一、动态SQL的核心概念1.1 什么是动态SQL?1.2 动态SQL的优点1.3 动态S

使用Sentinel自定义返回和实现区分来源方式

《使用Sentinel自定义返回和实现区分来源方式》:本文主要介绍使用Sentinel自定义返回和实现区分来源方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Sentinel自定义返回和实现区分来源1. 自定义错误返回2. 实现区分来源总结Sentinel自定