Python 全栈体系【四阶】(三十)

2024-04-12 22:28

本文主要是介绍Python 全栈体系【四阶】(三十),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

第五章 深度学习

四、Tensorflow

请添加图片描述

8. 模型保存与加载

8.1 什么是模型保存与加载

模型训练可能是一个很长的过程,如果每次执行预测之前都重新训练,会非常耗时,所以几乎所有人工智能框架都提供了模型保存与加载功能,使得模型训练完成后,可以保存到文件中,供其它程序使用或继续训练。

8.2 模型保存与加载 API

模型保存与加载通过 tf.train.Saver 对象完成,实例化对象:

  • saver = tf.train.Saver(var_list=None, max_to_keep=5) - var_list: 要保存和还原的变量,可以是一个 dict 或一个列表 - max_to_keep: 要保留的最近检查点文件的最大数量。创建新文件时,会删除较旧的文件
    (如 max_to_keep=5 表示保留 5 个检查点文件)

保存:saver.save(sess, ‘/tmp/ckpt/model’)

加载:saver.restore(sess, ‘/tmp/ckpt/model’)

8.3 案例 1:模型保存/加载

在这里插入图片描述

从执行结果可以看出,如果模型之前经过训练,直接从之前的参数值开始执行迭代,而不是从第一次给的初始值开始。

在这里插入图片描述

9. 数据读取

请添加图片描述

9.1 文件读取机制

TensorFlow 文件读取分为三个步骤:

  • 第一步:将要读取的文件放入文件名队列
  • 第二步:读取文件内容,并实行解码
  • 第三步:批处理,按照指定笔数构建成一个批次取出

在这里插入图片描述

9.2 文件读取 API
9.2.1 文件队列构造

生成一个先入先出的队列, 文件阅读器会需要它来读取数据

  • tf.train.string_input_producer(string_tensor, shuffle=True)
    • string_tensor: 含有文件名的一阶张量
    • shuffle: 是否打乱文件顺序
  • 返回:文件队列
9.2.2 文件读取
  • 文本文件读取:tf.TextLineReader
    • 读取 CSV 文件,默认按行读取
  • 二进制文件读取:tf.FixedLengthRecordReader(record_bytes)
    • 读取每个记录是固定字节的二进制文件
    • record_bytes: 每次读取的字节数
  • 通用读取方法:read(file_queue)
    • 从队列中读取指定数量(行,字节)的内容
    • 返回值:一个 tensor 元组,(文件名, value)
9.2.3 文件内容解码

解码文本文件:tf.decode_csv(records, record_defaults)

  • 将 CSV 文件内容转换为张量,与 tf.TextLineReader 搭配使用
  • 参数:
    • records: 字符串,对应文件中的一行
    • record_defaults: 类型
  • 返回:tensor 对象列表

解码二进制文件:tf.decode_raw(input_bytes, out_type)

  • 将字节转换为由数字表示的张量,与 tf.FixedLengthRecordReader 搭配使用
  • 参数:
    • input_bytes - 待转换字节
    • out_type - 输出类型
  • 返回:转换结果
9.3 案例 2:CSV 文件读取

在这里插入图片描述
在这里插入图片描述

9.4 图片文件读取 API

图像读取器:tf.WholeFileReader

  • 功能:将文件的全部内容作为值输出的 reader
  • read 方法:读取文件内容,返回文件名和文件内容

图像解码器:

  • tf.image.decode_jpeg(constants) : 解码 jpeg 格式
  • tf.image.decode_png(constants) : 解码 png 格式
  • 返回值:3-D 张量,[height, width, channels]

修改图像大小:tf.image.resize(images, size)

  • images:图片数据,3-D 或 4-D 张量
    • 3-D:[长,宽,通道]
    • 4-D:[数量, 长,宽,通道]
  • size:1-D int32 张量,[长、宽] (不需要传通道数)
9.5 案例 3:图片文件读取

在这里插入图片描述
在这里插入图片描述

10. 手写体识别

请添加图片描述

10.1 MNIST 数据集

手写数字的数据集,来自美国国家标准与技术研究所(National Institute of Standards and Technology,NIST),发布于 1998 年。

样本来自 250 个不同人的手写数字,50%高中学生,50%是人口普查局的工作人员。

数字从 0 ~ 9,图片大小是 28×28 像素,训练数据集包含 60000 个样本,测试数据集包含 10000 个样本。数据集的标签是长度为 10 的一维数组,数组中每个元素索引号表示对应数字出现的概率。

下载地址:http://yann.lecun.com/exdb/mnist/

在这里插入图片描述

10.2 任务目标

根据训练集样本进行模型训练

保存模型

加载模型,用于新的手写体数字识别

10.3 网络结构

请添加图片描述

10.4 相关 API

tf.matmul():执行矩阵乘法计算

tf.nn.softmax():softmax 激活函数

tf.reduce_sum():指定维度上求张量和

tf.train.GradientDescentOptimizer():优化器,执行梯度下降

tf.argmax():返回张量最大元素的索引值

10.5 关键代码

定义数据

在这里插入图片描述
模型搭建

在这里插入图片描述
执行训练

在这里插入图片描述
模型评估

在这里插入图片描述
模型测试
在这里插入图片描述

10.6 执行结果

在这里插入图片描述

11. 服饰识别

11.1 数据集介绍

是来自 Zalando 文章的数据集,是时尚版的 MNIST。包括 60,000 个训练集数据,10,000 个测试集数据,每个数据为 28x28 灰度图像,一共有 10 类:

0T-shirt/topT 恤
1Trouser裤子
2Pullover套衫
3Dress衣服
4Coat外套
5Sandal凉鞋
6Shirt衬衫
7Sneaker运动鞋
8Bag
9Ankle boot短靴

在这里插入图片描述

11.2 任务目标

搭建卷积神经网络模型

根据训练集样本进行模型训练

用于新的服饰图片识别

11.3 网络结构

请添加图片描述

11.4 关键代码

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

11.5 执行结果

在这里插入图片描述

这篇关于Python 全栈体系【四阶】(三十)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/898409

相关文章

Python数据验证神器Pydantic库的使用和实践中的避坑指南

《Python数据验证神器Pydantic库的使用和实践中的避坑指南》Pydantic是一个用于数据验证和设置的库,可以显著简化API接口开发,文章通过一个实际案例,展示了Pydantic如何在生产环... 目录1️⃣ 崩溃时刻:当你的API接口又双叒崩了!2️⃣ 神兵天降:3行代码解决验证难题3️⃣ 深度

Python+FFmpeg实现视频自动化处理的完整指南

《Python+FFmpeg实现视频自动化处理的完整指南》本文总结了一套在Python中使用subprocess.run调用FFmpeg进行视频自动化处理的解决方案,涵盖了跨平台硬件加速、中间素材处理... 目录一、 跨平台硬件加速:统一接口设计1. 核心映射逻辑2. python 实现代码二、 中间素材处

python中的flask_sqlalchemy的使用及示例详解

《python中的flask_sqlalchemy的使用及示例详解》文章主要介绍了在使用SQLAlchemy创建模型实例时,通过元类动态创建实例的方式,并说明了如何在实例化时执行__init__方法,... 目录@orm.reconstructorSQLAlchemy的回滚关联其他模型数据库基本操作将数据添

Python实现快速扫描目标主机的开放端口和服务

《Python实现快速扫描目标主机的开放端口和服务》这篇文章主要为大家详细介绍了如何使用Python编写一个功能强大的端口扫描器脚本,实现快速扫描目标主机的开放端口和服务,感兴趣的小伙伴可以了解下... 目录功能介绍场景应用1. 网络安全审计2. 系统管理维护3. 网络故障排查4. 合规性检查报错处理1.

Python轻松实现Word到Markdown的转换

《Python轻松实现Word到Markdown的转换》在文档管理、内容发布等场景中,将Word转换为Markdown格式是常见需求,本文将介绍如何使用FreeSpire.DocforPython实现... 目录一、工具简介二、核心转换实现1. 基础单文件转换2. 批量转换Word文件三、工具特性分析优点局

Python中4大日志记录库比较的终极PK

《Python中4大日志记录库比较的终极PK》日志记录框架是一种工具,可帮助您标准化应用程序中的日志记录过程,:本文主要介绍Python中4大日志记录库比较的相关资料,文中通过代码介绍的非常详细,... 目录一、logging库1、优点2、缺点二、LogAid库三、Loguru库四、Structlogphp

C++,C#,Rust,Go,Java,Python,JavaScript的性能对比全面讲解

《C++,C#,Rust,Go,Java,Python,JavaScript的性能对比全面讲解》:本文主要介绍C++,C#,Rust,Go,Java,Python,JavaScript性能对比全面... 目录编程语言性能对比、核心优势与最佳使用场景性能对比表格C++C#RustGoJavapythonjav

Python海象运算符:=的具体实现

《Python海象运算符:=的具体实现》海象运算符又称​​赋值表达式,Python3.8后可用,其核心设计是在表达式内部完成变量赋值并返回该值,从而简化代码逻辑,下面就来详细的介绍一下如何使用,感兴趣... 目录简介​​条件判断优化循环控制简化​推导式高效计算​正则匹配与数据提取​性能对比简介海象运算符

python项目环境切换的几种实现方式

《python项目环境切换的几种实现方式》本文主要介绍了python项目环境切换的几种实现方式,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录1. 如何在不同python项目中,安装不同的依赖2. 如何切换到不同项目的工作空间3.创建项目

python项目打包成docker容器镜像的两种方法实现

《python项目打包成docker容器镜像的两种方法实现》本文介绍两种将Python项目打包为Docker镜像的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要... 目录简单版:(一次成功,后续下载对应的软件依赖)第一步:肯定是构建dockerfile,如下:第二步