【深度学习】嘿马深度学习笔记第5篇：神经网络与tf.keras,学习目标【附代码文档】

2024-08-26 22:04
文章标签 学习 深度 嘿马 tf keras 神经网络 文档 笔记 代码 目标

本文主要是介绍【深度学习】嘿马深度学习笔记第5篇：神经网络与tf.keras,学习目标【附代码文档】，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

本教程的知识点为：深度学习介绍 1.1 深度学习与机器学习的区别 TensorFlow介绍 2.4 张量 2.4.1 张量(Tensor) 2.4.1.1 张量的类型 TensorFlow介绍 1.2 神经网络基础 1.2.1 Logistic回归 1.2.1.1 Logistic回归 TensorFlow介绍 总结 每日作业 神经网络与tf.keras 1.3 神经网络基础 神经网络与tf.keras 1.3 Tensorflow实现神经网络 1.3.1 TensorFlow keras介绍 1.3.2 案例：实现多层神经网络进行时装分类 神经网络与tf.keras 1.4 深层神经网络 为什么使用深层网络 1.4.1 深层神经网络表示 卷积神经网络 3.1 卷积神经网络(CNN)原理 为什么需要卷积神经网络 原因之一：图像特征数量对神经网络效果压力 卷积神经网络 3.1 卷积神经网络(CNN)原理 为什么需要卷积神经网络 原因之一：图像特征数量对神经网络效果压力 卷积神经网络 2.2案例：CIFAR100类别分类 2.2.1 CIFAR100数据集介绍 2.2.2 API 使用 卷积神经网络 2.4 BN与神经网络调优 2.4.1 神经网络调优 2.4.1.1 调参技巧 卷积神经网络 2.4 经典分类网络结构 2.4.1 LeNet-5解析 2.4.1.1 网络结构 卷积神经网络 2.5 CNN网络实战技巧 2.5.1 迁移学习(Transfer Learning) 2.5.1.1 介绍 卷积神经网络 总结 每日作业 商品物体检测项目介绍 1.1 项目演示 商品物体检测项目介绍 3.4 Fast R-CNN 3.4.1 Fast R-CNN 3.4.1.1 RoI pooling YOLO与SSD 4.3 案例：SSD进行物体检测 4.3.1 案例效果 4.3.2 案例需求 商品检测数据集训练 5.2 标注数据读取与存储 5.2.1 案例：xml读取本地文件存储到pkl 5.2.1.1 解析结构

完整笔记资料代码->：https://gitee.com/yinuo112/AI/tree/master/深度学习/嘿马深度学习笔记/note.md

感兴趣的小伙伴可以自取哦~

全套教程部分目录：

部分文件图片：

神经网络与tf.keras

1.3 Tensorflow实现神经网络

学习目标

  • 目标

  • 掌握Tensorflow API的使用

  • 应用

  • 应用TF搭建一个分类模型

1.3.1 TensorFlow keras介绍

Keras 是一个用于构建和训练深度学习模型的高阶 API。它可用于快速设计原型、高级研究和生产，具有以下三个主要优势：

  • 方便用户使用，快速构建模型 Keras 具有针对常见用例做出优化的简单而一致的界面。它可针对用户错误提供切实可行的清晰反馈。

  • 模块化和可组 将可配置的构造块连接在一起就可以构建 Keras 模型，并且几乎不受限制。

  • 导入:

import tensorflow as tf
from tensorflow import keras
  • 1、获取相关现有数据集（无需自己去构造）

  • keras.datasets

    • mnist:手写数字
    • fashion_mnist：时尚分类
    • cifar10(100)：10个类别分类
fashion_mnist = keras.datasets.fashion_mnist(train_images, train_labels), (test_images, test_labels) = fashion_mnist.load_data()print(train_images, train_labels)
  • 2、构建模型
  • 在 Keras 中，您可以通过组合层来构建模型。模型（通常）是由层构成的图。最常见的模型类型是层的堆叠，keras.layers中就有很多模型，如下图：可以在源码文件中找到
  • tf.keras.Sequential模型(layers如下)
from tensorflow.python.keras.layers import Dense
from tensorflow.python.keras.layers import DepthwiseConv2D
from tensorflow.python.keras.layers import Dot
from tensorflow.python.keras.layers import Dropout
from tensorflow.python.keras.layers import ELU
from tensorflow.python.keras.layers import Embedding
from tensorflow.python.keras.layers import Flatten
from tensorflow.python.keras.layers import GRU
from tensorflow.python.keras.layers import GRUCell
from tensorflow.python.keras.layers import LSTMCell
...
...
...
  • Flatten:将输入数据进行形状改变展开

  • Dense:添加一层神经元

  • Dense(units,activation=None,**kwargs)

    • units:神经元个数
    • activation：激活函数,参考tf.nn.relu,tf.nn.softmax,tf.nn.sigmoid,tf.nn.tanh
    • **kwargs:输入上层输入的形状，input_shape=()

tf.keras.Sequential构建类似管道的模型

model = keras.Sequential([keras.layers.Flatten(input_shape=(28, 28)),keras.layers.Dense(128, activation=tf.nn.relu),keras.layers.Dense(10, activation=tf.nn.softmax)
])

  • 3、训练与评估

  • 通过调用model的 compile 方法去配置该模型所需要的训练参数以及评估方法。

  • model.compile(optimizer,loss=None,metrics=None, 准确率衡):配置训练相关参数

    • optimizer:梯度下降优化器(在keras.optimizers)
from tensorflow.python.keras.optimizers import Adadeltafrom tensorflow.python.keras.optimizers import Adagradfrom tensorflow.python.keras.optimizers import Adamfrom tensorflow.python.keras.optimizers import Adamaxfrom tensorflow.python.keras.optimizers import Nadamfrom tensorflow.python.keras.optimizers import Optimizerfrom tensorflow.python.keras.optimizers import RMSpropfrom tensorflow.python.keras.optimizers import SGDfrom tensorflow.python.keras.optimizers import deserializefrom tensorflow.python.keras.optimizers import getfrom tensorflow.python.keras.optimizers import serializefrom tensorflow.python.keras.optimizers import AdamOptimizer()

  * loss=None:损失类型,类型可以是字符串或者该function名字参考：

from tensorflow.python.keras.losses import KLDfrom tensorflow.python.keras.losses import KLD as kldfrom tensorflow.python.keras.losses import KLD as kullback_leibler_divergencefrom tensorflow.python.keras.losses import MAEfrom tensorflow.python.keras.losses import MAE as maefrom tensorflow.python.keras.losses import MAE as mean_absolute_errorfrom tensorflow.python.keras.losses import MAPEfrom tensorflow.python.keras.losses import MAPE as mapefrom tensorflow.python.keras.losses import MAPE as mean_absolute_percentage_errorfrom tensorflow.python.keras.losses import MSEfrom tensorflow.python.keras.losses import MSE as mean_squared_errorfrom tensorflow.python.keras.losses import MSE as msefrom tensorflow.python.keras.losses import MSLEfrom tensorflow.python.keras.losses import MSLE as mean_squared_logarithmic_errorfrom tensorflow.python.keras.losses import MSLE as mslefrom tensorflow.python.keras.losses import binary_crossentropyfrom tensorflow.python.keras.losses import categorical_crossentropyfrom tensorflow.python.keras.losses import categorical_hingefrom tensorflow.python.keras.losses import cosinefrom tensorflow.python.keras.losses import cosine as cosine_proximityfrom tensorflow.python.keras.losses import deserializefrom tensorflow.python.keras.losses import getfrom tensorflow.python.keras.losses import hingefrom tensorflow.python.keras.losses import logcoshfrom tensorflow.python.keras.losses import poissonfrom tensorflow.python.keras.losses import serializefrom tensorflow.python.keras.losses import sparse_categorical_crossentropyfrom tensorflow.python.keras.losses import squared_hinge

  * metrics=None, ['accuracy']

  • model.fit()：进行训练

    • (x=None,y=None, batch_size=None,epochs=1,callbacks=None)

    • x:特征值:

1、Numpy array (or array-like), or a list of arrays2、A TensorFlow tensor, or a list of tensors3、`tf.data` dataset or a dataset iterator. Should return a tuple of either `(inputs, targets)` or `(inputs, targets, sample_weights)`.4、A generator or `keras.utils.Sequence` returning `(inputs, targets)` or `(inputs, targets, sample weights)`.

  * y:目标值* batch_size=None：批次大小* epochs=1：训练迭代次数* callbacks=None：添加回调列表（用于如tensorboard显示等）

model.compile(optimizer=tf.keras.optimizers.Adam(),loss='sparse_categorical_crossentropy',metrics=['accuracy'])model.fit(train_images, train_labels, epochs=5)model.evaluate(test_images, test_labels)

1.3.2 案例：实现多层神经网络进行时装分类

70000 张灰度图像，涵盖 10 个类别。以下图像显示了单件服饰在较低分辨率（28x28 像素）下的效果：

服装

1.3.2.1 需求：

标签类别
0T 恤衫/上衣
1裤子
2套衫
3裙子
4外套
5凉鞋
6衬衫
7运动鞋
8包包

1.3.2.2 步骤分析和代码实现：

  • 读取数据集:

  • 从datasets中获取相应的数据集，直接有训练集和测试集

class SingleNN(object):def __init__(self):(self.train, self.train_label), (self.test, self.test_label) = keras.datasets.fashion_mnist.load_data()

  • 进行模型编写

  • 双层：128个神经元，全连接层10个类别输出

class SingleNN(object):model = keras.Sequential([keras.layers.Flatten(input_shape=(28, 28)),keras.layers.Dense(128, activation=tf.nn.relu),keras.layers.Dense(10, activation=tf.nn.softmax)])

这里我们model只是放在类中，作为类的固定模型属性

激活函数的选择

涉及到网络的优化时候，会有不同的激活函数选择有一个问题是神经网络的隐藏层和输出单元用什么激活函数。之前我们都是选用 sigmoid 函数，但有时其他函数的效果会好得多，大多数通过实践得来，没有很好的解释性。

可供选用的激活函数有：

  • tanh 函数（the hyperbolic tangent function，双曲正切函数）：

效果比 sigmoid 函数好,因为函数输出介于 -1 和 1 之间。

注 :tanh 函数存在和 sigmoid 函数一样的缺点：当 z 趋紧无穷大（或无穷小），导数的梯度（即函数的斜率）就趋紧于 0，这使得梯度算法的速度会减慢。

  • ReLU 函数（the rectified linear unit，修正线性单元）

当 z > 0 时，梯度始终为 1，从而提高神经网络基于梯度算法的运算速度，收敛速度远大于 sigmoid 和 tanh。然而当 z < 0 时，梯度一直为 0，但是实际的运用中，该缺陷的影响不是很大。

  • Leaky ReLU（带泄漏的 ReLU）：

Leaky ReLU 保证在 z < 0 的时候，梯度仍然不为 0。理论上来说，Leaky ReLU 有 ReLU 的所有优点，但在实际操作中没有证明总是好于 ReLU，因此不常用。

为什么需要非线性的激活函数

使用线性激活函数和不使用激活函数、直接使用 Logistic 回归没有区别，那么无论神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，就成了最原始的感知器了。

a [ 1 ] = z [ 1 ] = W [ 1 ] x + b [ 1 ] a^{[1]} = z^{[1]} = W^{[1]}x+b^{[1]} a​[1]​​=z​[1]​​=W​[1]​​x+b​[1]​​

a [ 2 ] = z [ 2 ] = W [ 2 ] a [ 1 ] + b [ 2 ] {a}^{[2]}=z^{[2]} = W^{[2]}a^{[1]}+b^{[2]} a​[2]​​=z​[2]​​=W​[2]​​a​[1]​​+b​[2]​​

那么这样的话相当于

a [ 2 ] = z [ 2 ] = W [ 2 ] ( W [ 1 ] x + b [ 1 ] ) + b [ 2 ] = ( W [ 2 ] W [ 1 ] ) x + ( W [ 2 ] b [ 1 ] + b [ 2 ] ) = w x + b {a}^{[2]}=z^{[2]} = W^{[2]}(W^{[1]}x+b^{[1]})+b^{[2]}=(W^{[2]}W^{[1]})x+(W^{[2]}b^{[1]}+b^{[2]})=wx+b a​[2]​​=z​[2]​​=W​[2]​​(W​[1]​​x+b​[1]​​)+b​[2]​​=(W​[2]​​W​[1]​​)x+(W​[2]​​b​[1]​​+b​[2]​​)=wx+b

  • 编译、训练以及评估
def compile(self):SingleNN.model.compile(optimizer=tf.train.AdamOptimizer(),loss=tf.keras.losses.sparse_categorical_crossentropy,metrics=['accuracy'])return Nonedef fit(self):SingleNN.model.fit(self.train, self.train_label, epochs=5)return Nonedef evaluate(self):test_loss, test_acc = SingleNN.model.evaluate(self.test, self.test_label)print(test_loss, test_acc)return None

1.3.2.1 打印模型

  • model.summary()：查看模型结构

1.3.2.2 手动保存和回复模型

  • 目的：防止训练长时间，出现意外导致重新训练
  • model.save_weights('./weights/my_model')
  • model.load_weights('./weights/my_model')
SingleNN.model.save_weights("./ckpt/SingleNN")def predict(self):# 直接使用训练过后的权重测试if os.path.exists("./ckpt/checkpoint"):SingleNN.model.load_weights("./ckpt/SingleNN")predictions = SingleNN.model.predict(self.test)print(np.argmax(predictions, 1))return

1.3.2.3 添加Tensorboard观察损失等情况

# 添加tensoboard观察tensorboard = keras.callbacks.TensorBoard(log_dir='./graph', histogram_freq=0,write_graph=True, write_images=True)SingleNN.model.fit(self.train, self.train_label, epochs=5, callbacks=[tensorboard])

这篇关于【深度学习】嘿马深度学习笔记第5篇：神经网络与tf.keras,学习目标【附代码文档】的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1109807。

相关文章

HarmonyOS学习(七)——UI（五）常用布局总结

HarmonyOS学习(七)——UI（五）常用布局总结

自适应布局 1.1、线性布局（LinearLayout） 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列，Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距，达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式，且在各类尺寸屏幕上表现一致，其中交叉轴为垂直时，取值为Vert
阅读更多...
Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya（不是本人，claude AI）在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容： 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用
阅读更多...
【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画（下）

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画（下）

【课程链接】 AntV G6：深入图形与图形分组、自定义节点、节点动画（下）_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中，应该怎样去计算和绘制图形，如何给一个图形制作不间断的动画，以及在鼠标事件之后产生动画。（有点难，需要好好理解） <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06
阅读更多...
学习hash总结

学习hash总结

2014/1/29/   最近刚开始学hash，名字很陌生，但是hash的思想却很熟悉，以前早就做过此类的题，但是不知道这就是hash思想而已，说白了hash就是一个映射，往往灵活利用数组的下标来实现算法，hash的作用：1、判重；2、统计次数；
阅读更多...
活用c4d官方开发文档查询代码

活用c4d官方开发文档查询代码

当你问AI助手比如豆包，如何用python禁止掉xpresso标签时候，它会提示到 这时候要用到两个东西。https://developers.maxon.net/论坛搜索和开发文档 比如这里我就在官方找到正确的id描述 然后我就把参数标签换过来
阅读更多...
零基础学习Redis(10) -- zset类型命令使用

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合，内部除了存储元素外，还会存储一个score，存储在zset中的元素会按照score的大小升序排列，不同元素的score可以重复，score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]
阅读更多...
poj 1258 Agri-Net（最小生成树模板代码）

poj 1258 Agri-Net（最小生成树模板代码）

感觉用这题来当模板更适合。 题意就是给你邻接矩阵求最小生成树啦。~ prim代码：效率很高。172k...0ms。 #include<stdio.h>#include<algorithm>using namespace std;const int MaxN = 101;const int INF = 0x3f3f3f3f;int g[MaxN][MaxN];int n
阅读更多...
【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程（Gaussian Process，简称GP）是一种概率模型，用于描述一组随机变量的联合概率分布，其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数（或核函数） 1.3 核函数1.4 高斯过程回归（Gauss
阅读更多...
烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

一个包含7800张带标注图像的数据集，专门用于烟火目标检测，是一个非常有价值的资源，尤其对于那些致力于公共安全、事件管理和烟花表演监控等领域的人士而言。下面是对此数据集的一个详细介绍： 数据集名称：烟火目标检测数据集 数据集规模： 图片数量：7800张类别：主要包含烟火类目标，可能还包括其他相关类别，如烟火发射装置、背景等。格式：图像文件通常为JPEG或PNG格式；标注文件可能为X
阅读更多...
图神经网络模型介绍（1）

图神经网络模型介绍（1）

我们将图神经网络分为基于谱域的模型和基于空域的模型，并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络：谱图卷积网络、切比雪夫网络和图卷积网络。 （1）谱图卷积网络 卷积定理：函数卷积的傅里叶变换是函数傅里叶变换的乘积，即F{f*g}
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2