神经网络实战——基于TensorFlow的MNIST手写数据集实现

2024-06-13 02:48

本文主要是介绍神经网络实战——基于TensorFlow的MNIST手写数据集实现,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

TensorFlow实战——基于神经网络的MNIST手写数据集实现

  • 一、代码结果
  • 二、代码展示

说明:前几篇博客已经介绍了TensorFlow的基本知识以及神经网络的简单实现,该篇博客通过一个具体例子来具体回顾前面所讲的内容。通过该神经网络,可以达到98.4%的正确率。

一、代码结果

在这里插入图片描述
在这里插入图片描述

二、代码展示

"""
this script shows how to realize MNIST_dataset by neural network.
As a result, its accuracy is about 98.4%
"""import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data# 关于MNIST数据集的一些常量
# 输入层节点数,等于图片的像素点的个数,28*28
INPUT_LAYER = 784
# 输出层节点数,等于MNIST数据集中类别的数目
OUTPUT_LAYER = 10# 配置神经网络参数
# 隐藏层节点数
HIDDEN_LAYER = 500
# 一个训练batch中训练数据的个数。数字越小,训练越接近随机梯度下降;数据越大,训练越接近梯度下降
BATCH_SIZE = 100
# 基础学习率
LEARNING_RATE_BASE = 0.8
# 学习率的衰减率
LEARNING_RATE_DECAY = 0.99
# 描述模型复杂度的正则化项在损失函数中的系数
REGULARIZATION_RATE = 0.0001
# 训练轮数
TRAINING_STEPS = 30000
# 滑动平均衰减率
MOVING_AVERAGE_DECAY = 0.99def inference(input_tensor, avg_class, weights1, biases1, weights2, biases2):"""一个辅助函数,给定神经网络的输入和所有参数,计算神经网络的前向传播结果。在这里定义了一个使用Relu激活函数的三层全连接神经网络。通过加入隐藏层实现了多层网络结构,通过Relu激活函数去线性化。在这个函数中也支持传入用于计算参数平均值的类,这样方便在测试时使用滑动平均模型"""# 当没有提供滑动平均类时,直接使用参数当前的取值if avg_class is None:layer1 = tf.nn.relu(tf.matmul(input_tensor, weights1) + biases1)print("[DEBUG] layer1.shape: {}".format(layer1))print("[DEBUG] biases2.shape: {}".format(biases2))print("[DEBUG] weights2.shape: {}".format(weights2))# 计算输出层的前向传播结果。因为在计算损失函数时会一起计算softmax函数,所以这里不需要加入激活函数。# 而且不加入softmax不会影响预测结果。return tf.matmul(layer1, weights2) + biases2else:# 首先使用avg_class.average计算变量的滑动平均值,然后计算神经网络的前向传播结果layer1 = tf.nn.relu(tf.matmul(input_tensor, avg_class.average(weights1)) + avg_class.average(biases1))return tf.matmul(layer1, avg_class.average(weights2)) + avg_class.average(biases2)def train(mnist):x = tf.placeholder(tf.float32, shape=(None, INPUT_LAYER), name="x_input")y_real = tf.placeholder(tf.float32, shape=(None, OUTPUT_LAYER), name="y_real")# 隐藏层参数weight1 = tf.Variable(tf.truncated_normal([INPUT_LAYER, HIDDEN_LAYER], stddev=0.1))biases1 = tf.Variable(tf.constant(value=0.1, shape=[HIDDEN_LAYER]))# 输出层参数weight2 = tf.Variable(tf.truncated_normal([HIDDEN_LAYER, OUTPUT_LAYER], stddev=0.1))biases2 = tf.Variable(tf.constant(value=0.1, shape=[OUTPUT_LAYER]))# 计算当前参数下前向传播的结果,这里用于计算滑动平均的类为None,所以函数不会使用参数的滑动平均值y_pred = inference(x, None, weight1, biases1, weight2, biases2)# 定义训练的轮数,这个变量不需要计算滑动平均值,所以指定为不可训练的变量。使用TensorFlow训练神经网络时,一般将# 代表训练轮数的变量指定为不可训练的参数(trainable=false)global_step = tf.Variable(0, trainable=False)# 给定滑动平均衰减率和训练的轮数,初始化滑动平均类variables_averages = tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY, global_step)# 在所有代表神经网络的参数的变量上使用滑动平均。tf.trainable_variables()返回图上集合GraphKeys.TRAINABLE_VARIABLES# 中的元素,这个集合就是所有没有指定trainable=False的参数variables_averages_op = variables_averages.apply(tf.trainable_variables())# 计算使用滑动平均之后的前向传播结果y_pred_average = inference(x, variables_averages, weight1, biases1, weight2, biases2)# print("[DEBUG] y_pred.shape: {}".format(y_pred))# print("[DEBUG] tf.argmax(y_real, axis=1).shape: {}".format(tf.argmax(y_real, 1)))# 计算交叉熵刻画预测值和真实值之间差距的损失函数。cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y_pred, labels=tf.argmax(y_real, axis=1))# 计算当前batch中交叉熵均值cross_entropy_mean = tf.reduce_mean(cross_entropy)# 计算l2正则化损失函数regularizer = tf.contrib.layers.l2_regularizer(REGULARIZATION_RATE)regularization = regularizer(weight1) + regularizer(weight2)# 总损失等于交叉熵损失加正则化损失total_loss = cross_entropy_mean + regularization# 设置指数衰减学习率learning_rate = tf.train.exponential_decay(LEARNING_RATE_BASE, global_step, mnist.train.num_examples / BATCH_SIZE,LEARNING_RATE_DECAY)# 使用梯度下降优化算法优化损失函数train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(total_loss, global_step=global_step)# 在训练神经网络模型时,每过一遍数据既需要通过反向传播来更新神经网络参数,又要更新每一个参数的滑动平均值。# 为了一次完成多个操作,TensorFlow提供了tf.control_dependencies和tf.group两种机制,下面两种机制等价# train_op = tf.group(train_step, variables_averages_op)with tf.control_dependencies([train_step, variables_averages_op]):train_op = tf.no_op(name="train")# 检验使用了滑动平均模型的神经网络前向传播结果是否正确correct_prediction = tf.equal(tf.argmax(y_pred_average, 1), tf.argmax(y_real, 1))accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))# 初始化会话并开始训练过程with tf.Session() as sess:tf.global_variables_initializer().run()# 准备验证数据validate_feed = {x: mnist.validation.images, y_real: mnist.validation.labels}# 准备测试数据test_feed = {x: mnist.test.images, y_real: mnist.test.labels}# 训练神经网络for i in range(TRAINING_STEPS):# 每1000轮输出一下在验证集上的测试结果if i % 1000 == 0:validate_acc = sess.run(accuracy, feed_dict=validate_feed)print("after %d training steps, validation accuracy using average model is %f" % (i, validate_acc))# 产生这一轮使用的一个batch的训练数据,并允许训练过程xs, ys = mnist.train.next_batch(BATCH_SIZE)sess.run(train_op, feed_dict={x: xs, y_real: ys})# 在训练结束后,在测试数据上检测神经网络模型的最终正确率test_acc = sess.run(accuracy, feed_dict=test_feed)print("after %d training steps, test accuracy using average model is %f" % (TRAINING_STEPS, test_acc))def main(argv=None):# 声明MNIST数据集的类,这个类在初始化时会自动下载数据mnist = input_data.read_data_sets("/data", one_hot=True)train(mnist)if __name__ == '__main__':tf.app.run()

这篇关于神经网络实战——基于TensorFlow的MNIST手写数据集实现的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1056072

相关文章

Python办公自动化实战之打造智能邮件发送工具

《Python办公自动化实战之打造智能邮件发送工具》在数字化办公场景中,邮件自动化是提升工作效率的关键技能,本文将演示如何使用Python的smtplib和email库构建一个支持图文混排,多附件,多... 目录前言一、基础配置:搭建邮件发送框架1.1 邮箱服务准备1.2 核心库导入1.3 基础发送函数二、

c++ 类成员变量默认初始值的实现

《c++类成员变量默认初始值的实现》本文主要介绍了c++类成员变量默认初始值,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录C++类成员变量初始化c++类的变量的初始化在C++中,如果使用类成员变量时未给定其初始值,那么它将被

PowerShell中15个提升运维效率关键命令实战指南

《PowerShell中15个提升运维效率关键命令实战指南》作为网络安全专业人员的必备技能,PowerShell在系统管理、日志分析、威胁检测和自动化响应方面展现出强大能力,下面我们就来看看15个提升... 目录一、PowerShell在网络安全中的战略价值二、网络安全关键场景命令实战1. 系统安全基线核查

SQL中如何添加数据(常见方法及示例)

《SQL中如何添加数据(常见方法及示例)》SQL全称为StructuredQueryLanguage,是一种用于管理关系数据库的标准编程语言,下面给大家介绍SQL中如何添加数据,感兴趣的朋友一起看看吧... 目录在mysql中,有多种方法可以添加数据。以下是一些常见的方法及其示例。1. 使用INSERT I

Qt使用QSqlDatabase连接MySQL实现增删改查功能

《Qt使用QSqlDatabase连接MySQL实现增删改查功能》这篇文章主要为大家详细介绍了Qt如何使用QSqlDatabase连接MySQL实现增删改查功能,文中的示例代码讲解详细,感兴趣的小伙伴... 目录一、创建数据表二、连接mysql数据库三、封装成一个完整的轻量级 ORM 风格类3.1 表结构

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片,默认是输出到项目文件夹中,可以自己选择其他的文件夹,选择需要拆分的行数和列数,可以通过

Python中将嵌套列表扁平化的多种实现方法

《Python中将嵌套列表扁平化的多种实现方法》在Python编程中,我们常常会遇到需要将嵌套列表(即列表中包含列表)转换为一个一维的扁平列表的需求,本文将给大家介绍了多种实现这一目标的方法,需要的朋... 目录python中将嵌套列表扁平化的方法技术背景实现步骤1. 使用嵌套列表推导式2. 使用itert

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

Python使用pip工具实现包自动更新的多种方法

《Python使用pip工具实现包自动更新的多种方法》本文深入探讨了使用Python的pip工具实现包自动更新的各种方法和技术,我们将从基础概念开始,逐步介绍手动更新方法、自动化脚本编写、结合CI/C... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

在Linux中改变echo输出颜色的实现方法

《在Linux中改变echo输出颜色的实现方法》在Linux系统的命令行环境下,为了使输出信息更加清晰、突出,便于用户快速识别和区分不同类型的信息,常常需要改变echo命令的输出颜色,所以本文给大家介... 目python录在linux中改变echo输出颜色的方法技术背景实现步骤使用ANSI转义码使用tpu