tensorflow使用DNN、CNN、RNN(lstm)分别实现识别mnist手写数字图片

2024-06-10 16:58
文章标签 分别 实现 使用 图片 cnn lstm 手写 识别 数字 mnist dnn rnn tensorflow

本文主要是介绍tensorflow使用DNN、CNN、RNN(lstm)分别实现识别mnist手写数字图片，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一、DNN结构实现mnist手写数字图片
import os
import struct
import numpy as np
import tensorflow as tf#数据加载函数
def load_mnist(path, kind='train'):"""load mnist dateArgs:path: date pathkind: train or testReturns:images and labels"""labels_path = os.path.join(path,'%s-labels.idx1-ubyte'% kind)   #标签数据images_path = os.path.join(path,'%s-images.idx3-ubyte'% kind)   #图像数据with open(labels_path, 'rb') as lbpath:magic, n = struct.unpack('>II',lbpath.read(8))labels = np.fromfile(lbpath,dtype=np.uint8)with open(images_path, 'rb') as imgpath:magic, num, rows, cols = struct.unpack('>IIII',imgpath.read(16))images = np.fromfile(imgpath,dtype=np.uint8).reshape(len(labels), 784)return images, labels#将label进行one-hot处理
def y_onehot(y):"""one-hot optionArgs:y: labelsReturns:one-hot labeleg:1->[0,1,0,0,0,0,0,0,0]"""n_class = 10y_labels = np.eye(n_class)[y]return y_labels#超参
Epoch=100
batch_size=256
learning_rate=0.05x=tf.placeholder(tf.float32, [None, 784])
y=tf.placeholder(tf.float32, [None, 10])
is_train = tf.placeholder(tf.bool)  #BatchNorm 参数
keep_prob = tf.placeholder(tf.float32)   #dropout参数W_fc1 = tf.Variable(tf.truncated_normal(shape=[784, 1024], stddev=0.1), name="W_fc1")
b_fc1 = tf.Variable(tf.constant(0.01, shape=[1024]), name="b_fc1")W_fc2 = tf.Variable(tf.truncated_normal(shape=[1024, 512], stddev=0.1), name="W_fc2")
b_fc2 = tf.Variable(tf.constant(0.01, shape=[512]), name="b_fc2")W_fc3 = tf.Variable(tf.truncated_normal(shape=[512, 10], stddev=0.1), name="W_fc3")
b_fc3 = tf.Variable(tf.constant(0.01, shape=[10]), name="b_fc3")def minist_dnn(x, is_train, keep_prob, W_fc1, b_fc1, W_fc2, b_fc2):layer1 = tf.add(tf.matmul(x, W_fc1), b_fc1)layer1_bn = tf.layers.batch_normalization(layer1, training=is_train)  #BN层layer1_relu = tf.nn.relu(layer1_bn)#一般添加了BN层就不添加dropout，添加了dropout就不添加BN，这一层只使用dropoutlayer2 = tf.add(tf.matmul(layer1_relu, W_fc2), b_fc2)layer2_relu = tf.nn.relu(layer2)layer2_drop = tf.nn.dropout(layer2_relu, keep_prob)   #dropout层layer3 = tf.add(tf.matmul(layer2_drop, W_fc3), b_fc3)pred = tf.nn.softmax(layer3)return predpred = minist_dnn(x, is_train, keep_prob, W_fc1, b_fc1, W_fc2, b_fc2)
loss = -tf.reduce_mean(y*tf.log(tf.clip_by_value(pred, 1e-8, 1)))
correct_prediction = tf.equal(tf.arg_max(y, 1), tf.arg_max(pred,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))optimizer = tf.train.GradientDescentOptimizer(learning_rate=learning_rate)
train_op=optimizer.minimize(loss)init = tf.global_variables_initializer()
saver = tf.train.Saver(tf.global_variables())path = 'D:/data/mnist/'
X_train, y_train = load_mnist(path, kind='train')    #训练集
y_train_labels = y_onehot(y_train)with tf.Session() as sess:sess.run(init)total_batch = int(len(X_train)/batch_size)for step in range(Epoch):for i in range(1,total_batch):batch_x = X_train[(i-1)*batch_size: i*batch_size]batch_y = y_train_labels[(i-1)*batch_size: i*batch_size]sess.run(train_op,feed_dict={x:batch_x, y:batch_y, is_train:True, keep_prob:0.5})entropy ,acc = sess.run([loss, accuracy], feed_dict={x:X_train[0:1000], y:y_train_labels[0:1000], is_train:False, keep_prob:1})print('step{} loss=============>:{:.4f},   auc===========> {:.4f}'.format(step, entropy, acc) )print ("Optimization Finished!")

在这里插入图片描述

二、CNN结构实现mnist手写数字图片
import os
import struct
import numpy as np
import tensorflow as tftf.reset_default_graph()  #清空计算图#数据加载函数
def load_mnist(path, kind='train'):"""load mnist dateArgs:path: date pathkind: train or testReturns:images and labels"""labels_path = os.path.join(path,'%s-labels.idx1-ubyte'% kind)   #标签数据images_path = os.path.join(path,'%s-images.idx3-ubyte'% kind)   #图像数据with open(labels_path, 'rb') as lbpath:magic, n = struct.unpack('>II',lbpath.read(8))labels = np.fromfile(lbpath,dtype=np.uint8)with open(images_path, 'rb') as imgpath:magic, num, rows, cols = struct.unpack('>IIII',imgpath.read(16))images = np.fromfile(imgpath,dtype=np.uint8).reshape(len(labels), 784)return images, labels#将label进行one-hot处理
def y_onehot(y):"""one-hot optionArgs:y: labelsReturns:one-hot labeleg:1->[0,1,0,0,0,0,0,0,0]"""n_class = 10y_labels = np.eye(n_class)[y]return y_labels#超参
Epoch=100
batch_size=256
learning_rate=0.001x= tf.placeholder(tf.float32, [None, 784])  #x
y=tf.placeholder(tf.float32, [None, 10])  #y
keep_prob = tf.placeholder(tf.float32)   #用于空值dropout概率def mnist_cnn(x, keep_prob):x_image=tf.reshape(x, [-1,28,28,1])  #将数据变为28*28形状#第一层卷积with tf.variable_scope("conv_pool1"):W_conv1 = tf.get_variable("weights",[5,5,1,32], initializer = tf.truncated_normal_initializer(stddev=0.1))   #第一层卷积参数,fileter尺寸为5*5,输入通道为1，输出通道为32b_conv1 = tf.get_variable("bias",[32], initializer = tf.constant_initializer(0.01))   #第一层偏置项，输出的每一个通道通会加一个bias，总共加32个h_conv1=tf.nn.conv2d(x_image, filter= W_conv1, strides=[1,1,1,1], padding="SAME")   #第一层卷积,stride为移动步长h_conv1_relu = tf.nn.relu(h_conv1+b_conv1)  #激活函数，注意tf.nn.conv2d不带激活函数，tf.layers.conv2d参数可以指定激活函数h_pooling1 = tf.nn.max_pool(h_conv1_relu, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')  #ksize为pooling核大小，pooling后变为(?, 14, 14, 32)#第二层卷积with tf.variable_scope("conv_pool2"):W_conv2 = tf.get_variable("weights",[5,5,32,64], initializer = tf.truncated_normal_initializer(stddev=0.1))   #第一层卷积参数,fileter尺寸为5*5,输入通道为1，输出通道为32b_conv2 = tf.get_variable("bias",[64], initializer = tf.constant_initializer(0.01))   #第一层偏置项，输出的每一个通道通会加一个bias，总共加32个h_conv2=tf.nn.conv2d(h_pooling1, filter= W_conv2, strides=[1,1,1,1], padding="SAME")   #第一层卷积,stride为移动步长h_conv2_relu = tf.nn.relu(h_conv2+b_conv2)  #激活函数，注意tf.nn.conv2d不带激活函数，tf.layers.conv2d参数可以指定激活函数h_pooling2 = tf.nn.max_pool(h_conv2_relu, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')  #ksize为pooling核大小，pooling后变为(?, 14, 14, 32)pool_shape = h_pooling2.get_shape().as_list()   #获得h_pooling2的维度，为[batch_size, wide, height, channel]h_pooling2_flat = tf.reshape(h_pooling2, [-1, pool_shape[1]*pool_shape[2]*pool_shape[3]])  #对pooling2一维展开#全连接with tf.variable_scope("fc1"):W_fc1 = tf.get_variable("weights",[pool_shape[1]*pool_shape[2]*pool_shape[3], 1024], initializer = tf.truncated_normal_initializer(stddev=0.1))   #全连接层权重，因为经过两层pooling，图片由28*28变为14*14，再变为7*7, 所以输入神经元为7*7*64b_fc1 = tf.get_variable("bias",[1024], initializer = tf.constant_initializer(0.01))   #h_pooling2 = tf.layers.flatten(h_pooling2)  #对pooling2一维展开fc1 = tf.add(tf.matmul(h_pooling2_flat, W_fc1), b_fc1) #第一层全连接fc1_relu = tf.nn.relu(fc1)fc1_drop = tf.nn.dropout(fc1_relu, keep_prob)   #dropout层#输出层with tf.variable_scope("output"):W_fc2 = tf.get_variable("weights",[1024, 10], initializer = tf.truncated_normal_initializer(stddev=0.1))    #全连接层权重，因为最终判断为10维，所以最终神经元为10个b_fc2 = tf.get_variable("bias",[10], initializer = tf.constant_initializer(0.01)) output = tf.add(tf.matmul(fc1_drop, W_fc2), b_fc2)   #第二层全连接pred = tf.nn.softmax(output)return predpred = mnist_cnn(x, keep_prob)  #带入函数
loss = -tf.reduce_mean(y*tf.log(tf.clip_by_value(pred,1e-11,1.0)))
correct_prediction = tf.equal(tf.argmax(pred,1), tf.argmax(y,1))   #判断预测准确率
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))     #准确率#可以加正则化损失
#loss = loss+ 0.001*tf.nn.l2_loss(W_fc1)
#optimizer = tf.compat.v1.train.AdamOptimizer(learning_rate)
optimizer = tf.train.GradientDescentOptimizer(learning_rate=learning_rate)  #用梯度下降求解
train_op=optimizer.minimize(loss)init = tf.global_variables_initializer()
saver = tf.train.Saver(tf.global_variables())
#saver = tf.compat.v1.train.Saver(tf.compat.v1.global_variables())#with tf.Session() as sess:
#    print(accuracy)path = 'D:/data/mnist/'
X_train, y_train = load_mnist(path, kind='train')    #训练集
y_train_labels = y_onehot(y_train)with tf.Session() as sess:sess.run(init)total_batch = int(len(X_train)/batch_size)for step in range(Epoch):for i in range(1,total_batch):batch_x = X_train[(i-1)*batch_size: i*batch_size]batch_y = y_train_labels[(i-1)*batch_size: i*batch_size]sess.run(train_op,feed_dict={x:batch_x, y:batch_y, keep_prob:0.5})#saver.save(sess, 'D:/data/mnist/cnn_mnist.module', global_step=step)  #保存模型entropy ,acc = sess.run([loss, accuracy], feed_dict={x:X_train[0:1000], y:y_train_labels[0:1000], keep_prob:1})print('step{} loss=============>:{:.4f},   auc===========> {:.4f}'.format(step, entropy, acc) )print ("Optimization Finished!")

在这里插入图片描述

三、LSTM结构实现mnist手写数字图片
import os
import struct
import numpy as np
import tensorflow as tftf.reset_default_graph()  #清空计算图#数据加载函数
def load_mnist(path, kind='train'):"""load mnist dateArgs:path: date pathkind: train or testReturns:images and labels"""labels_path = os.path.join(path,'%s-labels.idx1-ubyte'% kind)   #标签数据images_path = os.path.join(path,'%s-images.idx3-ubyte'% kind)   #图像数据with open(labels_path, 'rb') as lbpath:magic, n = struct.unpack('>II',lbpath.read(8))labels = np.fromfile(lbpath,dtype=np.uint8)with open(images_path, 'rb') as imgpath:magic, num, rows, cols = struct.unpack('>IIII',imgpath.read(16))images = np.fromfile(imgpath,dtype=np.uint8).reshape(len(labels), 784)return images, labels#将label进行one-hot处理
def y_onehot(y):"""one-hot optionArgs:y: labelsReturns:one-hot labeleg:1->[0,1,0,0,0,0,0,0,0]"""n_class = 10y_labels = np.eye(n_class)[y]return y_labels#超参
Epoch=100
learning_rate=0.05
timestep=28   #特征序列长度，对应隐藏层ht个数
num_input=28   #特征维度，共28维。图像每一行可以看做一个维度特征，共28维
lstm_hidden_size=64  #lstm隐藏层神经元个数
num_of_layers = 2  #lstm的层数x= tf.placeholder(tf.float32, [None, 784])  #x
y=tf.placeholder(tf.float32, [None, 10])  #y
lstm_keep_prob = tf.placeholder(tf.float32)
keep_prob = tf.placeholder(tf.float32)   #用于空值dropout概率
batch_size = tf.placeholder(tf.int32, [])   #一个批次数据，训练集是使用256，预测时使用1000,[]表示是一个Scalardef mnist_lstm(x, lstm_keep_prob, keep_prob, batch_size):x_image = tf.reshape(x, [-1,timestep, num_input])  #将数据序列长度*特征维度with tf.variable_scope("lstmlayer"):#创建lstm结构，ht神经元个数为64，，可推测出，一个门的参数个数为64*(64+28)+64, (64+28)表示ht-1与xt拼接的维度#为lstm创建dropout,有两个参数，训练时，input_keep_prob，一般设置为1，out_keep_prob一般设置为0.5#创建num_of_layers层lstm，不能用[lstm]*N，否则每层lstm参数会共享#注意lstm，dropout和多层MultiRNNCell必须放在一起调用，否则会出现维度错误stacked_lstm = tf.nn.rnn_cell.MultiRNNCell([tf.nn.rnn_cell.DropoutWrapper(tf.nn.rnn_cell.BasicLSTMCell(lstm_hidden_size), input_keep_prob=1, output_keep_prob =lstm_keep_prob ) for _ in range(num_of_layers)]) init_state = stacked_lstm.zero_state(batch_size, dtype=tf.float32)#计算前项lstm层的输出, 两个输出，一个记录ht，一个记录ctlstm_outputs, _ = tf.nn.dynamic_rnn(stacked_lstm, x_image, initial_state=init_state, dtype=tf.float32)#我们支取最后一个输出状态ht进行下一步的预测lstm_output = lstm_outputs[:,-1,:]with tf.variable_scope("fc1"):W_fc1 = tf.get_variable('weight', shape=[lstm_hidden_size, 10], initializer = tf.truncated_normal_initializer(stddev=0.1), dtype=tf.float32)b_fc1 = tf.get_variable('bias', shape=[10], initializer = tf.constant_initializer(0.1), dtype=tf.float32)output = tf.add(tf.matmul(lstm_output, W_fc1), b_fc1) #第一层全连接pred = tf.nn.softmax(output)return predpred = mnist_lstm(x, lstm_keep_prob, keep_prob, batch_size)  #带入函数
loss = -tf.reduce_mean(y*tf.log(tf.clip_by_value(pred,1e-11,1.0)))
correct_prediction = tf.equal(tf.argmax(pred,1), tf.argmax(y,1))   #判断预测准确率
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))     #准确率#可以加正则化损失
#loss = loss+ 0.001*tf.nn.l2_loss(W_fc1)
#optimizer = tf.compat.v1.train.AdamOptimizer(learning_rate)
optimizer = tf.train.GradientDescentOptimizer(learning_rate=learning_rate)  #用梯度下降求解
train_op=optimizer.minimize(loss)init = tf.global_variables_initializer()
#saver = tf.train.Saver(tf.global_variables())path = 'D:/data/mnist/'
X_train, y_train = load_mnist(path, kind='train')    #训练集
y_train_labels = y_onehot(y_train)with tf.Session() as sess:sess.run(init)total_batch = int(len(X_train)/256)for step in range(Epoch):for i in range(1,total_batch):batch_x = X_train[(i-1)*256: i*256]batch_y = y_train_labels[(i-1)*256: i*256]sess.run(train_op,feed_dict={x:batch_x, y:batch_y, lstm_keep_prob:0.5, keep_prob:0.5, batch_size:256})#saver.save(sess, 'D:/data/mnist/cnn_mnist.module', global_step=step)  #保存模型entropy ,acc = sess.run([loss, accuracy], feed_dict={x:X_train[0:1000], y:y_train_labels[0:1000], lstm_keep_prob:1, keep_prob:1, batch_size:1000})print('step{} loss=============>:{:.4f},   auc===========> {:.4f}'.format(step, entropy, acc) )print ("Optimization Finished!")

在这里插入图片描述

这篇关于tensorflow使用DNN、CNN、RNN(lstm)分别实现识别mnist手写数字图片的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1048741。

相关文章

中文分词jieba库的使用与实景应用（一）

中文分词jieba库的使用与实景应用（一）

知识星球：https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义： 精确模式（默认模式）： 全模式： 搜索引擎模式： paddle 模式（基于深度学习的分词模式）： 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
Hadoop数据压缩使用介绍

Hadoop数据压缩使用介绍

一、压缩原则 （1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器 2）要在Hadoop中启用压缩，可以配置如下参数
阅读更多...
Makefile简明使用教程

Makefile简明使用教程

文章目录 规则makefile文件的基本语法：加在命令前的特殊符号：.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具，常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件
阅读更多...
从去中心化到智能化：Web3如何与AI共同塑造数字生态

从去中心化到智能化：Web3如何与AI共同塑造数字生态

在数字时代的演进中，Web3和人工智能（AI）正成为塑造未来互联网的两大核心力量。Web3的去中心化理念与AI的智能化技术，正相互交织，共同推动数字生态的变革。本文将探讨Web3与AI的融合如何改变数字世界，并展望这一新兴组合如何重塑我们的在线体验。 Web3的去中心化愿景 Web3代表了互联网的第三代发展，它基于去中心化的区块链技术，旨在创建一个开放、透明且用户主导的数字生态。不同于传统
阅读更多...
hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

利用康拓展开将一个排列映射成一个自然数，然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu
阅读更多...
使用opencv优化图片（画面变清晰）

使用opencv优化图片（画面变清晰）

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化，使其看起来更清晰，同时保持尺寸不变，通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多，主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器：相机传
阅读更多...
阿里开源语音识别SenseVoiceWindows环境部署

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别： 采用超过 40 万小时数据训练，支持超过 50 种语言，识别效果上优于 Whisper 模型。富文本识别：具备优秀的情感识别，能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推
阅读更多...
【C++】_list常用方法解析及模拟实现

【C++】_list常用方法解析及模拟实现

相信自己的力量，只要对自己始终保持信心，尽自己最大努力去完成任何事，就算事情最终结果是失败了，努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一：什么是list？ •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二：list常用接口 •🌰1.默认成员函数 🔥构造函数（⭐） 🔥析构函数 •🌰2.list对象
阅读更多...
【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。 🏆《博客》：Python全栈，前后端开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2