Tensorflow2实现三层神经网络的前向传输

本文主要是介绍Tensorflow2实现三层神经网络的前向传输，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

使用Tensorflow2自己实现三层神经网络的前向传输

导入所需要的包

import tensorflow as tf

导入数据集，本次采用的tensorflow提供的经典是mnist手写数据集

# x:[60k,28,28],
# y:[60k]
(x, y),_ = tf.keras.datasets.mnist.load_data()
# x:[0-255]->[0,1]    y:[0-9]
# 将x,y 转换为Tensor,并且将x归一化
x = tf.convert_to_tensor(x, dtype=tf.float32)/255.
y = tf.convert_to_tensor(y, dtype=tf.int32)
print(x.shape,y.shape,x.dtype,y.dtype) 

输出x,y的shape为下图，x表示60000张28*28 的图片，y对应60000个标签,范围为【0-9】
设置batch为128，即一次训练128条数据。

# 设置batch为128
train_db = tf.data.Dataset.from_tensor_slices((x,y)).batch(128)
train_iter = iter(train_db)
sample = next(train_iter)
# 一个batch的形状
print('batch:',sample[0].shape,sample[1].shape)

以下为训练所需参数和过程，本次设计为三层神经网络。输入层为28*28的图片，节点为784，第二层为256个节点，第三层为128个节点，输出层为10个节点，注释中，b为训练数据的个数（维数）。

# 创建权值
# 降维过程 [b,784]->[b,256]->[b,128]->[b,10]
# [dim_in, dim_out],[dim_out]
# 随机生成一个权重矩阵，并且初始化每一层的偏置
# 由于下文中的梯度下降法，tape默认只会跟踪tf.Variable类型的信息，所以进行转换。
w1 = tf.Variable(tf.random.truncated_normal([784,256],stddev=0.1))
b1 =  tf.Variable(tf.zeros([256]))
w2 =  tf.Variable(tf.random.truncated_normal([256,128],stddev=0.1))
b2 =  tf.Variable(tf.zeros([128]))
w3 =  tf.Variable(tf.random.truncated_normal([128,10],stddev=0.1))
b3 =  tf.Variable(tf.zeros([10]))
lr = 1e-3  #0.001   10的-3次方

训练过程如下代码，设置epoch为10：

for epoch in range(10):# enumerate处理后可以返回当前步骤的step，便于打印当前信息print('epoch',epoch)for step,(x,y) in enumerate(train_db):#x :[128,28,28]#y :[128]x = tf.reshape(x,[-1,28*28])with tf.GradientTape() as tape:  # x :[128,28*28]# h1 = x@w1+b1# [b,784]@[784*256]+[256]->[b,256]+[256]->[b,256]+[b,256]h1 = x@w1 +tf.broadcast_to(b1,[x.shape[0],256])h1 = tf.nn.relu(h1)h2 =  h1@w2 + b2h2 =  tf.nn.relu(h2)out =  h2@w3 + b3# compute loss 计算误差# out:[b,10]y_onehot = tf.one_hot(y,depth=10)# mse = mean(sum(y-out)^2)loss = tf.square(y_onehot-out)# mean: scalarloss = tf.reduce_mean(loss)# compute gradientsgrads = tape.gradient(loss,[w1,b1,w2,b2,w3,b3])# w1 = w1 - lr * w1_gradw1.assign_sub(lr * grads[0])  # 保持w1原地更新，保持引用不变，类型不变b1.assign_sub(lr * grads[1])w2.assign_sub(lr * grads[2])b2.assign_sub(lr * grads[3])w3.assign_sub(lr * grads[4])b3.assign_sub(lr * grads[5])if step % 100 == 0:print(step,'  loss:',float(loss))

运行结果如下图：

这篇关于Tensorflow2实现三层神经网络的前向传输的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---