使用numpy搭建一个人工神经网络

2024-02-28 15:58

本文主要是介绍使用numpy搭建一个人工神经网络,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

传统的机器学习方法

LogisticRegressionCV进行分类
  • 显示200个待分类点
import numpy as np
import sklearn
import matplotlib 
from sklearn.datasets import make_moons
import matplotlib.pyplot as plt
print(np.__version__)
print(sklearn.__version__)
print(matplotlib.__version__)
# 手动生成一个随机的平面点分布,并画出来
np.random.seed(0)
X, y = make_moons(200, noise=0.20)
plt.scatter(X[:,0], X[:,1], s=40, c=y, cmap=plt.cm.Spectral)
plt.show()
print(X[1]) #数据
print(y[19]) #类别
  • 定义一个绘制边界的函数
# 咱们先顶一个一个函数来画决策边界
def plot_decision_boundary(pred_func):# 设定最大最小值,附加一点点边缘填充x_min, x_max = X[:, 0].min() - .5, X[:, 0].max() + .5y_min, y_max = X[:, 1].min() - .5, X[:, 1].max() + .5h = 0.01xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h))# 用预测函数预测一下Z = pred_func(np.c_[xx.ravel(), yy.ravel()])Z = Z.reshape(xx.shape)# 然后画出图plt.contourf(xx, yy, Z, cmap=plt.cm.Spectral)plt.scatter(X[:, 0], X[:, 1], c=y, cmap=plt.cm.Spectral)
  • 传统的逻辑回归分类结果
from sklearn.linear_model import LogisticRegressionCV
#咱们先来瞄一眼逻辑斯特回归对于它的分类效果
clf = LogisticRegressionCV(cv=4)
clf.fit(X, y)# 画一下决策边界
plot_decision_boundary(lambda x: clf.predict(x))  #lambda 后的第一个参数代表传入的变量,:后代表输出的结果
plt.title("Logistic Regression")
plt.show()

搭建一个人工神经网络

  • 输入变量的维度为200*2,代表200个样本,每个样本2具有维度的特征
  • W1=2*3,b1=3。
  • 第一个隐藏层神经元个数为3(不知道这样叫对不对,是神经元之间的权重叫做“层”还是神经元叫做“层”,这里不太确定
  • W2=3*2,b2=2
  • 最后的输出结果是2003,这其中在第一层后面有一个激活函数,在第二层后面先使用softmax函数将输出值转为2002的概率矩阵,根据得到的概率矩阵使用交叉熵(损失函数)计算损失得到一个200*1的矩阵,然后将200个数加到第一行得到这一次训练的损失
  • 根据得到的损失计算梯度,反向传播。不断循环这一步(前向传播计算损失->计算梯度->反向传播、更新权重
  • 最后前向传播,预测结果
网络结构图(隐含层取5个神经元的情况)

在这里插入图片描述

代码
num_examples = len(X) # 样本数   本例题为200
nn_input_dim = 2 # 输入的维度   本例题有两个特征向量
nn_output_dim = 2 # 输出的类别个数  分为两类# 梯度下降参数
epsilon = 0.01 # 学习率
reg_lambda = 0.01 # 正则化参数# 定义损失函数,计算损失(才能用梯度下降啊...)
def calculate_loss(model):W1, b1, W2, b2 = model['W1'], model['b1'], model['W2'], model['b2']
#     print("W1:{}\nb1:{}\nW2:{}\nb2:{}\n".format(W1,b1,W2,b2))
#     print("X:{}\n".format(X.shape))# 向前推进,前向运算z1 = X.dot(W1) + b1  #200*2*2*3 =200*3,  200*3+200*3=200*3 ,z1:200*3
#     print("X.dot(W1):{}".format(X.dot(W1).shape))
#     print("z1:{}\n".format(z1.shape))a1 = np.tanh(z1)  #a1:200*3
#     print("a1:{}".format(a1.shape))z2 = a1.dot(W2) + b2  #200*3*3*2=200*2  , b2:1*2->200*2 , z2:200*2
#     printexp_scores = np.exp(z2)  #200*2
#     print("exp_scores.shape: {} ".format(exp_scores.shape)) probs = exp_scores / np.sum(exp_scores, axis=1, keepdims=True)  #np.sum()  将矩阵按列相加,全部加到第一列 , 200*2/200*1->200*2/200*2
#     print("np.sum:{}".format(np.sum(exp_scores, axis=1, keepdims=True).shape))
#     print("probs:{}".format(probs))# 计算损失corect_logprobs = -np.log(probs[range(num_examples), y])  #取prob这个200*2的概率矩阵的每一行,具体是第几列是靠对应的y来确定的 #200*1
#     print("y:{}".format(y))data_loss = np.sum(corect_logprobs)    #200行加在一起->1*1  一个数
#     print("corect_logprobs:{}".format(corect_logprobs.shape))  #200*1
#     print("data_loss:{}".format(data_loss))  #200行加在一起->1*1  一个数# 也得加一下正则化项data_loss += reg_lambda/2 * (np.sum(np.square(W1)) + np.sum(np.square(W2)))  #W1:2*3 W2:3*2  data_loss是一个数
#     print("data_loss:{}".format(data_loss))
#     print("1./num_examples * data_loss:{}".format(1.*data_loss/num_examples  ))return 1./num_examples * data_loss   #返回一个数,作为损失值
# 完整的训练建模函数定义
def build_model(nn_hdim, num_passes=20000, print_loss=False):'''参数:1) nn_hdim: 隐层节点个数2)num_passes: 梯度下降迭代次数3)print_loss: 设定为True的话,每1000次迭代输出一次loss的当前值'''# 随机初始化一下权重呗np.random.seed(0)  #seed只对第一组随机数起作用W1 = np.random.randn(nn_input_dim, nn_hdim) / np.sqrt(nn_input_dim) # nn.sqrt打印nn_input_dim=2的开方,也就是1.414
#     print("nn.sqrt:{}".format(np.sqrt(nn_input_dim)))
#     print("W1:{}".format(W1))
#     print(" np.random.randn(nn_input_dim, nn_hdim):{}",format( np.random.randn(nn_input_dim, nn_hdim)))b1 = np.zeros((1, nn_hdim))W2 = np.random.randn(nn_hdim, nn_output_dim) / np.sqrt(nn_hdim)  b2 = np.zeros((1, nn_output_dim))# 这是咱们最后学到的模型model = {}# 开始梯度下降...for i in range(0, num_passes):# 前向运算计算lossz1 = X.dot(W1) + b1a1 = np.tanh(z1)z2 = a1.dot(W2) + b2exp_scores = np.exp(z2)probs = exp_scores / np.sum(exp_scores, axis=1, keepdims=True)# 反向传播delta3 = probsdelta3[range(num_examples), y] -= 1dW2 = (a1.T).dot(delta3)db2 = np.sum(delta3, axis=0, keepdims=True)delta2 = delta3.dot(W2.T) * (1 - np.power(a1, 2))dW1 = np.dot(X.T, delta2)db1 = np.sum(delta2, axis=0)# 加上正则化项dW2 += reg_lambda * W2dW1 += reg_lambda * W1# 梯度下降 更新参数W1 += -epsilon * dW1b1 += -epsilon * db1W2 += -epsilon * dW2b2 += -epsilon * db2# 得到的模型实际上就是这些权重model = { 'W1': W1, 'b1': b1, 'W2': W2, 'b2': b2}# 如果设定print_loss了,那我们汇报一下中间状况if print_loss and i % 1000 == 0:
#           print "Loss after iteration %i: %f" %(i, calculate_loss(model))print("Loss after iteration {}: {} ".format(i,calculate_loss(model)))return model
# 判定结果的函数
def predict(model, x):W1, b1, W2, b2 = model['W1'], model['b1'], model['W2'], model['b2']# 前向运算z1 = x.dot(W1) + b1a1 = np.tanh(z1)z2 = a1.dot(W2) + b2exp_scores = np.exp(z2)  #200*2# 计算概率输出最大概率对应的类别probs = exp_scores / np.sum(exp_scores, axis=1, keepdims=True) #200*2
#     print('probs:{}'.format(probs))return np.argmax(probs, axis=1)  #返回200行中,每一行的最大的值,得到的矩阵是一个200*1的矩阵,表示200个元素对应的类别
# 建立隐层有3个节点(神经元)的神经网络
model = build_model(3, print_loss=True)# 然后再把决策/判定边界画出来
plot_decision_boundary(lambda x: predict(model, x))
plt.title("Decision Boundary for hidden layer size 3")
plt.show()

在这里插入图片描述

查看不同神经元数量的分类结果

# 然后听闻你想知道不同的隐层节点个数对结果的影响?
# 那咱们来一起看看吧
plt.figure(figsize=(16, 32))
# 设定不同的隐层节点(神经元)个数
hidden_layer_dimensions = [1, 2, 3, 4, 5, 20, 50]
for i, nn_hdim in enumerate(hidden_layer_dimensions):plt.subplot(4, 2, i+1)plt.title('Hidden Layer size %d' % nn_hdim)model = build_model(nn_hdim)plot_decision_boundary(lambda x: predict(model, x))
plt.show()

参考

np.sqrt函数使用
np.argmax函数使用
np.sum函数使用
np.random.seed函数使用
python的format函数使用

这篇关于使用numpy搭建一个人工神经网络的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/755951

相关文章

使用Python实现图像LBP特征提取的操作方法

《使用Python实现图像LBP特征提取的操作方法》LBP特征叫做局部二值模式,常用于纹理特征提取,并在纹理分类中具有较强的区分能力,本文给大家介绍了如何使用Python实现图像LBP特征提取的操作方... 目录一、LBP特征介绍二、LBP特征描述三、一些改进版本的LBP1.圆形LBP算子2.旋转不变的LB

Maven的使用和配置国内源的保姆级教程

《Maven的使用和配置国内源的保姆级教程》Maven是⼀个项目管理工具,基于POM(ProjectObjectModel,项目对象模型)的概念,Maven可以通过一小段描述信息来管理项目的构建,报告... 目录1. 什么是Maven?2.创建⼀个Maven项目3.Maven 核心功能4.使用Maven H

Python中__init__方法使用的深度解析

《Python中__init__方法使用的深度解析》在Python的面向对象编程(OOP)体系中,__init__方法如同建造房屋时的奠基仪式——它定义了对象诞生时的初始状态,下面我们就来深入了解下_... 目录一、__init__的基因图谱二、初始化过程的魔法时刻继承链中的初始化顺序self参数的奥秘默认

SpringBoot使用GZIP压缩反回数据问题

《SpringBoot使用GZIP压缩反回数据问题》:本文主要介绍SpringBoot使用GZIP压缩反回数据问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录SpringBoot使用GZIP压缩反回数据1、初识gzip2、gzip是什么,可以干什么?3、Spr

Spring Boot 集成 Quartz并使用Cron 表达式实现定时任务

《SpringBoot集成Quartz并使用Cron表达式实现定时任务》本篇文章介绍了如何在SpringBoot中集成Quartz进行定时任务调度,并通过Cron表达式控制任务... 目录前言1. 添加 Quartz 依赖2. 创建 Quartz 任务3. 配置 Quartz 任务调度4. 启动 Sprin

Linux下如何使用C++获取硬件信息

《Linux下如何使用C++获取硬件信息》这篇文章主要为大家详细介绍了如何使用C++实现获取CPU,主板,磁盘,BIOS信息等硬件信息,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下... 目录方法获取CPU信息:读取"/proc/cpuinfo"文件获取磁盘信息:读取"/proc/diskstats"文

Java使用SLF4J记录不同级别日志的示例详解

《Java使用SLF4J记录不同级别日志的示例详解》SLF4J是一个简单的日志门面,它允许在运行时选择不同的日志实现,这篇文章主要为大家详细介绍了如何使用SLF4J记录不同级别日志,感兴趣的可以了解下... 目录一、SLF4J简介二、添加依赖三、配置Logback四、记录不同级别的日志五、总结一、SLF4J

使用Python实现一个优雅的异步定时器

《使用Python实现一个优雅的异步定时器》在Python中实现定时器功能是一个常见需求,尤其是在需要周期性执行任务的场景下,本文给大家介绍了基于asyncio和threading模块,可扩展的异步定... 目录需求背景代码1. 单例事件循环的实现2. 事件循环的运行与关闭3. 定时器核心逻辑4. 启动与停

如何使用Nginx配置将80端口重定向到443端口

《如何使用Nginx配置将80端口重定向到443端口》这篇文章主要为大家详细介绍了如何将Nginx配置为将HTTP(80端口)请求重定向到HTTPS(443端口),文中的示例代码讲解详细,有需要的小伙... 目录1. 创建或编辑Nginx配置文件2. 配置HTTP重定向到HTTPS3. 配置HTTPS服务器

Java使用ANTLR4对Lua脚本语法校验详解

《Java使用ANTLR4对Lua脚本语法校验详解》ANTLR是一个强大的解析器生成器,用于读取、处理、执行或翻译结构化文本或二进制文件,下面就跟随小编一起看看Java如何使用ANTLR4对Lua脚本... 目录什么是ANTLR?第一个例子ANTLR4 的工作流程Lua脚本语法校验准备一个Lua Gramm