# [cs231n (六)神经网络 part 2:传入数据和损失 ][1]

2023-12-27 10:38

本文主要是介绍# [cs231n (六)神经网络 part 2:传入数据和损失 ][1],希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

cs231n (六)神经网络 part 2:传入数据和损失

标签(空格分隔): 神经网络

文章目录

  • [cs231n (六)神经网络 part 2:传入数据和损失 ][1]
  • 同类文章
  • 0.回顾
  • 1. 引言
  • 2. 初始化数据和模型
      • 1. 数据预处理阶段
        • **处理方式:**
        • **白化和PCA**
      • 2. 权重初始化
      • 3.批归一化
      • 4. 正则化
  • 3. 损失函数
  • 4. 总结
  • 转载和疑问声明
  • 我祝各位帅哥,和美女,你们永远十八岁,嗨嘿嘿~~~

同类文章

cs231n (一)图像分类识别讲了KNN
cs231n (二)讲了线性分类器:SVM和SoftMax
cs231n (三)优化问题及方法
cs231n (四)反向传播
cs231n (五)神经网络 part 1:构建架构
cs231n (六)神经网络 part 2:传入数据和损失
cs231n (七)神经网络 part 3 : 学习和评估
cs231n (八)神经网络总结:最小网络案例研究
cs231n (九)卷积神经网络


0.回顾

cs231n (一)图像分类识别讲了KNN
cs231n (二)讲了线性分类器:SVM和SoftMax
cs231n (三)优化问题及方法
cs231n (四)反向传播
cs231n (五)神经网络(part 1) 构建架构

1. 引言

五系列我们讲了神经元模型,主要是加个激活函数,然后定义损失,然后梯度下降。

2. 初始化数据和模型

这里主要是数据预处理、权重初始化啦、还有损失函数的构建,优化问题不要着急哈。

1. 数据预处理阶段

这个可是很重要的级阶段,就像你做饭,食材是很重要的。
基本术语和符号:数据矩阵X = [NxD] = 100x3072

处理方式:
  1. 减去均值,一般也称作去中心化:想象一个数据云图,就是把他们移到原点
    实现代码: X -= np.mean(X, axis=0),或者 X -= np.mean(X)

  2. 归一化数据, 将维度中心化,就是让大家相差不太,数值近似相等
    实现方法:

  • 先对数据零中心化,然后除以标准差: X /= np.std(X, axis=0)
  • 对每个维度都做归一化,使得他们范围一致【-1,1】,适用于:数据特征的计算单位不一样。

1

上述预处理方法可以从这里看出:左 原始数据,中:减去均值方法,右:除以标准差之后的


白化和PCA

主要方法:先对数据零中心化,然后计算协方差矩阵。

# 输入数据矩阵X = [N x D]
X -= np.mean(X, axis = 0) # 进行零中心化 重点
cov = np.dot(X.T, X) / X.shape[0] # 得到协方差矩阵

协方差矩阵是什么? 第(i,j)的元素就是第i个数据的j维度的协方差,矩阵的对角线上是元素的方差,我们可以对协方差矩阵进行SVD奇异值分解

U,S,V = np.linalg.svd(cov)

其中 U的列是特征向量,S 是含有奇异值的1维数组,为达到去除数据的相关性,我们把去零中心化的数据投影到特征基上

Xrot = np.dot(X,U) # 去相关性

np.linalg.svd的返回值U中,特征向量是按照特征值的大小排列的,这样就可以进行数据降维了俗称主成分分析PCA,详细内容可以查看我的博客。

Xrot_reduced = np.dot(X, U[:,:100]) # Xrot_reduced 变成了 [N x 100]

这样原始数据就降维到了 Nx100

接下来说一下白化,输入:特征基准上的数据,对每个维度除以其特征值实现归一化。

因为数据一般是符合高斯分布的,白化后,那么得到均值是零,协方差是相等的矩阵。

Xwhite = Xrot / np.sqrt(S + 1e-5),这里添加了1e-5是防止分母是零情况

2

依次是:原始,PCA, 白化后的数据。


可以看看对于实际数据预处理之后的样子。

3

左:原始数据,中:3072特征值向量的最大的144,右:PCA降维后的数据,右右:白化数据


注意的是:我们一般是在训练集上进行数据进行预处理,验证和测试集减去的是训练数据均值

2. 权重初始化

训练前我们是没有权重的怎么办?
随机啊 !聪明! 你简直就是个天才,看看爱因斯坦怎么说的吧

全零肯定不行

  • 随机数(比较小的) W = 0.01 * np.random.randn(D,H), 想想嘛,数值太小,梯度又穿不透很深的网络,还有有一定问题滴,随着输入数据量的增长,随机初始化的神经元的输出数据的分布中的方差也在增大

  • 1/sqrt(n)校准方差 :w = np.random.randn(n) / sqrt(n), n是输入数据的数量,

  • 稀疏初始化,权重矩阵设为零,神经元随机链接,不好不好。

  • 偏置初始化,一般是零, 至于其他的你可以多尝试呗。

3.批归一化

批量归一化:在网络的每一层之前都做预处理,只不过是以另一种方式与网络集成在了一起

4. 正则化

上节内容已经说过了,就是用来防止过拟合的常见的有:

  • L2正则化:就是二范数,就是$ \frac{1}{2}\lambda w^2$
  • L1正则化:就是一范数,其实就是 $ \lambda_1|w|+\lambda_2w^2 $
  • 最大范式约束:加一个限制: ∣ ∣ w → ∣ ∣ 2 < c ||\overrightarrow{w}||_2<c w 2<c 就算学习率很大也不会出现数值爆炸。
  • 随机死亡:dropout: 来源于这里

4

 """ Vanilla Dropout: Not recommended implementation (see notes below) """p = 0.5 # probability of keeping a unit active. higher = less dropoutdef train_step(X):""" X contains the data """# forward pass for example 3-layer neural networkH1 = np.maximum(0, np.dot(W1, X) + b1)U1 = np.random.rand(*H1.shape) < p # first dropout maskH1 *= U1 # drop!H2 = np.maximum(0, np.dot(W2, H1) + b2)U2 = np.random.rand(*H2.shape) < p # second dropout maskH2 *= U2 # drop!out = np.dot(W3, H2) + b3# backward pass: compute gradients... (not shown)# perform parameter update... (not shown)def predict(X):# ensembled forward passH1 = np.maximum(0, np.dot(W1, X) + b1) * p # NOTE: scale the activations (要乘上p)H2 = np.maximum(0, np.dot(W2, H1) + b2) * p # NOTE: scale the activationsout = np.dot(W3, H2) + b3

实际更多使用反向随机失活(inverted dropout)

""" 
Inverted Dropout: Recommended implementation example.
We drop and scale at train time and don't do anything at test time.
"""p = 0.5 # probability of keeping a unit active. higher = less dropoutdef train_step(X):# forward pass for example 3-layer neural networkH1 = np.maximum(0, np.dot(W1, X) + b1)U1 = (np.random.rand(*H1.shape) < p) / p # first dropout mask. Notice /p!H1 *= U1 # drop!H2 = np.maximum(0, np.dot(W2, H1) + b2)U2 = (np.random.rand(*H2.shape) < p) / p # second dropout mask. Notice /p!H2 *= U2 # drop!out = np.dot(W3, H2) + b3# backward pass: compute gradients... (not shown)# perform parameter update... (not shown)def predict(X):# ensembled forward passH1 = np.maximum(0, np.dot(W1, X) + b1) # no scaling necessaryH2 = np.maximum(0, np.dot(W2, H1) + b2)out = np.dot(W3, H2) + b3

3. 损失函数

前面我们已经学过了 SVM and Softmax
L i = ∑ j ≠ y i m a x ( 0 , f j − f y i + 1 ) \displaystyle L_i=\sum_{j\not=y_i}max(0,f_j-f_{y_i}+1) Li=j=yimax(0,fjfyi+1)
L i = − l o g ( e f y i ∑ j e f j ) \displaystyle L_i=-log(\frac{e^{f_{y_i}}}{\sum_je^{f_j}}) Li=log(jefjefyi)

标签数目很大怎么办? 使用softmax分层,

回归问题:预测实数的值的问题,预测房价,预测图片东西的长度
对于这种问题,计算预测值和真实值之间的损失就够了。
然后用L2平方范式或L1范式取相似度 L i = ∣ ∣ f − y i ∣ ∣ 2 2 L_i=||f-y_i||^2_2 Li=fyi22

4. 总结

直接看目录不就知道了哇,哈哈。
预处理————正则化方法————损失函数


转载和疑问声明

如果你有什么疑问或者想要转载,没有允许是不能转载的哈
赞赏一下能不能转?哈哈,联系我啊,我告诉你呢 ~~
欢迎联系我哈,我会给大家慢慢解答啦~~~怎么联系我? 笨啊~ ~~ 你留言也行

你关注微信公众号1.机器学习算法工程师:2.或者扫那个二维码,后台发送 “我要找朕”,联系我也行啦!

(爱心.gif) 么么哒 ~么么哒 ~么么哒
码字不易啊啊啊,如果你觉得本文有帮助,三毛也是爱!

我祝各位帅哥,和美女,你们永远十八岁,嗨嘿嘿~~~

这篇关于# [cs231n (六)神经网络 part 2:传入数据和损失 ][1]的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/542846

相关文章

如何使用C#串口通讯实现数据的发送和接收

《如何使用C#串口通讯实现数据的发送和接收》本文详细介绍了如何使用C#实现基于串口通讯的数据发送和接收,通过SerialPort类,我们可以轻松实现串口通讯,并结合事件机制实现数据的传递和处理,感兴趣... 目录1. 概述2. 关键技术点2.1 SerialPort类2.2 异步接收数据2.3 数据解析2.

大数据spark3.5安装部署之local模式详解

《大数据spark3.5安装部署之local模式详解》本文介绍了如何在本地模式下安装和配置Spark,并展示了如何使用SparkShell进行基本的数据处理操作,同时,还介绍了如何通过Spark-su... 目录下载上传解压配置jdk解压配置环境变量启动查看交互操作命令行提交应用spark,一个数据处理框架

通过ibd文件恢复MySql数据的操作方法

《通过ibd文件恢复MySql数据的操作方法》文章介绍通过.ibd文件恢复MySQL数据的过程,包括知道表结构和不知道表结构两种情况,对于知道表结构的情况,可以直接将.ibd文件复制到新的数据库目录并... 目录第一种情况:知道表结构第二种情况:不知道表结构总结今天干了一件大事,安装1Panel导致原来服务

Jmeter如何向数据库批量插入数据

《Jmeter如何向数据库批量插入数据》:本文主要介绍Jmeter如何向数据库批量插入数据方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Jmeter向数据库批量插入数据Jmeter向mysql数据库中插入数据的入门操作接下来做一下各个元件的配置总结Jmete

MySQL InnoDB引擎ibdata文件损坏/删除后使用frm和ibd文件恢复数据

《MySQLInnoDB引擎ibdata文件损坏/删除后使用frm和ibd文件恢复数据》mysql的ibdata文件被误删、被恶意修改,没有从库和备份数据的情况下的数据恢复,不能保证数据库所有表数据... 参考:mysql Innodb表空间卸载、迁移、装载的使用方法注意!此方法只适用于innodb_fi

mysql通过frm和ibd文件恢复表_mysql5.7根据.frm和.ibd文件恢复表结构和数据

《mysql通过frm和ibd文件恢复表_mysql5.7根据.frm和.ibd文件恢复表结构和数据》文章主要介绍了如何从.frm和.ibd文件恢复MySQLInnoDB表结构和数据,需要的朋友可以参... 目录一、恢复表结构二、恢复表数据补充方法一、恢复表结构(从 .frm 文件)方法 1:使用 mysq

mysql8.0无备份通过idb文件恢复数据的方法、idb文件修复和tablespace id不一致处理

《mysql8.0无备份通过idb文件恢复数据的方法、idb文件修复和tablespaceid不一致处理》文章描述了公司服务器断电后数据库故障的过程,作者通过查看错误日志、重新初始化数据目录、恢复备... 周末突然接到一位一年多没联系的妹妹打来电话,“刘哥,快来救救我”,我脑海瞬间冒出妙瓦底,电信火苲马扁.

golang获取prometheus数据(prometheus/client_golang包)

《golang获取prometheus数据(prometheus/client_golang包)》本文主要介绍了使用Go语言的prometheus/client_golang包来获取Prometheu... 目录1. 创建链接1.1 语法1.2 完整示例2. 简单查询2.1 语法2.2 完整示例3. 范围值

javaScript在表单提交时获取表单数据的示例代码

《javaScript在表单提交时获取表单数据的示例代码》本文介绍了五种在JavaScript中获取表单数据的方法:使用FormData对象、手动提取表单数据、使用querySelector获取单个字... 方法 1:使用 FormData 对象FormData 是一个方便的内置对象,用于获取表单中的键值

Rust中的BoxT之堆上的数据与递归类型详解

《Rust中的BoxT之堆上的数据与递归类型详解》本文介绍了Rust中的BoxT类型,包括其在堆与栈之间的内存分配,性能优势,以及如何利用BoxT来实现递归类型和处理大小未知类型,通过BoxT,Rus... 目录1. Box<T> 的基础知识1.1 堆与栈的分工1.2 性能优势2.1 递归类型的问题2.2