ufldl 深度学习入门 第一发:基于BP网络实现稀疏自编码器

2024-01-09 11:38

本文主要是介绍ufldl 深度学习入门 第一发:基于BP网络实现稀疏自编码器,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目的:打算使用深度学习的方式实现人脸关键点的检测,第一步是要学习深度学习。

步骤:第一步在ufldl上面学习深度学习的算法基础知识,然后找博客上基于python调用theano库实现人脸关键点检测的算法,看懂后基于C++实现,然后用java实现app,调用C++实现的算法。

ufldl上的第一章是基于BP网络实现稀疏自编码器,在matlab上实现。


稀疏自编码器的实现:ufldl上已经给出了整体的框架,我们需要将三个地方补全。由于我对matlab各种函数不熟悉,所以采用的是参考别人实现的代码,然后去理解的方式,等到ufldl教程后面几课越来越熟悉,再自己来实现。

首先是补全sampleIMAGES.m中的代码,该代码从IMAGES.mat中随机提取8×8×10000张sample patches,用来做输入样本。

    tic  image_size=size(IMAGES);  i=randi(image_size(1)-patchsize+1,1,numpatches);   %产生1*10000个随机数 范围在[1,image_size(1)-patchsize+1]之间  j=randi(image_size(2)-patchsize+1,1,numpatches);  k=randi(image_size(3),1,numpatches);              % 随机的选取图片 10000次  for num=1:numpatches  patches(:,num)=reshape(IMAGES(i(num):i(num)+patchsize-1,j(num):j(num)+patchsize-1,k(num)),1,patchsize*patchsize);  end  toc  
说明:

tic和toc用来计时,返回tic-toc之间代码运行花费的时间;

IMAGES是512×512×10的数组,所以size(IMAGES)返回512 512 10的向量;

i=randi(512-8+1,1,10000),会返回一个1×10000的随机数组,数组中的元素属于(0,505],也就是[1,505];(ps:上面介绍randi函数说产生的是开区间,但是我试了发现并不是开区间,是可以取到505的,不过这里并没有什么影响,就不去纠结这一点了)

所以i j k都是1×10000的数组,元素大小位于1-505;

sample=IMAGES(i(num):i(num)+patchsize-1,j(num):j(num)+patchsize-1,k(num))
上面这句话采用全下标的方式访问3维数组IMAGES的元素,行从i(num)到i(num)+7,列从j(num)到j(num)+7,页选择k(num);

reshape(sample,1,64)将sample变成了1×64的行向量,然后赋值给了patches;

sample到图片后又将图片的数据全部归一化到了[0.1,0.9]:patches = normalizeData(patches)

这里的归一化函数,之后再分析,之所以要归一化到[0.1,0.9],是因为激活函数sigmoid函数的输出范围是[0,1],所以需要将输入归一化到函数的输出范围内,这样才能训练。

其次是实现sparseAutoencoder.m,稀疏自编码

%1.forward propagation
data_size=size(data);%获得data的维数信息,64×10000
active_value2=repmat(b1,1,data_size(2));     %扩展b1,得到结果为25×10000,之前b1为25×1,对应的是一个patch,现在有10000个patch,相应的变成10000columns
active_value3=repmat(b2,1,data_size(2));    %同上,对应b2
active_value2=sigmoid(W1*data+active_value2);     %计算中间隐藏层的激活值,z=w1×data+b1 对应25×10000
active_value3=sigmoid(W2*active_value2+active_value3);     %计算输出层的激活值,z=w2×a2+b2 对应64×10000
%2.computing error term and cost
ave_square=sum(sum((active_value3-data).^2)./2)/data_size(2);     %计算均方误差
weight_decay=lambda/2*(sum(sum(W1.^2))+sum(sum(W2.^2)));    %计算权重衰减项p_real=sum(active_value2,2)./data_size(2);     %计算平均活跃度,sum(x,2)将每行相加,结果为25×1的列向量
p_para=repmat(sparsityParam,hiddenSize,1);    %将参数p,repmat为25×1的列向量
sparsity=beta.*sum(p_para.*log(p_para./p_real)+(1-p_para).*log((1-p_para)./(1-p_real)));     %求得稀疏性限制项
cost=ave_square+weight_decay+sparsity;     %3项求和得到总的代价函数,但是为什么要求总的代价函数呢?%貌似并不需要啊,只需要求偏导就可以了啊,确实这4句话并非必须%其实是因为后面的computeNumercialGradient函数,需要总的代价cost%这样就可以通过导数的定义来计算gradient了
delta3=(active_value3-data).*(active_value3).*(1-active_value3);     %计算输出层的残差,结果形式是64×10000
average_sparsity=repmat(sum(active_value2,2)./data_size(2),1,data_size(2));     %计算平均活跃度,并且repmat成25×10000的矩阵形式
default_sparsity=repmat(sparsityParam,hiddenSize,data_size(2));     %把默认参数p,repmat成计算需要的25×10000矩阵形式
sparsity_penalty=beta.*(-(default_sparsity./average_sparsity)+((1-default_sparsity)./(1-average_sparsity)));  %计算 计算delta时需要的稀疏惩罚项
delta2=(W2'*delta3+sparsity_penalty).*((active_value2).*(1-active_value2));     %计算中间隐藏层的残差,这里加入了稀疏惩罚项
%3.backword propagation 后向传播,更新w和b的值
W2grad=delta3*active_value2'./data_size(2)+lambda.*W2;       %64×10000  ×   10000×25 然后求平均值得到64×25的W2grad
W1grad=delta2*data'./data_size(2)+lambda.*W1;        %25×10000  ×  10000×64 然后求平均值得到25×64的W1grad
b2grad=sum(delta3,2)./data_size(2);      %得到64×1
b1grad=sum(delta2,2)./data_size(2);     %得到25×1%可是问题是这里的代码并没有对w b进行更新迭代啊,%只是求了一遍,更新迭代的代码在哪里? %andrew ng 给出了后面要用的迭代求解的代码,会重复调用这个函数% minFunc函数就是通过LBFGS来快速迭代求解的 
最后数值计算导数,用作梯度检验,computeNumercialGradient.m

EPSILON=0.0001;
for i=1:size(theta)% for循环,从1到3289(25×64+64×25+25+64)theta_plus=theta;theta_minu=theta;% 将theta赋值给两个计算中用到的变量theta_plus(i)=theta_plus(i)+EPSILON;theta_minu(i)=theta_minu(i)-EPSILON;% 将原有w1 w2 b1 b2 中的某个值做一个很小的更改% 通过更改后的cost的变化,根据导数的定义计算numgrad(i)=(J(theta_plus)-J(theta_minu))/(2*EPSILON);% j是一个函数句柄变量,可以用来调用函数sparseAutoencoderCost% numgrad is 3289×1 vector% 为什么numgrad是3289×1的vector,J()的输出是[cost,grad],这里还没有深究??
end
基于上面的三段程序,加上andrew ng提供的程序,就可以完成稀疏自编码器的;

注意梯度检验这一段程序,用来检验前面写的程序是否正确,在确认正确后,train时,将该段程序注释掉

这样才能比较快的完成train,否则梯度检验这一段程序很慢的;

最后给出训练后的结果:


矢量化编程:

由于前面代码的实现已经是矢量化了,所以不需要大的更改,只需要改变读取输入数据的方式即可。

将STEP1 Implement sampleIMAGES 改成如下即可

images=loadMNISTImages('train-images-idx3-ubyte');   % image is 784*60000 matrix, 784=28*28
display_network(images(:,1:100));                    % Show the first 100 images
patches = images(:,1:10000);
最后得到的训练结果如图:


matlab中涉及到的函数如下,并附上使用简介:

1 cumtrapz(a);计算数组a的数值积分,比如a=[1 2 3 4 ],cumtrapz(a)=[0 1.5 4 7.5 ],因为a对应的图形的面积在这4个点处分别是0  1.5  4  7.5,默认a的每个元素之间的间距是1。

2 ndims(a):返回数组a的维数=2。a=[1 2 3 4 ]或者a=1,a的维数都是2,有行和列。

3 size(a):返回数组a的所有维度的值,所以返回的是一个向量值。比如a=a=[1 2 3 4 ],a有两个维度,第一维度是行维度=1,第二维度是列维度=4。

4 随机函数

rand 生成均匀分布的伪随机数。分布在(0~1)之间

 主要语法:rand(m,n)生成m行n列的均匀分布的伪随机数
          rand(m,n,'double')生成指定精度的均匀分布的伪随机数,参数还可以是'single'
          rand(RandStream,m,n)利用指定的RandStream(我理解为随机种子)生成伪随机数
randn 生成标准正态分布的伪随机数(均值为0,方差为1)
   主要语法:和上面一样
randi 生成均匀分布的伪随机整数
  主要语法:randi(iMax)在开区间(0,iMax)生成均匀分布的伪随机整数
          randi(iMax,m,n)在开区间(0,iMax)生成mXn型随机矩阵
           r =randi([iMin,iMax],m,n)在开区间(iMin,iMax)生成mXn型随机矩阵

5 reshape(a,2,6),a=[1 2 3;4 5 6;7 8 9;10 11 12],reshape(a,2,6)=[1 7 2 8 3 9;4 10 5 11 6 12],具体的原理百度;按列拼接,然后抽取元素,组成2组行向量。

6 sum函数,sum(x,2)表示矩阵x的横向相加,求每行的和,结果是列向量;而缺省的sum(x)就是竖向相加,求每列的和,结果是行向量
disp()函数,用于显示数组。a=‘hello’,disp(a)=hello;a=[1 2],b=[3 4],disp([a,b])=1 2 3 4






这篇关于ufldl 深度学习入门 第一发:基于BP网络实现稀疏自编码器的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/586998

相关文章

python使用watchdog实现文件资源监控

《python使用watchdog实现文件资源监控》watchdog支持跨平台文件资源监控,可以检测指定文件夹下文件及文件夹变动,下面我们来看看Python如何使用watchdog实现文件资源监控吧... python文件监控库watchdogs简介随着Python在各种应用领域中的广泛使用,其生态环境也

el-select下拉选择缓存的实现

《el-select下拉选择缓存的实现》本文主要介绍了在使用el-select实现下拉选择缓存时遇到的问题及解决方案,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的... 目录项目场景:问题描述解决方案:项目场景:从左侧列表中选取字段填入右侧下拉多选框,用户可以对右侧

Python pyinstaller实现图形化打包工具

《Pythonpyinstaller实现图形化打包工具》:本文主要介绍一个使用PythonPYQT5制作的关于pyinstaller打包工具,代替传统的cmd黑窗口模式打包页面,实现更快捷方便的... 目录1.简介2.运行效果3.相关源码1.简介一个使用python PYQT5制作的关于pyinstall

使用Python实现大文件切片上传及断点续传的方法

《使用Python实现大文件切片上传及断点续传的方法》本文介绍了使用Python实现大文件切片上传及断点续传的方法,包括功能模块划分(获取上传文件接口状态、临时文件夹状态信息、切片上传、切片合并)、整... 目录概要整体架构流程技术细节获取上传文件状态接口获取临时文件夹状态信息接口切片上传功能文件合并功能小

python实现自动登录12306自动抢票功能

《python实现自动登录12306自动抢票功能》随着互联网技术的发展,越来越多的人选择通过网络平台购票,特别是在中国,12306作为官方火车票预订平台,承担了巨大的访问量,对于热门线路或者节假日出行... 目录一、遇到的问题?二、改进三、进阶–展望总结一、遇到的问题?1.url-正确的表头:就是首先ur

C#实现文件读写到SQLite数据库

《C#实现文件读写到SQLite数据库》这篇文章主要为大家详细介绍了使用C#将文件读写到SQLite数据库的几种方法,文中的示例代码讲解详细,感兴趣的小伙伴可以参考一下... 目录1. 使用 BLOB 存储文件2. 存储文件路径3. 分块存储文件《文件读写到SQLite数据库China编程的方法》博客中,介绍了文

Redis主从复制实现原理分析

《Redis主从复制实现原理分析》Redis主从复制通过Sync和CommandPropagate阶段实现数据同步,2.8版本后引入Psync指令,根据复制偏移量进行全量或部分同步,优化了数据传输效率... 目录Redis主DodMIK从复制实现原理实现原理Psync: 2.8版本后总结Redis主从复制实

JAVA利用顺序表实现“杨辉三角”的思路及代码示例

《JAVA利用顺序表实现“杨辉三角”的思路及代码示例》杨辉三角形是中国古代数学的杰出研究成果之一,是我国北宋数学家贾宪于1050年首先发现并使用的,:本文主要介绍JAVA利用顺序表实现杨辉三角的思... 目录一:“杨辉三角”题目链接二:题解代码:三:题解思路:总结一:“杨辉三角”题目链接题目链接:点击这里

Node.js 中 http 模块的深度剖析与实战应用小结

《Node.js中http模块的深度剖析与实战应用小结》本文详细介绍了Node.js中的http模块,从创建HTTP服务器、处理请求与响应,到获取请求参数,每个环节都通过代码示例进行解析,旨在帮... 目录Node.js 中 http 模块的深度剖析与实战应用一、引言二、创建 HTTP 服务器:基石搭建(一

基于Python实现PDF动画翻页效果的阅读器

《基于Python实现PDF动画翻页效果的阅读器》在这篇博客中,我们将深入分析一个基于wxPython实现的PDF阅读器程序,该程序支持加载PDF文件并显示页面内容,同时支持页面切换动画效果,文中有详... 目录全部代码代码结构初始化 UI 界面加载 PDF 文件显示 PDF 页面页面切换动画运行效果总结主