C++卷积神经网络实例:tiny_cnn代码详解(7)——fully_connected_layer层结构类分析

本文主要是介绍C++卷积神经网络实例:tiny_cnn代码详解(7)——fully_connected_layer层结构类分析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

  之前的博文中已经将卷积层、下采样层进行了分析,在这篇博文中我们对最后一个顶层层结构fully_connected_layer类(全连接层)进行分析:

  一、卷积神经网路中的全连接层

  在卷积神经网络中全连接层位于网络模型的最后部分,负责对网络最终输出的特征进行分类预测,得出分类结果:

  LeNet-5模型中的全连接层分为全连接和高斯连接,该层的最终输出结果即为预测标签,例如这里我们需要对MNIST数据库中的数据进行分类预测,其中的数据一共有10类(数字0~9),因此全全连接层的最终输出就是一个10维的预测结果向量,哪一维的值为非零,则预测结果对应的就是几。

  二、fully_connected_layer类结构

  与之前卷积层和下采样层不同的是,这里的全连接层fully_connected_layer类继承自基类layer,其中类成员一共可分为四大部分:成员变量、构造函数、前向传播函数、反向传播函数。

  2.1 成员变量

  fully_connected_layer类的成员变量只有一个,就是一个Filter类型的变量:

  而这里的Filter是通过类模板参数传入的一个缺省filter_none类型,具体如下:

  至于filter_none类型,从名称判断应该是一个和滤波器核相关的类封装,具体定义在dropout.h文件中:

  有关dropout.h文件中封装的相关类的详细信息我会在之后的博文中进行详细的介绍,这里先留一个坑,不过事先透漏一点,卷积神经网络中的dropout本质上是为了改善网络过拟合性能而设计的。

  2.2 构造函数

  构造函数极其简单,单纯的调用了基类layer的构造函数:

  至于基类layer,里面封装了大量的虚函数以及纯虚函数,并给出了网络层基本的框架设定,对layer_base类进行了一部分实例化,这几点我们以后会详细说的。

  2.3 前向传播函数

  众所周知,卷积神经网络在训练时和BP神经网络的训练极其相似,包括一个样本预测的前向传播过程和误差的反向传播过程。首先前向传播函数的代码如下:

        const vec_t& forward_propagation(const vec_t& in, size_t index) {vec_t &a = a_[index];vec_t &out = output_[index];for_i(parallelize_, out_size_, [&](int i) {a[i] = 0.0;for (int c = 0; c < in_size_; c++)a[i] += W_[c*out_size_ + i] * in[c];a[i] += b_[i];});for_i(parallelize_, out_size_, [&](int i) {out[i] = h_.f(a, i);});auto& this_out = filter_.filter_fprop(out, index);return next_ ? next_->forward_propagation(this_out, index) : this_out;}

  从代码中可以看出这个前向传播函数本质上属于一个递归函数,用递归的方式实现层层传播的功能:

  在前向传播的过程中,主要有两个阶段,一是通过当前层的卷积核和偏置完成对输入数据的映射:

  从代码中可见,卷积层的映射过程本质上就是一个卷积操作,然后在对卷积结果累加偏置。第二个阶段就是将卷积层的映射结果送入激活函数中进行处理:

  激活函数的主要作用是对卷积层的映射输出进行规范化,调整期数据分布。经典的激活函数是Sigmoid函数,主要对输出特征进行平滑。在之后学者又提出Relu类型的激活函数,主要是对输出特征进行稀疏化规范,使其更接近于人脑的视觉映射机理。在tiny_cnn中作者封装了sigmoid、relu、leaky_relu、softmax、tan_h、tan_hp1m2等激活函数,这些类都定义在activation命名空间中,具体在activation_function.h文件中,在后续的篇幅中我会专门拿出一篇博文的篇幅对tiny_cnn的激活函数做集中的分析。

  2.4 反向传播函数

  反向传播算法是BP类型神经网络的经典特征,大部分都采用随机梯度下降法对误差进行求导和传播。由于反向传播算法涉及到误差的求偏导、灵敏度传递等概念,导致其在原理上相对于前向传播过程显得更为复杂,代码实现也较为繁琐,我们这里只是先给出反向传播的代码,在后续的博文中在针对这个传播过程进行更文详细的分析,OK,又是一个坑:

    const vec_t& back_propagation(const vec_t& current_delta, size_t index) {const vec_t& curr_delta = filter_.filter_bprop(current_delta, index);const vec_t& prev_out = prev_->output(index);const activation::function& prev_h = prev_->activation_function();vec_t& prev_delta = prev_delta_[index];vec_t& dW = dW_[index];vec_t& db = db_[index];for (int c = 0; c < this->in_size_; c++) {// propagate delta to previous layer// prev_delta[c] += current_delta[r] * W_[c * out_size_ + r]prev_delta[c] = vectorize::dot(&curr_delta[0], &W_[c*out_size_], out_size_);prev_delta[c] *= prev_h.df(prev_out[c]);}for_(parallelize_, 0, out_size_, [&](const blocked_range& r) {// accumulate weight-step using delta// dW[c * out_size + i] += current_delta[i] * prev_out[c]for (int c = 0; c < in_size_; c++)vectorize::muladd(&curr_delta[0], prev_out[c], r.end() - r.begin(), &dW[c*out_size_ + r.begin()]);for (int i = r.begin(); i < r.end(); i++) db[i] += curr_delta[i];});return prev_->back_propagation(prev_delta_[index], index);}

  四、注意事项

  1、卷积层和下采样层的前向/反向传播函数

  在fully_connected_layer类中我们发现其内部封装了前向/反向传播函数,但在之前介绍的卷积层和均值下采样层中我们并没有发现前向/反向传播函数的影子,但前向/反向传播函数确实是一个全局的过程,不可能出现断层,因此仔细研究就会发现原来作者是将convolutional_layer类和average_pooling_layer对应的前向/反向传播函数封装在了它们共同的基类:partial_connected_layer中了。

  2、前向传播函数和反向传播函数

  在这篇博文中我为后续的博文中挖下了很多大坑,尤其像前向/反向传播函数这种卷积神经网络训练的精华部分,是最能体现作者编程功力和框架设计功力的地方,一两篇博文都不一定能讲的清楚,所以请大家不要着急,我会尽快把其中的玄机弄明白,然后用通俗的语言进行解释的,所以说,坑一定会都一一填上的。



如果觉得这篇文章对您有所启发,欢迎关注我的公众号,我会尽可能积极和大家交流,谢谢。


这篇关于C++卷积神经网络实例:tiny_cnn代码详解(7)——fully_connected_layer层结构类分析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1115500

相关文章

Spring Boot 3.4.3 基于 Spring WebFlux 实现 SSE 功能(代码示例)

《SpringBoot3.4.3基于SpringWebFlux实现SSE功能(代码示例)》SpringBoot3.4.3结合SpringWebFlux实现SSE功能,为实时数据推送提供... 目录1. SSE 简介1.1 什么是 SSE?1.2 SSE 的优点1.3 适用场景2. Spring WebFlu

springboot security验证码的登录实例

《springbootsecurity验证码的登录实例》:本文主要介绍springbootsecurity验证码的登录实例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录前言代码示例引入依赖定义验证码生成器定义获取验证码及认证接口测试获取验证码登录总结前言在spring

springboot security快速使用示例详解

《springbootsecurity快速使用示例详解》:本文主要介绍springbootsecurity快速使用示例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝... 目录创www.chinasem.cn建spring boot项目生成脚手架配置依赖接口示例代码项目结构启用s

java之Objects.nonNull用法代码解读

《java之Objects.nonNull用法代码解读》:本文主要介绍java之Objects.nonNull用法代码,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录Java之Objects.nonwww.chinasem.cnNull用法代码Objects.nonN

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

一文详解SpringBoot响应压缩功能的配置与优化

《一文详解SpringBoot响应压缩功能的配置与优化》SpringBoot的响应压缩功能基于智能协商机制,需同时满足很多条件,本文主要为大家详细介绍了SpringBoot响应压缩功能的配置与优化,需... 目录一、核心工作机制1.1 自动协商触发条件1.2 压缩处理流程二、配置方案详解2.1 基础YAML

Python实现无痛修改第三方库源码的方法详解

《Python实现无痛修改第三方库源码的方法详解》很多时候,我们下载的第三方库是不会有需求不满足的情况,但也有极少的情况,第三方库没有兼顾到需求,本文将介绍几个修改源码的操作,大家可以根据需求进行选择... 目录需求不符合模拟示例 1. 修改源文件2. 继承修改3. 猴子补丁4. 追踪局部变量需求不符合很

java中反射(Reflection)机制举例详解

《java中反射(Reflection)机制举例详解》Java中的反射机制是指Java程序在运行期间可以获取到一个对象的全部信息,:本文主要介绍java中反射(Reflection)机制的相关资料... 目录一、什么是反射?二、反射的用途三、获取Class对象四、Class类型的对象使用场景1五、Class

Spring事务中@Transactional注解不生效的原因分析与解决

《Spring事务中@Transactional注解不生效的原因分析与解决》在Spring框架中,@Transactional注解是管理数据库事务的核心方式,本文将深入分析事务自调用的底层原理,解释为... 目录1. 引言2. 事务自调用问题重现2.1 示例代码2.2 问题现象3. 为什么事务自调用会失效3

golang 日志log与logrus示例详解

《golang日志log与logrus示例详解》log是Go语言标准库中一个简单的日志库,本文给大家介绍golang日志log与logrus示例详解,感兴趣的朋友一起看看吧... 目录一、Go 标准库 log 详解1. 功能特点2. 常用函数3. 示例代码4. 优势和局限二、第三方库 logrus 详解1.