C++卷积神经网络实例:tiny_cnn代码详解(7)——fully_connected_layer层结构类分析

本文主要是介绍C++卷积神经网络实例:tiny_cnn代码详解(7)——fully_connected_layer层结构类分析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

  之前的博文中已经将卷积层、下采样层进行了分析,在这篇博文中我们对最后一个顶层层结构fully_connected_layer类(全连接层)进行分析:

  一、卷积神经网路中的全连接层

  在卷积神经网络中全连接层位于网络模型的最后部分,负责对网络最终输出的特征进行分类预测,得出分类结果:

  LeNet-5模型中的全连接层分为全连接和高斯连接,该层的最终输出结果即为预测标签,例如这里我们需要对MNIST数据库中的数据进行分类预测,其中的数据一共有10类(数字0~9),因此全全连接层的最终输出就是一个10维的预测结果向量,哪一维的值为非零,则预测结果对应的就是几。

  二、fully_connected_layer类结构

  与之前卷积层和下采样层不同的是,这里的全连接层fully_connected_layer类继承自基类layer,其中类成员一共可分为四大部分:成员变量、构造函数、前向传播函数、反向传播函数。

  2.1 成员变量

  fully_connected_layer类的成员变量只有一个,就是一个Filter类型的变量:

  而这里的Filter是通过类模板参数传入的一个缺省filter_none类型,具体如下:

  至于filter_none类型,从名称判断应该是一个和滤波器核相关的类封装,具体定义在dropout.h文件中:

  有关dropout.h文件中封装的相关类的详细信息我会在之后的博文中进行详细的介绍,这里先留一个坑,不过事先透漏一点,卷积神经网络中的dropout本质上是为了改善网络过拟合性能而设计的。

  2.2 构造函数

  构造函数极其简单,单纯的调用了基类layer的构造函数:

  至于基类layer,里面封装了大量的虚函数以及纯虚函数,并给出了网络层基本的框架设定,对layer_base类进行了一部分实例化,这几点我们以后会详细说的。

  2.3 前向传播函数

  众所周知,卷积神经网络在训练时和BP神经网络的训练极其相似,包括一个样本预测的前向传播过程和误差的反向传播过程。首先前向传播函数的代码如下:

        const vec_t& forward_propagation(const vec_t& in, size_t index) {vec_t &a = a_[index];vec_t &out = output_[index];for_i(parallelize_, out_size_, [&](int i) {a[i] = 0.0;for (int c = 0; c < in_size_; c++)a[i] += W_[c*out_size_ + i] * in[c];a[i] += b_[i];});for_i(parallelize_, out_size_, [&](int i) {out[i] = h_.f(a, i);});auto& this_out = filter_.filter_fprop(out, index);return next_ ? next_->forward_propagation(this_out, index) : this_out;}

  从代码中可以看出这个前向传播函数本质上属于一个递归函数,用递归的方式实现层层传播的功能:

  在前向传播的过程中,主要有两个阶段,一是通过当前层的卷积核和偏置完成对输入数据的映射:

  从代码中可见,卷积层的映射过程本质上就是一个卷积操作,然后在对卷积结果累加偏置。第二个阶段就是将卷积层的映射结果送入激活函数中进行处理:

  激活函数的主要作用是对卷积层的映射输出进行规范化,调整期数据分布。经典的激活函数是Sigmoid函数,主要对输出特征进行平滑。在之后学者又提出Relu类型的激活函数,主要是对输出特征进行稀疏化规范,使其更接近于人脑的视觉映射机理。在tiny_cnn中作者封装了sigmoid、relu、leaky_relu、softmax、tan_h、tan_hp1m2等激活函数,这些类都定义在activation命名空间中,具体在activation_function.h文件中,在后续的篇幅中我会专门拿出一篇博文的篇幅对tiny_cnn的激活函数做集中的分析。

  2.4 反向传播函数

  反向传播算法是BP类型神经网络的经典特征,大部分都采用随机梯度下降法对误差进行求导和传播。由于反向传播算法涉及到误差的求偏导、灵敏度传递等概念,导致其在原理上相对于前向传播过程显得更为复杂,代码实现也较为繁琐,我们这里只是先给出反向传播的代码,在后续的博文中在针对这个传播过程进行更文详细的分析,OK,又是一个坑:

    const vec_t& back_propagation(const vec_t& current_delta, size_t index) {const vec_t& curr_delta = filter_.filter_bprop(current_delta, index);const vec_t& prev_out = prev_->output(index);const activation::function& prev_h = prev_->activation_function();vec_t& prev_delta = prev_delta_[index];vec_t& dW = dW_[index];vec_t& db = db_[index];for (int c = 0; c < this->in_size_; c++) {// propagate delta to previous layer// prev_delta[c] += current_delta[r] * W_[c * out_size_ + r]prev_delta[c] = vectorize::dot(&curr_delta[0], &W_[c*out_size_], out_size_);prev_delta[c] *= prev_h.df(prev_out[c]);}for_(parallelize_, 0, out_size_, [&](const blocked_range& r) {// accumulate weight-step using delta// dW[c * out_size + i] += current_delta[i] * prev_out[c]for (int c = 0; c < in_size_; c++)vectorize::muladd(&curr_delta[0], prev_out[c], r.end() - r.begin(), &dW[c*out_size_ + r.begin()]);for (int i = r.begin(); i < r.end(); i++) db[i] += curr_delta[i];});return prev_->back_propagation(prev_delta_[index], index);}

  四、注意事项

  1、卷积层和下采样层的前向/反向传播函数

  在fully_connected_layer类中我们发现其内部封装了前向/反向传播函数,但在之前介绍的卷积层和均值下采样层中我们并没有发现前向/反向传播函数的影子,但前向/反向传播函数确实是一个全局的过程,不可能出现断层,因此仔细研究就会发现原来作者是将convolutional_layer类和average_pooling_layer对应的前向/反向传播函数封装在了它们共同的基类:partial_connected_layer中了。

  2、前向传播函数和反向传播函数

  在这篇博文中我为后续的博文中挖下了很多大坑,尤其像前向/反向传播函数这种卷积神经网络训练的精华部分,是最能体现作者编程功力和框架设计功力的地方,一两篇博文都不一定能讲的清楚,所以请大家不要着急,我会尽快把其中的玄机弄明白,然后用通俗的语言进行解释的,所以说,坑一定会都一一填上的。



如果觉得这篇文章对您有所启发,欢迎关注我的公众号,我会尽可能积极和大家交流,谢谢。


这篇关于C++卷积神经网络实例:tiny_cnn代码详解(7)——fully_connected_layer层结构类分析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1115500

相关文章

Linux下如何使用C++获取硬件信息

《Linux下如何使用C++获取硬件信息》这篇文章主要为大家详细介绍了如何使用C++实现获取CPU,主板,磁盘,BIOS信息等硬件信息,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下... 目录方法获取CPU信息:读取"/proc/cpuinfo"文件获取磁盘信息:读取"/proc/diskstats"文

Java使用SLF4J记录不同级别日志的示例详解

《Java使用SLF4J记录不同级别日志的示例详解》SLF4J是一个简单的日志门面,它允许在运行时选择不同的日志实现,这篇文章主要为大家详细介绍了如何使用SLF4J记录不同级别日志,感兴趣的可以了解下... 目录一、SLF4J简介二、添加依赖三、配置Logback四、记录不同级别的日志五、总结一、SLF4J

Java使用ANTLR4对Lua脚本语法校验详解

《Java使用ANTLR4对Lua脚本语法校验详解》ANTLR是一个强大的解析器生成器,用于读取、处理、执行或翻译结构化文本或二进制文件,下面就跟随小编一起看看Java如何使用ANTLR4对Lua脚本... 目录什么是ANTLR?第一个例子ANTLR4 的工作流程Lua脚本语法校验准备一个Lua Gramm

Java字符串操作技巧之语法、示例与应用场景分析

《Java字符串操作技巧之语法、示例与应用场景分析》在Java算法题和日常开发中,字符串处理是必备的核心技能,本文全面梳理Java中字符串的常用操作语法,结合代码示例、应用场景和避坑指南,可快速掌握字... 目录引言1. 基础操作1.1 创建字符串1.2 获取长度1.3 访问字符2. 字符串处理2.1 子字

Vue3组件中getCurrentInstance()获取App实例,但是返回null的解决方案

《Vue3组件中getCurrentInstance()获取App实例,但是返回null的解决方案》:本文主要介绍Vue3组件中getCurrentInstance()获取App实例,但是返回nu... 目录vue3组件中getCurrentInstajavascriptnce()获取App实例,但是返回n

使用Java将DOCX文档解析为Markdown文档的代码实现

《使用Java将DOCX文档解析为Markdown文档的代码实现》在现代文档处理中,Markdown(MD)因其简洁的语法和良好的可读性,逐渐成为开发者、技术写作者和内容创作者的首选格式,然而,许多文... 目录引言1. 工具和库介绍2. 安装依赖库3. 使用Apache POI解析DOCX文档4. 将解析

一文详解如何在Python中从字符串中提取部分内容

《一文详解如何在Python中从字符串中提取部分内容》:本文主要介绍如何在Python中从字符串中提取部分内容的相关资料,包括使用正则表达式、Pyparsing库、AST(抽象语法树)、字符串操作... 目录前言解决方案方法一:使用正则表达式方法二:使用 Pyparsing方法三:使用 AST方法四:使用字

C++使用printf语句实现进制转换的示例代码

《C++使用printf语句实现进制转换的示例代码》在C语言中,printf函数可以直接实现部分进制转换功能,通过格式说明符(formatspecifier)快速输出不同进制的数值,下面给大家分享C+... 目录一、printf 原生支持的进制转换1. 十进制、八进制、十六进制转换2. 显示进制前缀3. 指

Python列表去重的4种核心方法与实战指南详解

《Python列表去重的4种核心方法与实战指南详解》在Python开发中,处理列表数据时经常需要去除重复元素,本文将详细介绍4种最实用的列表去重方法,有需要的小伙伴可以根据自己的需要进行选择... 目录方法1:集合(set)去重法(最快速)方法2:顺序遍历法(保持顺序)方法3:副本删除法(原地修改)方法4:

python logging模块详解及其日志定时清理方式

《pythonlogging模块详解及其日志定时清理方式》:本文主要介绍pythonlogging模块详解及其日志定时清理方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录python logging模块及日志定时清理1.创建logger对象2.logging.basicCo