C++卷积神经网络实例:tiny_cnn代码详解(8)——partial_connected_layer层结构类分析(上)

本文主要是介绍C++卷积神经网络实例:tiny_cnn代码详解(8)——partial_connected_layer层结构类分析(上),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

  在之前的博文中我们已经将顶层的网络结构都介绍完毕,包括卷积层、下采样层、全连接层,在这篇博文中主要有两个任务,一是整体贯通一下卷积神经网络在对图像进行卷积处理的整个流程,二是继续我们的类分析,这次需要进行分析的是卷积层和下采样层的公共基类:partial_connected_layer。

  一、卷积神经网络的工作流程

  首先给出经典的5层模式的卷积神经网络LeNet-5结构模型:

  这是一个典型的卷积层-下采样层-卷积层-下采样层-卷积层-全连接层模式的CNN结构,接下里观察在我们的程序实例中对网络的初始化情况:

  (1)卷积层C1:输入图像的尺寸为32*32,卷积核尺寸(卷积窗口尺寸)为5*5,输入数据模板数量为1,卷积核模板种类为6个,导致C1层对每个输入的图像进行卷积操作之后,得到6个卷积特征模板输出,并且卷积后图像的尺寸变为32-5+1=28

  (2)均值下采样层S2:输入图像的尺寸为28*28,输入数据矩阵的个数为6个,均值下采样是的邻域窗口为2*2,。这里需要强调的一点是S2和C1是相邻层,S2以C1层的输出为输入,因此S2的输入尺寸等于C1的输出尺寸,S2的输入特征模板个数等于C1的输出特征模板个数,并且这两层之间的连接方式为全连接。S2层由于对输入数据矩阵进行了2*2的均值下采样,因此导致数据尺寸会缩小为原来的四分之一,即14*14。

  (3)卷积层C3:输入图像尺寸为14*14,卷积核尺寸为5*5,输入数据模板数量为6个,该层卷积模板种类为16个,导致C3层对每个输入的图像进行卷积操作之后,得到16个卷积特征模板输出,并且卷积后图像的尺寸变为14-5+1=10。并且C3层与S2层之间的连接属性并非是默认的全连接,而是按照指定连接方式(存储在connection变量中)进行连接。

  (4)均值下采样层S4:输入数据矩阵的尺寸为10*10,输入数据矩阵的个数为16个,均值下采样的邻域窗口为2*2,与S2相似,这里的下采样操作同样导致矩阵尺寸减半,因此S4层的特征矩阵输入尺寸为5*5。

  (5)卷积层C5:输入数据矩阵尺寸为5*5,卷积核尺寸为5*5,输入数据模板数量为16,卷积核模板种类为120个。由于在这一层数据矩阵的尺寸已经和卷积核尺寸相同,导致每一次的卷积操作都将得到一个具体数值(即卷积窗口无法进行滑动),导致C5层输出的特征结构是一个120维的特征向量。

  (6)全连接层:输入特征维数为120,输出特征维数为10(一共有十类),完成特征的分类工作,类此与一个抽象的线性分类函数。

  (6)激活函数:从代码中可以看出,这里各个层之间的激活函数统一选用tan_h函数,当然tiny_cnn中还封装了很多其他类型的激活函数,在这里可以随便选择,但需要注意的一点是这个网络中理论上只能使用一种类型的激活函数。

  二、partial_connected_layer类结构

  在分析partial_connected_layer类的过程中,同样遵循“成员变量-构造函数-功能函数”的分析流程

  2.1 成员变量

  partial_connected_layer类主要有以下五个成员变量:

  这五个成员变量的结构及功能是分析tiny_cnn网络映射机制的一个重点,因此在这里对其着重进行一下分析。首先需要注明一点的是,前三个变量本质上是一个双层vector结构的成员变量,之所以称其为双层vector,是因为在io_connection等别名对应的宏定义中,已经包含了一层vector属性:

  因此weight2io_、out2wi_、in2wo_、bias2out_均是双层的vector结构,前三个变量的核心存储单元是pair(,),第四个变量的核心存储单元则是一个无符号整型变量,为了更好的说明这种双层vector的特殊结构,这里给出一个示意图:

  这里之所以采用了双层的vector结构,主要原因在于partial_connected_layer类是一个基类型,需要卷积层和下采样层提供基本层结构框架,而在实际的网络模型中都包含多个相同结构的卷积层和下采样层,在对具体某一层的某一个映射核进行索引时,就需要用到这种双层的vector结构。最外层的vector(vector m)用来标记当前层的具体标号,即指明当前层是具体哪一层;内层的vector()(vector m1~vector mn)用来索引当前层中具体哪一个卷积核,因为一个卷积核包含多个权重值(例如C1层共有6个卷积核,每个卷积核包含5*5=25个权重值,因此C1层在存储卷积核权重时需要用到6个vecto类型容器,每个容器中包含25个值)。总之一个卷积核中包含多个权重值,一个卷积层中包含多个卷积核,这就要求使用一种双层vector的数据结构对它进行存储,其索引机制一定程度上有些类似于二维数组的索引机制。

  OK,这篇博客就先介绍到这里,在下一篇博文中我们将着重介绍partial_connected_layer类中的相关构造函数以及一些重要的功能函数。



如果觉得这篇文章对您有所启发,欢迎关注我的公众号,我会尽可能积极和大家交流,谢谢。


这篇关于C++卷积神经网络实例:tiny_cnn代码详解(8)——partial_connected_layer层结构类分析(上)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1115501

相关文章

Spring Security基于数据库验证流程详解

Spring Security 校验流程图 相关解释说明(认真看哦) AbstractAuthenticationProcessingFilter 抽象类 /*** 调用 #requiresAuthentication(HttpServletRequest, HttpServletResponse) 决定是否需要进行验证操作。* 如果需要验证,则会调用 #attemptAuthentica

【C++ Primer Plus习题】13.4

大家好,这里是国中之林! ❥前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站。有兴趣的可以点点进去看看← 问题: 解答: main.cpp #include <iostream>#include "port.h"int main() {Port p1;Port p2("Abc", "Bcc", 30);std::cout <<

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题,本文将一起从代码层去分析为什么没有建立索引? 开源ERP项目地址:https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置

C++包装器

包装器 在 C++ 中,“包装器”通常指的是一种设计模式或编程技巧,用于封装其他代码或对象,使其更易于使用、管理或扩展。包装器的概念在编程中非常普遍,可以用于函数、类、库等多个方面。下面是几个常见的 “包装器” 类型: 1. 函数包装器 函数包装器用于封装一个或多个函数,使其接口更统一或更便于调用。例如,std::function 是一个通用的函数包装器,它可以存储任意可调用对象(函数、函数

OpenHarmony鸿蒙开发( Beta5.0)无感配网详解

1、简介 无感配网是指在设备联网过程中无需输入热点相关账号信息,即可快速实现设备配网,是一种兼顾高效性、可靠性和安全性的配网方式。 2、配网原理 2.1 通信原理 手机和智能设备之间的信息传递,利用特有的NAN协议实现。利用手机和智能设备之间的WiFi 感知订阅、发布能力,实现了数字管家应用和设备之间的发现。在完成设备间的认证和响应后,即可发送相关配网数据。同时还支持与常规Sof

C++11第三弹:lambda表达式 | 新的类功能 | 模板的可变参数

🌈个人主页: 南桥几晴秋 🌈C++专栏: 南桥谈C++ 🌈C语言专栏: C语言学习系列 🌈Linux学习专栏: 南桥谈Linux 🌈数据结构学习专栏: 数据结构杂谈 🌈数据库学习专栏: 南桥谈MySQL 🌈Qt学习专栏: 南桥谈Qt 🌈菜鸡代码练习: 练习随想记录 🌈git学习: 南桥谈Git 🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈�

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象

活用c4d官方开发文档查询代码

当你问AI助手比如豆包,如何用python禁止掉xpresso标签时候,它会提示到 这时候要用到两个东西。https://developers.maxon.net/论坛搜索和开发文档 比如这里我就在官方找到正确的id描述 然后我就把参数标签换过来

06 C++Lambda表达式

lambda表达式的定义 没有显式模版形参的lambda表达式 [捕获] 前属性 (形参列表) 说明符 异常 后属性 尾随类型 约束 {函数体} 有显式模版形参的lambda表达式 [捕获] <模版形参> 模版约束 前属性 (形参列表) 说明符 异常 后属性 尾随类型 约束 {函数体} 含义 捕获:包含零个或者多个捕获符的逗号分隔列表 模板形参:用于泛型lambda提供个模板形参的名

usaco 1.3 Mixing Milk (结构体排序 qsort) and hdu 2020(sort)

到了这题学会了结构体排序 于是回去修改了 1.2 milking cows 的算法~ 结构体排序核心: 1.结构体定义 struct Milk{int price;int milks;}milk[5000]; 2.自定义的比较函数,若返回值为正,qsort 函数判定a>b ;为负,a<b;为0,a==b; int milkcmp(const void *va,c