手写数字识别 神经网络 C++ 实现(三:ex4的实现)

2023-10-20 01:32

本文主要是介绍手写数字识别 神经网络 C++ 实现(三:ex4的实现),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

 

实现基本架构类

Part 1: Loading and Visualizing Data 

Part 2: Loading Parameters

Part 3: Compute Cost (Feedforward) 

Part 4: Implement Regularization

Part 5: Sigmoid Gradient

 Part 6: Initializing Pameters

Part 7: Implement Backpropagation

Part 8: Training NN

完整代码:


实现基本架构类

#include <core/core.hpp>    
#include <opencv2/opencv.hpp>
#include <iostream>  
#include <fstream>
#include <ostream>
#include <typeinfo>
#include <time.h>
using namespace std;
using namespace cv; 
class Nnetwork{
public:int visibleSize, hiddenSize, outputSize, layer_num;double lambda, cost, a;Mat data,//inputpre_data,pre_outp,outp,//output*b, *W, *bgrad, *Wgrad, *active_value, *test_Wgrad, *test_bgrad, *av;void initParam();Nnetwork();Nnetwork(int visiblesize, int hiddensize, int outpsize, int layernums, double lambda) :visibleSize(visiblesize),hiddenSize(hiddensize),outputSize(outpsize),layer_num(layernums),lambda(lambda){initParam();}Mat sigmoid(Mat matrix);double sigmoid(double num);Mat mat_exp(Mat r);Mat mat_log(Mat r);void forward_propagation();void showimage(Mat data, int pic_size, int num);void test_readdata();void test_readlabel();void test_load_Param();void test_nncost_1();void test_nncost_2();double test_nncost_3(int lambda, Mat *active_value, Mat *b, Mat *W);Mat sigmoidGradient(Mat inp);void writeMatToFile(cv::Mat& m, const char* filename);void computeNumericalGradient();Mat debugInitializeWeights(int fan_out, int fan_in);void checkNNGradients();void train();double predict();double pre_dict();void before_train();
};

Part 1: Loading and Visualizing Data 

Part 2: Loading Parameters

参见上一节:https://blog.csdn.net/Runner_of_nku/article/details/88815894

Part 3: Compute Cost (Feedforward) 

Part 4: Implement Regularization

这一步的前向传播是读取的上一节中的参数,我们需要实现的是代价函数,代码如下:

	void test_nncost_1(){delete[]active_value;active_value = new Mat[2];int data_size = outp.rows;active_value[0] = repeat(b[0], 1, data_size);active_value[1] = repeat(b[1], 1, data_size);active_value[0] = sigmoid(W[0]*data.t()+active_value[0]);active_value[1] = sigmoid(W[1]*active_value[0] + active_value[1]);Mat yk = Mat::zeros(10, data_size, CV_64FC1);for (int i = 0; i < data_size; i++)yk.at<double>(int(outp.at<double>(i, 0))-1,i) = 1;double J = sum((-1 * yk).mul(mat_log(active_value[1])) - (1 - yk).mul(mat_log(1 - active_value[1])))[0]/data_size;cout << "Cost at parameters (loaded from ex4weights)\n(this value should be about 0.287629)\n" << J<<endl;lambda=1;J += lambda / 2 / data_size * (sum(W[0].mul(W[0]))[0] + sum(W[1].mul(W[1]))[0]);cout << "Cost at parameters (loaded from ex4weights)\n(this value should be about 0.383770)\n" << J<<endl;cost = J;Mat delta3 = (active_value[1] - yk);Mat tem = (delta3.t()*W[1]).t();Mat delta2 = tem.mul(active_value[0]).mul(1 - active_value[0]);Wgrad[1] = delta3*active_value[0].t() / data_size + lambda*W[1] / data_size;Wgrad[0] = delta2*data / data_size + lambda*W[0] / data_size;bgrad[1] = Mat(delta3.rows, 1, CV_64FC1, Scalar::all(0));bgrad[0] = Mat(delta2.rows, 1, CV_64FC1, Scalar::all(0));reduce(delta3, bgrad[1], 1, 1);reduce(delta2, bgrad[0], 1, 1);}

Part 5: Sigmoid Gradient

这一节很简单,实现sigmoid函数的求导,我们在实际计算的时候可以直接写sigmoid(x)*(1-sigmoid(x))即可

 Part 6: Initializing Pameters

ex4中的随机数是直接给出了0.12,实际上这个0.12是怎么算出来的呢:

sqrt(6) / sqrt(hiddenSize + visibleSize + 1) ≈ 0.12

	void initParam(){a = 0.2;b = new Mat[layer_num];W = new Mat[layer_num];b[0] = Mat(hiddenSize, 1, CV_64FC1, Scalar(0));b[layer_num - 1] = Mat(outputSize, 1, CV_64FC1, Scalar(0));W[0] = Mat(hiddenSize, visibleSize, CV_64FC1);W[layer_num - 1] = Mat(outputSize, hiddenSize, CV_64FC1);for (int i = 1; i < layer_num - 1; i++){W[i] = Mat(hiddenSize, hiddenSize, CV_64FC1);b[i] = Mat(hiddenSize, 1, CV_64FC1, Scalar(0));}double r = sqrt(6) / sqrt(hiddenSize + visibleSize + 1);for (int i = 0; i < layer_num; i++){randu(W[i], Scalar::all

这篇关于手写数字识别 神经网络 C++ 实现(三:ex4的实现)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/243731

相关文章

c++ 类成员变量默认初始值的实现

《c++类成员变量默认初始值的实现》本文主要介绍了c++类成员变量默认初始值,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录C++类成员变量初始化c++类的变量的初始化在C++中,如果使用类成员变量时未给定其初始值,那么它将被

C++中NULL与nullptr的区别小结

《C++中NULL与nullptr的区别小结》本文介绍了C++编程中NULL与nullptr的区别,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编... 目录C++98空值——NULLC++11空值——nullptr区别对比示例 C++98空值——NUL

C++ Log4cpp跨平台日志库的使用小结

《C++Log4cpp跨平台日志库的使用小结》Log4cpp是c++类库,本文详细介绍了C++日志库log4cpp的使用方法,及设置日志输出格式和优先级,具有一定的参考价值,感兴趣的可以了解一下... 目录一、介绍1. log4cpp的日志方式2.设置日志输出的格式3. 设置日志的输出优先级二、Window

Qt使用QSqlDatabase连接MySQL实现增删改查功能

《Qt使用QSqlDatabase连接MySQL实现增删改查功能》这篇文章主要为大家详细介绍了Qt如何使用QSqlDatabase连接MySQL实现增删改查功能,文中的示例代码讲解详细,感兴趣的小伙伴... 目录一、创建数据表二、连接mysql数据库三、封装成一个完整的轻量级 ORM 风格类3.1 表结构

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片,默认是输出到项目文件夹中,可以自己选择其他的文件夹,选择需要拆分的行数和列数,可以通过

Python中将嵌套列表扁平化的多种实现方法

《Python中将嵌套列表扁平化的多种实现方法》在Python编程中,我们常常会遇到需要将嵌套列表(即列表中包含列表)转换为一个一维的扁平列表的需求,本文将给大家介绍了多种实现这一目标的方法,需要的朋... 目录python中将嵌套列表扁平化的方法技术背景实现步骤1. 使用嵌套列表推导式2. 使用itert

Python使用pip工具实现包自动更新的多种方法

《Python使用pip工具实现包自动更新的多种方法》本文深入探讨了使用Python的pip工具实现包自动更新的各种方法和技术,我们将从基础概念开始,逐步介绍手动更新方法、自动化脚本编写、结合CI/C... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

在Linux中改变echo输出颜色的实现方法

《在Linux中改变echo输出颜色的实现方法》在Linux系统的命令行环境下,为了使输出信息更加清晰、突出,便于用户快速识别和区分不同类型的信息,常常需要改变echo命令的输出颜色,所以本文给大家介... 目python录在linux中改变echo输出颜色的方法技术背景实现步骤使用ANSI转义码使用tpu

Python使用python-can实现合并BLF文件

《Python使用python-can实现合并BLF文件》python-can库是Python生态中专注于CAN总线通信与数据处理的强大工具,本文将使用python-can为BLF文件合并提供高效灵活... 目录一、python-can 库:CAN 数据处理的利器二、BLF 文件合并核心代码解析1. 基础合

Python使用OpenCV实现获取视频时长的小工具

《Python使用OpenCV实现获取视频时长的小工具》在处理视频数据时,获取视频的时长是一项常见且基础的需求,本文将详细介绍如何使用Python和OpenCV获取视频时长,并对每一行代码进行深入解析... 目录一、代码实现二、代码解析1. 导入 OpenCV 库2. 定义获取视频时长的函数3. 打开视频文