本文主要是介绍【darknet】源码阅读理解(六)——maxpool的前向传播/反向传播,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
maxpool是用于数据特征降维,减少CNN网络的计算量,是CNN的基础组件之一。
1. 前向传播
前向传播就是在channel通道上,对一定size*size的正方形区域求出最大值,作为下一层layer的输入。
同时,为了反向误差的传播需要保存最大值所对应的索引index
Code
void forward_maxpool_layer(const maxpool_layer l, network net)
{int b,i,j,k,m,n;int w_offset = -l.pad/2;int h_offset = -l.pad/2;int h = l.out_h; // 输出的尺寸int w = l.out_w;int c = l.c;for(b = 0; b < l.batch; ++b){for(k = 0; k < c; ++k){for(i = 0; i < h; ++i){for(j = 0; j < w; ++j){int out_index = j + w*(i + h*(k + c*b)); // 输出的索引float max = -FLT_MAX;int max_i = -1;for(n = 0; n < l.size; ++n){ // 一个区域内的最大值for(m = 0; m < l.size; ++m){int cur_h = h_offset + i*l.stride + n; // 输出的尺寸反推到图像的indexint cur_w = w_offset + j*l.stride + m;int index = cur_w + l.w*(cur_h + l.h*(k + b*l.c)); // 卷积核区域的索引int valid = (cur_h >= 0 && cur_h < l.h &&cur_w >= 0 && cur_w < l.w);float val = (valid != 0) ? net.input[index] : -FLT_MAX;max_i = (val > max) ? index : max_i; // 最大值的索引max = (val > max) ? val : max; // maxpool的最大值}}l.output[out_index] = max;l.indexes[out_index] = max_i;}}}}
}
- 整个核心就是最内层的两个循环,表示求出ksize*ksize内最大值
- 外层4个for循环,内层再是两个ksize的for循环
- l.indexes是保存到反向传播时需要的
2. 反向传播
Code
void backward_maxpool_layer(const maxpool_layer l, network net)
{int i;int h = l.out_h;int w = l.out_w;int c = l.c;for(i = 0; i < h*w*c*l.batch; ++i){int index = l.indexes[i];net.delta[index] += l.delta[i]; // l.delta是误差}
}
- 只有最大值对应的index才有误差
这篇关于【darknet】源码阅读理解(六)——maxpool的前向传播/反向传播的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!