caffe源码解析：卷积乘法中用到的im2col及col2im

这两个函数其实完成的功能比较简单，im2col就是把矩阵按卷积乘法所需，变换成列向量，col2im是一个逆过程

从下面这张图你一眼就能看明白im2col的操作（caffe中卷积计算都是Matrix_Kernel * Matrix_Col），因为都列出来太长了，我只列出了前4个，注意这是四周围完全没有填充0的情况，

col2im是一个反过来的过程，那么你可能会好奇，这两个操作能完全可逆吗？

事实上，结构是可逆的，结果不是，下面这个图很好地说明了展开的计算过程（图片比较大，可下载到电脑上看），

下面是一个可单独运行的测试源码，你可以随便编译跑一跑

#include <iostream>
using namespace std;inline bool is_a_ge_zero_and_a_lt_b(int a, int b) {return static_cast<unsigned>(a) < static_cast<unsigned>(b);
}template <typename Dtype>
void caffe_set(const int N, const Dtype alpha, Dtype* Y) {if (alpha == 0) {memset(Y, 0, sizeof(Dtype) * N);  // NOLINT(caffe/alt_fn)return;}for (int i = 0; i < N; ++i) {Y[i] = alpha;}
}template <typename Dtype>
void im2col_cpu(const Dtype* data_im, const int channels,const int height, const int width, const int kernel_h, const int kernel_w,const int pad_h, const int pad_w,const int stride_h, const int stride_w,const int dilation_h, const int dilation_w,Dtype* data_col) {const int output_h = (height + 2 * pad_h -(dilation_h * (kernel_h - 1) + 1)) / stride_h + 1;const int output_w = (width + 2 * pad_w -(dilation_w * (kernel_w - 1) + 1)) / stride_w + 1;const int channel_size = height * width;for (int channel = channels; channel--; data_im += channel_size) {for (int kernel_row = 0; kernel_row < kernel_h; kernel_row++) {for (int kernel_col = 0; kernel_col < kernel_w; kernel_col++) {int input_row = -pad_h + kernel_row * dilation_h;for (int output_rows = output_h; output_rows; output_rows--) {if (!is_a_ge_zero_and_a_lt_b(input_row, height)) {for (int output_cols = output_w; output_cols; output_cols--) {*(data_col++) = 0;}}else {int input_col = -pad_w + kernel_col * dilation_w;for (int output_col = output_w; output_col; output_col--) {if (is_a_ge_zero_and_a_lt_b(input_col, width)) {*(data_col++) = data_im[input_row * width + input_col];}else {*(data_col++) = 0;}input_col += stride_w;}}input_row += stride_h;}}}}
}template <typename Dtype>
void col2im_cpu(const Dtype* data_col, const int channels,const int height, const int width, const int kernel_h, const int kernel_w,const int pad_h, const int pad_w,const int stride_h, const int stride_w,const int dilation_h, const int dilation_w,Dtype* data_im) {caffe_set(height * width * channels, Dtype(0), data_im);const int output_h = (height + 2 * pad_h -(dilation_h * (kernel_h - 1) + 1)) / stride_h + 1;const int output_w = (width + 2 * pad_w -(dilation_w * (kernel_w - 1) + 1)) / stride_w + 1;const int channel_size = height * width;for (int channel = channels; channel--; data_im += channel_size) {for (int kernel_row = 0; kernel_row < kernel_h; kernel_row++) {for (int kernel_col = 0; kernel_col < kernel_w; kernel_col++) {int input_row = -pad_h + kernel_row * dilation_h;for (int output_rows = output_h; output_rows; output_rows--) {if (!is_a_ge_zero_and_a_lt_b(input_row, height)) {data_col += output_w;}else {int input_col = -pad_w + kernel_col * dilation_w;for (int output_col = output_w; output_col; output_col--) {if (is_a_ge_zero_and_a_lt_b(input_col, width)) {data_im[input_row * width + input_col] += *data_col;}data_col++;input_col += stride_w;}}input_row += stride_h;}}}}
}// 如果想运行6x6的矩阵，请取消下面的注释，并把5X5那段注释掉
int dataim[] = {1,2,3,4,5,6,5,6,7,8,9,10,6,5,4,3,2,1,10,9,8,7,6,5,4,3,2,1,5,6,3,2,1,6,5,4,
};int datacol[1000];
int outim[50];int main()
{im2col_cpu(dataim, 1, 6, 6, 3, 3, 0, 0, 1, 1, 1, 1, datacol);col2im_cpu(datacol, 1, 6, 6, 3, 3, 0, 0, 1, 1, 1, 1, outim);return 0;
}// 如果想运行5x5的矩阵，请取消下面的注释, 并把上面那段注释掉
/* 
int dataim[] = {1,2,3,4,5,6,7,8,9,10,5,4,3,2,1,10,9,8,7,6,4,3,2,1,5,
};int datacol[1000];
int outim[50];int main()
{im2col_cpu(dataim, 1, 5, 5, 3, 3, 0, 0, 1, 1, 1, 1, datacol);col2im_cpu(datacol, 1, 5, 5, 3, 3, 0, 0, 1, 1, 1, 1, outim);return 0;
}*/

按上面源码的操作，先运行im2col，再运行col2im，结果就很有意思了，相当于每个元素都乘了一个放大系数，只是不同的位置的放大系数是不一样的，看下面的图

仔细看那个放大系数矩阵，非常有规律，有木有？

AI视像算法学习群：824991413