caffe中BatchNorm层和Scale层实现批量归一化（batch-normalization）注意事项

本文主要是介绍caffe中BatchNorm层和Scale层实现批量归一化（batch-normalization）注意事项，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

caffe中实现批量归一化（batch-normalization）需要借助两个层：BatchNorm 和 Scale 
BatchNorm实现的是归一化 
Scale实现的是平移和缩放 
在实现的时候要注意的是由于Scale需要实现平移功能，所以要把bias_term项设为true 
另外，实现BatchNorm的时候需要注意一下参数use_global_stats，在训练的时候设为false，在测试的时候设为true 
use_global_stats = false 时采用滑动平均计算新的均值和方差 
use_global_stats = true 时会强制使用模型中存储的BatchNorm层均值与方差参数 

具体训练实现过程为（conv-batchnorm-scale-relu）:
 

layer {bottom: "data"top: "conv1_1"name: "conv1_1"type: "Convolution"param {lr_mult: 1decay_mult: 1}param {lr_mult: 2decay_mult: 0}convolution_param {weight_filler {type: "xavier"}bias_filler {type: "constant"}num_output: 64pad: 1kernel_size: 3}
}
layer {bottom: "conv1_1"top: "conv1_1"name: "bn_conv1_1"type: "BatchNorm"param {lr_mult: 0decay_mult: 0}param {lr_mult: 0decay_mult: 0}param {lr_mult: 0decay_mult: 0}batch_norm_param {use_global_stats: false}
}
layer {bottom: "conv1_1"top: "conv1_1"name: "scale_conv1_1"type: "Scale"param {lr_mult: 0.1decay_mult: 0}param {lr_mult: 0.1decay_mult: 0}scale_param {bias_term: true}
}
layer {bottom: "conv1_1"top: "conv1_1"name: "relu1_1"type: "ReLU"
}

具体测试实现过程为（conv-batchnorm-scale-relu）(把use_global_stats由false设为true):

layer {bottom: "data"top: "conv1_1"name: "conv1_1"type: "Convolution"param {lr_mult: 1decay_mult: 1}param {lr_mult: 2decay_mult: 0}convolution_param {weight_filler {type: "xavier"}bias_filler {type: "constant"}num_output: 64pad: 1kernel_size: 3}
}
layer {bottom: "conv1_1"top: "conv1_1"name: "bn_conv1_1"type: "BatchNorm"param {lr_mult: 0decay_mult: 0}param {lr_mult: 0decay_mult: 0}param {lr_mult: 0decay_mult: 0}batch_norm_param {use_global_stats: true}
}
layer {bottom: "conv1_1"top: "conv1_1"name: "scale_conv1_1"type: "Scale"param {lr_mult: 0.1decay_mult: 0}param {lr_mult: 0.1decay_mult: 0}scale_param {bias_term: true}
}
layer {bottom: "conv1_1"top: "conv1_1"name: "relu1_1"type: "ReLU"
}

其实也没必要这么麻烦，因为在BathNorm层的源码中设定了如果use_global_stats缺省，那么在训练时为false，测试时为true，源代码为（caffe/src/caffe/layers/batch_norm_layer.cpp）第14行：

use_global_stats_ = this->phase_ == TEST;

在测试时为1，训练时为0，这样的话我们在代码里就不用设定use_global_stats的值了，这样上面的代码我们可以简化为（训练和测试时都一样）：

layer {bottom: "data"top: "conv1_1"name: "conv1_1"type: "Convolution"param {lr_mult: 1decay_mult: 1}param {lr_mult: 2decay_mult: 0}convolution_param {weight_filler {type: "xavier"}bias_filler {type: "constant"}num_output: 64pad: 1kernel_size: 3}
}
layer {bottom: "conv1_1"top: "conv1_1"name: "bn_conv1_1"type: "BatchNorm"param {lr_mult: 0decay_mult: 0}param {lr_mult: 0decay_mult: 0}param {lr_mult: 0decay_mult: 0}
}
layer {bottom: "conv1_1"top: "conv1_1"name: "scale_conv1_1"type: "Scale"param {lr_mult: 0.1decay_mult: 0}param {lr_mult: 0.1decay_mult: 0}scale_param {bias_term: true}
}
layer {bottom: "conv1_1"top: "conv1_1"name: "relu1_1"type: "ReLU"
}

 

备注：

可以看到这一层是batchnormal层，其中的参数设置，三个param中的lr_mult和decay_mult都设置为0。

原因如下：

caffe中的batchnormal层中有三个参数（具体代表什么自行去caffe源码中看吧：均值、方差和滑动系数），训练时这三个参数是通过当前的数据计算得到的，并且不通过反向传播更新，因此必须将lr_mult和decay_mult都设置为0，因为caffe中这两个参数缺省值是默认为1；如果为1，则会通过反向传播更新该层的参数，这显然是错误的做法。

此外，对于参数use_global_stats：如果为真，则使用保存的均值和方差，否则采用滑动平均计算新的均值和方差。该参数缺省的时候，如果是测试阶段则等价为真，如果是训练阶段则等价为假。

moving_average_fraction：滑动平均的衰减系数，默认为0.999

eps：分母附加值，防止除以方差时出现除0操作，默认为1e-5（不同框架采用的默认值不一样）
 

更重要的一点：由于BN层中会做归一化处理，因此BN层前的那个卷积层应当将bias关闭，因为BN的操作会做一个减去均值的操作，因此卷积层有没有bias都会被这个减法操作去除掉，所以这时候bias不起作用，因此将其关闭可以减少参数量且不影响模型准确率。

 

convolution_param {num_output: 32bias_term: falsepad: 1kernel_size: 3stride: 2weight_filler {type: "msra"}
}

同时，由于caffe中，Scale层不需要对两个参数正则化，所以设置如下：

param {
lr_mult: 1
decay_mult: 0
}
param {
lr_mult: 1
decay_mult: 0
}

 

这篇关于caffe中BatchNorm层和Scale层实现批量归一化（batch-normalization）注意事项的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---