ReLU Layer 是DL中非线性激活的一种,常常在卷积、归一化层后面(当然这也不是一定的) 首先我们先看一下 ReLUParameter // Message that stores parameters used by ReLULayermessage ReLUParameter {// Allow non-zero slope for negative inputs to speed
BatchNorm Layer 是对输入进行均值,方差归一化,消除过大噪点,有助于网络收敛 首先我们先看一下 BatchNormParameter message BatchNormParameter {// If false, accumulate global mean/variance values via a moving average.// If true, use those a
Scale Layer是输入进行缩放和平移,常常出现在BatchNorm归一化后,Caffe中常用BatchNorm+Scale实现归一化操作(等同Pytorch中BatchNorm) 首先我们先看一下 ScaleParameter message ScaleParameter {// The first axis of bottom[0] (the first input Blob) alo
Concat Layer将多个bottom按照需要联结一个top 一般特点是:多个输入一个输出,多个输入除了axis指定维度外,其他维度要求一致 message ConcatParameter {// The axis along which to concatenate -- may be negative to index from the// end (e.g., -1 for the
Slice Layer 的作用是将bottom按照需要切分成多个tops,一般特点是:一个输入多个输出 首先我们先看一下 SliceParameter message SliceParameter {// The axis along which to slice -- may be negative to index from the end// (e.g., -1 for the last