[Keras] 使用Keras编写自定义网络层（layer）

本文主要是介绍[Keras] 使用Keras编写自定义网络层（layer），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Keras提供众多常见的已编写好的层对象，例如常见的卷积层、池化层等，我们可以直接通过以下代码调用：

# 调用一个Conv2D层
from keras import layers
conv2D = keras.layers.convolutional.Conv2D(filters,\
kernel_size, \
strides=(1, 1), \
padding='valid', \
...)

但是在实际应用中，我们经常需要自己构建一些层对象，已满足某些自定义网络的特殊需求。
幸运的是，Keras对自定义层提供了良好的支持。

下面对常用方法进行总结。

方法1：keras.core.lambda()

如果我们的自定义层中不包含可训练的权重，而只是对上一层输出做一些函数变换，那么我们可以直接使用keras.core模块（该模块包含常见的基础层，如Dense、Activation等）下的lambda函数：

keras.layers.core.Lambda(function, output_shape=None, mask=None, arguments=None)

参数说明：
function：要实现的函数，该函数仅接受一个变量，即上一层的输出
output_shape：函数应该返回的值的shape，可以是一个tuple，也可以是一个根据输入shape计算输出shape的函数
mask: 掩膜
arguments：可选，字典，用来记录向函数中传递的其他关键字参数

但是多数情况下，我们需要定义的是一个全新的、拥有可训练权重的层，这个时候我们就需要使用下面的方法。

方法2: 编写Layer继承类

keras.engine.topology中包含了Layer的父类，我们可以通过继承来实现自己的层。
要定制自己的层，需要实现下面三个方法

build(input_shape)：这是定义权重的方法，可训练的权应该在这里被加入列表self.trainable_weights中。其他的属性还包括self.non_trainabe_weights（列表）和self.updates（需要更新的形如（tensor,new_tensor）的tuple的列表）。这个方法必须设置self.built = True，可通过调用super([layer],self).build()实现。

call(x)：这是定义层功能的方法，除非你希望你写的层支持masking，否则你只需要关心call的第一个参数：输入张量。

compute_output_shape(input_shape)：如果你的层修改了输入数据的shape，你应该在这里指定shape变化的方法，这个函数使得Keras可以做自动shape推断。

一个比较好的学习方法是阅读Keras已编写好的类的源代码，尝试理解其中的逻辑。

下面，我们将通过一个实际的例子，编写一个自定义层。
出于学习的目的，在该例子中，会添加一些的注释文字，用以解释一些函数功能。

该层结构来源自DenseNet，代码参考Github。

from keras.layers.core import Layer
from keras.engine import InputSpec
from keras import backend as K
try:from keras import initializations
except ImportError:from keras import initializers as initializations
# 继承父类Layer
class Scale(Layer):'''该层功能：通过向量元素依次相乘（Element wise multiplication）调整上层输出的形状。out = in * gamma + beta,gamma代表权重weights，beta代表偏置bias参数列表：axis: int型，代表需要做scale的轴方向，axis=-1 代表选取默认方向（横行）。momentum: 对数据方差和标准差做指数平均时的动量.weights: 初始权重，是一个包含两个numpy array的list, shapes:[(input_shape,), (input_shape,)]beta_init: 偏置量的初始化方法名。(参考Keras.initializers.只有weights未传参时才会使用.gamma_init: 权重量的初始化方法名。(参考Keras.initializers.只有weights未传参时才会使用.'''def __init__(self, weights=None, axis=-1, beta_init = 'zero', gamma_init = 'one', momentum = 0.9, **kwargs):# 参数**kwargs代表按字典方式继承父类self.momentum = momentumself.axis = axisself.beta_init = initializers.Zeros()self.gamma_init = initializers.Ones()self.initial_weights = weightssuper(Scale, self).__init__(**kwargs)def build(self, input_shape):self.input_spec = [InputSpec(shape=input_shape)]# 1：InputSpec(dtype=None, shape=None, ndim=None, max_ndim=None, min_ndim=None, axes=None)#Docstring:     #Specifies the ndim, dtype and shape of every input to a layer.#Every layer should expose (if appropriate) an `input_spec` attribute:a list of instances of InputSpec (one per input tensor).#A None entry in a shape is compatible with any dimension#A None shape is compatible with any shape.# 2:self.input_spec: List of InputSpec class instances# each entry describes one required input:#     - ndim#     - dtype# A layer with `n` input tensors must have# an `input_spec` of length `n`.shape = (int(input_shape[self.axis]),)# Compatibility with TensorFlow >= 1.0.0self.gamma = K.variable(self.gamma_init(shape), name='{}_gamma'.format(self.name))self.beta = K.variable(self.beta_init(shape), name='{}_beta'.format(self.name))self.trainable_weights = [self.gamma, self.beta]if self.initial_weights is not None:self.set_weights(self.initial_weights)del self.initial_weightsdef call(self, x, mask=None):input_shape = self.input_spec[0].shapebroadcast_shape = [1] * len(input_shape)broadcast_shape[self.axis] = input_shape[self.axis]out = K.reshape(self.gamma, broadcast_shape) * x + K.reshape(self.beta, broadcast_shape)return outdef get_config(self):config = {"momentum": self.momentum, "axis": self.axis}base_config = super(Scale, self).get_config()return dict(list(base_config.items()) + list(config.items()))

以上就是编写自定义层的实例，可以直接添加到自己的model中。
编写好的layer自动存放在custom_layers中，通过import调用。

from custom_layers import Scaledef myNet(growth_rate=32, \
nb_filter=64, \
reduction=0.0, \
dropout_rate=0.0, weight_decay=1e-4,...)...
x = "last_layer_name"
x = Scale(axis=concat_axis, name='scale')(x)
...model = Model(input, x, name='myNet')
return model