本文主要是介绍[深度学习]转置卷积(Transposed Convolution)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
一.写在前面
在GAN（Generative Adversarial Nets， 直译为生成式对抗网络）中，生成器G利用随机噪声Z，生成数据。那么，在DCGAN中，这部分是如何实现呢？这里就利用到了Transposed Convolution（直译为转置卷积），也称为Fractional Strided Convolution。那么，接下来，从初学者的角度，用最简单的方式介绍什么是转置卷积，以及在Tensorflow中如何实现转置卷积。
二.卷积与矩阵相乘
考虑如下卷积层运算，其参数为(i=4,k=3,s=1,p=0)，输出o=2。
输入：4 × 4 --> 16 × 1
输入矩阵的大小为4×4,将矩阵按照从左到右，从上到下的方式，变形为长度为16的一维向量。
示意图：
| a00 | a01 | a02 | a03 |
| a10 | a11 | a12 | a13 |
| a20 | a21 | a22 | a23 |
| a30 | a31 | a32 | a33 |
=>
| a00 |
| a01 |
| a02 |
| a03 |
| a10 |
| a11 |
| a12 |
| a13 |
| a20 |
| a21 |
| a22 |
| a23 |
| a30 |
| a31 |
| a32 |
| a33 |
卷积核：3 × 3 --> 4 × 16
按照卷积操作的原理，将3 × 3的矩阵，变形为4 × 16 的矩阵。
示意图：
| w00 | w01 | w02 |
| w10 | w11 | w21 |
| w20 | w21 | w22 |
=>
| w00 | w01 | w02 | 0 | w10 | w11 | w12 | 0 | w20 | w21 | w22 | 0 | 0 | 0 | 0 | 0 |
| 0 | w00 | w01 | w02 | 0 | w10 | w11 | w12 | 0 | w20 | w21 | w22 | 0 | 0 | 0 | 0 |
| 0 | 0 | 0 | 0 | w00 | w01 | w02 | 0 | w10 | w11 | w12 | 0 | w20 | w21 | w22 | 0 |
| 0 | 0 | 0 | 0 | 0 | w00 | w01 | w02 | 0 | w10 | w11 | w12 | 0 | w20 | w21 | w22 |
输出：Y = CX， （4×16） × （16×1） = （4×1），则是一个[4,1]的输出特征矩阵，把它重新排列为2×2的输出特征矩阵，就可以得到最终的结果。
因此，卷积层的计算可以转换为矩阵之间相乘。对于同一个卷积核，卷积操作是Y=C × X，那么转置卷积操作可以理解为Y=Transposed(C) × T。
输入：2 × 2 --> 4 × 1
矩阵C的转置：16 × 4
输出： Y = CX， （16×4） × （4×1） = （16×1），则是一个[16,1]的输出特征矩阵，把它重新排列为4×4的输出特征矩阵，就可以达到转置卷积的效果。
三.直观理解
下面只考虑No zero padding, unit strides的情况。
举例，输入图像大小为2×2，想得到输出图像大小为4×4。
思维模式1：假设输入图像大小为4×4,输出图像大小为2×2。在正向卷积中，卷积核的高度和宽度均为3，步长s=1，边距p=0。将该卷积过程转置即可。
思维模式2：直接卷积。输入图像大小为2×2，卷积核的大小为3×3，步长s=1，边距p=2。
示意图如下：
此时，卷积核和步长均没有变化。只有边距变为2。
如何理解边距p=2?
可以通过卷积操作中输入与输出图像的联系来理解。例如，输出图像的左上角的像素只与输入图像的左上角的像素有关，输出图像的右下角的像素只与输入图像的右下角的像素有关。因此，卷积核在做卷积时，要输出最右最上角的一个像素，只会利用输入图像的最右最上角的一个像素，其他区域均会填充0。因此，边距p的大小为（卷积核的大小-1）。
本文只用于快速理解转置卷积，其他情况的理解，可参考http://deeplearning.net/software/theano_versions/dev/tutorial/conv_arithmetic.html
四.在Tensorflow中实现转置卷积
[API]:
conv2d_transpose(value,
filter,
output_shape,
strides,
padding="SAME",
data_format="NHWC",
name=None)
Args:
value: 四维tensor，类型为float，默认shape为[batch, height, width, in_channels]。`NHWC`格式，shape为[batch, height, width, in_channels]；`NCHW` 格式，shape为[batch, in_channels, height, width]。
filter: 四维tensor，类型与value相同，shape为[height, width, output_channels, in_channels]。in_channels必须与value中的in_channels相同。
output_shape: 一维tensor，表示转置卷积操作输出的shape。取值为，[batch, height, width, in_channels]。
strides:步长。
padding:`'VALID'` 或者`'SAME'`.
令W为输入的size，F为filter的size， S为步长，⌈⌉为向上取整符号。
对于‘VALID’，输出的形状计算如下：
new_height=new_width=⌈(W–F+1)S⌉
对于‘SAME’，输出的形状计算如下：
new_height=new_width=⌈WS⌉
举例，当步长为2时，余下的窗口只有一列。此时，’VALID‘会将剩余的列进行舍弃，’SAME‘会用0将不够的列进行填充。
data_format: 'NHWC'或者 'NCHW'。
name: 返回的tensor的名称（可选）。
Returns:
转置卷积操作的输出结果，与value具有相同类型的tensor。
需要注意的是：
1.output的shape不能随意指定，需要是可以经过filter，strides，padding可以得到的shape。
2.tf.nn.conv2d中的filter参数为[filter_height, filter_width, in_channels, out_channels]，与tf.nn.conv2d_transpose中的filter的参数顺序不同。
3.conv2d_transpose会计算output_shape能否通过给定的filter,strides,padding计算出inputs的维度，如果不能，则报错。
也就是说，conv2d_transpose中的filter,strides,padding参数，与反过程中的conv2d的参数相同。
举例：
# coding:utf-8
import tensorflow as tfdef main(_):# 输入4×4的单通道图像input_ = tf.constant(1., shape = [1,4,4,1])# 卷积核的大小为3×3×1,个数为1w = tf.constant(1., shape = [3,3,1,1])# 卷积：输出2×2的单通道图像result= tf.nn.conv2d(input_, w, strides=[1, 1, 1, 1], padding='VALID')# 转置卷积：输出4×4的单通道图像result2= tf.nn.conv2d_transpose(result, w, output_shape=[1,4,4,1], strides=[1, 1, 1, 1], padding='VALID')with tf.Session() as sess:init = tf.global_variables_initializer()sess.run(init)print '输入4×4的单通道图像'print sess.run(input_)print '卷积：输出2×2的单通道图像'print sess.run(result)print '转置卷积：输出4×4的单通道图像'print sess.run(result2)if __name__ == '__main__':tf.app.run()运行结果：
先卷积，再进行转置卷积，得到的结果和输入不一样，但是shape是一样的，说明了卷积和转置卷积并不是完全对称的两个过程。这也是现在不使用deconvolution这个概念的原因。
五.总结
这是对于转置卷积的基本理解。
这篇关于[深度学习]转置卷积(Transposed Convolution)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
