转自：http://blog.csdn.net/shuzfan/article/details/51338178 “Xavier”初始化方法是一种很有效的神经网络初始化方法，方法来源于2010年的一篇论文 《Understanding the difficulty of training deep feedforward neural networks》 可惜直到近两年，这个方法才逐渐得

Transformer中的FeedForward flyfish class PoswiseFeedForwardNet(nn.Module):def __init__(self, d_ff=2048):super(PoswiseFeedForwardNet, self).__init__()# 定义一维卷积层 1，用于将输入映射到更高维度self.conv1 = nn.Conv1d(in_c