Pytorch：transpose、view、t()、contiguous()

日萌社

人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）

1.view(*args) → Tensor返回一个有相同数据但大小不同的tensor。 返回的tensor必须有与原tensor相同的数据和相同数目的元素，但可以有不同的大小。一个tensor必须是连续的contiguous()才能被查看。2.contiguous() → Tensor返回一个内存连续的有相同数据的tensor，如果原tensor内存连续则返回原tensor3.is_contiguous() → bool如果该tensor在内存中是连续的则返回True。
=======================================================1.transpose(维度的索引值, 维度的索引值) 和 view(维度值, 维度值) 之间的前后调用顺序因为view进行维度变换之后也不会改变元素值的顺序存储结构，而transpose进行维度变换之后会改变元素值的顺序存储结构。1.view(维度值, 维度值).transpose(维度的索引值, 维度的索引值)先view后transpose的话，两者中间无需调用contiguous()。2.transpose(维度的索引值, 维度的索引值).contiguous().view(维度值, 维度值)先transpose后view的话，两者中间需要调用contiguous()。3.contiguous()的作用返回一个内存连续的有相同数据的tensor，如果原tensor内存连续则返回原tensor。也就是说contiguous()便可以把经过了transpose或t()操作的tensor重新处理为具有内存连续的并且数据值并没有改动的tensor。2.x = x.transpose(1, 2).contiguous().view(batch_size, -1, head * d_k)输入的x的形状为[batch size, head, 句子最大长度max_len, d_k]，先执行x.transpose(1, 2)后变换为[batch size, 句子最大长度max_len, head, d_k]，然后因为先执行transpose后执行view的话，两者中间先要执行contiguous，把经过了transpose或t()操作的tensor重新处理为具有内存连续的有相同数据的tensor，最后才能执行view(batch_size, -1, head * d_k) 把 [batch size, 句子最大长度max_len, head, d_k]变换为 [batch size, 句子最大长度max_len, embedding_dim词向量维度]，head * d_k 等于 embedding_dim词向量维度。3.model(x).view(batch_size, -1, head, d_k).transpose(1, 2) view(batch_size, -1, head, d_k) 会把 model模型输出 处理为 [batch_size, -1, head, d_k]，最终再transpose(1, 2) 转换为 (batch_size, head, -1, d_k)4.data = data.view(batch size, -1).t().contiguous()view不会改变内存中元素存储的顺序，但transpose和t()都会改变内存中元素存储的顺序，t()表示T转置。最后再使用contiguous()把经过了transpose或t()操作的tensor重新处理为具有内存连续的有相同数据的tensor。