Pytorch：transpose、view、t()、contiguous()

日萌社

 

人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）

---

1.view(*args) → Tensor
    返回一个有相同数据但大小不同的tensor。 
    返回的tensor必须有与原tensor相同的数据和相同数目的元素，但可以有不同的大小。
    一个tensor必须是连续的contiguous()才能被查看。

2.contiguous() → Tensor
    返回一个内存连续的有相同数据的tensor，如果原tensor内存连续则返回原tensor

3.is_contiguous() → bool
    如果该tensor在内存中是连续的则返回True。
=======================================================

1.transpose(维度的索引值, 维度的索引值) 和 view(维度值, 维度值) 之间的前后调用顺序
  因为view进行维度变换之后也不会改变元素值的顺序存储结构，而transpose进行维度变换之后会改变元素值的顺序存储结构。
    1.view(维度值, 维度值).transpose(维度的索引值, 维度的索引值)
        先view后transpose的话，两者中间无需调用contiguous()。
    2.transpose(维度的索引值, 维度的索引值).contiguous().view(维度值, 维度值)
        先transpose后view的话，两者中间需要调用contiguous()。
    3.contiguous()的作用
        返回一个内存连续的有相同数据的tensor，如果原tensor内存连续则返回原tensor。
        也就是说contiguous()便可以把经过了transpose或t()操作的tensor重新处理为具有内存连续的并且数据值并没有改动的tensor。

2.x = x.transpose(1, 2).contiguous().view(batch_size, -1, head * d_k)
        输入的x的形状为[batch size, head, 句子最大长度max_len, d_k]，
        先执行x.transpose(1, 2)后变换为[batch size, 句子最大长度max_len, head, d_k]，
        然后因为先执行transpose后执行view的话，两者中间先要执行contiguous，
        把经过了transpose或t()操作的tensor重新处理为具有内存连续的有相同数据的tensor，
        最后才能执行view(batch_size, -1, head * d_k) 把 [batch size, 句子最大长度max_len, head, d_k]
        变换为 [batch size, 句子最大长度max_len, embedding_dim词向量维度]，head * d_k 等于 embedding_dim词向量维度。

3.model(x).view(batch_size, -1, head, d_k).transpose(1, 2) 
        view(batch_size, -1, head, d_k) 会把 model模型输出 处理为 [batch_size, -1, head, d_k]，
        最终再transpose(1, 2) 转换为 (batch_size, head, -1, d_k)

4.data = data.view(batch size, -1).t().contiguous()
        view不会改变内存中元素存储的顺序，但transpose和t()都会改变内存中元素存储的顺序，t()表示T转置。
        最后再使用contiguous()把经过了transpose或t()操作的tensor重新处理为具有内存连续的有相同数据的tensor。