PyTorch0.40迁移指南(非正式官翻文档)

写在前面：本次更新最大亮点就是支持Windows啦，这对于初学者来说是件大喜事，不用再去折腾安装学习Linux系统就能正儿八经地搞深度学习了，新特性网上到处都是，我就不赘述了。0.4版本在函数接口上与之前版本还是有一些不同的，私以为最主要的还是合并了Tensor与Variable，还有就是对数据模型迁移方式的更改。下面我根据个人理解翻译了官方给的Migration Guide，愿为pytorch推广贡献一点自己的力量，理解不对的地方烦请各位指出批评，谢谢

PyTorch 0.40 迁移指南

欢迎阅读本指南。在这个版本中pytorch推出了很多新特性并修复了原来的BUG，给用户提供了更为便捷的函数接口。在本指南中，我们只挑重点来讲，告诉大家如何将原来的代码迁移到新的版本，以下是主要的更新特性：

• Tensor和Variable 合并
• 支持0维向量（标量）Tensor
• 弃坑Volatile方式
• 全新Tensor定义方式
• 指定计算设备的函数更方便了

合并Tensor和Variable

torch.tensor和torch.autograd.Variable现在合为一类了，更准确地讲，torch.tensor具备原来Variable的全部功能。现在Variable还能用，但返回的也是torch.Tensor类型。这意味着以后没必要使用Variable包裹Tensor数据了。

Tensor.type()变更

使用type()不再返回数据类型(float,double&＃8230;)了。使用isinstance()或x.type()可以查看其具体数据类型。

>>>x=torch.DoubleTensor([1,1,1])
>>>print(type())#返回所属类
""
>>>print(x.type())
"torch.DoubleTensor"
>>>print(isinstance(x,torch.DoubleTensor))
True

autograd现在是怎样工作的？

requires_grad曾是autograd的关键选项，现在被迁移到Tensor的属性，用法和之前的一样。当设置requires_grad=True时，autograd开始自动记录差分值。例如：

>>>x=torch.ones(1)
>>>x.requires_grad
False
>>>y=torch.ones(1)
>>>z=x+y
>>>z.requires_grad
>>>z.backward()
RuntimeError:element 0 of tensors does not require grad and does not have a grad_fn
>>>w=torch.ones(1,requires_grap=True)
>>>w.requires_grad
True
>>>total=w+z
>>>total.requires_grad
True
>>>total.backward()
>>>w.grad
tensor([1.])
>>>z.grad==x.grad==y.grad==None
True

设置requires_grad
除了在初始化的时候设置外，还可以使用my_tensor.requires_grad()来设置

.data用法

在之前的版本，使用.data将Variable转化为Tensor。现在合并之后，调用y=x.data 后，y是另一个Tensor，只是与x共用数据部分，但计算的求导信息不会记载到x 中。 但是，在某些情况使用.data欠妥。任何x.data的数据变化都不会影响到x的梯度。更为保险的方法是使用x.detach()，它返回的也是与原变量共享数据的Tensor 也不会影响计算的梯度信息，但是它会有梯度变化的报告信息

支持0维Tensor(标量)

之前版本中，求一维Tensor的索引返回一个数值，但是一维Variable却返回(1,)!相似的情况同样出现在求和函数中，例如tensor.sum()返回一个数值，然而Variable.sum()返回的是(1,) 还好，本次更新后pytorch支持标量了！标量可以直接用torch.tensor创建就像numpy.array那样

>>>torch.tensor(3.1416)
tensor(3.1416)
>>>torch.tensor(3.1416).size()
torch.Size([])#表明这是0维数据，即标量
>>>torch.tensor([3]).size()
torch.Size([1])
>>>vector=torch.arange(2,6)
>>>vector
tensor([2.,3.,4.,5.])
>>>vector.size()
torch.Size([4])
>>>vector[3].item()
5.0
>>>mysum=torch.tensor([2,3]).sum()
>>>mysum
tensor(5)
>>>mysum.size()
torch.Size([])

个人理解：新版本支持标量了，可以直接用，不像原来单个数据还给搞出个一维数组

损失积累
之前都使用total_loss+=loss.data[0]累积损失率。在0.4版本中有0维的标量了，直接用loss.item()得到其loss的数值就可以了。

反对使用volatile选项

volatile选项在0.4版本中不推荐使用了，之前版本中给变量设置volatile=True一遍其不求导计算。现在这个功能被其他函数替代 torch.no_grad(),torch.set_grad_enabled()

>>>x=torch.zeros(1,requires_grad=True)
>>>with torch.no_grad():
y=x*2
>>>y.requires_grad
False
>>>is_train=False
>>>with torch.set_grad_enabled(is_train):
y=x*2
>>>y.requires_grad
True
>>>torch.set_grad_enabled(False)
>>>y=x*2
>>>y.requires_grad
False

dtypes,devices变更

在0.40版本中，使用torch.dtype,torch.device和torch.layout类来分配管理数据设备类型

torch.dtype

以下是可用的数据类型表和它相应的tensor类型

torch.device

torch.device包含两种设备类型，cpu和cuda。对于GPU还可以选择设备编号，例如torch.device(&＃8216;{设备类型}：{设备编号}&＃8217;)，如果不确定设备编号，默认使用torch.device('cuda')就会默认调用当前的显卡。可以使用torch.cuda.current_device()查看当前显卡

torch.layout

torch.layout代表tensor数据配置

创建Tensor

在新版本中创建Tensor需要考虑dtype,device,layout和requires_grad，例如

>>>device=torch.device('cuda:1')
>>>x-torch.randn(3,3,dtype=torch.float64,device=device)
tensor([-0.6344,0.8534,-1.2354],
[0.8414,1.7962,1.0589],
[-0.1369,-1.0462,-0.4373],dtype=torch.float64,device='cuda:1')
>>>x.requires_grad
False
>>>x=torch.zeros(3,requires_grad=True)
>>>x.requires_grad
True

torch.tensor(data,&＃8230;)

torch.tensor()就像numpy.array()构造器，可以将数组类数据直接转换为Tensor，本版本中这个函数也可以构造标量。如果初始化没有指定dtype数据类型，pytorch将自动分配合适类型，我们极力推荐使用这种方法将已有的数据类（例如list）转化为Tensor

>>>cuda=torch.device('cuda')
>>>torch.tensor([[1],[2],[3]],dtype=torch.half,device=cuda)
tensor([[1],
[2],
[3]],device='cuda:0')
>>>torch.tensor(1)
tensor(1)
>>>torch.tensor([1,2,3]).dtype
torch.float32
>>>torch.tensor([1,2]).dtype
torch.int64

下面介绍其他创建Tensor的方法：

• torch.*_like接受Tensor数据(注意不是数据的尺寸),如果不设置相关参数，它默认返回一个具有相同属性的Tensor

>>>x=torch.randn(3,dtype=torch.float64)
>>>torch.zeros_like(x)
tensor([0.,0.,0.],dtype=torch.float64)
>>>torch.zeros_like(x,dtype=torch.int)
tensor([0,0,0],dtype=torch.int32)

• tensor.new_*使用尺寸作为参数创建具有相同属性的Tensor

>>>x=torch.randn(3,dtype=torch.float64)
>>>x.new_ones(2)
tensor([1.,1.],dtype=torch.float64)
>>>x.new_ones(4,dtype=torch.int)
tensor([1,1,1,1],dtype=torch.int32)

如果需要创建指定尺寸的Tensor，可以直接用元组指定尺寸作为参数，例如torch.zeros((2,3))或torch.zeros(2,3),这样就能创建尺寸为2&＃215;3，元素为0的Tensor啦。

注意: torch.from_numpy()只能接受Numpy的ndarray作为参数输入

模型数据迁移

在之前的版本中，当不确定计算设备(cpu or which GPU?)情况时不太好写代码。 0.4版本做出了如下更新

• 使用to方法可以轻松转换训练的网络(module)和数据到不同计算设备运行
• device属性用来指定使用的计算设备，之前要用cpu(),cuda()转换模型或数据 示例demo：

device=torch.device('cuda:0' if torch.cuda.is_available else 'cpu')
input=data.to(device)#直接指定数据到哪个设备中
model=MyModule().to(device)#同样，网络模型转换到指定设备中

例程demo

对比了0.31和0.4的代码

• 0.31(old)

model=MyRNN()
if use_cuda:
model=model.cuda()
total_loss=0
for input,target in train_loader:
input,target=Variable(input),Variable(target)
hidden=Variable(torch.zeros(*h_shape))#隐藏层
if use_cuda:
input,target,hidden=input.cuda(),target.cuda(),hidden.cuda()
total_loss+=loss.data[0]
for input,target in test_loader:
input=Variable(input,volatile=True)
if use_cuda:
...
...

• 0.40(new)

device=torch.device('cuda' if use_cuda else 'cpu')
model=MyRNN().to(device)
total_loss=0
for input,target in train_loader:
input,target=input.to(device),target.to(device)
hidden=input.new_zeros(*h_shape)
...
total_loss+=loss.item()#得到1维张量
with torch.no_grad():#不计算梯度
for input,target in test_loader:
...

最后附上英文原版连接：PyTorch 0.4.0 Migration Guide