Pytorch基础教程（3）：入门——autograd自动微分

import torch
torch.manual_seed(7)


1. torch.autograd.backward(tensors, grad_tensors&＃61;None, retain_graph&＃61;None, create_graph&＃61;False)

• 功能&＃xff1a;自动求取梯度
  • tensors&＃xff1a;用于求导的张量&＃xff0c;如 loss
  • retain_graph&＃xff1a;保存计算图
  • create_graph&＃xff1a;创建导数计算图&＃xff0c;用于高阶求导
  • grad_tensors&＃xff1a;多梯度权重

w &＃61; torch.tensor([1.], requires_grad&＃61;True)
x &＃61; torch.tensor([2.], requires_grad&＃61;True)a &＃61; torch.add(w, x)
b &＃61; torch.add(w, 1)
y &＃61; torch.mul(a, b)y.backward(retain_graph&＃61;True)


2. 2. torch.autograd.grad(outputs, inputs, grad_outputs&＃61;None, retain_graph&＃61;None, create_graph&＃61;False)

• 功能&＃xff1a;求取梯度
  • outputs&＃xff1a;用于求导的张量&＃xff0c;如 loss
  • inputs&＃xff1a;需要梯度的张量
  • create_graph&＃xff1a;创建导数计算图&＃xff0c;用于高阶求导
  • retain_graph&＃xff1a;保存计算图
  • grad_outputs&＃xff1a;多梯度权重

x &＃61; torch.tensor([3.], requires_grad&＃61;True)
y &＃61; torch.pow(x, 2) # y &＃61; x**2grad_1 &＃61; torch.autograd.grad(y, x, create_graph&＃61;True) # grad_1 &＃61; dy/dx &＃61; 2x &＃61; 2 * 3 &＃61; 6
grad_2 &＃61; torch.autograd.grad(grad_1[0], x) # grad_2 &＃61; d(dy/dx)/dx &＃61; d(2x)/dx &＃61; 2


autograd小贴士&＃xff1a;

1. 梯度不自动清零
2. 依赖于叶子节点的节点&＃xff0c;requires_grad默认为True
3. 叶子节点不可执行in-place

• autograd 包是 PyTorch 中所有神经网络的核心。
• 首先让我们简要地介绍它&＃xff0c;然后我们将会去训练我们的第一个神经网络。该 autograd 软件包为 Tensors 上的所有操作提供自动微分。它是一个由运行定义的框架&＃xff0c;这意味着以代码运行方式定义你的后向传播&＃xff0c;并且每次迭代都可以不同。
• 我们从 tensor 和 gradients 来举一些例子。
  • torch.Tensor是包的核心类。如果将其属性.requires_grad设置为True&＃xff0c;则会开始跟踪针对tensor的所有操作。完成计算后&＃xff0c;你可以调用.backward()来自动计算所有梯度。该张量的梯度将累积到.grad属性中。
  • 要停止tensor历史记录的跟踪&＃xff0c;你可以调用.detach()&＃xff0c;它将其与计算历史记录分离&＃xff0c;并防止将来的计算被跟踪。
  • 要停止跟踪历史记录&＃xff08;和使用内存&＃xff09;&＃xff0c;你还可以将代码块使用with torch.no_grad()&＃xff1a;包装起来。在评估模型时&＃xff0c;这是特别有用&＃xff0c;因为模型在训练阶段具有requires_grad&＃61;True的可训练参数有利于调参&＃xff0c;但在评估阶段我们不需要梯度。
  • 还有一个类对于autograd实现非常重要那就是Function。Tensor和Function互相连接并构建一个非循环图&＃xff0c;它保存整个完整的计算过程的历史信息。每个张量都有一个.grad_fn属性保存着创建了张量的Function的引用&＃xff08;如果用户自己创建张量&＃xff0c;则grad_fn是None&＃xff09;。
  • 如果你想计算导数&＃xff0c;你可以调用Tensor.backward()。如果Tensor是标量&＃xff08;即它包含一个元素数据&＃xff09;&＃xff0c;则不需要指定任何参数backward()&＃xff0c;但是如果它有更多元素&＃xff0c;则需要指定一个gradient参数来指定张量的形状。
• 现在让我们看一个雅可比向量积的例子&＃xff1a;

x &＃61; torch.randn(3, requires_grad&＃61;True)y &＃61; x * 2
while y.data.norm() < 1000:y &＃61; y * 2print(y)


tensor([-150.3182, 805.0087, 969.5453], grad_fn&＃61;)

• 现在在这种情况下&＃xff0c;y不再是一个标量。torch.autograd不能够直接计算整个雅可比&＃xff0c;但是如果我们只想要雅可比向量积&＃xff0c;只需要简单地传递向量给backward作为参数。

v &＃61; torch.tensor([0.1, 1.0, 0.0001], dtype&＃61;torch.float)
y.backward(v)print(x.grad)


tensor([1.0240e&＃43;02, 1.0240e&＃43;03, 1.0240e-01])

• 你可以通过将代码包裹在with torch.no_grad()&＃xff0c;来停止对从跟踪历史中的.requires_grad&＃61;True的张量自动求导。

print(x.requires_grad)
print((x ** 2).requires_grad)with torch.no_grad():print((x ** 2).requires_grad)


True
True
False

求y&＃61;x2y&＃61;x^2y&＃61;x2对$x$的一阶偏导和二阶偏导。

x &＃61; torch.tensor([3.], requires_grad&＃61;True)
y &＃61; torch.pow(x, 2) # y &＃61; x**2grad_1 &＃61; torch.autograd.grad(y, x, create_graph&＃61;True) # grad_1 &＃61; dy/dx &＃61; 2x &＃61; 2 * 3 &＃61; 6
grad_2 &＃61; torch.autograd.grad(grad_1[0], x) # grad_2 &＃61; d(dy/dx)/dx &＃61; d(2x)/dx &＃61; 2