Pytorch——循环神经网络层、损失函数、优化器

关于深度学习的一些理解的参考链接&＃xff1a;
https://www.cnblogs.com/bamtercelboo/p/7469005.html
#一、 基础知识
##1&＃xff09;激活函数

sigmoid和tanh函数的导数都是原函数的函数。这样&＃xff0c;我们一旦计算原函数的值&＃xff0c;就可以用它来计算出导数的值。

二、循环神经网络层

##1&＃xff09;LSTM

t.manual_seed(1000)input&＃61;V(t.randn(2,3,4))
print(&＃39;input:&＃39;)print(input)
lstm&＃61;nn.LSTM(4,3,1)
h0&＃61;V(t.randn(1,3,3))
c0&＃61;V(t.randn(1,3,3))
out,hn&＃61;lstm(input, (h0,c0))
print(&＃39;out:&＃39;)
print(out)

结果&＃xff1a;

input:
tensor([[[-0.5306, -1.1300, -0.6734, -0.7669],[-0.7029, 0.9896, -0.4482, 0.8927],[-0.6043, 1.0726, 1.0481, 1.0527]],[[-0.6424, -1.2234, -1.0794, -0.6037],[-0.7926, -0.1414, -1.0225, -0.0482],[ 0.6610, -0.8908, 1.4793, -0.3934]]])
out:
tensor([[[-0.3610, -0.1643, 0.1631],[-0.0613, -0.4937, -0.1642],[ 0.5080, -0.4175, 0.2502]],[[-0.0703, -0.0393, -0.0429],[ 0.2085, -0.3005, -0.2686],[ 0.1482, -0.4728, 0.1425]]])


##2&＃xff09;LSTMCell

t.manual_seed(1000)
input&＃61;V(t.randn(2,3,4))
print(&＃39;input:&＃39;)print(input)
lstm&＃61;nn.LSTMCell(4,3)
hx&＃61;V(t.randn(3,3))
cx&＃61;V(t.randn(3,3))
out&＃61;[]
for i_ in input:hx,cx&＃61;lstm(i_, (hx,cx))out.append(hx)print(&＃39;out:&＃39;)
print(out)


结果&＃xff1a;

input:
tensor([[[-0.5306, -1.1300, -0.6734, -0.7669],[-0.7029, 0.9896, -0.4482, 0.8927],[-0.6043, 1.0726, 1.0481, 1.0527]],[[-0.6424, -1.2234, -1.0794, -0.6037],[-0.7926, -0.1414, -1.0225, -0.0482],[ 0.6610, -0.8908, 1.4793, -0.3934]]])
out:
[tensor([[-0.3610, -0.1643, 0.1631],[-0.0613, -0.4937, -0.1642],[ 0.5080, -0.4175, 0.2502]]), tensor([[-0.0703, -0.0393, -0.0429],[ 0.2085, -0.3005, -0.2686],[ 0.1482, -0.4728, 0.1425]])]

三、损失函数&＃xff08;Loss Function&＃xff09;

在深度学习中要用到各种各样的损失函数&＃xff0c;这些损失函数可看做是一种特殊的layer&＃xff0c; Pytorch也将这些损失函数专门提取出来&＃xff0c;作为独立的一部分。
这里以交叉熵损失CrossEntripyliss为例&＃xff1a;

#batchsize&＃61;3 计算对应每个类别的分数&＃xff08;只有两个类别0&＃xff0c; 1&＃xff09;
score&＃61;V(t.randn(3,2))
#三个样本分别属于1,0,1类&＃xff0c;label必须是LongTensor
label&＃61;V(t.Tensor([1,0,1])).long()#loss与普通的layer无差异
criterion&＃61;nn.CrossEntropyLoss()
loss&＃61;criterion(score,label)
loss


结果&＃xff1a;

tensor(0.8908)


四、优化器

Pytorch将深度学习中所有的优化方法都封装在**torch.optim**中&＃xff0c;其设计十分灵活&＃xff0c;能够很方便地扩展成自定义的优化方法。

所有的优化方法都是继承基类optim.Optimizer, 并实现了自己的优化步骤。
下面以最基本的 优化方法——随机梯度下降法&＃xff08;SGD&＃xff09;举例说明。
这里需要掌握&＃xff1a;

1. 优化方法的基本使用方法&＃xff1b;
2. 如何对模型的不同部分设置不同的学习率&＃xff1b;
3. 如何调整学习率

from torch import optim
import torch as t
from torch import nn
from torch.autograd import Variable as V#首先定义一个Lenet网络
class Net(nn.Module):def __init__(self):super(Net,self).__init__()self.features&＃61;nn.Sequential(nn.Conv2d(3,6,5),nn.ReLU(),nn.MaxPool2d(2,2),nn.Conv2d(6,16,5),nn.ReLU(),nn.MaxPool2d(2,2))self.classifier&＃61;nn.Sequential(nn.Linear(16*5*5, 120),nn.ReLU(),nn.Linear(120, 84),nn.ReLU(),nn.Linear(84, 10),)def forward(self,x):x&＃61;self.features(x)x&＃61;x.view(-1,16*5*5)x&＃61;self.classifier(x)return xnet&＃61;Net()


optimizer&＃61;optim.SGD(params&＃61;net.parameters(), lr&＃61;1)
optimizer.zero_grad() #梯度清零等价于net.zero_grad()input&＃61;V(t.randn(1,3,32,32))
output&＃61;net(input)
output.backward(output)optimizer.step() #执行优化


#为不同的子网络设置不同的学习率&＃xff0c;在finetune中经常用到
#如果对某个参数不指定学习率&＃xff0c;就使用默认的学习率
optimizer&＃61;optim.SGD([{&＃39;params&＃39;:net.features.parameters()},{&＃39;params&＃39;:net.classifier.parameters()}], lr&＃61;1e-5)


#只在全连接层设置较大的学习率&＃xff0c;其余层设置较小的学习率
special_layers&＃61;nn.ModuleList([net.classifier[0], net.classifier[3]])
special_layers_params&＃61;list(map(id, special_layers.parameters())
base_params &＃61; filter(lambda p:id(p) not in special_layers_params, net.parameters())optimizer&＃61;t.optim.SGD([{&＃39;params&＃39;:base_params},{&＃39;params&＃39;:special_layers.parameters(),&＃39;lr&＃39;:0.01}
], lr&＃61;0.01)


调整学习率的方法主要有两种。
一种是修改optimizer.params_groups 中对应的学习率&＃xff0c;另一种是新建优化器&＃xff08;更简单也是更推荐的做法&＃xff09;。由于optimizer十分轻量级&＃xff0c;构建开销很小&＃xff0c;故可以构建新的optimizer.
但是构建新的优化器会重新初始化动量等状态信息&＃xff0c;这对使用动量的优化器来说&＃xff08;如带momentum的sgd&＃xff09;&＃xff0c;可能会造成损失函数在收敛过程中出现 震荡。

#调整学习率 新建一个optimizer
old_lr&＃61;0.1
optimizer&＃61;optim.SGD([{&＃39;params&＃39;:net.features.parameters()},{&＃39;params&＃39;:net.classifier.parameters(),&＃39;lr&＃39;:old_lr*0.1}
],lr&＃61;1e-5)