nn.Softmax()与nn.LogSoftmax()与F.softmax(）

nn.Softmax()与nn.LogSoftmax()与F.softmax(&＃xff09;

nn.Softmax()
计算出来的值&＃xff0c;其和为1&＃xff0c;也就是输出的是概率分布&＃xff0c;具体公式如下&＃xff1a;

这保证输出值都大于0&＃xff0c;在0,1范围内。

nn.LogSoftmax()
公式如下&＃xff1a;

由于softmax输出都是0-1之间的&＃xff0c;因此logsofmax输出的是小于0的数&＃xff0c;
softmax求导&＃xff1a;

logsofmax求导&＃xff1a;

例子&＃xff1a;

import torch.nn as nn
import torch
import numpy as np
layer1&＃61;nn.Softmax()
layer2&＃61;nn.LogSoftmax()input&＃61;np.asarray([2,3])
input&＃61;Variable(torch.Tensor(input))output1&＃61;layer1(input)
output2&＃61;layer2(input)
print(&＃39;output1:&＃39;,output1)
print(&＃39;output2:&＃39;,output2)


输出&＃xff1a;

output1: Variable containing:
0.2689
0.7311
[torch.FloatTensor of size 2]

output2: Variable containing:
-1.3133
-0.3133
[torch.FloatTensor of size 2]

F.softmax(&＃xff09;的用法:按照行来一行一行做归一化的

import torch
import torch.nn.functional as F
logits &＃61; torch.rand(2,2)
pred &＃61; F.softmax(logits, dim&＃61;1)
print(logits)
print(pred)


输出结果&＃xff1a;
tensor([[0.4140, 0.4571],
[0.9392, 0.6504]])

tensor([[0.4892, 0.5108],
[0.5717, 0.4283]])

关于F.softmax(), nn.Logsoftmax()的坑是什么?

• 1: F.softmax() &＃43; nn.CrossEntropyLoss(), 只有一个log操作, 放前面或者放后面.
  F.softmax() 是和nn.CrossEntropyLoss()连着用的&＃xff0c;softmax后再进行算交叉熵损失&＃xff0c;用nn.CrossEntropyLoss()算完损失&＃xff0c;有一个log操作
• 2: nn.log_softmax() &＃43; nn.NLLLoss(), log操作前置.
  nn.log_softmax() 将log进行前置&＃xff0c;接下来算损失时&＃xff0c;用 nn.NLLLoss()只算交叉熵的熵&＃xff0c;不进行log操作了
  用法上的两种组合方法&＃xff0c;用哪个都可以&＃xff0c;一般都习惯用第1种

参考&＃xff1a;https://zhuanlan.zhihu.com/p/105722023
当使用Softmax函数作为输出节点的激活函数的时候&＃xff0c;一般使用交叉熵作为损失函数。由于Softmax函数的数值计算过程中&＃xff0c;很容易因为输出节点的输出值比较大而发生数值溢出的现象&＃xff0c;在计算交叉熵的时候也可能会出现数值溢出的问题。为了数值计算的稳定性&＃xff0c;TensorFlow提供了一个统一的接口&＃xff0c;将Softmax与交叉熵损失函数同时实现&＃xff0c;同时也处理了数值不稳定的异常&＃xff0c;使用TensorFlow深度学习框架的时候&＃xff0c;一般推荐使用这个统一的接口&＃xff0c;避免分开使用Softmax函数与交叉熵损失函数
TensorFlow提供的统一函数式接口为&＃xff1a;
import tensorflow as tf

print(tf.version) # 2.0.0
tf.keras.losses.categorical_crossentropy(y_true, y_pred, from_logits &＃61; False)
其中y_true代表了One-hot编码后的真实标签&＃xff0c;y_pred表示网络的实际预测值&＃xff1a;

当from_logits设置为True时&＃xff0c;y_pred表示未经Softmax函数的输出值&＃xff1b;
当from_logits设置为False时&＃xff0c;y_pred表示为经过Softmax函数后的输出值&＃xff1b;
为了在计算Softmax函数时候数值的稳定&＃xff0c;一般将from_logits设置为True&＃xff0c;此时tf.keras.losses.categorical_crossentropy将在内部进行Softmax的计算&＃xff0c;所以在不需要在输出节点上添加Softmax激活函数。

import tensorflow as tfprint(tf.__version__)
z &＃61; tf.random.normal([2, 10]) # 构造2个样本的10类别输出的输出值
y &＃61; tf.constant([1, 3]) # 两个样本的真是样本标签是1和3
y_true &＃61; tf.one_hot(y, depth &＃61; 10) # 构造onehot编码# 输出层未经过Softmax激活函数,因此讲from_logits设置为True
loss1 &＃61; tf.keras.losses.categorical_crossentropy(y_true, z, from_logits &＃61; True)
loss1 &＃61; tf.reduce_mean(loss1)
print(loss1) # tf.Tensor(2.6680193, shape&＃61;(), dtype&＃61;float32)y_pred &＃61; tf.nn.softmax(z)
# 输出层经过Softmax激活函数,因此讲from_logits设置为False
loss2 &＃61; tf.keras.losses.categorical_crossentropy(y_true, y_pred, from_logits &＃61; False)
loss2 &＃61; tf.reduce_mean(loss2)
print(loss2) # tf.Tensor(2.668019, shape&＃61;(), dtype&＃61;float32)


虽然上面两个过程结果差不多&＃xff0c;但是当遇到一些不正常的数值时&＃xff0c;将from_logits设置为True时TensorFlow会启用一些优化机制。因此推荐使用将from_logits参数设置为True的统一接口