深度学习笔记（8）

数据读取

1. 除了运用一个固定的分割符进行单词的切分外&＃xff0c;在实现分词函数时&＃xff0c;还能加上更多的功能&＃xff0c;如子词的切分和特殊字符的处理等。针对任务或语言的特性特殊实现的分词函数&＃xff0c;将更有利于模型的训练&＃xff0c;但在设计该函数时要注意预训练词向量是定义在什么词典上的&＃xff0c;不能使 out-of-vocabulary 词过多
2. 从原理上来说&＃xff0c;对数据中的句子进行补齐或截断是不必要的&＃xff0c;这么做是为了加强模型并行计算的能力。无论是循环神经网络&＃xff0c;还是卷积神经网络&＃xff0c;理论上都是能在任何长度的文本上进行运算的&＃xff0c;但规范化模型的长度会有利于模型进行批量化的计算
3. PyTorch 的嵌入层在进行前向传播时&＃xff0c;其输入张量需要为 torch.long 格式
4. 直接读取预训练好的 GloVe 词向量和其对应的词典也能完整地实现文本情感分类模型&＃xff0c;并不一定需要针对数据集本身创建词典。

使用双向循环神经网络进行文本情感分类

1. 双向循环神经网络比单向循环神经网络更能抓住文本的特征。由于自然语言中常常有一些特殊的倒装结构&＃xff0c;所以拥有两个方向的隐藏状态的双向循环神经网络&＃xff0c;其输出更具文本代表性。注意&＃xff0c;虽然两个方向的隐藏状态在输出前被拼接在了一起&＃xff0c;但他们仍然是独立地被运算出来的&＃xff0c;所以双向循环神经网络也不能从根本上解决文本的双向依赖问题&＃xff0c;而卷积神经网络和 Transformer 这样完全并行的结构则不存在该问题
2. 双向循环神经网络中的隐藏状态不能并行地计算。对于每个方向的每个隐藏状态&＃xff0c;计算它时都会用到该方向中上一步的隐藏状态&＃xff0c;所以双向循环神经网络中的隐藏状态不能被并行地算出
3. 通常会给循环神经网络模型输入两个特殊的初始状态向量&＃xff0c;以表示文本的两端
4. 可以将双向循环神经网络的输出再次作为输入&＃xff0c;输入到下一层的双向循环神经网络中&＃xff0c;从而得到一个多层的结构

使用卷积神经网络进行文本情感分类

1. 一维卷积层输出的宽度为输入的宽度减去核的宽度加一
2. 定义多个输出通道的卷积核有利于模型提取更丰富的文本特征&＃xff0c;定义多种宽度的卷积核有利于模型提取多个层次的文本特征。输出通道数越多&＃xff0c;可以捕捉的单词的组合就越多&＃xff1b;而拥有不同宽度的核&＃xff0c;就能让模型对文本中各个长度的单词组合都有关注
3. 并不需要对每一个卷积核都单独地定义一个池化层。由于池化操作与输入的序列长度无关&＃xff0c;本身也不含任何参数&＃xff0c;故可以所有卷积核共用一个池化层
4. 对所有卷积操作的结果进行池化和拼接之后&＃xff0c;得到的向量就可以作为文本的一个整体的表示。
   每个卷积和池化后的结果都可以看作是该卷积核在文本上提取出的特征&＃xff0c;而拼接这些特征&＃xff0c;就能得到整个文本的一个整体表示

图像增广的作用

1. 缓解过拟合
2. 增加模型泛化能力
3. 通过旋转/翻转等方式可以降低对某些属性的依赖。

图像增广的方法

1. 翻转图片
2. 加入噪点
3. 调整亮度

微调由以下4步构成

1. 在源数据集&＃xff08;如ImageNet数据集&＃xff09;上预训练一个神经网络模型&＃xff0c;即源模型。
2. 创建一个新的神经网络模型&＃xff0c;即目标模型。它复制了源模型上除了输出层外的所有模型设计及其参数。我们假设这些模型参数包含了源数据集上学习到的知识&＃xff0c;且这些知识同样适用于目标数据集。我们还假设源模型的输出层跟源数据集的标签紧密相关&＃xff0c;因此在目标模型中不予采用。
3. 为目标模型添加一个输出大小为目标数据集类别个数的输出层&＃xff0c;并随机初始化该层的模型参数。
4. 在目标数据集&＃xff08;如椅子数据集&＃xff09;上训练目标模型。我们将从头训练输出层&＃xff0c;而其余层的参数都是基于源模型的参数微调得到的。