声纹识别模型解析之GE2E

• LSTMP:每层LSTM后接一层线性映射层，以达到减少参数的目的；LSTM结构具有较好的时序建模特性。

• 相似度得分：带权重的cosine得分；与TE2E不同的是，这里计算的不是两个样本间的得分；而是验证样本与说话人中心之间的consine得分；这里，说话人中心的计算为先对特征表达进行L2归一化，然后再计算属于该说话人的所有特征表达的均值

• 损失函数：GE2E的目标函数，使得在训练过程中，验证样本与所属说话人中心的得分逐渐趋紧于1，同时使得与其它说话人中心的得分趋近于0




• softmax

• contrast

训练：

• 数据集




• 文本相关




• “OK Google” ～630k speakers ～150M utts


• “OK/Hey Google” ～1.2M utts ～ 18k speakers




• 文本无关：30M utts 18K speakers




• MutilReader：本文中提出了一种multiReader训练策略，该策略将多个不同数据源数据进行融合训练，不同数据源之间相互起到正则化作用，使得模型更加鲁棒；此外，multiReader策略通过调节对应的目标函数权重因子，还能较好的处理数据源之间的不平衡

• 输入特征：40维log-fbanks


• 输入序列：




• 文本相关：通过关键词检测得到的800ms的分割片段


• 文本无关：随机获取的[140，180]帧范围内的分割片段

• 模型结构：




• 文本相关：3*LSTMP(128，64)


• 文本无关：3*LSTMP(768,256)




• 训练细节参数：




• batch: N=64speakers 每个speakers包含M=10utts


• 优化算法：SGD


• 学习率：0.01，每隔30M steps学习率降为之前的1/2


• clip_grad:3


• cosine权重：(w,b)=(10,-5)




• 测试：




• 文本相关：输入序列仍然是通过关键词检测获取的800ms分割片段，然后输入到网络中提取特征表达


• 文本无关：对输入样本采用滑窗的形式，窗口大小为160帧，每个窗口分割片段输入到网络中提取特征表达并进行L2归一化；最后将各个窗口的表达取均值作为该样本的特征表达

• 本文提出的MultiReader策略相对于直接进行数据混合，能够较好的处理数据源之间的不平衡问题，使得模型更加鲁棒，相应的效果也更好

• 在文本相关说话人确认任务中，GE2E损失训练的模型相比于TE2E，EER更低，效果更好；此外，MultiReader策略能够进一步提升效果

• 在文本无关说话人辨别任务中，GE2E损失训练的模型相比于TE2E、CE交叉熵，EER也更低；表明在文本相关和文本无关说话人识别中，GE2E要比TE2E更好

• 无论是文本相关，还是在文本无关说话人识别任务，GE2E相比于TE2E，识别效果都更好，同时训练速度也更快；文本相关任务中，GE2E训练时间不到TE2E的60%，文本无关任务中，GE2E训练速度约为TE2E的3倍；原因在于，GE2E采用相似度矩阵的形式，将验证样本与说话人中心的consine得分进行一次矩阵运算，相比于TE2E的逐个cosine得分计算，速度具有明显优势；