Python数据分析与机器学习40自然语言处理词向量模型Word2Vec

Table of Contents

• 一. 自然语言概述
• 1.1 自然语言可以做什么
• 1.2 为什么需要深度学习
• 二.语言模型
• 2.1 语言模型简介
• 2.2 语言模型实例
• 2.3 语言模型参数数量
• 三. 词向量
• 四. 神经网络模型
• 五. Hierarchical Softmax
• 5.1 哈夫曼树
• 5.2 Sigmoid函数
• 5.3 CBOW
• 5.4 Skip-gram
• 5.5 Negative Sampling
• 参考：

1.1 自然语言可以做什么

1. 拼写检查、关键词搜索


2. 文本挖掘(产品价格、日期、时间、地点、人名、公司名)


3. 文本分类


4. 机器翻译


5. 客服系统


6. 复杂对话系统

1.2 为什么需要深度学习

2.1 语言模型简介

机器翻译:

拼写纠错:

智能问答：

2.2 语言模型实例

我今天下午打篮球

p(S)=p(w1,w2,w3,w4,w5,…,wn)
=p(w1)p(w2|w1)p(w3|w1,w2)...p(wn|w1,w2,...,wn-1)


p(S)被称为语言模型，即用来计算一个句子概率的模型

语言模型存在哪些问题呢？

p(wi|w1,w2,...,wi-1) = p(w1,w2,...,wi-1,wi) /p(w1,w2,...,wi-1)


1. 数据过于稀疏


2. 参数空间太大

假设下一个词的出现依赖它前面的一个词：

p(S)=p(w1)p(w2|w1)p(w3|w1,w2)...p(wn|w1,w2,...,wn-1)
=p(w1)p(w2|w1)p(w3|w2)...p(wn|wn-1)


假设下一个词的出现依赖它前面的两个词：

p(S)=p(w1)p(w2|w1)p(w3|w1,w2)...p(wn|w1,w2,...,wn-1)
=p(w1)p(w2|w1)p(w3|w1,w2)...p(wn|wn-1,wn-2)


I want english food
p(I want chinesefood)=P(want|I)
×P(chinese|want)
×P(food|chinese)


2.3 语言模型参数数量

假设词典的大小是N则模型参数的量级是 $O\left(N^n\right)$