python自然语言处理入门新手上路新手上路摘要自然语言处理（NaturalLanguageProcessing，NLP）...

新手上路

博主微信公众号（左）、Python+智能大数据+AI学习交流群（右）：欢迎关注和加群，大家一起学习交流，共同进步！

目录

1. 自然语言与编程语言

2. 自然语言处理的层次

2.2 中文分词、词性标注和命名实体识别

2.4 文本分类和文本聚类

2.6 语义分析和篇章分析

摘要

自然语言处理（Natural Language Processing，NLP）是一门融合了计算机科学、人工智能以及语言学的交叉学科。它们的关系如图 1-1 所示。这门学科研究的是如何通过机器学习等技术，让计算机学会处理人类语言，乃至实现终极目标——理解人类语言或人工智能。

1. 自然语言与编程语言

2. 自然语言处理的层次

2.1 语音、图像和文本

自然语言处理系统的输入源一共有 3 个，即语音、图像与文本。将语音和图像经过识别后转化为文本，就可以进行后续的 NLP 任务。

语音识别（Speech Recognition）：将语音经过识别处理后转化为文本，再进行接下来的处理的过程，称为 语音识别 （Speech Recognition）。

图像识别（Optical Character Recognition）：将图像经过识别处理后转化为文本，再进行接下来的处理的过程，称为 图像识别 （Optical Character Recognition）。

2.2 中文分词、词性标注和命名实体识别

中文分词：将文本分割为有意义的词语。

词性标注：确定每个词语的类别和浅层的歧义消除。

命名实体识别：识别出一些较长的专有名词。

词法分析：中文分词、词性标注、命名实体识别 3 个任务都是围绕词语进行的，统称为 词法分析 。词法分析的主要任务是将文本分割为有意义的词语（ 中文分词 ），确定每个词语的类别和浅层的歧义消除（ 词性标注 ），并且识别出一些较长的专有名词（ 命名实体识别 ）。

2.3 信息抽取

词法分析之后，文本已经呈现出部分结构化的趋势，根据分析出来的单词列表和附有自己词性及其他标签的单词，抽取出一部分有用的信息（高频词、关键词、公司名词、专业术语等），也可以根据词语之间的统计学信息抽取出更大颗粒度的文本（关键短语、句子）。

2.4 文本分类和文本聚类

文本分类：把许多文档分门别类地整理出来（知道一段话是褒义还是贬义的；判断一封邮件是否是垃圾邮件），此时的 NLP 任务称为 文本分类 。

文本聚类：把相似的文本归档到一起，或者排除重复的文档，而不关心具体类别，此时的 NLP 任务称作 文本聚类 。

2.5 句法分析

以 “查询刘医生主治的内科病人” 这句话为例，句法分析结果如图 1-3 所示。

n：名词；nr：人名；v：动词；vn：；

句法分析应用场景：问答系统、搜索引擎、基于短语的机器翻译，给译文的词语重新排序（中文 “我吃苹果” 翻译为日文则是 “私は（我）りんごを（苹果）食べる（吃）”）。

2.6 语义分析和篇章分析

词义消歧：确定一个词在语境中的含义，而不是简单的词性。

语义角色标注：标注句子中的谓语与其他成分的关系。

语义依存分析：分析句子中词语之间的语义关系。

相较于句法分析，语义分析侧重语义而非语法。它包含 词义消歧 （确定一个词在语境中的含义，而不是简单的词性）、 语义角色标注 （标注句子中的谓语与其他成分的关系）、 语义依存分析 （分析句子中词语之间的语义关系）。

2.7 其他高级任务

• 自动问答，根据知识库或文本中的信息直接回答一个问题，比如微软的 Cortana 和苹果的 Siri。


• 自动摘要，为一篇长文档生成简短的摘要。


• 机器翻译，将一句话从一种语言翻译到另一种语言。