作者&＃xff1a;cavities
来源&＃xff1a;https://zhuanlan.zhihu.com/p/62824358
编辑&＃xff1a;happyGirl
简要说明一下&＃xff0c;搞了知识图谱架构一年半&＃xff0c;快两年的一些小心得&＃xff0c;后续不定期更新其他内容&＃xff1b;写的时候发现要描述和声明的东西不要太多&＃xff0c;偷懒写个概述&＃xff1b;
如何理解知识图谱
什么是知识&＃xff1f;
百度&＃xff1a;知识是符合文明方向的&＃xff0c;人类对物质世界以及精神世界探索的结果总和。
通常我们认为的知识&＃xff0c;是我们在实践中对于认识客观世界的成果&＃xff0c;其中包括诸多&＃xff0c;如事实、信息描述、实践技能、归纳总结的客观规律&＃xff0c;发现论证的推导。知识也可以看成是构成人类智慧的最根本因素。但是这是全人类知识的概述&＃xff0c;不同于个人理解的知识&＃xff0c;不同于知识图谱中的知识&＃xff0c;也就是本文中所阐述的“知识”是狭义上的知识。因为知识是狭义的&＃xff0c;所以我们更需要去界定什么样的“知识”是我们所需要的&＃xff0c;通常对于我们来说&＃xff0c;我们需要构建知识图谱的知识&＃xff0c;是需要根据业务来确定&＃xff0c;我们需要它来支撑什么样的业务&＃xff0c;根据业务性质来确定需要总结的知识。
什么是图谱&＃xff1f;
对于图谱我们可以稍微咬文嚼字&＃xff0c;graph 即图&＃xff0c;而我们称之为图谱&＃xff0c;那么何所谓图&＃xff1f;&＃xff0c;图是知识的表述形式&＃xff0c;图包含两个部分&＃xff1a;1、节点&＃xff08;node&＃xff09;&＃xff0c;节点即知识&＃xff1b;2、边&＃xff08;edge&＃xff09;,边即关系&＃xff1b;即以图的形式来保存知识。那何所谓谱&＃xff0c;我们知道家谱&＃xff0c;菜谱&＃xff0c;食谱&＃xff0c;那谱的意思即按照事物的类别、系统制表&＃xff0c;也就是说图谱&＃xff0c;不但需要能够以图的方式&＃xff0c;结构化地表述知识&＃xff0c;还需要对知识进行类别分类&＃xff0c;归纳总结。
知识图谱概述
根据知识和图谱的阐述&＃xff0c;知识图谱的概念也明确了起来&＃xff0c;即&＃xff1a;整理总结业务中的知识&＃xff0c;并建立这些知识之间的关联关系&＃xff0c;最后以图的方式将其保存出来&＃xff0c;并对这些知识进行分类&＃xff0c;归纳和总结。
关于图谱分层
我们一般将知识分成两个部分&＃xff0c;一部分是 概念 &＃xff08;concept&＃xff09;&＃xff0c;一部分是 实体&＃xff08;entity&＃xff09;&＃xff0c;对于概念部分&＃xff0c;我们更关注概念之间的关系&＃xff0c;概念和实体的关系&＃xff0c;而通常概念相对实体来说是非常少的&＃xff0c;基本手工就能够维护&＃xff0c;而实体部分我们更关注&＃xff0c;实体的属性值&＃xff0c;实体和实体之间的关系&＃xff0c;但是概念也是实体&＃xff0c;是一种特殊的标定的实体&＃xff1b;所以针对知识的关注点&＃xff0c;我们将知识分成实体层&＃xff0c;和概念层&＃xff1b;
在实际使用知识图谱过程中&＃xff0c;会根据业务以及图谱特性对图谱进行更加细致的分层&＃xff1b;可以根据使用划分&＃xff0c;根据业务形态划分&＃xff0c;根据数据形态划分&＃xff0c;亦或根据图谱使用场景进行分层&＃xff0c;图谱的分层是复合的&＃xff0c;我们需要根据具体情况来对图谱抽象和定义&＃xff1b;
举个栗子&＃xff1a;
根据使用情况划分&＃xff0c;我们能分成&＃xff1a;匹配层&＃xff08;match layer&＃xff09;,数据层&＃xff08;triple layer&＃xff09;&＃xff0c;计算层&＃xff08;inference layer&＃xff09;;
关于 匹配层&＃xff0c;也就是在业务使用过程中使用将自然语言数据&＃xff0c;或者外部关系数据&＃xff0c;转化匹配到对应的实体&＃xff0c;我们称之为匹配层&＃xff0c;这一层的任务主要是做匹配&＃xff0c;至于匹配的方式&＃xff0c;有可能是规则&＃xff0c;也可以是词&＃xff0c;也可以是模型&＃xff0c;而在数据层面&＃xff0c;这一层通常是&＃xff1a;【实体】&【同义词】&＃xff1b;【实体】&【相关词】&＃xff1b;【实体】&【别称】&＃xff1b;【实体】&【匹配规则元语】&＃xff1b;在数据层面&＃xff0c;图谱会存储实体和各种入口的关系&＃xff0c;但是核心目的是为了对接外部数据关联到图谱实体。
关于 数据层&＃xff0c;这一层也就是我们常说的三元组数据&＃xff0c;三元组中记录实体和实体&＃xff0c;实体和值的关系&＃xff0c;一种情况&＃xff1a;【姚明】-<职业>-【篮球运动员】&＃xff0c;其中【姚明】和【篮球运动员】都是实体&＃xff0c;另外一种情况【姚明】-<身高>-【2米26】,这其中【2米26】就是属于属性值&＃xff0c;属性值和实体最主要区别是&＃xff0c;属性值它不会再指向其他实体&＃xff0c;类似于树节点上的叶子节点&＃xff1b;我们为了方便定义通常会将值表和实体表分开存储&＃xff1b;对于数据层&＃xff0c;实际上就是知识图谱的核心层&＃xff0c;也是只是图谱的数据基础。换一种说法&＃xff0c;我们通常对实体进行描述&＃xff0c;假设我们将某个实体的释义给mask&＃xff0c;那么我们怎么能猜出这个实体是什么&＃xff1f;&＃xff0c;一方面我们定义实体的内涵&＃xff0c;通过这些内涵来猜测这个实体&＃xff0c;所谓内涵就是这个实体的内部含义&＃xff0c;比如【姚明】的【身高】&＃xff0c;【体重】等这一些实体的内部性质&＃xff0c;我们称之为【内涵 】&＃xff0c;内涵大部分都会以属性- 值的方式存储&＃xff0c;也就是如果我们不断完善一个实体的属性值&＃xff0c;那么我们就能比较容易的猜出这个东西是什么&＃xff0c;毕竟内涵即对一个事物最直接的数据描述。另外一方面&＃xff0c;我们可以通过外延来猜出评估出一个实体&＃xff0c;所谓外延&＃xff0c;便是这个实体和外界其他实体之间的关系&＃xff0c;例如&＃xff1a;果树- 果实-&＃xff1f;&＃xff0c;亚当- 曾经吃过-&＃xff1f;&＃xff0c;通过这两条信息我们也能很快猜出这个&＃xff1f;是表示苹果。当然无论是外延还是内涵&＃xff0c;其实都是用来对一个实体进行描述&＃xff0c;如果一个实体没有任何描述它的关系&＃xff0c;那么这个实体就毫无意义&＃xff0c;不但是我们没有办法找到它&＃xff0c;也没有办法使用和理解它&＃xff0c;从计算机角度来说&＃xff0c;更是它只是孤立的符号。
关于 计算层&＃xff0c; 这一层比较特殊&＃xff0c;因为它时不必须的&＃xff0c;其实我定义计算层英文名为&＃xff08;inference layer&＃xff09;主要是因为这一层有对于推断推导有很大影响&＃xff0c;首先我们需要理解&＃xff0c;我们为什么需要inference layer。实际上如果我们的数据足够丰富&＃xff0c;也就是说我们有足够丰富的知识&＃xff0c;那么我们就不需要inference layer&＃xff0c;例如&＃xff1a;父亲的父亲是爷爷&＃xff0c;如果在任务关系中存储了爷爷的关系&＃xff0c;那么我们可以直接通过数据查到&＃xff0c;也就不需要去做inference layer&＃xff0c;但是实际上我们不可能将所有关系存储下来&＃xff0c;而且有很多知识实际上是通用的&＃xff0c;如果我们都存储的话&＃xff0c;势必造成数据成倍的增加&＃xff0c;实体和实体的笛卡尔积&＃xff0c;想想就头皮发麻&＃xff0c;这些还不包含实体的属性值&＃xff1b;inference layer 很大一部分作用&＃xff0c;是为了尽可能减少存储&＃xff0c;减少冗余&＃xff0c;如果当前业务还不需要那么大数据来支撑&＃xff0c;其实这一层就有点鸡肋。毕竟这一层的维护也是非常痛苦的。对于这一层&＃xff0c;我们需要记录怎么样数据&＃xff1f;通常来讲&＃xff0c;这一层我们会存储类型实体的schema&＃xff0c;也就是定义 【type-entity】-【edge】之间的关联&＃xff0c;也就是这个类型的实体和这个关系之间的约束条件&＃xff0c;这一层会和匹配层做交叉&＃xff0c;因为这一层可以定义图谱的数据入口&＃xff1b;
总之&＃xff0c;我们要让图谱能够work&＃xff0c;那么
1、首先需要定义实体&＃xff1b;
2、立外部数据和图谱关联的媒介层&＃xff1b;
3、关联到图谱之后&＃xff0c;决定进行的操作
在很多知识图谱的范式&＃xff0c;例如RDF&＃xff0c;OWL其实都是一种对图谱的表达&＃xff0c;只不过它们也离不开这三个东西&＃xff0c;例如RDF的各种描述&＃xff0c;资源&＃xff0c;实际上是定义实体的步骤&＃xff1b;NER亦或者是通过同义词匹配获得还是其他方式&＃xff0c;都是外部数据提供和实体联系的桥梁&＃xff0c;而路由&＃xff0c;图查询&＃xff0c;逻辑规则&＃xff0c;这些则是图谱如何对外部进行反馈的方式。但是其核心是不会改变的&＃xff0c;既然如此&＃xff0c;如果资源有限&＃xff0c;我们肯定是从简单到复杂&＃xff0c;从核心到整个图谱&＃xff0c;一步一步地去完善图谱&＃xff0c;后续我会给大家具体介绍和拆解&＃xff0c;如果构建知识图谱&＃xff0c;到最后使用这个知识图谱与某一项或者某几项业务的具体实施。
针对常见几个问题做解答&＃xff1a;
1、图数据库是必须的么&＃xff1f;
图数据库不是必须的&＃xff0c;就查询型性能来说&＃xff0c;关系型数据库完爆图数据库&＃xff0c;并且对于full-search来说&＃xff0c;elasticsearch or solr 等搜索引擎又完爆图数据库&＃xff0c;但是图数据也有好处就是提供了一个比较严禁和完善的知识图谱体系架构&＃xff0c;从实体到概念&＃xff0c;从概念到本体&＃xff0c;各种schema定义清晰&＃xff0c;一阶逻辑规则嵌入&＃xff0c;如果对知识图谱不是很理解&＃xff0c;可以尝试使用图数据库&＃xff0c;但是缺点是容易被框架束缚&＃xff0c;对于各种实体定义是很花时间的&＃xff0c;如果只作为核心的推理层&＃xff0c;还是能接受的。前期在业务上实际上是不推荐使用的。基本上我认识的几个做知识图谱的朋友都不推荐使用图数据库。另外还是想吐槽一个这个恶心的owl2是怎么回事&＃xff1f;到底谁还在整它。
2、NER模型重要么&＃xff1f;什么情况使用NER模型&＃xff1f;用在什么地方&＃xff1f;
NER重要么&＃xff1f;我肯定会回答看场景&＃xff08;屁话&＃xff0c;和没说一样&＃xff09;&＃xff1b;
其实在NLP很多场景都会使用NER相关模型&＃xff0c;这种模型通常使用的label都是各种BEMS &＃43; TYPE 的标注&＃xff0c;大家去网上找找 CRF-LSTM 之类的模型&＃xff0c;观察下它们的tag实际上就知道了&＃xff0c;NER模型是为了能很清楚指出文本之中所出现的实体&＃xff0c;当实体数量非常多&＃xff0c;并且实体大多数都是可数的几个明确的类型&＃xff0c;那我们实际上推荐使用NER模型的&＃xff0c;并且几万条数据的标注&＃xff0c;对于实体识别来说就能有很好的效果。有一些情况NER模型就效果很不好&＃xff0c;比如&＃xff1a;
1、比如类型模糊不清&＃xff0c;多类型&＃xff0c;类型边界不清晰【人都很难判断何况是人】特别是上下文特征不明显的情况下&＃xff1b;训练的效果都很差&＃xff0c;这个是属于定义和标注的问题了&＃xff0c;在这块没有特别明确情况下用NER模型通常都不会有太好效果&＃xff0c;而知识图谱这货就是对定义、对理解特别依赖的东西。
2、实体数量少&＃xff0c;花样少&＃xff08;可能才几千台我特闷标注了几万条就为了识别这几千条&＃xff0c;在规则能很快穷举的情况下【这特么是废话】&＃xff0c;这个主要是成本问题&＃xff0c;抛开成本谈知识图谱都是虾扯蛋&＃xff09;&＃xff1b;
3、还有就是冷启动的情况下&＃xff08;没钱怎么办&＃xff0c;没钱有没钱的办法&＃xff0c;用网上的语聊数据想要取得很好的效果&＃xff1f;也就实体是人名&＃xff0c;地名&＃xff0c;职业&＃xff0c;疾病&＃xff0c;这几个比较通用的实体&＃xff0c;其他的实体麻&＃xff0c;没钱有没钱的办法&＃xff09;&＃xff1b;
4、系统不完善hold没有规则完善&＃xff0c;流程没弄清楚的情况&＃xff0c;不建议花时间搞NER&＃xff1b;
扯远了&＃xff0c;不过NER是有钱人玩的&＃xff0c;倒是说得不错。NER用途最主要还是用于图谱和外部的媒介&＃xff08;用在其他业务里也不反对&＃xff0c;发现新的实体&＃xff09;。
3、除了NER我们还有哪些能够关联实体的方式&＃xff1f;
主流除了NER&＃xff0c;找出实体的还有两种方式
1、搜索引擎&＃xff0c;这个就不用讲了&＃xff0c;elasticsearch的DSL 直接查 label&＃xff0c;同义词&＃xff0c;desc&＃xff0c;就能拿到一堆候选集合&＃xff0c;然后我们只要建立一个模型&＃xff0c;判断候选集是不是在文本中出现&＃xff0c;做一个rerank&＃xff0c;基本就能拿到挺好的结果。
2、字符匹配&＃xff0c;这个依赖是我们有完善的同义词词关系&＃xff0c;然后也可以搞个模型&＃xff0c;把实体的特征和文本的特征一拼接&＃xff0c;让模型判断是不是 文本中存在这个实体&＃xff0c;偷懒的方式就是只要匹配到关键词&＃xff0c;就算命中这个实体&＃xff0c;最好是要分词了&＃xff0c;没有也没关系&＃xff0c;加一个同义词就能匹配上了&＃xff0c;可能会有歧义&＃xff0c;那实际上是看对实体的类型划分&＃xff0c;划分明确的话&＃xff0c;模型还是可以判断的出来的&＃xff0c;这个时候最好的办法还是呼叫人工&＃xff0c;呼叫运营小姐姐来帮忙解决问题。
这些都是在你有了一个还马马虎虎过得去的图谱的情况下&＃xff0c;没有这些资源的情况怎么办&＃xff1f;NER模型能帮助我们发现一些实体&＃xff0c;最终这个是需要人工处理。
4、知识图谱人工的占比是&＃xff1f;
只能说知识图谱要搞起来&＃xff0c;首先需要明白什么是知识&＃xff0c;知识肯定是我们确认过的东西&＃xff0c;随随便便自动化的数据&＃xff0c;当然不能录入到图谱当中&＃xff0c;不然怎么叫做知识&＃xff1f;自动化知识图谱能干啥&＃xff1f;我觉得除了当成embeding特征外&＃xff0c;自动化的图谱能干的事情太少了。所以知识图谱的人工占比大概是80%这个样子。因为大量数据要入库都需要审核&＃xff0c;一个好的后台管理工具和能够迭代的一系列算法份外重要。
5、知识图谱实体来源&＃xff1f;
这个很重要&＃xff0c;实体的来源首先是靠业务定义&＃xff0c;其次很大部分是靠爬虫&＃xff08;偷&＃xff1f;爬虫的事情能叫偷么&＃xff1f;&＃xff09;&＃xff0c;通过爬虫去爬去行业的百科网站&＃xff0c;其三产品搜索引擎这块能去总结总结。可以去找海量数据&＃xff0c;然后NER模型去跑一遍&＃xff0c;最后丢给运营处理【运营小姐姐会因为大量数据需要审核而拿刀追着我跑】&＃xff0c;所以怎么个优先级&＃xff0c;其实大家心里清楚。
6、搞一个知识图谱大概要多少人&＃xff1f;
我估摸&＃xff0c;至少有一个后台开发&＃xff0c;一个好的前端&＃xff0c;一个懂知识图谱的产品设计后台和数据架构&＃xff0c;运营是必须的&＃xff0c;但是人不能太多&＃xff0c;太多人一些细节的地方会协调困难&＃xff0c;2~5个人。一个爬虫厉害的&＃xff0c;然后一个到两个可以搞搞算法&＃xff0c;算下来怎么也得10个人&＃xff0c;这个是针对稍微中型点的项目来讲&＃xff0c;如果没啥时间限制&＃xff0c;实体又少&＃xff0c;那一两个人就差不多搞定了&＃xff0c;也不必搞什么复杂的后台运营和维护界面。
7、知识图谱能运用什么样的场景&＃xff1f;
这个实际上就靠脑洞了&＃xff0c;还有业务需求了&＃xff0c;因为很多东西不用知识图谱也能做&＃xff0c;用知识图谱来做的主要是&＃xff0c;知识数据&＃xff0c;记录在库里&＃xff0c;看着舒心&＃xff0c;有理有据。比如用在百科知识里&＃xff0c;提供一个知识查看的产品&＃xff0c;就像知识卡片一样&＃xff0c;比如搜索引擎&＃xff0c;把关联的知识组合在一起&＃xff0c;专门做同义词对齐&＃xff0c;用于提高召回率&＃xff0c;再比如QA问答里&＃xff0c;解决Question和Answer函数空间不对齐的GAP&＃xff0c;又比如&＃xff0c;应用在安全领域&＃xff0c;规则图谱&＃xff0c;用来判断黑客入侵和封装黑客的行为......真是数不胜数&＃xff0c;甚至可以用在企业人才管理方面&＃xff0c;用在企业知识库知识沉淀方向&＃xff0c;这个其实很自由&＃xff0c;知识图谱只是知识的一种表达&＃xff0c;它提供的是一种和数据驱动不同的方式&＃xff0c;叫知识驱动&＃xff0c;这些理念可以不断延伸。很多场景不用图谱也能搞&＃xff0c;最终搞不搞呢&＃xff1f;我觉得一方面看决心&＃xff0c;另一方面可以看是不是已有的解决方案都不能满足&＃xff0c;那可以用知识图谱尝试一下。
8、知识图谱最大的问题是什么&＃xff1f;
成本是最大的问题&＃xff08;废话&＃xff09;。就拿简单的说&＃xff0c;google搞知识图谱的成本是一条三元组0.8美分【道听途说】&＃xff0c;听说花了几个亿在上面&＃xff0c;我只想说土豪&＃xff0c;请和我做朋友。对于普通项目来说&＃xff0c;想要让它搞下去&＃xff0c;一方面要想办法落地&＃xff0c;尽快转化出价值&＃xff0c;另一方面要考虑怎么降低它的成本&＃xff0c;高大上的模型固然帅气&＃xff0c;BERT帅气&＃xff0c;单卡10s predict 的一条数据结果&＃xff0c;真是难以承受。也许还等不到图谱成型&＃xff0c;项目就狗带了&＃xff0c;尽量避免一点nlp基本知识都没有的小朋友搞知识图谱- 有钱就不在乎了&＃xff0c;最后一点就是&＃xff0c;针对入口开始整图谱&＃xff0c;不失为一个好方法。
下面绘制几张图帮助理解&＃xff1b;
AI学习路线和优质资源&＃xff0c;在后台回复"AI"获取
京公网安备 11010802041100号