人工智能应用 课件 项目8 (1) 知识图谱

人工智能应用新编21世纪高等职业教育精品教材·电子与信息类项目8知识图谱通过本章的学习，了解知识图谱的起源、发展历程及应用，理解知识图谱的基本概念与实现，掌握知识图谱的实现方式。了解知识图谱的起源与发展历史理解知识图谱的基本概念掌握知识图谱的实现了解知识图谱的应用8.1知识图谱概述知识图谱（KnowledgeGraph）最早由Google公司提出。2012年11月Google公司开始了知识图谱项目，该项目的关键在于从互联网的海量资源、信息中提取实体、属性、实体关系等，并利用这些信息构建知识图谱，用来解决并优化个性化推荐、信息检素、智能问答这三个方面出现的问题。知识图谱的本质是语义网络（SemanticNetwork）的知识库，也可理解为多关系图（Multi-relationalGraph）。语义网络是由Quillian于上世纪60年代提出的知识表达模式，采用相互连接的节点和边来表示知识，节点表示对象、概念，边表示节点之间的关系。上图是一个语义网络的示例，它的中间是哺乳动物，猫是一种哺乳动物，猫有毛；熊是哺乳动物，熊也有毛；鲸是一种哺乳动物，鲸在水里面生活；鱼也在水里面生活，也是一种动物；哺乳动物也是动物的一种。语义网络的优点是简单直白，缺点是缺乏标准，完全靠用户自定义。知识图谱的基本概念1.本体（Ontology）图谱本体（Ontology）的设计和构建是知识图谱构建的第一步。本体是图谱的模型，是对构成图谱的数据的一种模式约束。本体通过对于概念（concept）、术语（terminology）及其相互关系（relation，property）的规范化（conceptualization）描述，勾画出某一领域的基本知识体系和描述语言。2.类型（type）具有相同特点或属性的实体集合的抽象，如足球球员、足球联赛、足球教练。3.实体（Entity）实体就是type的实例，如足球球员--梅西，足球联赛--西甲等。4.关系（relation）实体与实体之间通过关系关联起来，如张三选修了人工智能导论这门课。5.属性（properties）事物的外部特征，如桌子的高度、宽度、长度、颜色以及品牌等等。6.知识图谱图谱是具有关联性的知识集合。可以由三元组(实体entity,实体关系relation,实体entity)表示。7.知识库知识库（KnowledgeBase），就是一个知识数据库，包含了知识的本体和知识。Freebase是一个知识库（结构化），维基百科也可以看成一个知识库（半结构化），等等。知识图谱可以看成是由图数据库存储的知识库。知识图谱由数据层（datalayer）和模式层（schemalayer）构成。模式层是知识图谱的概念模型和逻辑基础，对数据层进行规范约束，多采用本体作为知识图谱的模式层，借助本体定义的规则和公理约束知识图谱的数据层。也可将知识图谱视为实例化了的本体，知识图谱的数据层是本体的实例。在数据层,事实以“实体-关系-实体”或“实体-属性-属性值”的三元组存储，形成一个图状知识库.其中，实体是知识图谱的基本元素，指具体的人名、组织机构名、地名、日期、时间等。关系是两个实体之间的语义关系，是模式层所定义关系的实例。属性是对实体的说明，是实体与属性值之间的映射关系。知识图谱的实现过程其实就是知识图谱的构建过程。知识图谱构建主要分为自顶向下(top-down)与自底向上(bottom-up)两种构建方式。知识图谱构建是一个迭代更新的过程，根据知识获取的逻辑，每一轮迭代包含信息抽取、知识融合、知识加工三个阶段（如图8-4所示）。链接数据关系数据库表格列表信息盒子表格列表信息盒子结构化数据纯文本数据实体抽取关系抽取属性抽取数据整合实体消歧指代消解知识推理质量评估本体抽取知识图谱知识图谱的构建流程数据抽取信息抽取第三方知识库知识融合知识加工信息抽取从各种类型的数据源中提取出实体、属性以及实体间的相互关系，在此基础上形成本体化的知识表达。从不同来源、不同结构的数据中进行知识提取，形成知识存入到知识图谱。提取的信息通常包括实体（entity）、关系（relation）、事件（event）。信息抽取主要完成三个子任务：实体抽取与链指：也就是命名实体识别。实体识别旨在从文本中发现命名实体，最典型的包括人名、地名、机构名等三类实体。例如某个文档如果出现了iphone，那么“苹果”就有更高的概率指向知识图谱中的叫“苹果”的IT公司。关系抽取：通常我们说的三元组(triple)抽取，主要用于抽取实体间的关系。关系抽取通常在命名实体识别之后。在识别出实体后，还需要抽取两个实体或多个实体之间的语义关系。语义关系通常用于连接两个实体，并与实体一起表达文本的主要含义。常见的关系抽取结果可以用SPO结构的三元组来表示，比如；中国的雾都是重庆=>(中国,雾都,重庆）事件抽取：事件抽取技术是从非结构化信息中抽取出用户感兴趣的事件，并以结构化呈现给用户。事件抽取旨在抽取出结构化的事件信息，包括事件触发词、事件类型、事件论元和对应的角色。知识融合知识融合的目标是融合各个层面（概念层、数据层）的知识，更有效地进行知识共享和重用，其结果往往会产生新的知识。值得一提的是，在不同文献中，知识融合有不同的叫法，如本体对齐、本体匹配、RecordLinkage、EntityResolution、实体对齐等叫法，但它们的本质工作是一样的。知识加工对于经过融合的新知识，需要经过质量评估之后（部分需要人工参与甄别），才能将合格的部分加入到知识库中，以确保知识库的质量。主要包括：本体构建，知识推理，质量评估。1.本体构建本体（ontology）是指公认的概念集合、概念框架，如“人”、“事”、“物”等。举个例子：以水果分类为例，一方面限定了术语集合（即规定大家必须采用共同承认的一套词汇，禁止私自发明新词），另一方面定义术语之间的上下位关系（如：苹果隶属于水果，香蕉隶属于水果等）。2.知识推理完成了本体构建之后，一个知识图谱的雏形便已建好。但此时的知识图谱之间大多数关系都是残缺的，缺失值非常严重，仍旧需要使用知识推理技术去完成进一步的知识发现。知识推理的方法可以分为3类：基于逻辑的推理、基于图的推理和基于深度学习的推理。3.质量评估知识图谱质量评估通常在知识抽取或融合阶段进行，可以对知识的可信度进行量化，通过舍弃置信度较低的知识，可以保障知识库的质量。8.3知识图谱的应用知识图谱通过推理引擎使计算机有了推理能力。随着人工智能技术的不断进步，知识图谱技术也在搜索、自动问答等领域有了更为广泛的应用。1.智能检索知识检索是知识图谱非常成熟的应用。通过借助知识图谱理解用户的搜索语义，从而更深层次地理解用户的需求