2024灾害知识图谱构建技术规范

范范目录前言 3引言 41范围 5²目录前言 3引言 41范围 5²规性用件 53术和义 53.1知识图谱knowledgegraph 53.²实体entity 53.33.4关系relation 5模式›×hema 64‘6缩语 6概述 6灾知图构技要求 66.1知识收集 6²知识建模 7知识获取 7知识融合 7‘知识评估 8知识推理 8知识存储 9构灾知图基功能求 9灾知图的功要求 10788.18.²8.38.48.‘8.6可扩展性要求 10可靠性要求 10兼容性要求 10性能要求 10易用性要求 11安全性要求 11引言知识图谱(KnowledgeGraph)，是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。知识图谱具有语义丰富、结构友好、逻辑清晰的优点，除了用于知识的展示，还能用于知识推理和推荐等场景，近年来得到了大量的应用。灾害是自然系统与人文系统相互作用的结果,这种复杂的交互现象直接威胁着人类的生命安全与社会的经济发展。灾害事件是地球系统中的自然变异的过程与现象，具有明显的时空特征，灾害事件的发生是多种因素相互作用。影响发展的结果，具有复杂、系统性特征，不同灾害事件之间具有相关性，会在时空层面集聚，也会呈链式结构不断演化发展。灾害数据种类多，在来源上有气象、水文、社会经济等多源数据，在类型上包含结构化、非结构化数据。灾害数据主要包括基础地理数据、实时遥感数据、社会经济统计数据、历史灾情数据、监测上报数据、灾害信息产品六大类。相关数据骤增而关键知识明显匮乏，存在“数据-信息-知识”转化能力不足的问题，由此提出构建灾害知识图谱构建方法十分必要。灾害知识图谱构建涉及知识抽取、知识融合、知识推理、知识存储复杂过程，因此制定一套灾害知识图谱构建规范标准是有必要的。引言知识图谱(KnowledgeGraph)，是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。知识图谱具有语义丰富、结构友好、逻辑清晰的优点，除了用于知识的展示，还能用于知识推理和推荐等场景，近年来得到了大量的应用。灾害是自然系统与人文系统相互作用的结果,这种复杂的交互现象直接威胁着人类的生命安全与社会的经济发展。灾害事件是地球系统中的自然变异的过程与现象，具有明显的时空特征，灾害事件的发生是多种因素相互作用。影响发展的结果，具有复杂、系统性特征，不同灾害事件之间具有相关性，会在时空层面集聚，也会呈链式结构不断演化发展。灾害数据种类多，在来源上有气象、水文、社会经济等多源数据，在类型上包含结构化、非结构化数据。灾害数据主要包括基础地理数据、实时遥感数据、社会经济统计数据、历史灾情数据、监测上报数据、灾害信息产品六大类。相关数据骤增而关键知识明显匮乏，存在“数据-信息-知识”转化能力不足的问题，由此提出构建灾害知识图谱构建方法十分必要。灾害知识图谱构建涉及知识抽取、知识融合、知识推理、知识存储复杂过程，因此制定一套灾害知识图谱构建规范标准是有必要的。灾害知识图谱构建技术规范1范围基于深度学习的灾害知识图谱的框架构建流程。本文件适用于指导基于深度学习的灾害知识图谱构建，及灾害知识图谱系统进行设计、开发、测试等。²规范性引用文件下列文件对于本标准的应用是必不可少的。凡是注日期的引用文件，仅所注日期的版本适用于本标准。凡是不注日期的引用文件，其最新版本(包括所有的修改单)适用于本标准。GB/T5271.17-201017GB/T22239-2019信息安全技术网络安全等级保护基本要求GB/T35273-2020信息安全技术个人信息安全规范3术语和定义GB/T5271.17-2010界定的以及下列术语和定义适用于本标准灾害知识图谱构建技术规范1范围基于深度学习的灾害知识图谱的框架构建流程。本文件适用于指导基于深度学习的灾害知识图谱构建，及灾害知识图谱系统进行设计、开发、测试等。²规范性引用文件下列文件对于本标准的应用是必不可少的。凡是注日期的引用文件，仅所注日期的版本适用于本标准。凡是不注日期的引用文件，其最新版本(包括所有的修改单)适用于本标准。GB/T5271.17-201017GB/T22239-2019信息安全技术网络安全等级保护基本要求GB/T35273-2020信息安全技术个人信息安全规范3术语和定义GB/T5271.17-2010界定的以及下列术语和定义适用于本标准3.1知识图谱knowledgegraph一种以结构化的形式描述客观世界中概念、实体及其关系的方式。它将互联网的海量信息表达成更接近人类认知世界的形式，提供了一种更好地组织、管理和理解互联网海量信息的能力。3.²entity存在或者可能存在的任何具体或抽象的事物，包括这些事物间的关联。3.3关系relation具有相同属性的各实体值的集合以及这些属性。3.4›×hema属于考虑的特定级的数据库结构的完整描述。4缩略语下列缩略语适用于本标准:NLP:atulLanuagPrcesin具有相同属性的各实体值的集合以及这些属性。3.4›×hema属于考虑的特定级的数据库结构的完整描述。4缩略语下列缩略语适用于本标准:NLP:atulLanuagPrcesin。CNN:（ConvolutionalNeuralNetwork）是一种具有局部连接、权值共享等特点的深层前馈神经网络，具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类，可进行监督学习和非监督学习。RDF:资源描述框架(ResourceDescriptionFramework)BiLSTM-CRF:BiLSTM指双向的长短时记忆神经网络（Bi-directionalLongShort-Termemo（RSTM别捕捉句中的前文和后文信息。CRF（条件随机场）模型将BiLSTM提取的特征向量作为输入，学习输入字向量与输出实体标签之间的关系，从而提高实体识别概率。概述灾害知识图谱系统以底层技术基础作为支撑，收集整理基础地理数据、实时遥感数据、社会经济统计数据、历史灾情数据、监测上报数据、灾害信息产品，其构建需经过知识收集、知识建模、知识获取、知识融合、知识评估、知识推理、知识存储等阶段。6灾害知识图谱构建技术要求6.1知识收集知识收集阶段明确知识图谱构建的数据来源，针对不同的数据来源制定相应的收集策略并进行收集，做好后续构建流程的数据准备。知识收集包括知识采集和知识导入。对知识收集阶段的技术要求如下:应明确构建知识图谱所需数据的来源，如数据库中的业务数据等结构化数据:监测上报数据，社会经济统计数据等，非结构化数据:实时遥感影像数据等。6.²知识建模知识建模阶段首先将业务知识转化成图谱形式表达，完成结构化数据到语义逻辑知识化的建模，并完成知识图谱内容的构建。对知识建模阶段的技术要求如下：a)应支持通过图谱的模式建模能力将业务领域知识抽象成图谱的实体、关系、属性、约束等；b)应支持针对模式的增删改查等操作;c)宜支持引用其它领域已有的关系、实体定义等;d)应支持自动化的知识建模服务;e)支持自上而下和自下而上的途径进行知识构建;f)应支持针对文本、向量、空间等索引查询召回能力的索引配置能力;g)宜支持流、批一体的构建链路，支持业务数据变更后秒级通过图谱构建链路更新到图谱中；6.3知识获取知识获取阶段从非结构化的原始数据获取图谱标准知识，方便图谱高效地构建，知识获取包括实体获取、灾害事件获取、属性挖掘和知识标准化等。对知识获取阶段的技术要求如下:a)CNN数据，社会经济统计数据等，非结构化数据:实时遥感影像数据等。6.²知识建模知识建模阶段首先将业务知识转化成图谱形式表达，完成结构化数据到语义逻辑知识化的建模，并完成知识图谱内容的构建。对知识建模阶段的技术要求如下：a)应支持通过图谱的模式建模能力将业务领域知识抽象成图谱的实体、关系、属性、约束等；b)应支持针对模式的增删改查等操作;c)宜支持引用其它领域已有的关系、实体定义等;d)应支持自动化的知识建模服务;e)支持自上而下和自下而上的途径进行知识构建;f)应支持针对文本、向量、空间等索引查询召回能力的索引配置能力;g)宜支持流、批一体的构建链路，支持业务数据变更后秒级通过图谱构建链路更新到图谱中；6.3知识获取知识获取阶段从非结构化的原始数据获取图谱标准知识，方便图谱高效地构建，知识获取包括实体获取、灾害事件获取、属性挖掘和知识标准化等。对知识获取阶段的技术要求如下:a)CNND2RQNLPPDF中获取结构化实体，更新或连接到图谱中;b)应支持通过图谱的模式建模能力将业务领域知识抽象成图谱的实体、关系、属性、约束等；c)BiLSTM_CRF体、灾害事件客体、影响面、灾害关系等;d)宜支持通过有限配置构建事件获取服务，并将获取结果写入图谱:e)应支持从不同信息源中采集特定实体的属性信息。6.4知识融合知识融合阶段将多源异构、信息多样、动态演化的知识，通过冲突检测、一致性检查、知识推理等对知识进行正确性判断，将验证正确的知识通过关联对齐、实体链接有机地组织成知识库以提供全面的知识共享，知识融合组件包括实体归一、异构融合、实体继承、关系继承等。对知识融合阶段的技术要求如下:a)在同构环境下，应支持每个实体在全局有唯一实例，如通过提供系统插件以及搜索引擎、图查询、实体相似度等能力，可快速发现、消除重复冗余实体。b)应支持包括异构多源实体的融合，不同图谱下同质异构实体的融合，如通过提供可解释、可回溯的规则管理能力，方便管理融合策略;c)应支持为不同领域同实体共享、差异化迭代提供的实体继承能力，宜支持选择深度、浅度继承公共实体，新增或覆盖已有属性;d)宜支持多源知识子图的融合，如通过提供子图约简、图嵌入、子图相似度等能力。实现高效地融合知识图谱间的结构信息与语义信息;e)宜支持关系分层继承能力，方便概念管理；f)宜支持新增知识的实时融合6知识评估知识评估阶段用于保障新加入知识图谱的知识的质量，主要包括规则评估、人工评估、智能评估三种方式。对知识评估阶段的技术要求如下:a)应支持规则评估结合外部接口调用来评测知识的正确性，或依赖系统规则评测知识的时效性、覆盖率等；b)宜支持带条件的对实体、属性、关系等做无偏采样，自动打通外包、众包评估，持续评测知识质量；c)应支持智能评估与算法模型结合，针对知识正确性、结构稳定性等进行评估。6.6知识推理知识推理阶段通过对存量图谱做规则迭代或模型表示发现新的知识，包括知识问答、知识融合阶段将多源异构、信息多样、动态演化的知识，通过冲突检测、一致性检查、知识推理等对知识进行正确性判断，将验证正确的知识通过关联对齐、实体链接有机地组织成知识库以提供全面的知识共享，知识融合组件包括实体归一、异构融合、实体继承、关系继承等。对知识融合阶段的技术要求如下:a)在同构环境下，应支持每个实体在全局有唯一实例，如通过提供系统插件以及搜索引擎、图查询、实体相似度等能力，可快速发现、消除重复冗余实体。b)应支持包括异构多源实体的融合，不同图谱下同质异构实体的融合，如通过提供可解释、可回溯的规则管理能力，方便管理融合策略;c)应支持为不同领域同实体共享、差异化迭代提供的实体继承能力，宜支持选择深度、浅度继承公共实体，新增或覆盖已有属性;d)宜支持多源知识子图的融合，如通过提供子图约简、图嵌入、子图相似度等能力。实现高效地融合知识图谱间的结构信息与语义信息;e)宜支持关系分层继承能力，方便概念管理；f)宜支持新增知识的实时融合6知识评估知识评估阶段用于保障新加入知识图谱的知识的质量，主要包括规则评估、人工评估、智能评估三种方式。对知识评估阶段的技术要求如下:a)应支持规则评估结合外部接口调用来评测知识的正确性，或依赖系统规则评测知识的时效性、覆盖率等；b)宜支持带条件的对实体、属性、关系等做无偏采样，自动打通外包、众包评估，持续评测知识质量；c)应支持智能评估与算法模型结合，针对知识正确性、结构稳定性等进行评估。6.6知识推理知识推理阶段通过对存量图谱做规则迭代或模型表示发现新的知识，包括知识问答、关联分析、规则推理及表示推理能力等。对知识推理阶段的技术要求如下：a)应支持知识问答能力，基于知识图谱实现知识问答；b)应支持关联分析能力，基于知识图谱实现知识的关联分析；c)支持规则推理能力，包括基于专家经验，在图上进行基于路径和节点属性计算的迭代推理能力；d)宜支持表示推理能力，包括并不限于通过联动图谱存储、图训练框架实现表示推理能力；通过对知识的嵌入表示，然后结合深度学习实现推理能力，同时可支持多种算法，结合业务下游模型进行关系预测、属性预测、推荐排序等。6.7知识存储知识存储阶段将知识图谱的概念层和数据层以计算机可识别的数据格式进行物理保存，针对知识图谱的知识表示形式设计匹配的底层存储方式，完成各类知识的存储，以支持对大规模图数据的有效管理和计算。知识存储阶段包括结构设计、访问支持、管理维护等组件。知识图谱的存储并不用依赖特定的底层结构，一般的做法是按照数据和应用的需求采用不同的底层存储。对知识图谱系统的知识存储组件的功能要求如下：a)应满足基础的图数据存储需求，设计具备良好可伸缩性和灵活性的知识存储结构，可满足多种图数据模型的存储，如属性图、RDF等图数据模型，在此基础上，应具备可扩展性，可实现数据增长的弹性扩展；b)应具备查询、读取、计算和应用需求的支持，可以实现和不同存储、计算组件的交互，可以满足上层应用对于存储组件进行增删查改的功能和性能需求；c)应具备对于安全性、可靠性、维护和管理的支持，可以实现基于角色的访问控制、加密、多用户、高可用性、备份和还原的功能。7构建灾害知识图谱基本功能要求构建的灾害知识图谱系统为基本功能要求如下:a)应支持对知识的管理功能，包括知识建模、知识获取、知识融合、知识评估及知识推理等。b)宜支持深度学习模型训练优化，包括支持模型组合和调参，支持加快模型训练和实c)支持规则推理能力，包括基于专家经验，在图上进行基于路径和节点属性计算的迭代推理能力；d)宜支持表示推理能力，包括并不限于通过联动图谱存储、图训练框架实现表示推理能力；通过对知识的嵌入表示，然后结合深度学习实现推理能力，同时可支持多种算法，结合业务下游模型进行关系预测、属性预测、推荐排序等。6.7知识存储知识存储阶段将知识图谱的概念层和数据层以计算机可识别的数据格式进行物理保存，针对知识图谱的知识表示形式设计匹配的底层存储方式，完成各类知识的存储，以支持对大规模图数据的有效管理和计算。知识存储阶段包括结构设计、访问支持、管理维护等组件。知识图谱的存储并不用依赖特定的底层结构，一般的做法是按照数据和应用的需求采用不同的底层存储。对知识图谱系统的知识存储组件的功能要求如下：a)应满足基础的图数据存储需求，设计具备良好可伸缩性和灵活性的知识存储结构，可满足多种图数据模型的存储，如属性图、RDF等图数据模型，在此基础上，应具备可扩展性，可实现数据增长的弹性扩展；b)应具备查询、读取、计算和应用需求的支持，可以实现和不同存储、计算组件的交互，可以满足上层应用对于存储组件进行增删查改的功能和性能需求；c)应具备对于安全性、可靠性、维护和管理的支持，可以实现基于角色的访问控制、加密、多用户、高可用性、备份和还原的功能。7构建灾害知识图谱基本功能要求构建的灾害知识图谱系统为基本功能要求如下:a)应支持对知识的管理功能，包括知识建模、知识获取、知识融合、知识评估及知识推理等。b)宜支持深度学习模型训练优化，包括支持模型组合和调参，支持加快模型训练和实验调优;c)支持产品化流程，提升模型训练迭代效率，提高模型性能和泛化能力;d)应保证模型的可用性，无论输入什么样的样本数据，模型都能返回一个结果，供系统进行决策处理；e)应支持对算法的管理，采用多种方式提高算法准确性，增强安全性;f)支持对深度学习服务模块的管理，保证数护传输过程安全、开发框架安全，支持权限管理和服务接口规范制定等。8灾害知识图谱的非功能要求8.1可扩展性要求对灾害知识图谱系统的可扩展性的要求如下：a)应具备良好的可扩展性，根据业务需求随时进行扩展和收缩；b)支持自动伸缩机制的可信通道管理方案，从而达到简单高效管理可信计算通道的目的;c)应支持横向扩展，用户通过API可以直接接入。8.²可靠性要求对灾害知识图谱系统的可靠性的要求如下：a)应确保数据只能按约定好的行为进行使用，避免数据滥用:b)支持通过多机房主从协调机制，解决可信执行环境集群跨机房灾备的问题，进一步提升了系统的容灾能力;c)应具备在出现故障(比如服务器故障、硬盘故障、网络故障、关机、重启等)后系统进行自动容灾恢复的能力，包括数据备份和恢复等。8.3兼容性要求对灾害知识图谱系统的兼容性的要求如下;a)应兼容主流图查询语言及图分析工具;b)应能在业界主流硬件上正常运行；c)支持多数据源的批量数据导入与更新；d)兼容主流商业及开源社区版操作系统。统进行决策处理；e)应支持对算法的管理，采用多种方式提高算法准确性，增强安全性;f)支持对深度学习服务模块的管理，保证数护传输过程安全、开发框架安全，支持权限管理和服务接口规范制定等。8灾害知识图谱的非功能要求8.1可扩展性要求对灾害知识图谱系统的可扩展性的要求如下：a)应具备良好的可扩展性，根据业务需求随时进行扩展和收缩；b)支持自动伸缩机制的可信通道管理方案，从而达到简单高效管理可信计算通道的目的;c)应支持横向扩展，用户通过API可以直接接入。8.²可靠性要求对灾害知识图谱系统的可靠性的要求如下：a)应确保数据只能按约定好的行为进行使用，避免数据滥用:b)支持通过多机房主从协调机制，解决