2024金融知识图谱产品技术要求

金融知识图谱产品技术要求Technicalrequirementsforfinancialknowledgegraphproducts金融知识图谱产品技术要求Technicalrequirementsforfinancialknowledgegraphproducts目次前言 II引言 III123目次前言 II引言 III1234567范围 1规范性引用文件 1术语和定义 1缩略语 3金融知识图谱产品概述 4金融知识图谱产品框架 4金融知识图谱产品技术要求 8附录A金融知识图谱的使用场景与示例（资料性） 11附录B金融行业知识图谱Schema定义（资料性） 12I金融知识图谱产品技术要求1 范围2 规范性引用文件（包括所有的修改单适用于本文件。GB/T22239-2019GB/T金融知识图谱产品技术要求1 范围2 规范性引用文件（包括所有的修改单适用于本文件。GB/T22239-2019GB/T35273-2020信息安全技术网络安全等级保护基本要求信息安全技术个人信息安全规范3 术语和定义下列术语和定义适用于本文件。3.1知识图谱knowledgegraph3.2金融知识图谱financialknowledgegraph以结构化形式描述金融行业知识元素及其联系的集合。3.3本体ontology表示实体类型以及实体类型之间关系、实体类型属性类型及其之间关联的一种模型。3.4实体entity知识图谱中的节点知识，包括了客观世界中的概念（Concept）与实例（Instance）。3.5概念concept1又称实体类型，基于一组对象共有的属性经抽取后组成的思想集合。3.6attribute可描述的特征。3.7实例instance实例是客观世界具象的表示，在知识图谱中是实体的一种，其抽象表示即为概念（Concept）。3.8关系relation实体之间的关联表示，体现实体之间的关联特征。3.9事件event注：可表示为具有时间属性的实体和关系的组合。3.10知识表示knowledgerepresentation利用机器能够识别和处理的符号和方法，描述人类在发现或理解客观世界时获得的知识的活动。又称实体类型，基于一组对象共有的属性经抽取后组成的思想集合。3.6attribute可描述的特征。3.7实例instance实例是客观世界具象的表示，在知识图谱中是实体的一种，其抽象表示即为概念（Concept）。3.8关系relation实体之间的关联表示，体现实体之间的关联特征。3.9事件event注：可表示为具有时间属性的实体和关系的组合。3.10知识表示knowledgerepresentation利用机器能够识别和处理的符号和方法，描述人类在发现或理解客观世界时获得的知识的活动。3.11知识建模knowledgemodeling构建知识图谱的本体及其形式化表达的活动。注：知识建模活动可包括实体类型定义、关系定义及属性定义。3.12知识获取knowledgeacquisition从不同来源和结构的输入数据中提取知识的活动。3.13知识融合knowledgefusion整合和集成知识单元（集），并形成拥有全局统一知识标识的知识图谱的活动。3.14知识存储knowledgestorage设计存储架构，并利用软硬件等基础设施对知识进行存储、查询、维护和管理的活动。RDF数据库的存储方式等。23.15知识计算knowledgecomputing基于已构建的知识图谱和算法，发现/获得隐含知识并对外提供知识服务能力的活动。3.16知识溯源knowledgeprovenance在知识图谱全生存周期中追踪原始数据向知识转化的活动。3.17知识演化knowledgeevolution随本体模型、数据资源等变化产生的新知识对原有知识的补充、更新或重组的活动。注：通过知识计算得出的补全知识也可触发知识演化。3.183.15知识计算knowledgecomputing基于已构建的知识图谱和算法，发现/获得隐含知识并对外提供知识服务能力的活动。3.16知识溯源knowledgeprovenance在知识图谱全生存周期中追踪原始数据向知识转化的活动。3.17知识演化knowledgeevolution随本体模型、数据资源等变化产生的新知识对原有知识的补充、更新或重组的活动。注：通过知识计算得出的补全知识也可触发知识演化。3.18知识查询knowledgeinquiry根据某些条件或关键词，对知识图谱进行查询，获取相关信息。3.19知识推理knowledgereasoning知识图谱中的知识推理旨在从现有数据中识别错误或推断出新的结论。3.20事理图谱eventevolutionarygraph一种描述事件之间逻辑关系的知识图谱，例如连续性关系和因果关系等。4 缩略语下列缩略语适用于本文件。AML：反洗钱（Anti-MoneyLaundering）API：应用程序接口（ApplicationProgrammingInterface）BFS：广度优先搜索（BreadthFirstSearch）KGQA：知识图谱问答（KnowledgeGraphQuestionAnswering）LR：逻辑回归（Logisticregression）NLP：自然语言处理（NaturalLanguageProcessing）NPL：不良贷款（Non-PerformingLoan）OCR：光学文字识别（OpticalCharacterRecognition）35 金融知识图谱产品概述6 金融知识图谱产品框架6.1金融知识图谱产品技术框架1所示：5 金融知识图谱产品概述6 金融知识图谱产品框架6.1金融知识图谱产品技术框架1所示：图1金融知识图谱产品技术框架金融知识图谱产品技术框架主要由技术基础层、核心能力层及应用能力层组成。核心能力层由知识构建、知识抽取、知识融合、知识评估和知识推理组成，提供完整的金融知识图谱研发和管理能力。应用能力层由知识核验、搜索推荐、知识问答、关系发现、群挖掘、事件推理、路径分析组成。金融应用层包括智能投顾、智能理赔、智能合规、智能风控、智能营销等应用。6.2 金融知识图谱产品功能组件6.2.1技术基础层6.2.1.1概述技术基础层由引擎和算法组成，提供金融知识图谱产品底层的基础计算及算法能力。46.2.1.2引擎引擎提供金融知识图谱的计算、存储、搜索等能力，包括机器学习引擎、图计算引擎、流计算引擎、服务容器、图存储引擎和搜索引擎。应支持机器学习引擎，提供机器学习能力，包括监督学习和无监督学习能力；应支持图计算引擎，提供面向图数据的计算能力，支持分布式计算；供支持跨图谱连接、融合的存储所需的更新、读取等能力；宜提供基于知识语义、图结构的混合存储表达；应支持流计算引擎，提供面向实时、连续的流数据计算能力；e）f）应支持搜索引擎，提供针对文本数据及结构化数据的搜索能力。宜支持服务容器，提供知识构建、理解、融合等不同任务类型管理能力；6.2.1.3算法算法提供多种算法支持，包括NLP算法、表示算法、图谱推理算法和图传播算法。6.2.1.2引擎引擎提供金融知识图谱的计算、存储、搜索等能力，包括机器学习引擎、图计算引擎、流计算引擎、服务容器、图存储引擎和搜索引擎。应支持机器学习引擎，提供机器学习能力，包括监督学习和无监督学习能力；应支持图计算引擎，提供面向图数据的计算能力，支持分布式计算；供支持跨图谱连接、融合的存储所需的更新、读取等能力；宜提供基于知识语义、图结构的混合存储表达；应支持流计算引擎，提供面向实时、连续的流数据计算能力；e）f）应支持搜索引擎，提供针对文本数据及结构化数据的搜索能力。宜支持服务容器，提供知识构建、理解、融合等不同任务类型管理能力；6.2.1.3算法算法提供多种算法支持，包括NLP算法、表示算法、图谱推理算法和图传播算法。NLP算法类型包括实体抽取、关系抽取、别名挖掘、属性抽取、事件抽取、知识分类等；应支持知识嵌入表示算法服务，支持常用中心度算法；应支持知识推理算法服务；d）e）f）宜支持基于图的传播算法服务。6.2.2核心能力层6.2.2.1概述核心能力层由知识构建、知识抽取、知识融合、知识评估及知识推理组成，以此五个核心能力作为构建金融知识图谱产品的重点能力。6.2.2.2知识构建知识构建首先将业务知识转化成图谱形式表达，完成结构化数据到语义逻辑知识化的建模，并完成金融知识图谱内容的构建；知识构建包括Schema定义、自动化建模、知识集成及混合索引。a）b）c）d）e）金融知识图谱Schema除支持实体、关系、属性外，应支持概念、事件的表达；金融知识图谱Schema应支持等价关系建模；金融知识图谱Schema应支持实体类型属性的继承，支持定义属性的属性；Schema宜兼容属性图、语义图，提供属性图兼容概念语义标化的表达形式；SchemapatternSchema的增删改查等操作；宜支持引用其他领域已有的关系、实体定义等；应支持自动化的知识建模服务；宜支持自上而下和自下而上的途径进行构建；应支持针对文本、数值、向量、空间等索引查询召回能力的索引配置能力；宜支持流、批一体的构建链路；支持业务数据变更后秒级通过图谱构建链路更新到图谱中；f）g）h）i）5j）宜支持多人在线协同编辑，且实时更新。6.2.2.3知识抽取建。知识抽取包括实体抽取、关系抽取、事件抽取、属性挖掘和知识标化。a）b）c）应支持对结构化数据的抽取；在抽取前，应支持对原始数据进行数据预处理，包括但不限于数据清洗、脱敏等；OCRNLP应支持将实体之间的关系发现和抽取，并写入到图谱中；SchemaNLP规则结合模型，结合触发词等策略抽取事件分类、事件主体、事件客体、影响面、情感倾向等；应支持从不同信息源中采集特定实体的属性信息；j）宜支持多人在线协同编辑，且实时更新。6.2.2.3知识抽取建。知识抽取包括实体抽取、关系抽取、事件抽取、属性挖掘和知识标化。a）b）c）应支持对结构化数据的抽取；在抽取前，应支持对原始数据进行数据预处理，包括但不限于数据清洗、脱敏等；OCRNLP应支持将实体之间的关系发现和抽取，并写入到图谱中；SchemaNLP规则结合模型，结合触发词等策略抽取事件分类、事件主体、事件客体、影响面、情感倾向等；应支持从不同信息源中采集特定实体的属性信息；宜支持通过有限配置构建事件抽取服务，将事件转化为实体关系三元组，并写入图谱；d）e）f）g）h）i）6.2.2.4知识融合面的知识共享的重要方法。包括实体归一、异构融合、实体继承、关系继承。a）宜支持对矛盾实体或关系进行冲突检测，并对冲突和矛盾进行消除；宜支持关系分层继承能力,方便概念管理；宜支持多语言的融合；宜支持新增知识的实时融合。b）c）d）e）f）g）6.2.2.5知识评估能评估三种方式。a）应支持智能评估与算法模型结合，针对知识正确性、结构稳定性等进行评估。b）c）6.2.2.66知识推理图谱补全、一致性检测、查询扩展、规则推理及表示推理能力。a）图谱补全、一致性检测、查询扩展、规则推理及表示推理能力。a）宜提供人工规则&机器学习模型融合的图谱推理能力。b）c）d）e）f）g）h）i）6.2.3应用能力层分析，提供不同场景下基于金融知识图谱的技术能力应用支撑。a）b）c）d）应支持对于多种知识错误与冲突进行智能核查与校验；应支持将用户搜索实体的相关内容根据一定的逻辑进行智能推荐；应支持对于提出的自然语言问题进行自动问题解析和回答；应支持针对两个或两个以上实体关联关系，进行路径和路径层数的分析；KGQA知识查询方式，包括并不限于基于语义解析以及基于信息检索两种问答框架；宜支持可视化，为用户提供图形接口。e）f）g）h）6.3 金融知识图谱产品的技术流程金融知识图谱产品的技术流程，如下图所示：7图2金融知识图谱产品的技术流程图金融知识图谱产品的技术流程如下：a）图谱构建阶段，产品完成对原始数据的处理，包括Schema定义、知识抽取、知识融合、知识存储、知识推理的全流程，协助完成知识积累、知识入库过程；图谱应用阶段，产品结合图谱存量知识的应用，包括知识查询等，面向不同行业领域构建差异化的服务；数据反馈阶段，知识应用数据回流产品，持续迭代更新图谱。b）c）7 金融知识图谱产品技术要求7.1 图2金融知识图谱产品的技术流程图金融知识图谱产品的技术流程如下：a）图谱构建阶段，产品完成对原始数据的处理，包括Schema定义、知识抽取、知识融合、知识存储、知识推理的全流程，协助完成知识积累、知识入库过程；图谱应用阶段，产品结合图谱存量知识的应用，包括知识查询等，面向不同行业领域构建差异化的服务；数据反馈阶段，知识应用数据回流产品，持续迭代更新图谱。b）c）7 金融知识图谱产品技术要求7.1 基本功能要求金融知识图谱产品的基本功能要求如下：a）b）应支持对知识的管理功能，包括知识构建、知识抽取、知识融合、知识评估及知识推理等；应支持基于查询语言的知识查询，至少支持一种等常见图查询语言，例如SPARQL、Cypher、Gremlin等；应支持对实体/实体关系的过滤；应支持对节点/边采用区分标记（如不同颜色）；应支持自定义图样式，如定义不同类型的实体及属性采用不同的颜色，定义边的样式是否有箭头等；应支持设置文本，如设置实体或关系是否显示文本及显示的内容；应支持框选和多选，以便对节点或边进行关联分析等操作；应支持一度关联展开，当对选中的多个节点进行关联分析操作，可分析出选中节点之间的一度和二度关系；c）d）e）f）g）h）8i）应支持查找共同邻居，当对选中的多个节点进行共同邻居查找操作，可查找出选中节点的共同邻居；应支持节点重要性分析，如PageRank网页排序、度中心性、实体关系重要性、关系属性重要性分析等；应支持社区发现分析，如挖掘紧密连接的社区子图，根据模块度挖掘社区，结合模块度和惯性模块度挖掘社区等；应支持节点相似性分析，基于种子节点去寻找相似的节点；应支持节点聚类，如支持k-means工具，可根据节点之间的距离将节点聚类为K个簇，即节点间的距离越小，则相似性越高，则越有可能在同一个类簇；宜支持图模式匹配，即支持对查询到的数据进行特定图结构模式的搜索和分析；宜支持时序分析，分析数据中关系上的时间属性、数量属性，并根据这些属性对数据进行计算分组、顺序标注、展示统计图表等；宜支持基于关键词的语义查询；可支持基于对话的知识查询；可支持其他查询方式，包括但不限于路径查询、社团搜索查询等。j）k）l）m）n）o）p）q）r）s）7.2i）应支持查找共同邻居，当对选中的多个节点进行共同邻居查找操作，可查找出选中节点的共同邻居；应支持节点重要性分析，如PageRank网页排序、度中心性、实体关系重要性、关系属性重要性分析等；应支持社区发现分析，如挖掘紧密连接的社区子图，根据模块度挖掘社区，结合模块度和惯性模块度挖掘社区等；应支持节点相似性分析，基于种子节点去寻找相似的节点；应支持节点聚类，如支持k-means工具，可根据节点之间的距离将节点聚类为K个簇，即节点间的距离越小，则相似性越高，则越有可能在同一个类簇；宜支持图模式匹配，即支持对查询到的数据进行特定图结构模式的搜索和分析；宜支持时序分析，分析数据中关系上的时间属性、数量属性，并根据这些属性对数据进行计算分组、顺序标注、展示统计图表等；宜支持基于关键词的语义查询；可支持基于对话的知识查询；可支持其他查询方式，包括但不限于路径查询、社团搜索查询等。j）k）l）m）n）o）p）q）r）s）7.2可扩展性要求金融知识图谱产品的可扩展性要求如下：a）b）c）d）应具备良好的可扩展性，产品部署根据业务需求随时进行扩展和收缩；应支持横向扩展，用户通过API可以直接接入；应支持通过集群化方案解决在线服务的负载均衡，故障转移，动态扩缩容等问题；宜支持自动伸缩机制的可信通道管理方案。7.3可靠性要求金融知识图谱产品的可靠性要求如下：a）b）应确保数据只能按约定好的行为进行使用，避免数据滥用；应具备在出现故障（比如服务器故障、硬盘故障、网络故障、关机、重启等）后产品进行自动容灾恢复的能力，包括数据备份和恢复等；宜支持通过多机房主从协调机制，解决可信执行环境集群跨机房灾备的问题，进一步提升了产品的容灾能力。c）7.4兼容性要求金融知识图谱产品的兼容性要求如下：应兼容主流商业及开源社区版操作系统；宜兼容主流图查询语言及图分析工具，如Gremlin等。7.5性能要求金融知识图谱产品的性能要求如下：a）可支持亿级或者以上规模数据的秒级查询。7.6易用性要求金融知识图谱产品的易用性要求如下：9a）b）c）可提供API及算法封装，如中介中心性，BFS，最短路径等；可提供NPL，AML，金融犯罪洞察等基础模型；可支持数据并行加载及增量加载。7.7安全性要求金融知识图谱产品的安全性要求如下：a）a）b）c）可提供API及算法封装，如中介中心性，BFS，最短路径等；可提供NPL，AML，金融犯罪洞察等基础模型；可支持数据并行加载及增量加载。7.7安全性要求金融知识图谱产品的安全性要求如下：a）b）c）应确保金融知识图谱数据的保密性、完整性和可用性；对于金融知识图谱中的数据