银行业图数据库选型实践

1、2018银行业图数据库分析、选型与实践Agenda图的概念图数据库技术分析图数据库在光大银行的实践现实世界的图图是相互连接的事物及其关系的一种结构化表达。信息读取是顺序的 过程，要求阅读者在大 脑中将信息串联形成理 解，而图能够即时传达 信息，易于揭示复杂的 模式。在社交网络、交 通网络、通讯网络、 资金网络等展现场景 下，都有比较直观的 展现效果。数学世界的图无向图有向图多重图G=(V,E)V Vertexes (Node) E Edges(Arcs, Links)环平行边多重图：一个允许有多重边的图， 也就是有至少二个边的二个顶点完 全相同，至少有二个顶点可以由二 个边相连接。在工程实践中

2、多为有向多重图有向边无向边工业界的图RDF更加繁琐，不支持属性，同等 情况下规模比LGP更大。Freebase 边数量在31亿左右Label = Type, Class标签数量在不同的产品中存在差异RDFProperty Graph (Labeled)Hypergraph一条边连接多个顶点Resource Description Framework历史悠久，伴随着语义万维网、知 识图谱的发展。主谓宾三元组是基本组成单位objectsubjectpredicate在工程实践中产生，为了处理高度 连接数据的存储和查询，一般为有 向多重图。缺少统一的元模型表述语言示例 RDF & PGRDFRDFp

3、roperties with edgeProperty Graph知识图谱与图存储技术图存储技术是支持知识图谱应用的关键技术之一。知识图谱（知识引擎）是多种技术的综合应用，包括自然语言识别（NLP）、机器 学习及图存储技术等，其大量知识来源于非结构化数据。知识图谱的整体使用过程包括知识获取、知识融合、知识存储、知识推理、知识应 用等步骤，典型应用场景包括搜索引擎、问答系统等。Agenda图的概念图数据库技术分析图数据库在光大银行的实践“高成长”的图数据库图数据库的使用价值1. 优秀的查询性能相对关系型数据库，图数据库产品一般在设计上避免大量的Join操 作，提供快速的查询。2. 灵活的数据建模

4、, Schema-less多数图数据库没有预设的schema，借助底层的存储机制，能够更加灵活的变更结构。3. 易于理解，更加敏捷相对于关系数据库的表格，图的组织形式更接近与现实世界，易 于理解。4. 基于图算法提供强大分析能力PageRank/社区发现算法等图数据库产品Graph Data & RDF Store图数据库的定义与分类图数据库分类OperationSemantic/textAnalyticUnificationTherefore a graph database remains “a database that uses graph structures for semanti

5、c queries with nodes, edges and properties to represent and store data” independent of the way the data is stored internally.部分图数据库产品DataStax Enterprise Graph(Titan)Neo4jOrientDBArangoDBIBM Graph (JanusGraphPerson2 RocksDB - Badger(SSD)大幅提升数据更新及查询能力单机存储与计算Graph Database1.0并行计算Graph Database2.0分布式存储与

6、并行计算Graph Database3.0Agenda图的概念图数据库技术分析图数据在光大银行的实践银行业的应用场景信贷管理流程集团客户供应链亲属回避制度以客户为顶点，客户间的担保关系、控股关系、交易关系等为边。反洗钱业务资金网络以帐号为顶点，以资金流转活动，转账、支付等为边。审计分析系统逻辑数据模型账户对公客户对私 客户资金往来担保关系紧密关系（控制、雇佣等）担保关系贷款 合同紧密关系（股权、供应链）员工紧密关系（亲属、同事）归属归属签订签订附属抵质 押物关联关联管理管理10亿顶点30亿边（汇总） 待增加设备等节点HDFS/Hive系统架构数据源层平台层服务层应用层数仓文件文本数据加载图谱数据处Titan图谱查证模型管理系统管理ElasticSearchSpark MLlibSpark GraphXHBaseRe