HugeGraph图数据库平台介绍

1、HugeGraph图数据库平台介绍技术创新，变革未来目录图数据库是什么HugeGraph是什么HugeGraph典型案例HugeGraph存储原理如何参与开源贡献3图数据库是什么新型的NoSQL数据库4Key-ValueDocumentColumnGraphRedis RocksDBHBase CassandraCouchDB MongoDBNeo4j TitanDB查询复杂度数 据 关 联 度图数据库是什么图数据库是一种新型的NoSQL数据库5图数据库是什么图数据库在近几年广受关注6图数据库是什么图数据库：存储实体与实体之间的关联关系G = (V, E)Vertex (Node, EnIty

2、, Object)Edge (RelaIonship, Link, Arc)现实世界图数据库7图数据库是什么8idnameagephone1Tom22188*11112Mike23158*22221. useriduser1user2since1122016-01-0222. friend好友关系用 用 户户图数据库带来的改变SQL图数据库select * from friend ajoin friend b on b.user1=a.user2 join user on id=b.user2where a.user1 in (select id from user where name=To

3、m)Tomg.V().has(name, Tom).out(friend).out(friend)9图数据库带来的改变10数据来自程序员深度关系型数据库执行时间 / s图数据库执行时间 / s返回结果数量20.0160.012500330.270.16811000041543.511.35960000052.132800000图数据库应用行业反欺诈发现人员、事件、地点 和时间之间的异常联系知识图谱构建实体与实体间的关 联关系，描述真实世界网络安全服务器、域名、IP、文件 等关联关系，形成网络安 全情报IT运维系统调用，数据库访问， 缓存读取等全链路监控更多图数据库应用金融社交招聘物流医疗电信零

4、售图数据库11HugeGraph是什么百度安全自研的开源图数据库12HugeGraph特点HugeGraph易用高效通用开放可扩展大规模1314PersonRobert ZemeckisPersonNora EphronHugeGraph优势MovieSleepless in SealeMovieYouve Got MaildirecteddirectedMovieWhen Harry Met SallywrotePersonMeg RyanactedPersonactedTom HanksactedMovieCast AwayactedactedMovieactedJoe Versus Vo

5、lcanoactedacteddirectedMovieThe Polar Express directed关系数据库 MySQL 百万千万规模十亿+规模图数据库 HugeGraph易 建 模大 规 模782345likelikefriendfriendfriendfriendlikelikelike?6like9like1personmoviev1v2v3v4v5v2v6v7v3v8v4v8v5v8v9高 效 关 联 分 析/ Gremlin 2层好友查询g.V().has(name, Tom Hanks).out(friend).out(friend)2362345friend1Tom H

6、anksfriendfriend4friend5 friendfriend71source6target灵 活 查 询语 / 查询2点之间的最短路径g.V(source_id)言 .repeat(out().simplePath().until(hasId(target_id).path().limit(1)HugeGraph技术选型RocksDBCassandraHBase4. 持久化方案Non-Na3ve StorageNaIve Storage3. 查询语言GremlinCypherSPARQLg.V().has(name,gremlin).out(knows).out(knows).v

7、alues(name)2. 存储模型A: (B,D)B: (C,D)C: (E)D: (B,C,E)E: (A,C)F: (D,E)Adjacency ListAdjacency Matrix1. 概念模型Property GraphRDFpersonpersonpersonpersonsoftsoft15HugeGraph整体架构OLAPMonitorStudioLoaderToolsApplicaIonsClientGraph EngineBackend Storage InterfaceJob Manager & ExecutorOLTPMonitor APIReskul APIGrem

8、lin API Internal API Layer (Schema, Graph, Index)Gremlin Job APIRocksDBCassandraHBasePalo | TableInMemoryScyllaDBMySQL(Ext Plugins)16HugeGraph性能批量写入性能最短路径查询性能数据集后端email-enron (30w edge)amazon0601 (300w edge)com-youtube.ungraph (300w edge)com-lj.ungraph (3000w edge)HugeGraph1.72613.06613.009141.212Ti

9、tan14.02125.975154.9261467.159Neo4J4.69419.39622.199447.488数据集后端email-enron (30w edge)Amazon0601 (300w edge)com-youtube.ungraph (300w edge)com-lj.ungraph (3000w edge)HugeGraph2.2890.24210.21828.78Titan13.3260.577544.492848.36Neo4J2.0013.8995.93728.9251710亿边导入 BSKU, KGProduct-BSKU,KGUser, Doc - BSKU,

10、 KGKG-libquery-kgproduct-kgAD-kguser-kgdoc-kg结构化解析实体链接 / 属性填充Score / Rank知识沉淀 图谱进化HugeGraph知识沉淀 / 图谱进化实体挖掘 图谱构建实体识别 / 专名识别 属性识别 / 属性填充 实 体 挖 掘关系挖掘 / 共引消歧 实体融合 / 置信计算 图 谱 构 建数据处理数据引入 / 数据清洗数据解析 / 结构提取实体和实体关系蕴含规则和知识典型图数据应用场景20基于知识图谱的广告推荐HugeGraph图遍历切词切词 组合查找 搜索词追溯 行业路径结果 打分 根据属性 路径 展示排序过滤商品融合1、商品: Len

11、ovo拯救者Y7000.2、商品: Lenovo330C.3、商品: Lenovo K5.21金融风控ID1ID3ID2ID唯一性检查循环担保检测二度关系触黑黑用户风险评分扩散1. 每个顶点一个组2. 将顶点加入邻居 标签数目最多的组3. 组信息不再变化LPA 算法Louvain 算法属性特征检测关系特征检测团伙检测22HDFSHivePaloHDFSHiveKafkaMySQLColumn PartitionIT资产IDC百度云HadoopAFS业务组织移动安全AI安全安全SDK手机卫士人员张三KafkaHiveHDFSETLEdge Vertex 大数据安全治理数据资产资产 视 图数 据

12、血 缘数据安全隐私保护资产管理数据开发HugeGraph李四23王二HugeGraph存储原理存储结构：边集数组、邻接矩阵、邻接表、十字链表HugeGraph存储结构：邻接表（顺序表）24图存储结构CSVHDFSJDBCGraph25Node边集数组26边ID源顶点目标顶点边属性e1v1v2weighte2v1v3weighte3v2v6scoreae4v2v7scoree5v1v4weighte6v1v5weighte7v2v3weighte8v5v4weight172345e16 e2e5e6e3e4e7e8邻接矩阵27v1v2v3v4v5v6v7v10123400v20070056v30

13、000000v40000900v50008000v60000000v7000000017234516 23456789邻接表2817234516234567891110v1v2v3v5v2v6v7v3v3v4v4v5v5v4v6v7v6v1顶点下条边十字链表2917234516 2345678912v113142627v2v3v4v5v615v72354 45邻接表（顺序表）30v3v4v5v6v7v7v2v1v2v5v5v4v1v417234516234567891110v6v3v1v2v4v1v5v2v4v3v2v6v1v3 v7出边入边如何参与开源贡献Issue 问题与需求反馈Pull Request 贡献代码与评审31问题与需求反馈hps:/hugegraph/hugegraph/issues32贡献代码与评审1 fork2 git clone6 git push7 create prReview9 approveCode8 reviewrequest changes3 git checkout -b4 x c