Graph+AI：立足DB-GPT社区探索GraphRAG未来架构

全球机器学习技术大会主办方合作伙伴异步社区wwwwnuhitwww.epuDl.Co清華大学出版社TSINGHUAUNIVERSITYPRESS清華大学出版社TSINGHUAUNIVERSITYPRESSCHINAMACHINEPRESS2025技术会议一技术人的思想盛宴2025技术会议一技术人的思想盛宴全球机器学习04月18-19日上海10月17-18日北京全球产品经理大会6月6-7日北京Summit全球软件研发8月15-16日上海全球全球C++及系统软件技术大会12月12-13日北京SoftwareSummitAIGC怏空2024长沙中国12024长沙中国1I111!!!2020-2024产品评测客户案例活动整理专题权威出版大模型驱动软件开发智能化的四大误区《新程序员》聚集全球技术大师、行业技术先锋，从前沿技术到《中国开发者调查报告》中国样本丰富的开发者调查报告，目前已成为完整准确了解中国开发者市场的重要参考资料。CSDNCSDN扫码购买最新版程序员杂志Al扫码购买最新版程序员杂志MLML-Summit2024全球机器学习技术大会范志东蚂蚁图计算开源负责人范志东图计算布道师，负责TuGraph的开源技术演进、社区运营和商业化等工作。TuGraphMaintainer、DB-GPTGraphRAG作者、《自己动手构造编译系统》作者。先后就职于腾讯、阿里云、蚂蚁，从事大数据平台、云数据库、图计算相关的产品设计和技术建设。在分布式计算、数据安全管理、数据中台架构、开源布道等领域有丰富的开发和实践经历薛明薛明架、数据挖掘与分析等领域。于2024年7月创立Al产品团队，负责基于大模型的应用产品演讲主题：Graph+AI:立足Graph+AI:立足DB-GPT未来架构蚂蚁集团蚂蚁集团"ANTGROUP全球机器学习技术大会Graph+Al:立足DB-GPT社区探索范志东蚂蚁图计算开源负责人薛明Percena创始人兼CEO全球机器学习技术大会ANTGROUPML-Summit2024全球机器学习技术大会Graph+Al技术浪潮图(Graph):图谱的图由顶点和它们之间的边构成的数据结构 顶点表示实体或概念好友好友员工F员工A坦2项目x表模型员工E公司2员工D好友公司1受雇受雇项目员工员工ID名宇职位|电话②DFE员工关系亲属关系全球机器学习技术大会 ·事物的普遍联系性，面向真实世界建模蚂蚁集团ANTANTGROUPML-Summit2024全球机器ML-Summit2024全球机器学习技术大会RequiredPrompt:"{pastPrompt:"{past_messages}{question}"Outputparser:regex("Answer:(.*)"){"question":...}Outputparser:regex("Answer:(.*)"){"question":...}Modelmultiplemodulesoptimization记忆CollborativeFine-optimization记忆Index/pre-retrieval/post-rAlloftheabove{"past_messages":[.J}GeneratorFine-GeneratorFine-tuninge.g.CoT,ToTArXivBingArXivBingSearchRequiredGGoogletoolGGoogleOHuggingFaceTOOLSQLTOOLSQLYoutubeYoutube函数调用函数调用反思ObservationsObservationsReasonOnlylegReasonOnlyleg.Chain-ofthought)/蚂蚁集团ML-Summit2024ML-Summit2024全球机器学习技术大会应用智能体知识图谱图系统优化图系统优化图基础模型图采样图数据构建图基础模型知识表示图数据增强大模型浪潮下的图计算全国智能计算标准化工作组图计算研究组编著2024年11月数据全国智能计算标准化工作组图计算研究组编著2024年11月蚂蚁集团国505寸在JT目全球机器学习技术大会不85(感知思维)控制强化学习智能控制具身智能决策树神经网络学习符号主义连接主义(具象思维)ML-Summit2024全球机器学习技术大会ML-Summit2024全球机器学习技术大会Howdidtheartisticmovementsofthe19thcenturyimpactthedevelopmentofmodernartinthe20thcentury?Theartisticmovementsofthe19thcenturyinfluencedmodernartinthe20thcenturybyencouragingexperimentationwithcolor,form,andsubjectmatter.Thesemovementspavedthewayforabstraction,expressionism,andotherinnovative.Howdidtheartisticmovementsofthe19thcenturyimpactthedevelopmentofmodernartinr1.ImpressionistartistslikeClaudeMonetintroducednewtechniquesthatrevolutionizedthedepictionoflightandcolor.2.TheImpressionisttechniquesinfluencedlaterartmovements.3.PabloPicassopioneeredtransformedtheapproachtovisualrepresentation.4.Cubismemergedintheearly20thcenturyandchallengedtraditionalperspectivesonart.…ImpressionistartistslikeClaudeMonetinthe19thcenturyintroducednewtechniquesthatinfluencelaterartmovements.PabloPicassopioneeredCubismrelativityintheearly20thcentury.WHowdidtheartisticmovementsofthe19thcenturyimpactthedevelopmentofmodernartinthe20thcenturyW-(ClaudeMonet)-[introduced]→(newtechniques)-(newtechniques)-[revolutionized]→(depictionoflightandcolor)-(Impressionisttechniques)-[influenced]→(laterartmovements)-(PabloPicasso)-[pioneered]→(Cubism)-(Cubism)-[emergedin]→(early20thcentury)Monetintroducednewtechniquesthatrevolutionizedthedepictionoflightandcolor.HisImpressionisttechniquesinfluencedlaterartmovements,includingPicasso'sCubism,whichemergedintheearly20thcentury.ThisinfluencehelpedshapePicasso'sinnovativeapproachtofragmentedperspectives.蚂蚁集团蚂蚁集团ANTGROUPMI-Summit2024结果O查询搜索搜索相关文档索引蚂蚁集团蚂蚁集团""ANTGROUP全球机器学习技术大会知识图谱+知识图谱+AlHarrionHarrion/kg#1016feat:KGRAGqueryengine,enableGraphRAGonexistingKGs#7204DarrenEdge,HaTrinh,NewmanCheng,JoshuaBradley,AlexChao,ApurvaMody,StevenTruitt,JonathanLarson#arxivfeat:addGraphRAGframeworkandintegrateTuGraph#15062024.05.27Camel(Cam2024.05.27Camel(Camfeat:knowledgegraphagent#566Graphviewfrominfomodel#369Amodulargraph-basedRetrieval-AugmentedGeneration(RAG)system#githubAddgraphrag#1793BociPeng,YunZhu,YongchaoLiu,XiaoheBo,HaizhouShi,ChuntaoHong,YanZhang,SiliangTang#arxivANTGROUPML-Summit2024全球机器学习技术大会架构设计EmbeddingModelDocumentsLoadertext—Splitter-chunks-Embeddingvectors—VectorStoreML-Summit2024全球机器学习技术大会 AnswerLLM—prompt—(synthesizer)relevantchunks—-chunks-Extractor—triplets—GraphStoreQuestionExtractor—keywords—TraverserAnswerLLM—prompt—synthesizer)—subgraph— ·图谱上下文"text—索引的通用架构Vector+Text+Graph索引的通用架构Vector+Text+Graph KnowledgeGraphload|search|delete|…chat|embedding|…GraphStoreupsert|traverse|query|delete|….中国图数据库国外图数据库DatabasesthatsupportDatabasesthatsupportvectorsearchDedicatedvectordatabasesmarqomarqovespa中阿里云腾讯云&GFLAxYeHSEAgensCroh寒HGraphDBvespa中阿里云腾讯云&GFLAxYeHSEAgensCroh寒HGraphDBO·Milvus中方电画Fabarta金山云华为云huapGraphredis云Guure桌flureeGraphStoreBase(ABC)(dbgpt.storage.graph_store.base)fluree电网口泰凡科技Thutmose电网口泰凡科技ThutmosePineconeTHiTopGraphgrAphbase.aiVelociyDB▶◎MemoryGraphStore(Graph TuGraphStore(GraphStoreBase)( TuGraphStore(GraphStoreBase)(dbgpt.storage.graph知识库配置2知识库类型知识库配置2知识库类型3上传4分片*知识库名称*存储类型知识图谱小微软GraphRAGText:summaryofTextchunks2.Summarization53679678ML-Summit2024全球机器学习技术大会arXivarXiv:2404.16130SourceSourceDocumentsGlobalAnswerIndexingTimePipelineStageQueryTimeElementSummariesElementInstances基于社区摘要解决QFS问题arXiv:2404.16130蚂蚁集团蚂蚁集团ANTGROUP由元素摘要、社区摘要全局检索、本地检索甲Token开销大、延迟高甲框架复杂、扩展困难社区摘要&文档结构&混合检索全球机器学习技术大会ML-Summit2024DocumentsLoadertextSplitter-chunks—GraphExtractorchunks/triplets/summaries—CommunityDiscoverysearchKeywordExtractor)—CommunityDiscoverysearchKeywordExtractor)—keywords-TraverserglobalsearchMetaStoreSummarizersynthesizerAnswerglobalsearchMetaStoreSummarizersynthesizerAnswerLLM—prompt—TimeTokensAgentAgent人个行Text人个行意图识别GQL意图识别VectorCypherTuVector→ML-Summit2024ML-Summit2024全球机器学习技术大会similarsearchsave·chunkcμnUKchunkcμOJKcμnuKANTGROUPANTGROUP小图社区摘要小图社区摘要全球机器学习技术大会 ·社区摘要：主题识别、流式、增量总结保存摘要：高效召回社区摘要loadGraphStoreGraphStorecommunitiescowwru!fλD!ecoAGLλcowwru!f!e2cowwru!fλD!ecoAGLλcowwru!f!e2gH!GL9Lcμλ全球机器学习技术大会全球机器学习技术大会基于混合检索的多路搜索traversetraversewwroc9|269LCμANTroc9|269LCμANTGROUPANTGROUPML-Summit2024全球机器学习技术大会从社区来到社区去小社区->朋友->伙伴Vector|Graph:蚂蚁首个开源GraphTuGraph源码解读-微软GraphRAG框架GraphRAG技术交流(69)明哥说AIML-Summit2024全球机器学习技术大会v0.6.0·Supporthigher-orderoperators(#1984)·AddDAGvariablestowebflow(#1981)·AddGraphRAGwebstatics(#1943)·+feat(GraphRAG):enhanceGraphRAGbygraphcommunitysummary(#1801)·Unifiedfrontendcodestyle(#1923)·Supportqianfanembeddingandresolvesanissue(#1819)v0.6.1Latestgithub-actionsreleasedthis2weeksago8commitstorefs/heads/mains·Passingstopparametertoproxyllm(#2077)·Adddocumentstructureint·UpdateOceanBaseStoretobecompatiblewithoceanbase-(#2074)·AddevaluationservicemoduleforRAGandAgent(#2070)·SupportQwen2.5models(#2030)ML-Summit2024全球机器学习技术大会ML-Summit2024全球机器学习技术大会 收获：技术支持和代码优化建议，吸引更多开发者加入收获：技术支持和代码优化建议，吸引更多开发者加入收获：公司专家和社区伙伴专业指导，提升技术价值观公司个人蚂蚁集团ANTANTGROUPANTGROUPML-Summit2024全球机器学习技术大会小知识图谱增强"人物":["周杰伦",""人物":["周杰伦","JayChou"],instruction=你是专门进行实体抽取的专家。请从input中抽取出符合schema定义的实体，不存在的实体类型返回空列表。请按照JSON字符串的格式回答。schema=["人物”,“专辑”,"电影","组织",“职业"]“周杰伦","object":"台湾省新北市"}],周杰伦","object":"福建省永春县"}]中抽取出符合schema定义的关系三元组，不存在的关系返回空列表。请按照JSON字符串的格式回答。schema=【"出生地点”,“祖籍"]“人物”:{"周杰伦":{instruction=你是一个图谱实体知识结构化专家。根据输入实体类型(entitytype)的schema描述，从文本中抽取出相应的实体实例和其属性信息，不存在的属性不输出，属性存在多值就返回列表，并输出为可解析的json格式。["出生地点","出生日期","祖籍","职业"1}]“发行事件“:[中抽取出符合schema定义的事件，不存在的事件返回空列表，JSON字符串的格式回答。schema=[{"event_type":"发行事件","trigger":True,"arguments":["主体","客体","时间"1}]周杰伦(JayChou),1979年1月18日出生于台湾省新北市，祖籍福建省永春县，华语流行乐男歌手、音乐人，毕业于淡江中学。2000年，发行个人首张音乐专辑《Jay》."出生地点":"台湾省新北市","出生日期":"1979年1月18日","祖籍":"福建省永春县","职业":["华语流行乐男歌手","音乐人"]"电影":[1,"组织":["淡江中学"1,“职业":["华语流行乐男歌手",“音乐人“]"主体":"周杰伦(JayChou)","客体":"个人首张音乐专辑《Jay》","时间";"2000年""出生地点":[{"subject":祖籍":[{"subject":""arguments":{ML-Summit2024全球机全球机器学习技术大会Retrievedinformation&meOneKE:知识抽取微调模型arXivarXiv2409.01854AgentRE:知识抽取智能体AlignmentPlanningRetrieval&ReasoningLLMReasoningKnowledgeGraphReasoningKAG-ModelNLUNLINLGKAG:知识增强生成蚂蚁集团arXiv:2409.13731Documents小构建融合索引全球机器学习技术大会DatabasewarehousesReal-timeReal-timedatabasebuiltforthecloudUser-facinganalyticsRecommendationsGeospatialsearchTuGr2ph”·表索引：提供传统的关系型数据查询与分析能力，实现基于表数据的过滤、分析、聚合等能力。 其他：例如多模态数据的索引，如图片、音频、视频等。蚂蚁集团ANTANTGROUP小高维图特征全球机器学习技术大会直接的图特征计算方式，提供节点的邻居信息，如节点公共邻居、邻居聚合指标等。 项目贡献请输入Giub仓库名称基于知识图谱洞察开源数据名Qad+名Qad+Dwer夕伙伴贡献生态社区InterestPartnerContributio恩且Dwpr兴趣OSGraph开源知识图谱的关键图特征蚂蚁集团蚂蚁集团Spark的开源社区图谱小多模态小多模态Question?Table(Col-CellPairs)SchemaQQAnswer3arXiv2410.04739Part2:HierarchicalTripleModelingKGCLossScoresRepresentation个Cross-modalEntityEncoderVisual个Token全球机器学习技术大会Part3:Fine-grainedContrastiveLearningCross-modalEntityEncoder(CMEE)MyGO:多模态知识图谱Part1:ModalityTokenizationGraphsVisuaCodebookTextualTokenizationjVisualTextualMulti-modalTokensarXiv:2404.09468Layer个TextualTokenEncoder(CTE)TokenEmbeddings②Question:ComparedevelopmenttrendsofcompanyA,BandDocumentslKnowledgeDescriptionreportsofContent:FinancialCompanyA,B,C.DocumentsDocumentslKnowledgeDescriptionreportsofContent:FinancialCompanyA,B,C.ATomBJerryLondonC780SpikeNew2016QuestionQuestion+CoreContentiOptimalTypeisTableiTableincludesinformationofi