工业级知识图谱构建实践

06-2021明略科学院版权所有112018年-至今务台谱2018年-至今务台谱2014年-至今市2008年-至今上数据的整合、分析洞察、智能化应用20202020年-至今型户服务部©2006-2021明略科学院版权所有122§营销实践§§营销实践§金融实践§地铁实践§媒资实践§政务实践1§为什么要用知识图谱§两类用户、三类知识§技术框架2§六步建设法§经验总结©2006-2021明略科学院版权所有233技术趋势§存储和处理海量数据。助人类完成大量是感知和认知的§无纸化办公，使得进销存、人财物数据化，在线，提升决策效率§通过“眼睛”“耳朵”官，机器也拥有视听觉、触觉等感知。能够帮助人类完看”和“听”的简§整合业务系统、物联网数据，使析参与到生环节，决策§机器具备像人类一样的能力，能够决策和采取行分或全部替类的工作§释放AI红利，并解决AI应用场景碎片化问题；§解决知识资产化问题，解知识难分享、难传承、难管理；谱AI©2006-2021明略科学院版权所有344台式中台式台式中台式湖式图谱服务化带来哪些好处复用性强：员工间、问题间、领域间稳定性高：数据源变化知识库增强的检索、推荐、可视化、规划新联→语义空间距离→二阶推理反事实干预、问答©2006-2021明略科学院版权所有455的循环过程象：组织内的知识的循环过程的不同类型•野中郁次郎：《创造知识的企业》•国家标准委：知识管理框架，GB/T23703©2006-2021明略科学院版权所有566•事实知识Know-what原理知识Know-why决策知识Know-how©2006-2021明略科学院版权所有677系统架构：KaaS(KnowledgeasaService)©2006-2021明略科学院版权所有788§营销实践§§营销实践§金融实践§地铁实践§媒资实践§政务实践1§为什么要用知识图谱§两类用户、三类知识§技术框架2§六步建设法§经验总结©2006-2021明略科学院版权所有8991.知识建模2.知识抽取3.知识管理4.知识计算5.知识应用6.知识演化©2006-2021明略科学院版权所有9六步建设法(1)：知识建模示例©2006-2021明略科学院版权所有10六步建设法(1)：知识建模•原则：•层次化•一般性•约束性•可维护•可协作•方式：•循环迭代©2006-2021明略科学院版权所有11六步建设法(2)：知识抽取©2006-2021明略科学院版权所有12取技术路线图型不稳定理射叠、备结表示©2006-2021明略科学院版权所有13件抽取RF词嵌入层OB-LOCO 爱中我 hwcccbbbhhhwwwcbI-LOCOB-LOCO 爱中我 hwcccbbbhhhwwwcbI-LOC国国BiLSTM-CRF模型依存层(关系)依存层(关系)B.oRGI.oRG于于序列树结构LSTM模型a......…©2006-2021明略科学院版权所有14表示学习 特征节点分类链接预测节点相似度…xi(1)yi(k)yi(1)yixi无监督组件无无监督组件参数共享有监督组件....拉普拉斯拉普拉斯特征映射..参数共享..节点i节点ixjyj(1)(k)yj(1)yjjxjttdt]时刻之间的概率f**t时刻之前的概率(tf**t时刻之前的概率(t):=f(t|H(t))fF(t)t+dtt=Tt1t2t+dtt=T历史H(历史H(t)©2006-2021明略科学院版权所有15六步建设法(3)：知识管理©2006-2021明略科学院版权所有16知识库结构化数据库知识融合非结构化文本知识库l对齐结果格式转换融合知识库结构化数据库知识融合非结构化文本知识库l对齐结果格式转换数据映数据映射清洗理信息抽取信息抽取预训练语言模型联合训练模型预处理识别抽取合类别属性子类不相交实例/关系融实例/关系融合参数先先验对齐资源合传播(b)图匹配网络((b)图匹配网络©2006-2021明略科学院版权所有17存储•异构数据库组合：融合后的增删改查，及效率提升方案；量；小而美，支持特定应用，实时响应、批量同步；点方便，易于支持SQL低，固定的表结板Cassandra，的文件系统存在一起更容易进行分布式扩展局限dis理大量数据的高访问负载，些日志系统等Key指向Value的键值对，通常用Hashtable快结构化，通常只被据数据结构要求不严格，表结构询语法OpenTSDB，维由数据源(标签)、度局限d址等很多时候需要全图计算，实现分布式集群©2006-2021明略科学院版权所有18六步建设法(4)：知识计算©2006-2021明略科学院版权所有19L化知识表示：处于这一层次的知识，无论是言传身教，还是文字图表，都属于非结构化表达，需要人去阅读、理解、吸收，然后加以利用。L化知识表示：知识按照预先的约定(结构体系、符号体系)去表读者快速检索和理解。如：药品说明书L知识表示：人类所生产和表达的知识能够让机器可读、可执行。L4：从机到机的结构化知识表示：机器可以从数据源中抽取、归纳出知识并形式化的表达，然后在应用环节自动化执行。相关性规则模型工作流概念定义检索推荐数仓集市语义库数据图谱可视化探索模型抽取业务指标标签逻辑ETL逻辑©2006-2021明略科学院版权所有20执行规范 因果模型SCM理引擎模型 工作流模型PMML规范WfMC参考实现 所有2121六步建设法(5)：知识应用©2006-2021明略科学院版权所有22©2006-2021明略科学院版权所有23长期时序比单变量两个变量 大量数据可视化两个变量长期相对增减含子元素相对比例简单份额绝对组成绝对组成组成及绝对差库增强的可视化长期时序比单变量两个变量 大量数据可视化两个变量长期相对增减含子元素相对比例简单份额绝对组成绝对组成组成及绝对差库增强的可视化架少数类别多类别多类别有周期无周期单元少数类别多类别多类别有周期无周期少数类别少数类别短短期时序 单元素单变量不同时刻不同时刻不同元素不同元素 少量数据三个变量三个变量组组成动态动态静静态短短期相对比相对比例·从洞察到行动；©2006-2021明略科学院版权所有24文档检索:……增强的实体嵌入表示朱元璋家族族谱朱元文档检索:……增强的实体嵌入表示朱元璋家族族谱朱元璋描述类型家族族谱描述类型注意力…信息检索常用框架知识库增强的检索算法知知识增强:文文档重排序:排序特征集排序特征集成相关文档查询文查询嵌入表示…增强的实体嵌入表示……MM MM MM MM 交互矩阵M…………最排序得分……Φ(M)•LIUZ,XIONGC,SUNM,etal.Entity-DuetNeuralRanking:UnderstandingtheRoleofKnowledgeGraphSemanticsinNeuralInformationRetrieval[C]//ACL2018.•XIONGC,POWERR,CALLANJ.Explicitsemanticrankingforacademicsearchviaknowledgegraphembedding[C]//WWW2017.©2006-2021明略科学院版权所有25加入t基于单隐层自动编码器基于ResNet的经典DNN结构用神经网络替代协同过滤中的点积操作推荐系统与强化学习结合DRN在嵌入层与MLp之间加入注意力机制将因子分解机的隐向量作为嵌入表示初始化值DIN将LR作为wide部分,将MLp作为Deep加入t基于单隐层自动编码器基于ResNet的经典DNN结构用神经网络替代协同过滤中的点积操作推荐系统与强化学习结合DRN在嵌入层与MLp之间加入注意力机制将因子分解机的隐向量作为嵌入表示初始化值DIN将LR作为wide部分,将MLp作为Deep部分加入ARGRU序列模型,对兴趣演化过程建模Deep部分改进wide部分改进DIEN将wide部分替换为跨层网络处理特征交叉将wide部分由LR替换为FM在Deep部分加入注意力网络AFMM推荐算法发展历程：推荐DNNDNN/MLPFNNFNN在在Deep部分替换成有双向交互层的MLpNFM引入学习推荐系统用户向量物品向量KGE实体向量关系向量KGE实体向量关系向量用户向量物品向量知识库知识库引入学习推荐系统用户向量物品向量KGE实体向量关系向量KGE实体向量关系向量用户向量物品向量知识库知识库KGE学习推荐系统学习推荐系统知知识库(a)依次学习实实体向量关系向量用户向量用户向量物品向量(c)交替学习((c)交替学习交替学习KR•王喆．深度学习推荐系统[M]．北京：电子工业出版社，2020•YUB,ZHOUC,ZHANGC,etal.APrivacy-PreservingMulti-TaskFrameworkforKnowledgeGraphEnhancedRecommendation[J].IEEEAccess,2020©2006-2021明略科学院版权所有26得分s(q,a)=f(q)Tg(a)子图的嵌入式表示g(a)问句的嵌入式表示f(q)积嵌入矩阵W问句的二进制编码子图的二进制编码唐朝素叶城李白"诗得分s(q,a)=f(q)Tg(a)子图的嵌入式表示g(a)问句的嵌入式表示f(q)积嵌入矩阵W问句的二进制编码子图的二进制编码唐朝素叶城李白"诗人李白的出生地是哪里:"问句中的实体安西都护府候选答案子图a系统可以分为：•信息检索式问答、•FAQ问答、•知识库问答。模块句知识库问答可以分为：•基于语义解析•基于信息抽取•基于向量建模候选答案与问句的匹配候选答案与问句的匹配度嵌嵌入模型嵌入矩阵嵌入矩阵W碎叶碎叶城BORDESA,CHOPRAS,WESTONJ.QuestionAnsweringwithSubgraphEmbeddings[J].ComputerScience©2006-2021明略科学院版权所有27六步建设法(6)：知识演化©2006-2021明略科学院版权所有28演绎推理技术基于图结构基于表示学习时序预测推理元学习小样本强化学习推理 基于规则推理算法学习推理 混合推理zzz推理演绎推理技术基于图结构基于表示学习时序预测推理元学习小样本强化学习推理 基于规则推理算法学习推理 混合推理zzz归纳推理技归纳推理技术本体推理方法本体推理方法逻逻辑编程推理查询重写方查询重写方法产生式规则方产生式规则方法marriedToinfluenceshasChildsuperviseszxasChildzxyxhyxrriedTorriedToyrriedTorriedToyxyxasChildyxmarriedTohasChild yzxasChilddyx推理中的AMIE算法©2006-2021明略科学院版权所有29⇐国籍⇐居住地国籍⇐从政于真值逻辑连接推理⇐国籍⇐居住地国籍⇐从政于真值逻辑连接联合训练逻辑知识实体嵌入关系嵌入真值[0,1lGUOS,WANGQ,WANGL,etal.Jointlyembeddingknowledgegraphsandlogicalrules[C]//EMLP2016神经网络√√√?(图灵,国籍,出生于出生于××观察到的隐藏的√真?待预测权重tQUM,TANGJ.Probabilisticlogicneuralnetworksforreasoning//arXiv:1906.08495©2006-2021明略科学院版权所有30η12 τηη 4 ητ5η7velATaleofTwoCitieswrotehasFathershθθθη12 τηη 4 ητ5η7velATaleofTwoCitieswrotehasFathershθθθθθθθ头实体名Ψ(h)…头实体描述Φ(h)…33关系名 r 尾实体描述t…尾实体描述66尾实体名t…ηηττθθθθ嵌入查询词融合掩码抽取特征语义平均上下文特征ConMask算法示意图SHIB,WENINGERT.Open-worldknowledgegraphcompletion[C]//AAAI2018LAON,COHENW.Relationalretrievalusingacombinationofpath-constrainedrandomwalks[J].Machinelearning,2010©2006-2021明略科学院版权所有31大到位保障无用功本高致性差KaaS建设经验总结(大到位保障无用功本高致性差发新析 数据源分析schema设计发新析高家经验1.领域schema：先自上而下确定一级主题，再自下而上针对分解2.人机协同：•理解业务：资深的业务专家比蹩脚的数据分析师更有价值•理解技术的局限性：历史≠未来，关联≠因果，一阶智能•先机器反向标注，再人工修正3.主动学习：降低相似样本的重复标注成本KG，如：猎豹穿越森林©2006-2021明略科学院版权所有32KaaS建设经验总结(2)2.解决实际问题，不全是训练模型：•管理手段+技术手段•数据质量、标注成本、现场考察•场景容错性：技术上限v.s.商用下限3.训模型不全是高大上的算法：•规则、线性模型不一定比非线性模型差，关键在特征•提高泛化能力是永远的追求，加快速度也是•传统行业中多数场景下可解释性很重要习ROI=产出收益应用价值ROI=投入成本需求分析+方案设计+开发+标注+训练+运维MFsVMLRMFsVMLRNB简单规则规则引擎简单模型复杂模型特征工程集成学习©2006-2021明略科学院版权所有33§营销实践§§营销实践§金融实践§地铁实践§媒资实践§政务实践1§为什么要用知识图谱§两类用户、三类知识§技术框架2§六步建设法§经验总结©2006-2021明略科学院版权所有34保核赔、智能客服、药物挖掘、影像诊疗、健康管理、智能排课、分级阅读流管理、自主结算、数字供应商析、销售复盘、消防应急交交©2006-2021明略科学院版权所有35企业的核心价值创造活动应链 破 理急处置企业的核心价值创造活动应链 破 理急处置料环人法机 生产制造运营调度供应链协同人货 动 应链 场业的核心生产要素物事人地©2006-2021明略科学院版权所有36©2006-2021明略科学院版权所有37人群曝光TA效果媒体代言人指标体系广成分功效场景步骤延展属性品使用舆情作者原文痛点维度情感人群标签兴趣标签户关系性别基础属性年龄行为人群曝光TA效果媒体代言人指标体系广成分功效场景步骤延展属性品使用舆情作者原文痛点维度情感人群标签兴趣标签户关系性别基础属性年龄行为渠渠道类型投投放广广告来来源场场景©2006-2021明略科学院版权所有38察察的原因产品人群痛点察场景©2006-2021明略科学院版权所有390。这款车有痕显，特意多上©2006-2021明略科学院版权所有401工作流配置模型参数配置规则集配置可视化导航数据服务系统策略配置与管理引擎规则引擎异常检测时序表示在线学习数据路由模型管理工作流配置模型参数配置规则集配置可视化导航数据服务系统策略配置与管理引擎规则引擎异常检测时序表示在线学习数据路由模型管理工作流引擎分类回归关系图谱特征工程构数据管理语义层(指标体系、集市)文件交换区主题层数据模型镜像同步全量存储实时画像消息队列实时清洗衍生加工•数据质量问题：跨系统、历史遗留；•手工报表：零散的需求很多，提数周期长；•数据利用度低：无法加工复杂逻辑的衍生变量；销销售流失预警挽留直销绩效考核客群净值提升直销技能培训渠道质量监控渠道分级管理培训考核培训考核保全策略催收策略数据修复信用评估材料核验客群细分交叉销售反欺诈运营贷后风风控资产质量监控模型稳定性规则有效性客户画像统一授信源RM业务系统爬虫三方离线文件资源•打通内外部数据，构建关系网络；•统一建模平台与系统接口，消除烟囱；•缩短建模周期；财务、高管产品、运营、风控、审计报表系报表系统(明细报表、指标体系)SQL查询半自动化经营报告拖拽查询I异异构查询ID联打通控元数据维护数据规范质量监控收集检索告警权限与加解密控制服务监控资源管控任务调度资产资产©2006-2021明略科学院版权所有412分析分析量选择-变量分布情况-中位数、均值探索性分析跟踪模型开发散化-sK.变换模型评估曲线指标-分值刻度设置分析分析量选择-变量分布情况-中位数、均值探索性分析跟踪模型开发散化-sK.变换模型评估曲线指标-分值刻度设置XTYX=第第一阶段：•数据：人行征信报告•技术：线性模型第第二阶段：•数据：人行征信报告第第三阶段：•数据：人行征信+外部数据第第四阶段：•数据：人行征信+外部数据•算法：在线学习•重点：客户特征漂移问题-存量客户数据-潜w客户数据数据获取处理处理数据预处理信用评分信用评分-对接业务系统监控-稳定性监控 (a)宽度学习 ( (a)宽度学习 (c)深度学习MM偏置梯度支持向量©2006-2021明略科学院版权所有423乏统筹规划•应用规划层次不清晰，通用抽象，标准不一致规划•数据挖掘分析能力不足，未类型数据•车辆系统数据协议复杂，各相同量大•为维修、检护人员提供最佳参考实践，时长•降低检护人力成本，由每日一检变为©2006-2021明略科学院版权所有434P案例描述：XX车亮XXP案例描述：XX车亮XX(零部件)故障灯，仪维修：电脑检查有故障码001，换挡拔叉4位灯亮，XX零件学习后，故障又出模块后故障依旧，申请更换XX阀体总成.谱：图谱构建索案推荐析©2006-2021明略科学院版权所有445产品知识图谱：智能型录→知识在线→产品智能选型©2006-2021明略科学院版权所有