知识图谱构建实践

3连通企业内外部异构数据连通大数据技术与AI连通企业内外部异构数据连通大数据技术与AI技术连通人类智能和人工智能势通过“眼睛”“耳朵”数字化转型趋势数字化转型趋势销存、人财物数据化，应用场景碎片化问题；解决知识资产化问题，13）：）：结词嵌入层OB-LOCI-LOCcccbbbhhhwww爱中国cbOOB-LOCI-LOCcccbbbhhhwww爱中国cbOhhww我我依存层(关系)序列层(实体)依存层(关系)序列层(实体)于于……..... .…表示学习G=(V,E)特征节点分类链接预测节点相似度xi八(1)yiyi(k)yi(1)xi无监督组件无监督组件……参数共享有监督组件……拉普拉斯拉普拉斯特征映射……参数共享……节点j节点节点j节点ixj(1)yjyj(k)jy(1)jxjf(t):=f(t|H(f(t):=f(t|H(t))t时刻之前的概率F(t)t=Tt1t2t3tt+dtt=Tt时刻之后的概率历史H(t)历史H(t)）：参数数据映射清洗对齐结果先验对齐清洗对齐结果先验对齐知识库知识融合结构化数据库≤>格式转换知识库知识融合结构化数据库≤>格式转换信息抽取资源预处理识别抽取资源联合训练模型预训练语言模型联合训练模型预训练语言模型非结构化文本化文本类别属性子类不相交传播(a)图嵌入模型(b)图匹配网络据很多时候需要全图计算，文档管理文档管理知识按照预先的约定（结构体系、符号体系）去表人类所生产和表达的知识能够让机器可读、可执行。机器可以从数据源中抽取、归纳出知识并形式化的 配置文件模型抽取业务指标标签逻辑E多类别多类别少数类别多类别有周期无周期单元素多变量少数类别多类别有周期无周期少数类别少数类别长期时序短期时序长期时序短期时序 单元素单变量不同时刻不同时刻不同元素 少量数据不同元素 少量数据单变量两个变量 大量数据可视化单变量两个变量 大量数据可视化三个变量组成两个变量三个变量组成两个变量动态动态静态静态长期短期长期短期绝对组成相对比例绝对组成相对比例相对增减含子元素绝对组成相对比例绝对组成相对比例相对增减含子元素组成及绝对差简单份额组成及绝对差简单份额 ·从洞察到行动；信息检索常用框架知识库增强的检索算法知识增强:知识增强:文档检索:文档重排序:文档检索:文档重排序:排序特征集成排序特征集成相关文档……嵌入表示增强的实体嵌入表示MwwMewMweM……嵌入表示增强的实体嵌入表示MwwMewMweMee注意力>>…………朱元璋家族族谱朱元璋描述类型增强的实体>>家族族谱描述类型嵌入表示交互矩阵M……………最终排序得分………Φ(M)•LIUZ,XIONGC,SUNM,etal.Entity-DuetNeuralRanking:UnderstandingtheRoleofKnowledgeGraphSemanticsinNeuralIn•XIONGC,POWERR,CALLANJ.Explicitsemanticrankingforacademicsearchviaknowledge推荐算法发展历程：协同过滤、矩阵分解、逻辑回归、特征交叉、GBDT+LR、大加入 加入 >基于单隐层自动编码器用神经网络替代协同过滤中的点积操作基于ResNet的基于单隐层自动编码器用神经网络替代协同过滤中的点积操作推荐系统与强化学习结合DRN在嵌入层与MLP之间加入注意力机制 >DIN推荐系统与强化学习结合DRN在嵌入层与MLP之间加入注意力机制 >DIN将因子分解机的隐向量作为嵌入表示初始化值DNN/MLPFNN加入ARGRU序列FNN加入ARGRU序列模型,对兴趣演化过程建模将LR作为wide部分,将MLP作为Deep部分在Deep部分替换成有双向交在Deep部分替换成有双向交互层的MLPNFMDeep部分改进DIENwideDeep部分改进DIENwide部分改进将wide部分由将wide部分由LR替换为FM在Deep部分加入注意力网络将wide部分替换为跨层网络处理特征交叉AFMAFMKGEKGE引入学习>>>推荐系统用户向量物品向量知识库实体向量关系向量推荐系统用户向量物品向量知识库实体向量关系向量(a)依次学习实体向量关系向量学习>知识库KGE实体向量实体向量关系向量学习>知识库KGE实体向量关系向量用户向量物品向量知识库KGE >推荐系统用户向量物品向量推荐系统用户向量物品向量推荐系统推荐系统(b)联合学习(c)交替学习•YUB,ZHOUC,ZHANGC,etal.APrivacy-PreservingMulti-TaskFrameworkforKnowledgeGraphEnhancedRecommendatio知识库问答可以分为：>>≤≤得分s得分s(q,a)=f(q)Tg(a)候选答案与问句的匹配度嵌入模型 ①-嵌入模型 ①-嵌入矩阵W嵌入矩阵W嵌入矩阵W嵌入矩阵W问句的嵌入式表示f(q)子图的嵌入式表示g(a)子图的二进制编码子图的二进制编码问句的二进制编码唐朝唐朝素叶城素叶城碎叶城李白碎叶城李白安西都护府候选答案子图a(碎叶城)安西都护府候选答案子图a(碎叶城)问句中的实体FAQ问答的一般框架BORDESA,CHOPRAS,WESTONJ.QuestionAnsweringwithS演绎推理技术演绎推理技术归纳推理技术 本体推理方法基于规则推理 本体推理方法基于规则推理 逻辑编程推理 查询重写方法 混合推理 产生式规则方法算法学习推理 逻辑编程推理 查询重写方法 混合推理 产生式规则方法算法学习推理基于图结构基于表示学习时序预测推理元学习小样本强化学习推理 y> y> z> z> z>xxxxxxxymarriedTo>zhasChild>xxymarriedTo-zhasChild:x真值 >≤逻辑连接真值 >≤逻辑连接逻辑知识实体嵌入关系嵌入GUOS,WANGQ,WANGL,etal.Jointlyembeddingknowledgegra√√√出生于出生于^坐落于??(图灵,国籍,英国)×√×√观察到的√真。隐藏的×假?待预测权重QUM,TANGJ.Probabilisticlogicneuralnetworksforreasoning//arXiv:1906.08495实体预测关系路径推理ηη>>头实体描述ξ w1>τξ w1>τ w2η w2η w3 w3η> >w4η> >w4ηηw5 w6w5 w6ξ>τ w7ξ>τ w7θθ6ηθ7ηθ7>Ψ(t)…>ηητξiθθθθ词嵌入查询语义平均掩码融合上下文特征抽取特征isA-1isA-1ATaleofATaleof>>>>>publish-1>publish-1>>SHIB,WENINGERT.Open-worldknowledgegraphcompletion[C]//AAAI2018LAON,COHENW.Relationalretrievalusingacombinationofpath-constrainedrandomwalks[J].Machinelearning,2010KaaS建设经验总结（1）数据源分析schema设计人工标注模型开发错误分析图谱构•理解业务：资深的业务专家比蹩脚的数据分析师更有价值KaaS建设经验总结（2）产出收益产出收益投入成本需求分析'方案设计'开发'标注'训练'运维简单规则规则引擎简单模型复杂模型特征工程集成学习3 地物人事地物人事场人货场人货营销活动 TA媒体TA媒体渠道类型投放代言人投放代言人指标体系广告指标体系广告人群标签人群标签兴趣标签性别延展属性兴趣标签性别延展属性成分基础属性功效成分基础属性功效行为使用关系行为使用关系年龄舆情舆情作者来源作者来源原文产品人群痛点产品人群痛点场景数据服务系统模型参数配置工作流配置可视化导航半自动化经营报告数据服务系统模型参数配置工作流配置可视化导航半自动化经营报告拖拽查询SQL查询规则集配置报表系统(明细报表、指标体系)销售直销技能培训直销绩效考核渠道质量监控渠道分级管理贷后培训考核培训考核材料核验保全策略离线加工异构数据管理决策引擎语义层(指标体系、集市)主题层数据模型(资产目录)文件交换区规则引擎工作流引擎异构查询反欺诈CRM催收策略镜像同步业务系统信用评估分类回归异常检测数据修复全量存储时序表示关系图谱爬虫消息队列实时清洗衍生加工实时画像运营客群细分客群净值提升交叉销售销售直销技能培训直销绩效考核渠道质量监控渠道分级管理贷后培训考核培训考核材料核验保全策略离线加工异构数据管理决策引擎语义层(指标体系、集市)主题层数据模型(资产目录)文件交换区规则引擎工作流引擎异构查询反欺诈CRM催收策略镜像同步业务系统信用评估分类回归异常检测数据修复全量存储时序表示关系图谱爬虫消息队列实时清洗衍生加工实时画像运营客群细分客群净值提升交叉销售流失预警挽留特征工程三方在线学习离线文件模型管理数据路由资源管控服务监控任务调度元数据维护数据规范特征工程三方在线学习离线文件模型管理数据路由资源管控服务监控任务调度元数据维护数据规范质量监控权限与加解密控制检索告警风控客户画像统一授信资产质量监控规则有效性模型稳定性数据资源数据资产-变量分布情况-变量分布情况-存量客户数据探索性分析-潜在客户数据探索性分析数据预处理>>>数据预处理>>>数据获取模型评估模型开发模型评估模型开发信用评分信用评分-对接业务系统-对接业务系统o-分值刻度设置o-稳定性监控坏账率坏账率(a)宽度学习