多模态知识图谱构建

哈尔滨工业大学社会计算与信息检索研究中心友爱力行乐学日新RESEARCH

CENTER

FOR

SOCIAL

COMPUTING

AND

INFORMATION

RETRIEVAL多模态知识图谱构建初探汇报人：知识的分类非结构化数据结构化数据单模态数据多模态数据知识2HARBIN

INSTITUTE

OF

TECHNOLOGY单模态知识图谱到多模态知识图谱CEO库克苹果公司关系头实体尾实体intel芯片属于产品CEO库克人公司苹果公司知名人士机构物品电脑苹果电脑芯片文本图像3HARBIN

INSTITUTE

OF

TECHNOLOGY封闭域信息抽取VS开放域信息抽取“蒂姆·库克担任苹果公司的首席执行官”（“蒂姆·库克”，“首席执行官”，“苹果公司抽取路线1:封闭信息抽取（Close

IE）抽取路线2:开放信息抽取（OpenIE）蒂姆·库克人机构雇佣关系拥有关系学习关系苹果公司事先给定实体类别和关系类型标签（“蒂姆·库克”，雇佣关系，“苹果公司”）4知识图谱中容纳的事实知识intel芯片苹果电脑属于产品CEO苹果公司库克发热量产品英特尔公司总部圣克克拉总部属于加利福尼亚库比蒂诺市上位词实体属性关系城市洲/省电子产品产品地点苹果公司和英特尔公司产品间的联系公司组织5知识图谱中的矛盾事实？objsubj强于objsubj无法媲美ARM处理器的性能

Intel处理器的性能不限制功耗，ARM处理器的性能暂时无法媲美

Intel处理器的性能ARM处理器的性能

Intel处理器的性能消耗相同的电能，ARM处理器的性能强于

Intel处理器的性能6HARBIN

INSTITUTE

OF

TECHNOLOGY知识图谱中的矛盾事实消耗相同的电能，ARM处理器的性能强于Intel处理器的性能。不限制功耗，ARM 处理器的性能暂时无法媲美Intel处理器的性能Intel处理器的性能objsubjARM处理器的性能强于消耗obj相同的电能条件Intel处理器的性能objsubjARM处理器的性能无法媲美不限制obj功耗条件7HARBIN

INSTITUTE

OF

TECHNOLOGY条件性知识图谱2014年乌克兰发生橙色革命，2022年初乌克兰民间武装与乌克兰政府军爆发冲突，

2022年2月24日俄罗斯在乌克兰进行特别军事行动，乌克兰宣布与俄罗斯断交。时间冲突时间乌克兰民间组织橙色革命特别军事行动断交2022初实体层关系层发生条件层次序层2014政府军归属K3.俄罗斯时间进行前

序后

序事

实条

件头实体尾实体T1.T2.2022年2月24日K1.8HARBIN

INSTITUTE

OF

TECHNOLOGYK2.<CCKS

2023

best

paper>开放域事实和条件联合抽取数据集构建Sentences:MacwilabandonIntelprocessorsanduseARMprocessorsinstead.Withoutlimitationonpowerconsumption,theperformanceofARMprocessorscannotbecomparedwiththatofIntelprocessors.ButtheperformanceofARMprocessorsisbeterthanthatofIntelprocessorsinthecaseofconsumingthesamepower.tuple-1:(Mac,wilabandon,Intelprocessors)tuple-2:(Mac,use,ARMprocessors)tuple-3:({ARMprocessors:performance},cannotbecomparedwith,{Intelprocessors:performance})tuple-4:({ARMprocessors:performance},isbeterthan,{Intelprocessors:performance})tuple-5:(nul,withoutlimitingon,powerconsumption)tuple-6:(nul,inthecaseofconsuming,samepower)Relation=tuple-3|tuple-5,

tuple-4|tuple-6元组：是事实和条件中最小的知识单位，组成结构为：[实体1：属性1--关系--实体2：属性2]事实知识和条件知识均表示为一系列元组，条件知识也是一种事实，用于对事实的补充和说明9HARBIN

INSTITUTE

OF

TECHNOLOGY分阶段的事实和条件知识抽取代表元组中的关系谓词识别𝑜代表元组中的实体、属性识别𝑜代表元组间事实和条件对应关系识别𝑜10HARBIN

INSTITUTE

OF

TECHNOLOGY方案：采用分阶段抽取方式，先抽取元组，再确定元组间的事实和条件对应关系多输入多输出的事实和条件知识联合抽取支持1954

年克里米亚加入Sentence自从CONDITIONFACTCONDITIONFACT独立obj.obj.subj.subj.obj.乌克兰俄罗斯事实：[俄罗斯，敌对，乌克兰]条件：[乌克兰，打击，亲俄势力]11HARBIN

INSTITUTE

OF

TECHNOLOGY条件：[乌克兰，加入，北约]条件：[俄罗斯，部署，战略导弹]事实：[克里米亚，属于，乌克兰]条件：[自从，1954年]半监督方案的引入人工数据标注模型训练人工规则纠错<”Use

of

“Internal

Knowledge”:

Biomedical

Literature

Search

Liberated

From

External

Resources."

BIBM

2020>12HARBIN

INSTITUTE

OF

TECHNOLOGY将条件知识注入到模型中iCK-BERT(Transformer)1

×…11

×[Tim

Cook,

𝐸,

?

]Embedding

InitializationPredictorPredictiveDistributionPredictiveDistribution11

entity/

Attribute

layer11tuple

layer11knowledge

layerTransformer

encoder

LayerTransformer

encoder

LayerTransformer

encoder

LayerTransformeroCK-BERT(Transformer)[乌克兰,总统,?]事实知识[会谈,时间,?]条件知识阶段3:事实知识和条件知识的深度融合阶段2:条件知识利用表示学习注入now3123456456670[CLS]

Tim

Cook+

+

+Job+holds

Apple

[mask]

is+

+

+

+visiting+[MASK]+capital+China+++A+A+A+A+A+A+A+A+A+A+A+A+A阶段1:事实知识在预训练模型中注入0

1

2

3

4

5

6

7

8

9101112Visible

Matrix0

1

2

3

4

5

6

7

8

9

101112visibleinvisible0

1

2

7

8

1Cookis

visiting[CLS]0Tim蒂姆

1Apple苹果公司52

49Beijing北京5no2

w现在6库克 正在 拜访356CEO首席执行官61capi0tal首都611China中国

7Job

3职位34holds担任

413多模态结构化信息提取目标：让计算机自动生成一种语义化的图结构（称为

scene graph，场景图）图像场景图提取视频场景图提取14HARBIN

INSTITUTE

OF

TECHNOLOGY多模态知识图谱构建姜糖水可以治疗由风寒导致的感冒。中美科研团队在最新一期《细胞》杂志撰文称,他们制造出首个由人类细胞和猴子细胞共同组成的胚胎,这些嵌合体有助科学家进一步在其它物种体内（如猪）培育出人体组织,但最新研究也引发了一些伦理争议。犯罪嫌疑人程某指认涉案自行车青浦区检察院供图

“早知道这么贵我就不偷了。”62岁的被告人程某因贪小便宜，偷走了一辆折叠自行车。9月24日，澎湃新闻记者从上海市青浦区检察院获悉，经该院以盗窃罪提起公诉，程某于9月17日被判处有期徒刑十个月，并处罚金人民币三千元。程某称，自己退休后在青浦区一郊野公园养护水草，手底下管着十个人，每月工资4500元，外加退休金和补贴，生活条件还算不错。15HARBIN

INSTITUTE

OF

TECHNOLOGY模态的概念16HARBIN

INSTITUTE

OF

TECHNOLOGY模态代表数据的分布，不同来源的分布不一致的数据代表不同模态的数据模态表示是多模态深度学习的基础，分为单模态表示和多模态表示单模态表示：对单个模态信息进行线性或非线性映射，产生单个模态信 息的高阶语义特征表示。语句、图像、视频、声音等模态为单模态表示 中的主要处理对象，且不同的模态有不同的适用的神经网络模型多模态表示：指采用模态共作用语义表示或者模态约束语义表示的方法，对各模态信息进行处理，使得包含相同或相近语义的模态信息也具有相同或相近的表示多模态联合表示模态共作用语义表示：融合各单模态的特征表示，以获得包含各模态 语义信息的多模态表示模态约束语义表示：用一个模态的单模态表示结果去约束其他模态的 表示，以使其他模态的表示能够包含该模态的语义信息模态共作用语义表示模态约束语义表示17HARBIN

INSTITUTE

OF

TECHNOLOGY多模态命名实体识别多模态命名实体识别，文本和图像联合确定实体位置和类型dogpersonobject18HARBIN

INSTITUTE

OF

TECHNOLOGY？多模态实体关系抽取出席大会的有：XXX、XXX、XXX、XXX输入实体对，联合文本和图像确定实体对之间的关系类型多模态实体关系抽取，图片细粒度特征辅助识别实体关系上级反派，隶属于敌方势力19HARBIN

INSTITUTE

OF

TECHNOLOGY多模态实体提取结构：采用多任务学习方式联合优化3

个损失函数：L_crf

是利用条件随机场模型抽取实体时的损失函数L_task1

是建模图文粗粒度相关性的损失函数L_task2

是建模图文细粒度相关性的损失函数20HARBIN

INSTITUTE

OF

TECHNOLOGY多模态实体抽取-groundinggrounded21HARBIN

INSTITUTE

OF

TECHNOLOGY桥接的多模态实体关系抽取图构建：输入句子和图片分别使用句法分析工具以及场景图生成工具得到模态内的图，然后两者全连接得到多模态图图交互：以构建得到的图为交互桥梁，进行多层跨模态交互关系分类：基于多方面门控信息整合的多模态信息整合及交互以多模态关系图作为桥梁来学习跨模态交互<ICASSP

2024>22HARBIN

INSTITUTE

OF

TECHNOLOGY特点：多粒度图文相关计算，通过全局节点和局部节点分别建模整体和局部的模态交互基于细粒度匹配的多模态实体关系抽取表示层：文本编码器BERT，图片编码器ResNet

、多模态交互层多模态交互层建模图文之间的细粒度元素对齐利用目标检测算法抽取得到节点和节点间关系对句子进行句法分析得到句法树分类层：基于提示模板关系抽取，将关系分类建模为掩码预测任务选取三元组级别乃至路径级别的细粒度对齐23HARBIN

INSTITUTE

OF

TECHNOLOGY迭代的多模态实体关系抽取迭代框架：使用diffusion的框架将多模态实体抽取定义为迭代过程动态模态融合：在迭代过程中，按照阶段以及样本动态融合多种模态表示多粒度模态对齐：

不同粒度的模态对齐损失捕捉全局以及局部的模态对齐<COLING

2024>特点：迭代的多模态实体抽取框架来动态融合多模态的特征，从而充分利用多种模态特征24HARBIN

INSTITUTE

OF

TECHNOLOGY视频场景图生成STTran空间关系抽取(视频中的每帧图像)时间关系抽取(帧与帧之间的时间依赖)结构：STTran包含两个部分，spatialencoder和temporaldecoder。spatialencoder负责处理单个帧中的空间关系，而在temporal

decoder中不同帧之间的关系可以共享信息并获取时间上的依赖性优势：利用时间上下文更准确地推测出帧与帧的关系，即更准确的连贯动作关系<Spatial-Temporal

Transformerfor

Dynamic

Scene

Graph

Generation

ICCV>25HARBIN

INSTITUTE

OF

TECHNOLOGY基于生成+筛选机制的视频场景图生成分阶段解码框架：模型采用pipeline架 构，分为两个阶段：第一阶段嫁接静态 场景图模型获取帧 内的静态结构信息第二阶段根据帧之 间的时序相关性将 上一阶段生成的静 态信息重构为动态 场景图FCSimilarity

calculation…FeatureExtractorBounding

BoxCategory1

1,11

1,21

2,11

3,12

1,12

1,2…

(),+1−1ClassifierStatic

AttentionFeed

forwardTemporal

AttentionFine-