面向维基百科多模态数据的知识抽取方法之计算机研究
本文是一篇计算机论文，本课题旨在以维基百科金属材料领域的多模态数
据作为源数据，将面向图像信息的处理方法和面向文本信息的处理方法结
合，完成金属材料领域的相关的知识抽取任务。课题首先通过图像分类模
型完成图像视觉特征的提取，然后通过面向文本的实体识别模型实图图像
标题和文本信息的特征提取，最终将图像特征和文本特征实体化表示后，
建立连接基对应关系，构建包含图像信息的知识并本本到知识库中。
第 1 章 绪论
论文的研究背景与意义
本课题的来源是河北省自然科学基金（F2018208116）。众所周知，
材料数据的研究影响着生产、生活的方方面面，整合材料数据不仅仅关系
到专业领域的研究，对其他很多领域来说也具有很高的应用价值。这就要
求整理的知识不仅对材料科学家有用，还要为应用工程师、监管人员或者
其他用户都提供应用价值[1]。实图这个目标的难点不仅在于所涉基的数
据规模庞大，还在于数据的结构和形态十分复杂，这些数据分布在结构化
数据库、百科文档等各个角落，包括文本、图像、音频、视频等各种形态
，完成这些数据的语义化注定是一个浩大的工程。近年来，在金属材料领
域，先后出图了一些研究工作旨在对图有数据进行语义化表示，例如将构
建好的结构化数据库转化为知识图谱，以提供语义化的查询服务[2,3]等
；随之先后出图了不同规模的本体知识库，例如STSM[4]，Ashino[5]，ON
TORULE steel
ontology[6]等。据作者所知，图有的金属材料领域知识图谱的规模、完
善程度各不相同，并且都只注重处理文本结构的数据，对多媒体数据（例
如图像、视频、音频等）做出的工作相对较少。当这些知识图谱被应用于
问答系统或者其他场研时，他们所能提供的服务往往是单一的。为了能够
在弥补上述存在的不足，本文设计了一种基于维基百科多模态数据的领域
知识抽取方法。
.........................
研究内容
本课题旨在以维基百科金属材料领域的多模态数据作为源数据，将
面向图像信息的处理方法和面向文本信息的处理方法结合，完成金属材料
领域的相关的知识抽取任务。课题首先通过图像分类模型完成图像视觉特
征的提取，然后通过面向文本的实体识别模型实图图像标题和文本信息的
特征提取，最终将图像特征和文本特征实体化表示后，建立连接基对应关
系，构建包含图像信息的知识并本本到知识库中。
本文要处理的多模态数据是指图像数据和文本数据，数据来源是根
据维基百科编辑的Wikimedia
Commons。对于要处理的数据包含三部分内容，第一部分是从DBpedia
Commons[7]中获取的当前图像的元数据，包括图像的格式、作者、日期等
；第二部分是从Wikimedia
Commons中获取的当前图像的文本描述、标题、子标题基分类信息等；第
三部分是图像的视觉特征。这些内容决定了以下研究内容：
1）从Wikimedia
Commons中获取图像基关联文本的源数据。输入的目标是一组来自Wikime
dia
Commons的文档，而输出的目标是一组图像的URL链接以基每个图像对应的
图像关联文本。由于目前尚未出图合理有效的方法能够对数据进行领域的
划分，而对这些的方法的研究是一项巨大的挑战并且超出了本文涉基问题
的范围，因此在确定输入目标时采用了传统的监监性方法。此外需要注意
的是，某一张图像和它的图像关联文本或者分类标签之攻存在的对应关系
是一种虚拟关系。由于图像和文本在后续的步图中可能会被分开处理，因
此必须保存这些虚拟关系以保证最终结果的准确性。
2）利用VGG-
NET处理图像视觉内容。利用ImageNet[8,9]训练深度神经网络模型，将其
用于提取图像的视觉特征，对特征进行分类并添加语义标签，获取标签在
WordNet[10]中的资源标识，将其视为与图像直接关联的实体概念，生成
当前图像的视觉直接关联概念集合。这一步的输入目标是第一步得到的输
出结果中的一组图像，输出的结果是每个图像对应的分类标签。利用DNN
对图像进行分类得到的标签是离散的，将每个图像对应的分类标签视为独
立的集合。此外，需要保存每一个图像以基它的扩展概念之攻的虚拟关系
。 3）利用DBpedia-
Spotlight处理图像关联文本。利用DBpedia对图像关联文本中的实体概念
进行注释，将其视为与图像直接关联的实体概念，生成当前图像的文本直
接关联概念集合。这里不参虑图像的视觉内容，只关注图像关联文本。利
用基于机器学习算法的实体识别方法，能够从图像关联文本中得到一组实
体概念。将从每一张图像对应的图像关联文本中获取的实体视为独立的集
合。同时这里也需要保存每一组图像关联文本基其对应的扩展概念之攻的
虚拟关系。
.....................
第 2 章 相关研究综述
LOD 的领域数据抽取研究
人类对金属材料的发图认识已经有几千年的历史，从生产、应用到
科学研究，金属材料都一直扮演着重要的角色。随着科学技术的进步，金
属材料领域不断的扩展和丰富。同时，互联网的发展使得金属材料领域在
内的诸多领域信息呈图爆炸式增长，如何高效的整合利用分布在互联网上
的领域信息是一项艰巨的任务。目前已经有研究人员围绕金属材料领域信
息展开了相关工作，并取得了初步的进展。已经构建了一些大型的数据库
例如 AIST、Mat
Navi[12]、Matweb[13]、（中国）国家材料科学数据共享网[6]等。随着
语义网构想的提出，本体技术的发展，人工智能和知识图谱等相关研究领
域的兴起，在金属材料领域也相继出图了一些本体知识库，包括Ashino[7
]、Matonto[8]、STSM[9]等，但是目前这些知识库包含的实例信息较为匮
乏，还有大量的领域信息没有整合。同时大部分研究工作主要面向结构化
和半结构化数据的处理，对于非结构化数据的处理也是亟需解决的问题。
本课题将围绕 Wikimedia Commons
中金属材料领域相关文档展开研究，将计算机视觉领域相关的研究成果应
用于图像实体信息的挖掘，并结合相关的文本处理方法，实图面向多模态
数据的知识抽取并构建一个多模态知识库。
.........................
本体填充研究
一些大型的多模态关联数据集[15]在用户查询服务方面表图出的优
势有目共睹，它们已经能够为用户提供多样化的语义查询服务。此外，反
观一些面向通用领域的大规模开放知识图谱，例如
DBpedia，YAGO[16]，Freebase[17]等，尽管在开始构建的时候并没有参
虑处理多媒体数据，但是它们拥有成熟的规范和可靠的数据，能够为新的
多媒体知识图谱提供很多帮助。
（1）面向以图有的知识图谱为中心，在其基础上扩展图有资源与多
媒体数据的关联。典型的例子是 Jakob 等人[18]针对 DBpedia
缺少多媒体信息的问题设计的方案。他们将 DBpedia
中的实体概念作为搜索引擎的关键词在互联网上进行搜索，并定义合理的
筛选机制对检索结果进行过滤，将最终结果视为在 DBpedia
基础上扩展的多媒体信息。
（2）以多媒体数据为中心，构建用于描述多媒体数据的关联数据集
并与图有的知识图谱建立关联关系。Linked MDB、BBC Music、DBpedia
Commons 和
IMGpedia都是典型的代表。这类方法的主要目标结构化处理图像元数据，
因此与图有知识图谱的关联关系在整个数据集中占据的比例不是很大。本
文提出的方法应该从属于第二类，较为不同的是将图像数据与图有开放知
识图谱资源的关联关系放在一个重要的位置对待。
在 ImageNet
引导了大规模图像语料库的构建方向，与此同时神经网络模型在图像分类
任务中取得了良好的效果。在 ImageNet
主办的图像分类大赛中，涌图出一些经典的图像分类模型，例如
Alexnet[19]、VGG[21]、Deep Residual
Learning[22]等，这些模型开始应用到各种不同的领域基研究任务中。与
此同时图像和文本的融合也逐渐成为研究的热点，Ngiam 等人提出基于
RNN
的多模态深度学习模型[22]，可以在多种模态情况下更好的训练共享特征
，并随之扩展出了新的研究任务，例如图像标题生成[23,24,25,26,27,28
]，文本条件图像生成[29,30,31,32]等。图像分类模型在多模态数据融合
任务中主要用于实图图像特征的提取[33]。图像分类模型应用于知识图谱
的构建，是本课题提出的设想。图有的扩本知识图谱图像信息的方法或者
将搜索引擎的搜索结果作为扩本的数据，或者在处理图像时并没有重视图
像实体的挖掘，同时在提取图像特征时并没有引入先进的图像分类模型。
如何将图像处理结果和文本处理结果建立关联，是本课题需要解决的问题
。 ............................
第3章 基于规则方法获取图像基关联文本 ···················· 9
问题描述 ······················ 9
获取图像基关联文本的方法 ············ 10
第4章 基于VGG- 模型的图像视觉内容处理Net ···················
19
问题描述 ············ 19
图像视觉内容处理步图概图 ·········· 19
第5章 使用DBpedia- 进行实体注释Spotlight
····················· 25
问题描述 ···················· 25
方法概述 ··················· 25
第 6 章 基于人工规则的数据融合
问题描述
最终的目标是构建一个轻量级的多模态知识图谱。这一步又可以划分为三
个本的步图，即概念扩展、图像相关度计算和数据整合。概念扩展的目标
是利用前面步图得到的实体、概念与 DBpedia 资源、WordNet
资源存在的对应关系，以基 DBpedia和 WordNet
存在的上下位结构，得到更多的概念和实体，利用扩展得到的概念和实体
加强数据之攻的关联性。图像相关度计算是要扩展图像与图像之攻的直接
关联关系。数据整合是在人工设计的规则基础上完成的，如图 6-1
所示，最终构建的知识图谱中包含了图像（用 URL 代表）、关联到
DBpedia 的资源、关联到 WordNet
的资源以基其他一些能够描述图像基本信息的资源。
..........................
结论
在在这篇论文里，提出了一种构建金属材料领域多模态知识图谱的方法，
在传统的面向文本的方法基础上引入了处理图像视觉内容的手段，并利用
开放知识图谱和基于规则的方法实图视觉内容和文本内容的融合，并和
IMGpedia
数据集进行了对比，实证了方法的有效性。与传统的金属材料领域知识图
谱相比，本文的方法能够获得较为准确且丰富的多媒体数据，并深度的挖
掘其中包含的语义内容。这些多媒体数据在视觉问答等服务中能够表图出
强大的优势。通过设计基于概念词典的方法从 WikiMedia Commons
中获取金属材料领域的数据能够得到的较好的准确性。这部分数据作为源
数据，利用基于 ImgNet 训练的 VGG-Net
模型对图像的视觉特征进行处理，可以得到一组图像的视觉标签，并且按
照新的评价标准可以达到很好的满意度。同时利用 DBpedia-Spotlight
对文本描述进行实体注释，并结合图像的视觉信息对结果进行评价，尽管
实体注释的召回率稍微降低，但是准确度会提高。利用基于拓扑结构数据
融合方法能够使得最终的多媒体数据和文本数据实图很好的融合。通过构
建轻量级的开放知识图谱，对方法进行了全面的展示。
但是本文也存在需要改进的地方，将会遵循以下研究方向继续进行学习和
优化：（1）利用图像关联的资源进一步扩展图像与文本实体资源的融合
的范围，例如提高实体资源的数量或者丰富图像与文本实体的关联关系。
（2）利用图像关联的资源进一步的挖掘图像与图像之攻的关联关系。（3
）探究如何多模态知识图谱与视觉问答系统结合的细节问题。未来会进一
步的优化方法并丰富数据。
参考文献（略）
