《计算机学报》2009年6期
三维模型语义检索研究进展
潘翔1 ，张三元2，叶修梓2
1(浙江工业大学软件学院，杭州，310014) 2(浙江大学计算机学院，杭州，310027)
摘要： 针对近年来三维模型检索研究不只是考虑形状相似性匹配，而更多地关注如何把语义知识应用于检索这一研究新动态。本文对三维模型语义检索研究现状，包括三维模型知识提取、语义检索中的主动学习机制、三维模型语义检索系统等方面进行总结。在此基础上，对已有研究成果进行比较分析，突出三维模型语义取得的进展以及存在的问题。最后，提出三维模型语义检索需要进一步深入研究的方向。
关键词：三维模型检索，语义特征，设计重用，本体，主动学习
引言
作为继声音、图像和视频之后的第四代多媒体数据类型，三维模型已经被广泛应用于工业设计、虚拟现实、影视动画和分子生物学等领域，可共享的三维模型数量更是以指数方式在快速增长。因此，研究三维模型检索技术(Content-based 3D Retrieval)，帮助用户快速准确地获取符合设计意图的三维模型，实现资源重用，成为当前热点研究问题[3]。自2000年以来，欧美等发达国家纷纷开始立项予以重点资助。而国内高校等研究机构近几年来也在国家自然基金等相关资助下开始重点关注该领域的研究工作。
对于三维模型检索，一个基础研究问题是提取形状特征用于相似性匹配。对于这方面的研究成果，有大量综述性文章可以参考[1-3]。但是对于三维模型检索和重用，只考虑其形状特征是不够的。主要包括两方面的原因：1）用户难以有效地表达设计意图。无论是采用实例或是草图作为检索接口，用户都难以有效地描述其所需的设计参数以及产品功能等信息。而且大量具有相似形状特征的三维模型，其所包含的语义知识是完全不同的。2）缺少可重用的设计知识。对于三维模型检索，其检索结果不仅需要返回相应的三维模型，更应该得到和该三维模型相关的设计知识应用于后续设计，从而实现知识重用。但是基于形状特征的检索只返回相关的三维模型，而难以获得和造型相关的设计知识。
不同于形状特征，语义特征把三维模型低层次几何数据（如点坐标、边、面方程等）转变为高层次知识表示，使三维模型检索和重用在语义知识表示机制下形成统一框架。三维模型语义检索框架不仅让用户通过产品用途、功能、设计原理、类别等信息有效地表达查询意图，而且使用户能够快速方便地重用已有三维资源知识进行再设计。因此，三维模型语义检索是解决“用户如何进行三维检索”和“检索结果如何重用”这两个问题的关键所在。三维模型语义检索成为学术界和工业界重点关注的一个新兴研究领域[4]，也是当前三维模型数据相关研究的七大学术难题之一[5]。
目前，国内外学术界和工业界已经开始针对三维模型语义检索展开研究，并取得了一定的研究成果。但是作为一个新兴的研究领域，还存在很多急待解决的深层次问题。因此，论文对三维模型语义检索已有研究进行全面综述，包括语义知识表示、语义学习机制、语义检索系统等，分析已有研究得到的成果以及需要进一步深入解决的难点问题，用以加速三维模型语义检索研究进展。
三维模型语义检索框架
三维模型检索语义检索主要包括三维模型知识提取、知识表示、语义知识学习和匹配机制。整个框架可以由图1来表示，包括离线和在线两部分组成。其中离线部分主要用于知识表示规则的定义、语义学习机制初始化、三维模型语义知识索引结构定义及存储。而在线部分则是对用户提交的检索内容，通过语义知识匹配器进行规则理解和匹配返回检索结果。同时，系统根据用户输入的信息，例如用户标注、用户反馈等信息，通过语义学习机制，在线实现对三维模型语义知识库的动态更新。
图1 三维模型语义检索框架
三维模型知识提取
对于三维模型知识，既包括形状特征这些低层视觉知识，也包括对三维模型拓扑结构的描述，更包含面向特定领域的设计知识等特征。其知识层次结构可以由如下图所示。
图2 三维模型知识层次结构
低层视觉知识：低层视觉知识主要是指三维模型外观上体现出来的信息，例如根据三维几何属性构造得到的直方图、形状谱、三维模型颜色等。
结构知识：结构知识是对三维模型组成部分的拓扑描述。
功能知识：功能知识主要是指对三维模型用途、类型等的文本描述。
领域知识：领域知识主要是面向某类设计对象定义的一系列和三维模型相关的信息，和功能知识相互补充。其中领域知识主要是从设计参数方面描述模型几何信息，而功能知识则是对这些参数的文本化描述等。两者构成了领域知识的规范化描述。
对于低层视觉知识提取和匹配，已经有较多综述可以参考。因此，本节主要针对结构知识、功能知识和设计知识提取三方面对已有研究进行分析和总结。
结构知识
对于结构知识提取，一个基础性研究是三维模型分割技术，即把三维模型根据其感知特性分割成一些有意义的子部分。结构知识也是实例化造型(Modeling by Example)的基础：采用不同模型子部分合成一个新模型[6]。但是结构知识不仅包括构成三维模型的不同子部分，而且包括每个子部分所包含的知识描述。美国Arizona州立大学承担的国家科研项目“3DK（3D Knowledge）”率先在这方面展开研究[7]。他们采用改进的分水岭分割算法把三维骨头模型进行区域分割，对不同区域可以做进一步特征编辑。然后对每个区域进行语义标记[8]。对于这方面的研究，欧盟项目AIM@SHAPE也做了大量的工作，特别在对三维模型结构语义特征表示机制方面进行了开创性的研究[9]。这些研究的一个共同特点是把三维模型分解为不同的子部分，对每个子部分进行语义标记，构成模型的语义化表示[8, 10]。而基于实体基元的三维模型分割算法则是希望从三维网格模型中提取出可应用于逆向造型的圆柱体等几何实体，该算法不是简单地把网格曲面分割成不同的区域，而是根据几何元素的特性，如圆锥、圆柱等，通过几何元素逼近的方法自动把三维模型分解成一系列有意义的几何元素，方便后续造型[11]。
功能知识
功能知识作为对三维模型特性的文本描述，对三维模型检索是非常有必要的。互联网共享三维模型的上下文知识最为典型，例如搜索引擎巨头谷歌推出的三维模型搜索引擎SketchUp[12]，该引擎提供了用户自定义标签操作。用户在上传三维模型的同时，可以定义一系列关键字，用以说明对模型分类、用途等内容的理解。为了能够在网络爬虫获取三维模型的同时，能够自动提取这些和三维模型相关的关键字。普林斯顿大学形状分析研究小组采用环绕文本技术[13]，对包含三维模型的网页进行智能分析，从中提取出有效关键字，实现三维模型的二次标注，方便用户检索[14]。
领域知识
不同领域有着不同的设计规范，因此需要这些设计规范用于更精确地描述三维模型特征。在这方面，研究最多的是三维CAD产品设计，El-Mehalawi和Miller等人在对CAD模型进行分析的过程中，根据产品模型数据交换标准( Standard for the Exchanging of Product Model Data , STEP)提取其模型特征转化为属性图表示，然后通过图匹配技术进行模型相似性搜索[15]。这些设计特征也可以采取频谱图理论(Spectral Graph Theory)来表示[16]。类似的，Cirello等人把CAD模型映射到STEP标准的加工特征，定义各设计特征之间的相互依赖关系[17]。王玉等人则是根据STEP标准，从CAD模型中提取出产品设计模型中包含的SHELL、FACE、LOOP、EDGE等设计特征，然后根据不同设计特征的设计关系定义属性图，从属性图中提取出图的节点数、边数、最大维度等不变特征用于CAD模型相似性比较[18]。作者进一步提出采用自组织特征映射进行CAD模型学习和自动分类。刘金山等人针对夹具模型检索，提出采用通过零件特征面积、特征类型和该特征是否为加工特征等信息定义夹具的特征关注度，通过夹具特征关注度进行模型检索[19]。Liu 等人针对考古学陶瓷模型首先定义一些语义关键点，通过语义关键点得到陶瓷模型的环、瓶体等信息，在此基础上，他们提出一个面向考古模型的语义搜索平台[20]。对于设计语义特征，可以考虑集成已有的一些的产品设计方法。例如计算机辅助工艺设计(Computer Aided Process Design, CAPP) 中包含了大量模型几何信息和各种加工工艺信息，可以应用于模型检索[21]。Deshmukh等人考虑在CAD产品具有大量的装配知识，他们定义语法规则从三维CAD产品中提取出所需的装配知识，应用相似性匹配。在搜索接口方面，他们提供了各种装配模板实现快速查询[22]。
三维模型语义学习机制
三维模型语义学习机制是在各种提取的知识基础上，结合计算机视觉、统计学习等理论，解决低层视觉和高级语义的鸿沟问题。已有研究主要集中在相关反馈、自动分类和对象本体三个问题上。对于三维模型语义检索学习机制，相关反馈(Relevance Feedback)是通过用户对检索结果的评价来进一步提高检索精度，而不是从中提取出更为高级的语义知识。主动学习(Active Learning)则是通过统计学习理论，实现三维模型高级语义知识的自动获取，例如三维模型自动分类。而对象本体(Object Ontology)则是对三维模型领域知识通过功能语义进行形式化表示，建立面向特定三维域的知识表示规范。下图给出了语义学习机制已有研究的主要工作。由于相关反馈和主动学习都采用统计分类模型进行数学建模，所以，很多统计理论同时被应用于相关反馈和主动学习，例如支持向量机。
图3 三维模型语义学习机制
相关反馈
多媒体相关反馈技术是在检索过程融入用户感知信息，用以提高检索准确率。反馈技术通过用户对检索结果的标注，表明用户对当前检索结果的满意度。系统根据用户的标注信息，对检索结果进行二次查询，返回更符合用户需求的结果。反馈技术主要是为了解决多媒体数据在形状特征和高层语义信息之间存在的语义鸿沟问题。通过反馈操作，用户可以把感知理解反馈给系统，从而在某种程度上弱化两者之间的矛盾[23]。相关反馈首先被应用于文本检索[24]，然后被引入到多媒体数据检索[25]。和文本检索相比较，反馈技术在多媒体检索领域引起了更多人的研究兴趣，提出了大量算法用于提高多媒体检索性能[26]。近年来，如何在三维模型检索中引入反馈机制用以解决语义鸿沟问题引起了研究人员的广泛兴趣。Elad等人采用支持向量机应用于三维模型检索相关反馈，其相似性度量采用欧氏均方距离[27]。Leifman等人把学习特征子空间的概念应用于三维模型检索，然后结合偏离判别式分析和线性判别式分析方法建立相关反馈机制[28]。Novotni则对一些典型反馈算法的性能进行分析和比较。对不同统计学习理论的反馈性能比较，支持向量机可以得到最好的反馈性能[29]。而Leng等人的工作则是在支持向量机基础上，结合主动学习理论，用以进一步提高检索性能[30]。
主动学习
相关反馈只是根据用户评价进行二次检索，但是，这种用户参与的信息并没有建立一个长期学习机制。近年来，在用户交互反馈技术基础上，如何采用模型形状特性，结合用户反馈知识，建立检索系统的长期学习机制是研究热点。目前，研究主要是采用主动学习实现模型自动分类：即首先定义语义分类字典，然后根据用户标记和机器学习理论，把模型归到不同的语义类别中。Zhang等人首先采用样本集构建三维模型库语义树结构，然后采用核回归(Kernel Regression)理论计算三维模型属于每个语义类的概率[31]。在后续检索过程，检索系统根据用户标记对核函数相关参数进行自适应调整，从而把检索问题转化为模式识别的分类问题。Barutcuoglu等人采用贝叶斯集合(Bayesian Aggregation)建立模型分类层次结构。根据形状相似性实现模型自动分类[32]， Suzuki 等人首先定义一个用户兴趣空间，通过多元回归分析(Multiple Regression Analysis) 在三维模型形状特征空间和用户兴趣度空间之间建立函数映射，从而把语义关键字描述与三维形状特征形成统一知识表示，然后采用欧氏距离实现集成关键字和形状特征的三维模型检索[33]。在此基础上，Ibato采用支持向量机构造学习分类器，用以模拟人类基于主观认知的检索过程[34]。Hou等人则把支持向量机应用于CAD模型检索和分类[35]。Goodall等人采用蚁群最优化算法构造分类器，用于对三维虚拟文物进行自动分类[36]。Ohbuchi等人提出采用无监督学习提高三维模型检索性能[37]。维数减少方法则主要解决如何从形状特征中进一步获取最有判别性的特征分量。该方法首先采用流形学习构造投影空间。则对提取的特征，通过子空间投影实现特征降维[38]。在SHREC2007的CAD模型检索性能竞争中，该方法获得最好的检索准确率[39]。对集成形状特征和关键字的检索技术，已经在图像检索领域有比较深入的研究[40]，大部分方法同样可以扩展到三维模型检索领域。
本体
本体作为用于描述或表达某一领域知识的一组概念或术语。它可以用来组织知识库较高层次的知识，也可以用来描述特定领域的知识[41]。因此，本体不仅可以用于三维模型知识的组织和管理，同时推理规则对于提取三维模型高级语义知识以及语义匹配都有非常好的作用。近年来，欧美等发达国家对基于本体的三维模型知识表示有着非常深入的研究。
欧盟资助的数字化形状工作平台(DSW，Digital Shape Workbench)把三维设计资源进行语义化，然后提供一个搜索引擎实现设计资源共享和重用。他们针对三维模型所包含的几何、结构、简单资源和高级语义信息采用本体技术实现知识表示[42]。研究重点解决基于本体的领域知识规范化表示和定义。因此，研究主要采用交互式标记技术（Ontology-driven Annotation of Shapes），形状标注器（Shape Annotator）是这一研究工作的典型成果。该工具通过用户交互从中选择出有意义的分割子部分进行语义标记，并采用OWL语言建立起三维模型知识的规范化表示[43, 44]，如图4(a) 所示。在这基础上，欧盟第六框架计划项目AIM@Shape针对不同应用进一步展开研究，最为典型的研究成果是虚拟人，本体表示图4(b)。虚拟人（Virtual Humans）主要应用于人建模相关的知识重构、存储、检索和重用[45]。整个工程涵盖了人模型的特征、功能、技能等信息。虚拟人项目的最大一个特点不仅让人能够理解整个建模过程，而且使计算机也能够理解这个过程，实现虚拟人设计自动化。
图4(a) 形状标注器（ShapeAnnotator）[17]（形状标注器通过手工方式定义三维模型上的本体知识表示）
图4(b) 虚拟人本体定义[45]（虚拟人工程把人造型过程进行语义本体化表示，设计人员
可以根据设计意图提取所需的知识）
图4 本体化设计知识表示和重用
普度大学工程信息系统研究中心则针对工程产品设计的领域本体建模技术展开了深入的研究，他们主要工作是面向产品设计和制造业构建一个工程本体以及相关的工程描述规范，应用于工程信息检索。其提出的工程本体（Engineering Ontology ，EO）和工程词汇本体（Engineering Lexicon，EL）几乎包括了整个工程设计所需的功能、材料、工程标准等。他们还在本体知识匹配方面做了一些探索性的工作，提出一个可计算的搜索框架，采用概念歧义消除尺度解决词汇二义性问题和语义二义性问题[46, 47]。
近年来，国内研究人员也在这方面开始了研究，如浙江大学陈磊等人提出了一个分层产品知识表示和检索结构，其知识包括三维CAD模型的几何、拓扑、形状特征以及设计特征等多层知识，并通过本体进行知识表达[48]。同时作者根据这些知识提取出高级语义标签，方便用户检索。而吕天阳等人则重点研究本体检索中的推理规则，他们采用语义Web规则语言（SWRL, Semantic Web Rule Language）定义语义匹配器，实现匹配过程的语义推理，从而有效提高准确率[49]。上海交通大学Dong Yang等人则是针对装配体的设计知识重用展开研究。他们提出了一个基于本体的分层知识表示模型，包括表示层、元数据层、装配模型层和装配实例层。同时采用SWRL定义配置规则和约束，整个系统采用JESS (Java Expert System Shell，JESS) 实现[50]。
和语义相关的三维模型检索系统
目前互联网上虽然已经发布了大量的三维模型检索原型系统，但是包含语义检索功能的系统并不多。在这里，对一些和语义相关的典型检索系统进行比较分析，包括谷歌的SketchUp、普林斯顿大学形状分析小组的3D Model Search Engine以及Aim@shape的Shape Repository。三个系统基本特点如下表所示：
表1 三维模型语义检索系统基本特点
检索系统名称
查询接口
知识描述
模型来源
主要特点
SketchUp
关键字
自定义标签
用户上传
实现和三维造型软件SketchUp的集成
3D Model
Search Engine
关键字，实例和草图
上下文知识
网络爬虫自动获取
自动提取三维模型语义标签
Shape Repository
关键字和知识描述
本体知识
用户上传
具有高级语义检索功能
SketchUp(
SketchUp是搜索引擎谷歌的一个产品。作为一款商业软件，其优点是用户接口设计非常合理。用户不仅可以通过万维网实现三维模型搜索，而且可以通过其集成的三维造型软件SketchUp进行编辑，实现三维模型从检索、重用、编辑和共享的一体化设计。但是，系统包含的语义功能非常有限，只是采用了一些简单的用户标注信息，包括上传者、自定义标签等信息。在匹配上采取得是关键字匹配技术，也没有包含语义理解和推理机制。因此，对于SketchUp检索系统，其缺点也十分明显。首先，全部采用标注的方式，对用户带来了很大的工作量。其次，用户标注具有很大的随意性和主观性。不同用户对于同一个模型的理解不一样，很难形成一个统一的分类标准。而且对于三维模型表现出来的信息，很难采用具体的关键字来描述其内容。例如，用户想查找汽车模型，系统返回一系列包含了“汽车”这一自定义标签的三维模型。一方面，由于缺乏语义理解机制，系统不会检索到和汽车相关的标签，例如，英文单词car，宝马、奔驰等，因此其查全率不会保证。另一方面，对于检索得到的三维模型，大部分又不是用户所期望的结果，用户需要通过一系列知识约束，例如发动机型号、产品相关的一系列参数等，来得到其所期望的检索结果。显然，系统查准率也无法保证。
图4 SketchUp搜索引擎(SketchUp能够使用户自定义标签用于三维模型搜索)
3D Model Search Engine (
3D Model Search Engine是美国普林斯顿大学形状检索与分析(Shape Retrieval and Analysis Group) 实验室开发的三维模型搜索引擎[51]。该系统主要是以形状匹配为主，其主
图5 3D Model Search Engine搜索引擎（该搜索引擎是通过上下文分析技术自动从Internet上获取和三 维模型相关的关键字）
要特点是提供了丰富的形状匹配接口，包括实例、二维草图和三维草图等。同时，研究小组同时考虑到语义检索的必要性，提供了关键字匹配这一最基本的语义检索接口。和SketchUp不同的是，其关键字通过上下文分析直接从万维网上获取。但是，其关键字匹配的检索方式决定了其系统存在和SketchUp一样的缺点，难以保证查全率和查准率。
Shape Repository (
Shape Repository是欧盟研发项目AIM@SHAPE推出的一个平台。和上述两个系统相比较，在关键字检索方法基础上，Shape Repository提供了一个可视化高级语义检索接口。高级语义检索接口使用户能够通过一系列设计参数来约束检索结果。因此，系统首先面向不同域定义一系列本体，这些领域知识包括通用工具本体、形状知识本体、产品设计本体等。例如，通过形状知识本体，用户可以定义一系列约束知识，包括模型格式、是否有纹理、是否具有亏格、三角网格面片数目等。和关键字检索相比较，这种基于领域知识的检索由于考虑了设计参数，可以精确地描述用户检索需求。因此，其检索结果更加符合用户设计要求。
图6 Shape Repository搜索引擎语义接口（Shape Repository对三维资源实现语义化表示，用户可以通 过语义知识描述实现三维模型搜索）
研究存在的问题
对已有研究总结和分析可以发现，本体知识表示和推理匹配的规范化表示已经在三维模型检索中发挥重要作用，并成为当前研究的重要趋势。目前，本体在三维模型语义检索中的主要研究成果可以由下表描述。
表2 三维模型语义检索已有研究基本特点
方法
知识描述
主要特点
应用领域
工程产品设计[46]
功能知识和领域知识
工程设计规范
二维/三维CAD产品
数字化形状工作平台[42]
底层视觉知识、结构知识、功能知识和领域知识
形状知识的统一描述规范
三维网格模型
装配体设计知识重用[50]
CAD产品装配知识
给出了装配体设计规则
知识化表示
三维CAD中的装配模型
主动学习分类[30, 52]
低层视觉知识
根据形状特征自动映射到分类本体
三维网格模型
层次化本体知识表示和检索[48]
低层视觉知识、结构知识、功能知识
自动提取语义标签知识
三维CAD产品
从已有研究可以看出，本体在三维产品知识表示方面，形成了一系列比较有代表性的研究成果。如虚拟人、工程本体、工程词汇本体、装配本体等，构成了产品设计的相应规范。这些研究工作在产品设计知识的本体表示规范方面做了非常好的工作，为后续三维产品的语义化奠定了良好的基础。但是对于三维模型语义检索，不仅需要规范化产品设计知识表示，更重要的问题是如何从已有产品设计中提取出高级语义知识应用于产品变型和创新设计。已有研究主要是把语义图像检索算法扩展到三维检索领域，实现三维模型的自动分类。这类研究显然没有考虑到三维模型检索有别于图像检索的特殊性[53, 54]。对于三维模型检索，其最终目的是为了设计重用。因此，只是得到分类信息对于设计重用是不足够的，陈磊等人的工作，是对这些工作的一个改进，他们考虑到对于三维CAD产品的柱体，锥体等特性对于产品设计非常有帮助，因此，他们根据形状特征自动识别出便于用户理解的语义标签。但是这个研究显然对于三维几何模型的语义化是不够的。因此，对于三维模型语义检索，如何在已有产品设计知识规范研究工作基础上，实现产品高级语义知识的自动提取和演绎推理，是当前要进一步深入的研究问题：
网格模型结构知识的自动提取
结构知识无论是对网格模型，还是三维CAD模型，都起到一个非常关键的作用。对于三维CAD产品的结构知识，可以通过其相应的应用开发接口获取。但是，对于三维网格模型，由于其只包含边界信息，因此，其结构知识需要通过三维模型分割得到。而已有三维模型分割形成的大量研究成果，只是通过形状稳定性来控制最终得到的分解结果[55, 56]。这种控制策略使得同一模型因为变形，姿态，子部分比例等的变化形成不一致的分解结果，导致同一模型在知识表示上的不一致性。而已有研究通过交互式技术实现三维模型结构知识的自动提取，对于大量的三维模型数据显然具有不可行性。同一个领域的三维模型虽然形态不同，但其本体化知识表示规范应该是一致的。因此，对于结构知识的自动提取问题，需要在已有分割技术基础上，结合本体知识表示规范，建立面向域知识的三维模型分割机制，是当前迫切要解决的一个问题。
面向域知识的语义学习理论
对于三维模型语义检索，如何采用学习理论提取三维模型高级语义一直是研究领域的一个热点。但是，已有研究只是局限于其自动分类，而没有考虑如何从几何信息中重构出其包含的其他高级语义知识，例如功能、设计知识、设计原理等。目前，在三维模型语义检索研究领域，在域知识表示方面已经有了比较深入地研究，形成一系列设计知识规范。因此，如何把自动分类中的学习理论扩展到其他语义知识的自动提取，通过对三维模型形状几何特性、上下文知识等一系列特征的分析，根据域本体自动提取出三维模型高级语义知识，从而实现三维模型低层次几何数据（如点的坐标、边、面方程等）转变为高层次语义知识表示，实现三维资源重用。同时，通过用户交互修正，结合本体推理规则，使知识表示结构在学习过程中不断完善语义规则、对推理和演化规则进行自适应调整等。是当前研究需要解决的另外一个迫切问题。
结论
近年来，三维模型语义检索引起研究人员的广泛兴趣，并取得一定的研究成果。论文对三维模型语义检索已有研究进行分析和总结，包括三维模型的语义层次模型、语义知识提取、语义检索中的学习机制等。在已有研究分析基础上，提出后续三维模型语义检索需要重点解决的问题。主要是如何在已有基于本体的领域知识表示规范基础上，结合统计学习理论，研究三维模型高级语义知识自动提取和基于本体的语义匹配和推理。
致谢
感谢审稿人对本文提出的宝贵意见。感谢国家基金评审专家意见对本文的帮助。
1. J. Tangelder, R. Veltkamp, A survey of content based 3d shape retrieval methods. International Conference on Shape Modeling, 2004: p. 145-156.
2. 杨育彬, 林珲, 朱庆, 基于内容的三维模型检索综述. 计算机学报 2004. 27(10): p. 1297-1310.
3. 潘翔, 三维模型形状分析和检索. 浙江大学博士论文, 2005.
4. B. Bustos, D. Keim, D. Saupe, T. Schreck, Content-based 3d object retrieval. IEEE Computer Graphics and Applications, 2007. 27(4): p. 22-27.
5. S. Havemann, D. Fellner, Seven research challenges of generalized 3d documents. IEEE Computer Graphics and Applications, 2007. 27(3): p. 70-76.
6. T. Funkhouser, M. Kazhdan, P. Shilane, Modeling by example. ACM Transactions on Graphics, 2004. 23(3): p. 652-663.
7. Arizona State Univ, 3d knowledge project.
8. A. Razdan, J. Rowe, M. Tocheri, W. Sweitzer, Adding semantics to 3d digital libraries. International Conference on Asian Digital Libraries, 2002: p. 419-420.
9. Aim@Shape Network of Excellence, Advanced and innovative models and tools for the development of semantic-based systems for handling, acquiring, and processing knowledge embedded in multidimensional digital objects.
10. R. Albertoni, L. Papaleo, F. Robbiano, M. Spagnuolo, Towards a conceptualization for shape acquisition and processing. International Symposium on Shapes and Semantics, 2006: p. 85-90.
11. M. Attene, S. Biasotti, M. Mortara, G. Patane , M. Spagnuolo B. Falcidieno, Computational methods for understanding 3d shapes. Computers & Graphics, 2006. 30: p. 323–333.
12. Sketchup,
13. S. Mukherjea, J. Chost, Automatically determining semantics for world wide web multimedia information retrieval. Journal of Visual Languages and Computing, 1999. 10(6): p. 585-606.
14. P. Min, M. Kazhdan, T. A. Funkhouser, A comparison of text and shape matching for retrieval of online 3d models. European Conference on Digital Libraries, 2004.
15. M. El-Mehalawi(1), R. Allen Miller, A database system of mechanical components based on geometric and topological similarity. Part i: Representation Computer-Aided Design, 2003. 35(1): p. 83-94.
16. M. Peabody, W. C. Regli, Clustering techniques for databases of cad models. Drexel University, Philadelphia, 2000.
17. V. Cicirello, W. C. Regli, Machining feature-based comparisons of mechanical parts. International Conference on Shape Modeling and Applicatons, 2001.
18. 王玉 , 马浩军 , 何玮, 机械3 维cad 模型的聚类和检索. 计算机集成制造系统, 2006. 12(6): p. 924-928.
19. 刘金山, 廖文和, 张素敏, 基于零件特征关注度的夹具实例相似性检索方法. 计算机辅助设计与图形学学报, 2007. 19(10): p. 1303-1307.
20. D. Z. Liu, A. Razdan, Knowledge-based search engine for specific 3d models. Lecture Notes in Computer Science, 2004. 3314: p. 530-537.
21. X. H. Zhou, Y. J. Qiu, G. R. Hua A feasible approach to the integration of cad and capp. Computer-Aided Design, 2007. 39(4): p. 324-348.
22. A. S. Deshmukh, A. G. Banerjee, S. K. Gupta, Content-based assembly search: A step towards assembly reuse. Computer-Aided Design, 2008. 40: p. 244-261.
23. T. Kurita, T. Kato, Learning of personal visual impression for image database systems. International Conference on Document Analysis and Recognition, 1993: p. 547-552.
24. G. Salton, Automatic text processing-the transformation, analysis, and retrieval of information by computer. Addison--Wesley, 1989.
25. Y. Rui, T. S. Huang, M. Ortega, Relevance feedback: A power tool for interactive content-based image retrieval. IEEE Trans on Circuits and Video Technology, 1999. 8(5): p. 644-655.
26. X. S. Zhou, T. S. Huang, Relevance feedback in image retrieval: A comprehensive review, , . Multimedia System, 2003. 8(6): p. 536-544.
27. M. Elad, A. Tal, S. Ar, Content based retrieval of vrml objects - an iterative and interactive approach. The Sixth Eurographics Workshop on Multimedia,, 2001: p. 107-118.
28. G. Leifman, R. Meir, A. Tal, Semantic-oriented 3d shape retrieval using relevance feedback. The Visual Computer, 2005. 21(8): p. 865-875.
29. M. Novotni, . Park, R. Wessel, Evaluation of kernel based methods for relevance feedback in 3d shape retrieval. Workshop on Content-based Multimedia Indexing, 2005.
30. B. Leng, , . Li, Support vector machine active learning for 3d model retrieval. Journal of Zhejiang University SCIENCE A, 2007. 8(12): p. 1953-1961.
31. C. Zhang, T. Chen, Indexing and retrieval of 3d models aided by active learning. ACM Multimedia, 2001: p. 615-616.
32. Z. Barutcuoglu, C. Decoro, Hierarchical shape classification using bayesian aggregation. International Conference on Shape Modeling and Applications, 2006: p. 44-50.
33. M. Suzuki , T. Kato , H. Tsukune, 3d object retrieval based on subjective measures. International Conference on Database and Expert Systems Applications 1998: p. 850-855.
34. M. Ibato, T. Otagiri, , Shape similarity search of three2dimensional models based on subjective measures. Information Processing Society of Japan, 2002. Technical Report
35. S. Hou, K. Lou, K. Ramani, Svm-based semantic clustering and retrieval of a 3d model database. Journal of Computer Aided Design and Application, 2005. 2: p. 155-164.
36. S. Goodall, P. H. Lewis, K. Martinez, Towards automatic classification of 3-d museum artifacts using ontological concepts. International Conference on Image and Video Retrieval, 2005: p. 435-444.
37. R. Ohbuchi, J. Kobayashi, Unsupervised learning from a corpus for shape-based 3d model retrieval. ACM international workshop on Multimedia information retrieval 2006: p. 163-172.
38. R. Ohbuchi, J. Kobayashi, Manifold learning of a corpus for 3d model retrieval. Pacific Graphics, 2006.
39. J. Kobayashi, A. Yamamoto, T. Shimizu, R. Ohbuchi, A database-adaptive distance measure for 3d model retrieval. SHREC CAD model track, 2007.
40. . Zhou, H. ., Unifying keywords and visual contents in image retrieval. IEEE Multimedia, 2002. 9(2): p. 23-33.
41. M. Uschold, M. Gruninger, Ontologies: Principles, methods and applications. Knowledge Engineering Review, 1996. 11(2): p. 93-155.
42. R. Albertoni, R. Papaleo, M. Pitikakis, Ontology-based searching framework for digital shapes. Lecture Notes in Computer Science, 2005. 3762: p. 896-905.
43. M. Attene, F. Robbiano, M. Spagnuolo, Part-based annotation of virtual 3d shapes. International Conference on Cyberworlds, 2007: p. 427-436.
44. M. Attene, F. Robbiano, M. Spagnuolo, B. Falcidieno, Semantic annotation of 3d surface meshes based on feature characterization. International Conference on Semantic and Digital Media Technologies, 2007.
45. M. Gutiérrez, A. García-Rojas, D. Thalmann, An ontology of virtual humans incorporating semantics into human shapes. The Visual Computer, 2007. 23(3): p. 207-218.
46. Z. J. Li, V. Raskinm, K. Ramani, Developing ontologies for engineering information retrieval. IASME Transactions Journal of Computing and Information Science in Engineering, 2008.
47. Z. J. Li, M. C. Yang, K. Ramani, Engineering ontology development and validation for information retrieval. Journal of Artificial Intelligence for Engineering Design, Analysis and Manufacturing, 2008.
48. 陈磊, 潘翔, 叶修梓, 张三元, 基于本体的产品知识表达和检索技术研究. 浙江大学学报, 录用.
49. X. Y. Wang, T. Y. Lv, S. S. Wang, An ontology and swrl based 3d model retrieval system. Lecture Notes in Computer Science, 2008. 4993: p. 335–344.
50. D. Yang, M. Dong, R. Miao, Development of a product configuration system with an ontology-based approach. Computer-Aided Design, 2008. 40: p. 863-878.
51. T. Funkhouser, P. Min, M. Kazhdan, A search engine for 3d models. ACM Transactions on Graphics, 2003(1): p. 83-105.
52. R. Ohbuchi, A. Yamamoto, J. Kobayashi, Learning semantic categories for 3d model retrieval. ACM SIGMM International Workshop on Multimedia Information Retrieval, 2007.
53. 王惠锋, 孙正兴, 王箭, 语义图像检索研究进展. 计算机研究与发展, 2002. 39(5): p. 514-523.
54. Y. Liu, D. S. Zhang, G. J. Lu, W. Y. Ma, A survey of content-based image retrieval with high-level semantics. Pattern Recognition 2007. 40(1): p. 262-282.
55. M. Attene, S. Katz, M. Mortara, G. Patane, Mesh segmentation - a comparative study. International Conference on Shape Modeling 2006.
56. 孙晓鹏, 李华, 三维网格模型的分割及应用技术综述. 计算机辅助设计与图形学学报, 2005. 17(8): p. 1647-1655.
研究背景
本论文是在国家自然科学基金“三维模型检索中的层次结构语义特征提取技术研究”（编号：60703001）支持下展开的研究。该课题研究目标是建立一套三维结构语义特征提取机制，完成三维模型从低层次几何数据（如点的坐标、边、面方程等）到高层语义知识表示的自动转换，使三维模型检索和重用在结构语义知识提取机制下形成统一框架。突破已有三维模型检索技术只是提取特征应用于模型相似性比较，而无法从三维模型中提取内在知识应用于造型再设计这一本质问题。
尽管对于三维模型检索技术已经有大量的综述性文献，但是这些综述性文献主要只是对三维模型形状特征提取和相似性进行讨论，而缺少对三维模型语义检索这一新兴研究领域的深入分析。近年来，三维模型语义检索引起了研究人员的广泛兴趣，并取得了一定的研究成果，但是还存在很多待解决的问题。因此，论文对三维模型语义检索已有研究成果进行分析和总结，同时对后续研究方向进行探讨，有助于三维模型语义检索形成比较明确的研究方向，加速三维模型语义检索研究进展。
本课题得到国家自然科学基金(60703001) 资助。潘翔，男，1977年生，副教授，博士，硕士生导师，主要研究领域为计算机图形学、多媒体检索及模式识别。 张三元，男，1966年生，教授，博士生导师，主要研究领域为计算机图形学、图像处理、数字几何处理。
PAGE 16
