- 1 -
中国科技论文在线
基于内容的衣物检索系统#
王祎1，李牧之2*
基金项目：高等学校博士学科点专项科研基金(20120041120050)
作者简介：王祎(1980-)，女，讲师，计算机视觉，模式识别
（1. 软件学院，大连理工大学，大连，116622；
2. 卡普空株式会社，大阪，日本） 5
摘要：本文以衣物的分类检索为背景，实现了一个基于内容的衣物检索系统。系统包括图像
预处理、特征提取、特征描述、搜索匹配等核心算法。重点提出面向衣物图像的特点，提取
衣物的几何构造特征来提高衣物的检索效率的方法和步骤。
关键词：计算机视觉；衣物检索；超像素；几何特征 10
中图分类号：
Content-Based Cloth Retrieving System
Wang Yi
1
, Li Muzhi
2
(1. Software School, Dalian University of Technology,Dalian,116622; 15
2. Capcom Co, Ltd,Osaka,Japan)
Abstract: In this paper, a content-based cloth retrieving system is proposed on the backgroud of
cloth retrieving and classification. The system includes core algorithms of image preprocess,
feature extracting, feature describing and retrieving. And this paper mainly proposes the method
and procedures of extracting clothing geometric structure features to improve the retrieval 20
efficiency based on the characteristics of the clothing images.
Key words: computer vision; clothing retrieving; superpixel; geometrical features
0 引言
对于图像检索技术的研究最早开始于 20 世纪七十年代，大都采用基于关键字或描述性25
文本的检索方式，即基于文本的图像检索(Text-Based Image Retrieval)。这种方式要求用户输
入准确规范的描述性文本，难以概括图像中丰富的内涵，所以不能满足实际需要。到 90 年
代以后，出现了根据图像的内容，如颜色、纹理、结构等进行识别和检索的基于内容的图像
检索(Content-Based Image Retrieval)技术[1]。不同于传统的检索手段，这种技术使用图像作为
输入，利用计算机视觉技术自动提取图像中的特征信息，搜索时使用基于相似性度量的实例30
查询(Query by Example)方法[2]。
本文的主要研究对象是包含衣服的图像，旨在研究该类图像的特点提取衣物的特征，实
现一个基于内容的服装图像检索系统。衣物图像检索与一般的通用图像检索系统有相似也有
不同，主要体现在以下步骤中：
(1)图像规范化预处理算法。不论图像内容如何，图像检索离不开各种图像处理分析算法。35
这些算法都或多或少对输入的图像有一定的要求，这就要求对图像的格式，尺寸进行规范化
的处理。同时，由于图像生成或传输过程中受到干扰，图像的内容会出现一定的失真和噪声。
这些噪声和失真对于检测算法会造成较大的影响，同样需要在预处理中去除。
(2)图像前景提取算法。识别出图像中的敏感区域。图像检索是对图像中我们感兴趣的部
分进行识别和匹配，而通常图像中包含有大面积的背景和无意义区域，这些区域与我们感兴40
趣的前景无关，但同时由于面积较大，同样会对结果造成很大的影响。因此，在特征提取之
- 2 -
中国科技论文在线
前很重要的一个步骤是对图像进行分割，识别出分割后的前景部分和背景部分，去除不需要
的部分。本文使用基于超像素的简单线性迭代聚类算法(Simple Linear Iterative Clustering,
SLIC)
[3]对图像进行分割和提取，同时配合肤色模型去除穿着衣物的模特身体部分，达到了
较好的效果。 45
(3)针对敏感区域的内容进行特征提取和描述。提取到前景之后就可以对这部分内容进行
特征的描述。通用的图像检索特征有形状，颜色等，而对于衣物，形状难以具体的描述某一
类衣物的风格，而具有相似风格的衣物也不一定有相似的颜色，所以这些特征只能作为辅助。
本文使用了梯度向量直方图(Histograms of Oriented Gradients, HOG)[4]来描述整体的纹理特
征，利用角点对衣物的衣领，纽扣等关键部位进行定位，使用边缘检测算法来确定衣物的轮50
廓构型。
(4)根据特征对图像库中的图像进行匹配检索。这一过程主要将提取到的特征数字化为
特征向量，根据向量的距离来确定图像间的相似程度，进行实现检索。
最后将这些算法嵌入到应用程序框架中，使用统一的数据结构按照流程对图像进行处
理，实现自动化的检索功能。下面将详细介绍本文系统设计与现实过程。 55
1．针对衣物的前景提取
超像素划分测试
本文首先采用简单线性迭代聚类（simple linear iterative clustering, SLIC）算法对图像进
行聚类划分[3]。这种算法通过LAB颜色空间以及像素坐标共五维向量进行计算。可以兼容灰
度和彩色图像。算法可根据预先设定的超像素数量进行分割，也可以根据预先设定的超像素60
大小进行分割，还可以根据超像素密度进行分割，具有很高的灵活性[5]。本文采用按照聚类
内部尽量相似，聚类之间尽量不同的原则进行区域划分。每一个超像素内部的像素具有基本
相同的颜色，可以被认为是图像中连续的区域。
65
(a) (b) (c)
图 1 基于超像素服装图像划分。(a)服装库中部分图像样本; (b)未划分的一个图像; (c)
对于(b)中图像利用 SLIC 聚类划分的结果。
我们选取某品牌 T 台背景的模特照片作为训练库，如图 1(a)为其中一些样本图像。库70
中的服装具有不同的设计风格和和外形特征。例如图 1(b)，为一款裙装走秀图像，图 1（c）
为采用超像素划分后的图像。从图中可以看出，采用 SLIC 算法后图像被划分为 800 个小区
域，每个小区域内的颜色基本相同，衣物，人体和背景之间区分明显，没有出现同时含有前
- 3 -
中国科技论文在线
景和背景的区域。
图像分割 75
图像分割根据区域内部差别尽可能小，区域之间差别尽可能大的原则进行，通过判定函
数判定两个区域是分割还是合并。通常，图像分割需要手工指定前景与背景，作为分割的查
询起点和依据[6]。而对于衣物图像的分割，本文做出了前景（即衣物和人体）一定位于图像
中部，而背景环绕于四周的假设，由此可以大致确定前景与背景的位置关系。按照基于图论
的图像分割算法[7]，我们的从四周作为起点开始探索背景区域，即可实现自动的前景提取。80
第一次迭代的结果如图2(a)。
(a) (b)
图 2 基于图论的图像分割结果。(a)第一次迭代；(b)第二次迭代。
85
第二次迭代之后，双臂与身体间的背景大部分被除去，但模特的右臂和身体之间有少
量背景残留，如图 2(b)。这是由于背景上下部分差异较大，下半部分颜色较深的背景因为与
衣物颜色更加接近，被判定为前景而保留了下来。这一问题属于偶然情况，出现在特定的背
景和前景条件下，进一步迭代也未能解决。由于面积较小，并且属于偶然情况，所以认为这
种情况对最终的分类结果影响不明显。 90
去除人体部分
对于衣物图像，多数来自于对模特的拍照，人体与衣物关系紧密，通过图像分割算法虽
然可以去除背景，但是难以消除人体对衣物的影响，所以我们依赖人体肤色的分析和识别去
除人体部分。
肤色检测的主要依据是人体皮肤颜色在HSV或者YCrCb等空间中处于某一特定的颜色95
区域，通过阈值设定，就可以初步实现对皮肤的检测[8]。肤色区域的颜色与亮度成非线性函
数关系，在低亮度条件下，YCbCr 空间中色度的聚类性会随Y呈非线性变换降低。为了使
肤色聚类不受亮度Y的影响并将YCbCr颜色空间中的色度Cb、Cr进行非线性变换，可去掉高
光阴影部分（即Y的最大最小值），从而分辨出图像中的肤色部分与其他部分，将人体部分
从图像中去除[9]，提取出衣物前景，如图3。 100
- 4 -
中国科技论文在线
图 3 利用肤色检测去除人体后的结果
3 服装特征提取
角点特征检测
对于衣物图像，角点反映了衣物的领子袖子等关键元素的构造，以及纽扣位置和排列等105
信息，对于检索十分有帮助。本文采用 Harris 算子对处理后的衣物图像进行角点检测[10]，
如图 4。可以看出，角点主要分布于衣物的领子袖口边缘和腰带，纽扣等配饰上。这些角点
的分布一定程度上反映了衣物的设计风格和特点。配合轮廓检测结果中的内部轮廓和外部轮
廓可以确定出衣物的边缘角点和内部配饰的角点，进行进一步的区分。
110
图 4 角点检测结果
轮廓提取
轮廓反映了衣物整体的构造和设计风格，如 H 型、X 型、A 型等，是一件衣物最明显
也是对人的视觉感受影响最大的一个因素。轮廓可以作为衣物图像匹配检索的重要依据。根
据图像轮廓内外颜色的特征，可以区分出衣物的内部与外部。如图 5 中，绿色线条是内部轮115
廓，蓝色线条是外部轮廓。结合角点信息就可以判断出衣物的领子，袖口等关键部位的位置
以及配饰的情况。
轮廓提取主要基于边缘检测技术，首先对图像进行二值化，对二值化的图像进行边缘
检测，同时可以根据二值化的结果判断内外轮廓[11]。由于本文中经过上文步骤处理的衣物
图像中除了衣物以外的部分全部为黑色，所以在二值化的过程中阈值可以设置的很低，从而120
大大提高了轮廓提取的准确率。提取结果如下图：
- 5 -
中国科技论文在线
图 5 轮廓提取结果
纹理特征
衣物图像一般还都具有一定的纹理特征，本文通过 HOG 和 LBP 算子可提取这些特征，125
构造特征向量[12]。
总之，经过预处理和前景提取的衣物图像进行轮廓提取和角点检测，构造出衣物的组
合特征描述，形成例如“高领，对襟，长袖”这样的语义描述，更加接近于人对衣物的自然感
知，也更能准确的反映衣物的构造和设计。同时，以这些特征作为元素构造一个数据库，对
这些特征应用组合语法的形式进行组合搭配，则可以构造出各种衣物识别的模板，进一步反130
映出衣物的风格和搭配[13]。
4 系统实现
实验图库使用了某品牌服装走秀图片，共计 3000 张。所有图片均为 T 台背景的模特正
面照片。库中的服装具有不同的设计风格和和外形特征。
基于以上论述，本文针对服装图像的内容的特性，设计了一套针对性的处理和检索方案。135
在系统实现阶段，首先用 C++编程语言对需要用到的算法进行了逐一的实现，测试和调整，
确保每一步达到预期的效果。之后应用 MFC 设计了应用程序框架，在 Visual Studio2012 集
成开发工具下开发出系统原型。在系统集成过程中，设计了独立的图像数据格式解决了系统
集成过程中的兼容性问题。最后按照高内聚低耦合的设计思路设计了以工作图像为中心的算
法挂载方式，便于灵活调整算法及算法间的配合。系统完成了图像预处理，分割，前景提取，140
肤色检测，提取衣物轮廓和结构信息等处理工作，最终实现了基于内容的衣物检索。
如图 6 为上传图 1(b)的检索结果.可以看出，这些服装的基本特征，如腰带、长裙、纹
理简单的平面布料等特征得到了体现，另一方面，X 型构型设计，V 型衣领等特征虽然不够
准确但得到了一定的体现。
- 6 -
中国科技论文在线
145
图 6 基于内容的匹配检索结果
5 总结
本文以衣物的分类检索为背景，实现了一个基于内容的衣物检索系统。该系统设计了150
针对衣物图像的预处理和特征提取方法，并实现了对特征描述子的存储，分类，检索等功能，
同时设计并实现了富有弹性的面向对象程序框架和优化的数据结构，保证了算法的高效性和
程序的兼容性。
[参考文献] (References)
[1] 侯刚.基于内容的图像检索中特征表示与检索策略研究[D].吉林大学，长春，2014. 155
[2] Hiwale, .; Dhotre, D. Content-based image retrieval: Concept and current practices[C].2015 International
Conference on Electrical, Electronics, Signals, Communication and Optimization (EESCO),2015,pp:1-6.
[3] Achanta R,Shaji A, Smith K, et al．SLIC superpixels compared to state-of-the-art superpixel methods [J]．IEEE
Trans on Pattern Analysis and Machine Intelligence,2012,34(11):2274-2282．
[4] Dalal, N., Triggs, of oriented gradients for human detection[C],IEEE Computer Society 160
Conference on Computer Vision and Pattern Recognition,CVPR :1:886-893.
[5] 王春瑶,陈俊周,李炜.超像素分割算法研究综述[J].计算机应用研究，2014，31(1):6-12.
[6] 刘松涛,殷福亮.基于图割的图像分割方法及其新进展[J].自动化学报，2012，38(6):911-922.
[7] 张乾,冯夫健,林鑫等.一种基于图论的图像分割算法[J].计算机工程，2012，38(18):194-197.
[8] 王建国,华继钊,杨静宇.基于 YCgCr 颜色空间的光照自适应的复测区域检测[J].计算机应用研究，2008(2): 165
467-468
[9] 曹建秋，王华清，蓝章礼.基于改进 YCrCb 颜色空间的肤色分割[J].重庆交通大学学报(自然科学版)，2010，
29(3):488-492.
[10] 高晶,吴育峰,吴昆,孙继银.基于角点检测的图像匹配算法[J].仪器仪表学报，2013，34(8):1717-1725.
[11] 徐平,邵定宏,魏楹.最佳阀值分割和轮廓提取技术及其应用[J].计算机工程与设计，2009，30(2):437-439. 170
[12] 向征,谭恒良,马争鸣.改进的 HOG 和 Gabor,LBP 性能比较[J].计算机辅助设计与图形学学报，2012，
24(6):787-792.
[13] 崔京元.优雅夏奈尔经典纪梵希:跟大师学风格与搭配[M].中国纺织出版社，2010.
