- 1 -
中国科技论文在线
改进人脸模板建模的人脸识别方法#
陈振学，常发亮*
基金项目：国家自然科学基金（61203261和 61273277）、高等学校博士学科点专项基金（20090131120039）、
中国博士后科学基金（2012M521335）、山东省自然科学基金（ZR2012FQ003）资助。
作者简介：陈振学，（1977-），男，博士，山东大学副教授，硕士生导师，目前研究方向为：生物特征识
别与机器视觉、人脸识别与信息融合等。
（山东大学控制科学与工程学院，济南 250061）
摘要：人脸识别是一种典型的生物特征识别方法，其在安全验证系统、档案管理、人机交互、5
社会安全等方面有着巨大的应用前景。本文提出一种利用灰度特征并根据给定样本数目建立
人脸模板，来进行人脸识别的方法。首先根据样本数目的多少选择模板建立方法，建立人脸
模板；然后将待检图像跟模板库进行比对，比较待检图像与模板图像的一阶边缘熵之间的差
值，找到最匹配的模板，输出识别结果。实验结果表明，本文算法对非约束条件下的人脸识
别具有较好的识别效果。 10
关键词：模式识别；人脸建模；模板匹配；投票法；一阶边缘熵
中图分类号：
Face Recognition Algorithm Based on Improved Facial
Model 15
CHEN Zhenxue, CHANG Faliang
(School of Control Science and Engineering, Shandong University, JiNan 250061)
Abstract: Face recognition is one of typical biometric identification method, which has a great
prospect in secure authentication system, file management, human-computer interaction and social
security. This paper proposes gray-scale characteristics and creates facial templates to recognize 20
faces method based on a given number of samples. Firstly, it selects the method of building
template according to the number of samples to create the facial template image; then, it will
compare the difference of first-order edge entropy between recognition image and the template
image and find the best match result; finally, the recognition result is output. Experimental results
show that the proposed algorithm has good recognition effect on face recognition under 25
non-constraint conditions.
Keywords: Pattern recognition; Facial model; Model matching; Vote method; Face recognition
0 引言
人脸识别作为生物特征识别技术的一种，具有特定的优势：①人脸识别符合人类根据人30
脸辨别身份的习惯，更加直观、自然；②人机交互方式更加方便友好，基本不需要使用者的
配合；③隐蔽性较好等[1-3]。由于人脸识别的这些特点，人脸识别技术可以广泛应用于公安
部门的犯人档案管理、犯人的辨认查找、刑侦破案，以及其他社会领域的安全验证、监控系
统、信用卡验证、人机交互控制、证件核对、通道控制等多个场合[4][5]。正是由于人脸识别
的广泛应用，世界各国的很多机构都在从事人脸识别的研究，提出了很多人脸识别的算法。35
麻省理工学院的Turk和Pentland提出的“特征脸(Eigenface)”方法对当时的人脸识别研究影响
大[6]。特征脸的成功，也使得子空间变换这类方法在人脸识别中占据了重要的地位。后来，
基于模型的人脸识别方法也开始得到研究人员的重视，主要有 Cootes 等提出主动形状模型
方法(Active Shape Models，ASM)和主动外观模型方法 (Active Appearance Models，AAM) [7]。
近几年，如何有效解决复杂光照和多姿态的人脸识别难题受到了科研人员的普遍重视[8]。40
Shashua 等[9]证明了人脸的商图像(Quotient Image)是不随着光照条件而改变的，为光照多变
- 2 -
中国科技论文在线
的人脸识别提供了新的方法。为了解决商图像算法中没有解决的阴影问题，中科院自动化研
究所王海涛等[10]在商图像的基础上，提出了自商图像的方法，并在 CMU-PIE 人脸库上取得
了非常好的识别效果。廖海斌[11]等人针对人脸识别中的光照、姿态等变化问题，通过数据
挖掘提出一种因子分析的人脸识别方法。Ahonen等[12]将局部二值模式(Local Binary Pattern，45
LBP)应用到人脸识别中，有力的推动了基于局部特征的人脸识别方法的发展。
本文在已有人脸识别算法的基础上，提出一种利用灰度特征建立模板进行人脸识别的方
法。首先根据样本数目的多少选择模板建立方法，建立人脸模板（当样本数目较少时，采用
一种改进的平均值法建立模板；当样本数目很多时，采用投票法建立模板）；建立模板之后，
根据一阶边缘熵对待检测图像进行模板匹配。同时本文提出了一种提高检测速率的方法，即50
对待识别图像与模板图像的长和宽分别进行缩放 n倍，新图像大小为原来的 1/n*n。经过缩
放处理后，对于大部分情况，检测效果比较理想，且检测时间明显减少。
1 人脸模板的建模方法
模板匹配法的关键一步就是建立合适的模板。针对给定样本的多少，本文提出了 3种不
同的建立模板的方法，当给定的样本较多时，可以用投票法建立模板；样本数量不是很多时，55
可以用平均值法或是改进的平均值法来建立模板。
投票法建立模板
该方法的主要思想是：假设同一人脸有 N个样本，灰度模板在 ],[ ji 点处的像素是这样
确定的：假定 N个样本的灰度图中，在 ],[ ji 点处的像素分别为 pixNpixpix ,,2,1 L 。对于
这 N个像素值，从中选出出现频次最多的值作为模板在 ],[ ji 处的像素值[13]。 60
这种算法的优点是可以很好的消除干扰，建立较为精确的模板。然而这种建立模板的方
法也有一个问题，当样本数量较少时，有可能出现 pixNpixpix ,,2,1 L 各不相同的情况，
这时建立的模板就没有意义了。
平均值法建立模板
针对投票法不能解决小样本的问题，可以用平均值法解决。平均值法的主要思想：假设65
同一人脸有 N个样本，灰度模板在 ],[ ji 点处的像素是这样确定的：假定 N个样本的灰度图
中，在 ],[ ji 点处的像素分别为 pixNpixpix ,,2,1 L 。对 pixNpixpix ,,2,1 L 求取平均值，
存入 1_ avrpix 中，然后分别将 pixNpixpix ,,2,1 L 与 1_ avrpix 进行比较，如果差值大于
设定的阈值 T（比如 T=10），则将该点去掉，对剩余的像素点再取平均值 2_ avrpix ，并
将其作为模板在 ],[ ji 点处的像素值，以此类推。 70
这种方法解决了小样本无法建模的问题，然而通过这种方法建立的模板并不准确，因为
以单个像素值作为运算单位，可能会引起较大的偏差。
改进的平均值法建立模板
对于平均值法遇到的问题，我们可以通过对其改进来获得更加准确的模板。该算法如下：
Step1：建立新样本。对于每幅样本图像，对其进行 n*n 邻域求取平均值，把该平均值75
作为新样本图像的像素值。经此操作，图像大小变为原来的 1/n*n。
Step2：对于新样本，进行 所述的平均值建模。
Step3：对于训练样本，首先对其进行 n*n 邻域求取平均值，建立新的训练样本，然后
- 3 -
中国科技论文在线
对 Step2建立的模板进行测试。
改进的平均值法不仅解决了单个像素可能偏差较大的问题，提高了识别精度，而且将图80
像变为原来的 1/n*n，简化了后续的比对操作，减少了运算量，提高了识别效率。
图 1 投票法建立模板的示意图
2 待识别图像匹配 85
模板建立完成之后，下一步工作就是将待检测图与模板进行匹配，计算待检图与模板图
之间的相似度，进行人脸识别。
基于边缘信息的模板匹配
对模板图像 gray_model与待检测图像 gray_test分别进行 Canny边缘检测，得到人脸的
边缘，假设两幅二值图像的前景像素数分别为 elNmod 与 testN ，它们重叠的前景像素数为90
overlapedN ，则两幅二值图像的相似度 ( )eltestS mod, 为：
( )
testel
overlaped
eltest NN
N
S += modmod,
2
(1)
由公式的形式可知，， ( )eltestS mod, 在 0和 1之间，当两幅图像完全重合时， ( )eltestS mod, =1；
完全不重合时， ( )eltestS mod, =0。 ( )eltestS mod, 越大，说明两幅图像越相近[14]。
这种比对方法的优点是简单易行，缺点是识别率较低，当人脸偏转或表情变化较大时，95
得到的识别结果很难让人满意。
基于灰度特征的模板匹配
对于一幅给定的灰度图像，我们假设它的各点相互独立，则该图像的一阶边缘熵为：
( ) ( )∑−= apapH log (2)
- 4 -
中国科技论文在线
其中， ( )ap 为像素值为 a的点所占整幅图像的概率，计算公式为： 100
( ) ( )
HeightWidth
acount
ap
*
∑= (3)
其中， ( )acount 为像素为 a的点数，Width为图像的宽，Height为图像的高[15]。
一阶边缘熵可以比较好的表示图像的灰度特性，对于同一个人的两幅不同的图像，它们
的一阶熵相差不大。假定人脸模板库中有M幅图像，则将待检图像的一阶边缘熵与M幅模
板库中图像的一阶边缘熵进行比对，求其最小值，与待检图差值最小的模板图即为识别结果，105
即：
( ) ( ) ( ) ( ) ( ) ( )( )Meltesteltesteltest HHHHHH modmodmod ,,,min 21 −−− L
其中 ( )testH 为待识别图像的一阶边缘熵， ( )ielH mod 为模板图像 i 的一阶边缘熵 ,
( )Mi ,,2,1 L= 。
当模板库中的模板数量不多且各模板之间的一阶熵差别较大时，基于一阶熵的模板匹配110
方法有很好的识别率，但随着模板数量的增加，识别效果有所下降[16]。
3 实验结果与分析
为了验证本文算法的有效性，论文针对 ORL人脸库中的人脸图像进行了实验。实验取
其中一个人的十幅图像作为样本，如图 2所示；由于实验样本数较少，因此采用改进的平均
值法建立模板，如图 3所示，其中(a)是直接对样本建立的的模板，(b)是对样本图像进行 1/9115
（此时 n=3）缩放之后建立的模板。
图 2 同一人的 10幅人脸图像
120
(a) (b)
图 3 平均值法建立的模板
((a)为根据原图建立的模板；(b)为对原图进行 1/9缩放后建立的模板)
125
图 2中各个样本的一阶边缘熵分别为：
，，，，，
- 5 -
中国科技论文在线
，，，，.
改进的平均值法建立的模板，当阈值 T选为 15个像素时，一阶边缘熵为 ；当
阈值 T 选为 10 个像素时，一阶边缘熵为 ；阈值 T 选 5 个像素时，一阶边缘熵为130
。可见，各个样本的一阶边缘熵与模板的一阶边缘熵之间的差别不大。
同时，我们也自行建立了人脸图像库。从该人脸库中选取 42个人，每人 20幅图像作为
样本，用改进的平均值法建立模板，这 42 个模板构成一个模板库；另外选取这 42 个人的
15幅图像作为测试图像，分别与模板库中的模板进行灰度特征匹配，实验结果如表 1所示。
135
表 1 人脸模块匹配结果
建立模板的方法 正确识别数目 正确识别率 平均运算时间（ms）
T=5 588 % 245
T=10 596 % 277
平均值法建立模板
（未进行缩放处
理） T=15 591 % 290
T=5 582 % 127
T=10 591 % 138
改进的平均值法建
立模板（进行 1/9
缩放处理） T=15 584 % 154
由表 1 中的实验结果可知，对于平均值法建立模型，阈值 T 的选取对结果影响不是很
大，而对于改进的平均值法建立的模型，阈值 T的选取对于结果影响较大。当阈值 T为 10
个像素时，改进的平均值法建立的模型可以得到较好的识别结果。改进的平均值法建立的模140
型，即先对图像进行缩放处理，识别时间明显小于未进行缩放处理的情况，但识别效果却不
如后者。
4 总结
用基于灰度信息的模板匹配来进行人脸识别，可以很好的解决光照变化的问题，然而当
人的表情变化较大或是人脸偏转角度较大时，识别效果并不理想。本文提出的利用灰度特征145
并根据给定样本数目建立人脸模板进行人脸识别的方法，对能较好的解决以上问题。不过，
平均法建立模板方法，速度较慢，即使采用改进的平均法建立模板，速度有所加快，但仍不
能令人满意，且识别率有所下降。下一步的研究方向是探索平均法建立模板的快速算法，并
将神经网络方法与模板匹配法相结合，利用神经网络的自学习能力提取可以区别模板库中各
个模板的特征，以提高识别率。 150
[参考文献]
[1] 段锦. 人脸自动机器识别[M]. 北京: 科学出版社, 2009.
[2] F. Dai, N. Kushida and L. Shang. A survey of genetic algorithm-based face recognition[J]. Artificial Life and
Robotics, 2011,16(2): 271-274. 155
[3] Ramji M. Makwana. Illumination invariant face recognition: A survey of passive methods[A]. Procedia
Computer Science[C], 2010,2: 101-110.
[4] 李全彬. 非约束环境下人脸识别关键技术的研究与应用[D]. 上海:华东师范大学博士学位论文, 2011.
[5] A. Wagner, J. Wright and A. Ganesh et al. Toward a practical face recognition system: Robust alignment and
illumination by sparse representation[J]. IEEE Trans. on PAMI, 2012,34(2): 372-386. 160
[6] M. Turk, A. Pentlend. Eigenfaces for recognition[J]. Cognitive Neuroscience, 1991,3(1): 71-86.
[7] T. Cootes, G. Edwards and C. Taylor. Active appearance models[J]. IEEE Trans. on PAMI,2001,23(6):
681-685.
[8] X. Zhang, Y. Gao. Face recognition across pose: a review[J]. Pattern Recognition, 2009,42(11): 2876-2896.
[9] A. Shashua, T. Riklin. The quotient image: class-based re-rendering and recognition with varying 165
illuminations[J]. IEEE Trans. on PAMI, 2001,23(2): 129-139.
[10] H. Wang, S. Li and Y. Wang. Generalized quotient image[A]. Proceedings of IEEE Computer Society
Conference on Computer Vision and Pattern Recognition[C], 2004,2: 498-505.
- 6 -
中国科技论文在线
[11] 廖海斌 , 陈庆虎 , 鄢煜尘 . 基于因子分析的实用人脸识别研究 [J]. 电子与信息学报 , 2011,33(7):
1611-1617. 170
[12] T. Ahonen, A. Hadid and M. Pietikainen. Face recognition with local binary patterns[A]. Computer
Vision-ECCV[C], 2004,3021: 469-481.
[13] X. Xie, K. M. Lam. Facial expression recognition based on shape and texture[J]. Pattern Recognition,
2009,42(5): 1003-1011.
[14] J. Song, B. Chen and Z. Chi, et al. Face recognition based on binary template matching[A]. Proceedings of the 175
3rd International Conference on Intelligent Computing[C], Berlin, 2007: 1131-1139.
[15] 王文成. 基于局部特征分析的人脸表情识别问题研究[D]. 济南:山东大学博士学位论文, 2011.
[16] I. Naseem, R. Togneri and M. Bennamoun. Robust regression for face recognition[J]. Pattern Recognition,
2012,45(1): 104-118.
180
