人脸识别综述与展望
摘 要 本文综述了人脸识别 理论 的 研究 现状，根据人脸自动识别技术 发展 的时间进
行了分类， 分析 和比较各种识别 方法 优缺点，讨论了其中的关键技术及发展前景。
关键词 人脸识别；特征提取 1 人脸识别技术概述 近年来，随着 计算 机技术的迅
速发展，人脸自动识别技术得到广泛研究与开发，人脸识别成为近 30 年里模式识别和图
像处理中最热门的研究主题之一。人脸识别的目的是从人脸图像中抽取人的个性化特征，
并以此来识别人的身份。一个简单的自动人脸识别系统，包括以下 4 个方面的 内容 ：
(1)人脸检测(Detection)：即从各种不同的场景中检测出人脸的存在并确定其位置。
(2)人脸的规范化(Normalization)：校正人脸在尺度、光照和旋转等方面的变化。 (3)
人脸表征(Face Representation)：采取某种方式表示检测出人脸和数据库中的已知人脸。
(4)人脸识别(Recognition)：将待识别的人脸与数据库中的已知人脸比较，得出相关信息
。2 人脸识别算法的框架 人脸识别算法描述属于典型的模式识别 问题 ，主要有在线
匹配和离线 学习 两个过程组成，如图 1 所示。图 1 一般人脸识别算法框架 在人脸识
别中，特征的分类能力、算法复杂度和可实现性是确定特征提取法需要考虑的因素。所提
取特征对最终分类结果有着决定性的 影响 。分类器所能实现的分辨率上限就是各类特征
间最大可区分度。因此，人脸识别的实现需要综合考虑特征选择、特征提取和分类器设计
。3 人脸识别的发展 历史 及分类 人脸识别的研究已经有相当长的历史，它的发展大
致可以分为四个阶段：第一阶段：人类最早的研究工作至少可追朔到二十世纪五十年代在
心 理学 方面的研究和六十年代在工程学方面的研究。 J. S. Bruner 于 1954 年写下了关
于心理学的 The perception of people，Bledsoe 在 1964 年就工程学写了 Facial
Recognition Project Report，国外有许多学校在研究人脸识别技术[1]，其中有从感知和心
理学角度探索人类识别人脸机理的，如美国 Texas at Dallas 大学的 Abdi 和 Tool 小组[2、
3]，由 Stirling 大学的 Bruce 教授和 Glasgow 大学的 Burton 教授合作领导的小组等[3]；也
有从视觉机理角度进行研究的，如英国的 Graw 小组[4、5]和荷兰 Groningen 大学的
Petkov 小组[6]等。 第二阶段：关于人脸的机器识别研究开始于二十世纪七十年代。
Allen 和 Parke 为代表，主要研究人脸识别所需要的面部特征。研究者用计算机实现了较
高质量的人脸灰度图模型。这一阶段工作的特点是识别过程全部依赖于操作人员，不是一
种可以完成自动识别的系统。 第三阶段：人机交互式识别阶段。 Harmon 和 Lesk 用
几何特征参数来表示人脸正面图像。他们采用多维特征矢量表示人脸面部特征，并设计了
基于这一特征表示法的识别系统。Kaya 和 Kobayashi 则采用了统计识别方法，用欧氏距
离来表征人脸特征。但这类方法需要利用操作员的某些先验知识，仍然摆脱不了人的干预
。第四阶段：20 世纪 90 年代以来，随着高性能计算机的出现，人脸识别方法有了重大突
破，才进入了真正的机器自动识别阶段。在用静态图像或视频图像做人脸识别的领域中，
国际上形成了以下几类主要的人脸识别方法： 1）基于几何特征的人脸识别方法 基于
几何特征的方法是早期的人脸识别方法之一[7]。常采用的几何特征有人脸的五官如眼睛、
鼻子、嘴巴等的局部形状特征。脸型特征以及五官在脸上分布的几何特征。提取特征时往
往要用到人脸结构的一些先验知识。识别所采用的几何特征是以人脸器官的形状和几何关
系为基础的特征矢量，本质上是特征矢量之间的匹配，其分量通常包括人脸指定两点间的
欧式距离、曲率、角度等。基于几何特征的识别方法比较简单、容易理解，但没有形成统
一的特征提取标准；从图像中抽取稳定的特征较困难，特别是特征受到遮挡时； 对较大
的表情变化或姿态变化的鲁棒性较差。 2）基于相关匹配的方法 基于相关匹配的方法
包括模板匹配法和等强度线方法。 ①模板匹配法：Poggio 和 Brunelli[10]专门比较了基
于几何特征的人脸识别方法和基于模板匹配的人脸识别方法，并得出结论：基于几何特征
的人脸识别方法具有识别速度快和内存要求小的优点，但在识别率上模板匹配要优于基于
几何特征的识别方法。 ②等强度线法：等强度线利用灰度图像的多级灰度值的等强度线
作为特征进行两幅人脸图像的匹配识别。等强度曲线反映了人脸的凸凹信息。这些等强度
线法必须在背景与头发均为黑色，表面光照均匀的前提下才能求出符合人脸真实形状的等
强度线。 3）基于子空间方法 常用的线性子空间方法有：本征子空间、区别子空间、
独立分量子空间等。此外，还有局部特征分析法、因子分析法等。这些方法也分别被扩展
到混合线性子空间和非线性子空间。Turk 等[11]采用本征脸(Eigenfaces)方法实现人脸识别
。由于每个本征矢量的图像形式类似于人脸，所以称本征脸。对原始图像和重构图像的差
分图像再次进行 K-L 变换，得到二阶本征空间，又称二阶本征脸[12]。Pentland 等[13]提
出对于眼、鼻和嘴等特征分别建立一个本征子空间，并联合本征脸子空间的方法获得了好
的识别结果。Shan 等[14]采用特定人的本征空间法获得了好于本征脸方法的识别结果。
Albert 等[15]提出了 TPCA(Topological PCA)方法，识别率有所提高。Penev 等[16]提出的局
部特征分析(LFA Local Feature Analysis)法的识别效果好于本征脸方法。当每个人有多个样
本图像时，本征空间法没有考虑样本类别间的信息，因此，基于线性区别分析(LDA Linear
Discriminant Analysis )，Belhumeur 等[17]提出了 Fisherfaces 方法，获得了较好的识别结
果。Bartlett 等[18]采用独立分量分析(ICA，Independent Component Analysis)的方法识别
人脸，获得了比 PCA 方法更好的识别效果。 4）基于统计的识别方法 该类方法包括有
：KL 算法、奇异值分解(SVD)、隐马尔可夫(HMM)法。 ①KL 变换：将人脸图像按行(列)
展开所形成的一个高维向量看作是一种随机向量，因此采用 K-L 变换获得其正交 K-L 基底
，对应其中较大特征值基底具有与人脸相似的形状。国外，在用静态图像或视频图像做人
脸识别的领域中，比较有影响的有 MIT 的 Media 实验室的 Pentland 小组，他们主要是用
基于 KL 变换的本征空间的特征提取法，名为“本征脸(EIgenface)[19]。 ②隐马尔可夫模
型：剑桥大学的 Samaria 和 Fallside[20]对多个样本图像的空间序列训练出一个 HMM 模
型，它的参数就是特征值；基于人脸从上到下、从左到右的结构特征；Samatia 等[21]首
先将 1-D HMM 和 2-D Pseudo HMM 用于人脸识别。Kohir 等[22]采用低频 DCT 系数作为
观察矢量获得了好的识别效果，如图 2(a)所示。Eickeler 等[23]采用 2-D Pseudo HMM 识
别 DCT 压缩的 JPEG 图像中的人脸图像；Nefian 等采用嵌入式 HMM 识别人脸[24]，如图
2(b)所示。后来集成 coupled HMM 和 HMM 通过对超状态和各嵌入状态采用不同的模型构
成混合系统结构[25]。 基于 HMM 的人脸识别方法具有以下优点：第一，能够允许人脸
有表情变化，较大的头部转动；第二，扩容性好.即增加新样本不需要对所有的样本进行
训练；第三，较高的识别率。 (a) (b)图
2 (a) 人脸图像的 1-D HMM (b) 嵌入式隐马尔科夫模型 5）基于神经 网络 的方法
Gutta 等[26]提出了混合神经网络、Lawrence 等[27]通过一个多级的 SOM 实现样本的
聚类，将卷积神经网络 CNN 用于人脸识别、Lin 等[28]采用基于概率决策的神经网络方法
、Demers 等[29]提出采用主元神经网络方法提取人脸图像特征，用自相关神经网络进一
步压缩特征，最后采用一个 MLP 来实现人脸识别。Er 等[30]采用 PCA 进行维数压缩，再
用 LDA 抽取特征，然后基于 RBF 进行人脸识别。Haddadnia 等[31]基于 PZMI 特征，并采
用混合学习算法的 RBF 神经网络进行人脸识别。神经网络的优势是通过学习的过程获得对
这些 规律 和规则的隐性表达，它的适应性较强。 6）弹性图匹配方法
Lades 等提出采用动态链接结构(DLA，Dynamic Link Architecture)[32]的 方法 识别人脸。
它将人脸用格状的稀疏图如图 3 所示。图 3 人脸识别的弹性匹配方法 图 3 中的节点用
图像位置的 Gabor 小波分解得到的特征向量标记，图的边用连接节点的距离向量标记。
Wiskott 等人使用弹性图匹配方法，准确率达到 %。Wiskott 等[33]将人脸特征上的一
些点作为基准点，构成弹性图。采用每个基准点存储一串具有代表性的特征矢量，减少了
系统的存储量。Wurtz 等[34]只使用人脸 ICI 部的特征，进一步消除了结构中的冗余信息和
背景信息，并使用一个多层的分级结构。Grudin 等[35]也采用分级结构的弹性图，通过去
除了一些冗余节点，形成稀疏的人脸描述结构。另一种方法是，Nastar 等[36]提出将人脸
图像 I(x，y)表示为可变形的 3D 网格表(x，y，I(x，y))，将人脸匹配 问题 转换为曲面匹配
问题，利用有限 分析 的方法进行曲面变形，根据两幅图像之间变形匹配的程度识别人脸
。 7）几种混合方法的有效性 (1)K-L 投影和奇异值分解(SVD)相融合的分类判别方法
。 K-L 变换的核心过程是 计算 特征值和特征向量。而图像的奇异值具有良好的稳定性
，当图像有小的扰动时，奇异值的变化不大。奇异值表示了图像的代数特征，在某种程度
上，SVD 特征同时拥有代数与几何两方面的不变性。利用 K-L 投影后的主分量特征向量与
SVD 特征向量对人脸进行识别，提高识别的准确性[37]。 (2)HMM 和奇异值分解相融合
的分类判别方法。 采用奇异值分解方法进行特征提取，一般是把一幅图像(长为 H)看成
一个 N×M 的矩阵，求取其奇异值作为人脸识别的特征。在这里我们采用采样窗对同一幅
图片进行重叠采样(如图 4)，对采样所得到的矩阵分别求其对应的前 k 个最大的奇异值，
分别对每一组奇异值进行矢量标准化和矢量重新排序，把这些处理后的奇异值按采样顺序
组成一组向量，这组向量是惟一的[38]。图 4 采样窗采样 综合上述论文中的实验数据
表明[39]，如表 1：表 1 人脸识别算法比较 8）基于三维模型的方法 该类方法一般先
在图像上检测出与通用模型顶点对应的特征点，然后根据特征点调节通用模型，最后通过
纹理映射得到特定人脸的 3D 模型。Tibbalds[40]基于结构光源和立体视觉 理论 ，通过摄
像机获取立体图像，根据图像特征点之间匹配构造人脸的三维表面，如图 5 所示。图 5 三
维人脸表面模型 图 6 合成的不同姿态和光照条件下二维人脸表面模型
Zhao[41]提出了一个新的 SSFS(Symetric Shape- from-Shading)理论来处理像人脸这类
对称对象的识别问题，基于 SSFS 理论和一个一般的三维人脸模型来解决光照变化问题，
通过基于 SFS 的视图合成技术解决人脸姿态问题，针对不同姿态和光照条件合成的三维人
脸模型如图 6 所示。 三维图像有三种建模方法：基于图像特征的方法[42、43]、基于
几何[44]、基于模型可变参数的方法[45]。其中，基于模型可变参数的方法与基于图像特
征的方法的最大区别在于：后者在人脸姿态每变化一次后，需要重新搜索特征点的坐标，
而前者只需调整 3D 变形模型的参数。三维重建的系统框图，如图 7 所示。图 7 三维建
模的系统框图 三维人脸建模、待识别人脸的姿态估计和识别匹配算法的选取是实现三维
人脸识别的关键技术。随着采用三维图像识别人脸技术的 发展 ，利用直线的三维图像信
息进行人脸识别已经成为人们 研究 的重心。4 总结 与展望 人脸自动识别技术已取得
了巨大的成就，随着 科技 的发展，在实际 应用 中仍然面临困难，不仅要达到准确、快速
的检测并分割出人脸部分，而且要有效的变化补偿、特征描述、准确的分类的效果，还需
要注重和提高以下几个方面： (1) 人脸的局部和整体信息的相互结合能有效地描述人脸
的特征，基于混合模型的方法值得进一步深入研究，以便能准确描述复杂的人脸模式分布
。 (2) 多特征融合和多分类器融合的方法也是改善识别性能的一个手段。 (3) 由于人
脸为非刚体性，人脸之间的相似性以及各种变化因素的 影响 ，准确的人脸识别仍较困难
。为了满足自动人脸识别技术具有实时要求，在必要时需要研究人脸与指纹、虹膜、语音
等识别技术的融合方法。 (4) 3D 形变模型可以处理多种变化因素，具有很好的发展前景
。已有研究也表明，对各种变化因素采用模拟或补偿的方法具有较好的效果。三维人脸识
别算法的选取还处于探索阶段，需要在原有传统识别算法的基础上改进和创新。 (5) 表
面纹理识别算法是一种最新的算法[52]，有待于我们继续 学习 和研究出更好的方法。总
之，人脸识别是极富挑战性的课题仅仅采用一种现有方法难以取得良好的识别效果，如何
与其它技术相结合，如何提高识别率和识别速度、减少计算量、提高鲁棒性，如何采用嵌
入式及硬件实现，如何实用化都是将来值得研究的。 参考 文献 [1]O'Toole A J，Abdi H，
Deffenbacher K A，etal. A low dimensional representation of faces in the higher
dimensions of space.[J].Journal of the Optical Society of 2 America，1993，10：405～
411[2]张翠萍，苏光大.人脸识别技术综述. 中国 图像图形学报，2000，5(11)：885-
894[3]，P. A. recognition and analysis of human faces and
facial expressions： a survey [J]. Pattern Recognition，1992，25(1)：65-67[4]Turk M，
Pentland A. Eigenfaces for recognition [J]. Journal of Cognitive Neuroscience，1991，
3(1)：71～86[5]Bartlett M S，Movellan J R，Sejnowski TJ. Face Recognition by
Independent Component Analysis [J]. IEEE Trans. on Neural Network， 2002，13(6)：
1450-1464[6]Manjunath B S，Shekhar C and Chellappa R. A new approach to image
feature detection with application[J]. Patt. Recog，1996，29(4)：627-640[7]Cheng
Y. Liu K，Yang J， face recognition method based on the statistical model of
small sample size. SPIE Proc，Intell. Robots and Computer Vision X： Algorithms and
，1606：85-95[8]Nefian A V Embedded Bayesian Networks for Face
Recognition [A]. Proceedings. IEEE International Conference on Multimedia and Expo [C]
2002，2：133-136[9]Gutta S，Wechsler H. Face Recognition Using Hybrid Classifiers
[J]. Pattern Recognition，1997，30(4)：539-553[10]Haddadnia J，Ahmadi M，Faez K A
Hybrid Learning RBF Neural Network for Human Face Recognition with Pseudo Zernike
Moment Invariant [A]. Proceedings of the 2002 International Joint Conference on Neural
Networks [C].2002，1：11-16[11]，，，
invariant object recognition in the dynamic link architecture. IEEE
Computer，1993，42(3)：300-311[12]Nastar C，Moghaddam B A .Flexible Images：
Matching and Recognition Using Learned Deformations [J]. Computer Vision and Image
Understanding，1997，65(2)：179-191[13]羊牧.基于 KL 投影和奇异值分解相融合人脸
识别方法的研究[D].四川大学.2004，5，1 [14]白冬辉.人脸识别技术的研究与应用[D].北
方 工业 大学.2006，5[15]Adam D. Tibbalds. Three Dimensional Human Face
Acquisitions for Recognition [D]. Phd. The sis Cambridge，University of Cambridge，
1998.[16]Wenyi Zhao. Robust image based 3D face recognition [D]. PhD. Thesis.
University of Maryland，College Park，1999
