基于多尺度空间改进SIFT图像配准算法之软件工程分析
本文是一篇软件工程论文，本文通过普通图像和遥感图像的配准来评定算
法的性能。由实验结果可知，算法对于普通图像进行特征点匹配的配准精
度平均在 70%左右，对于遥感图像进行特征点匹配的配准精度平均在
60%左右，通过对普通图像和遥感图像的结果对比，可以看出比 SIFT
配准算法的配准精度均提高 20%左右，比文献[62]算法的配准精度提高
15%左右。
1 绪论
研究背景和意义
人类接受信息时80%左右需要依靠视觉，依靠随处可见的图像信息，所以
图像在人类的认知中占有很重要作用。随着信息科技的飞速发展，人们可
以通过越来越多的途径获取图像。同时，图像内容也呈现多样性。随着图
像的海量产生促进了图像处理技术的飞速发展。人们通过对图像的处理将
图像中的数据、信息进行提炼、分析，从而获得其中有用的信息。
图像配准技术[1]是将不同光照、不同拍摄角度、不同传感器等获得的两
幅图或多幅图像进行配准。这些图像之间通常存在不同的分辨率、不同的
对比度、不同的尺度、不同的非线性形变、不同的位置角度等属性。图像
配准技术的目的是尽可能减少图像之间的差异性，找到他们之间的最佳关
系，使它们在目标几何形状上配准一致。为后续的其他图像工作如图像拼
接、图像融合、图像校正等领域做基础工作，所以图像配准在图像处理领
域中扮演了至关重要的角色。
图像配准技术不仅仅在图像处理领域中有很重要的作用，在其他领
域中也逐渐成为热门研究课题。随着各种医疗影像设备的出现，医学影像
技术的快速发展，X
射线影像、计算机断层摄影（CT）、数字减影血管造影（DR）、超声成像
（CI）、核磁共振成像（MRI）、正电子发射体层成像（PET）等，在临床
医学中越来越依靠这些影像结果来对病症进行分析。由于不同的影像设备
的成像原理不同，对同一器官的不同角度所成的影像结果的不同，也会对
医疗分析造成一定误差。这使得图像配准技术在医疗领域里面有很重要的
作用。医生可以通过不同成像设备的多组结果进行图像配准、融合、矫正
等工作来获得更好的医学影像结果[2]。同时图像配准又是图像融合、图
像矫正所必不可少的一步。在遥感领域，随着无人机技术的发展，很多图
像都由无人机获取，以此来进行研究和分析。航空遥感技术（即无人机遥
感技术）是一种新型的遥感技术，以其快速、灵活、高效等特点，作为卫
星遥感技术的补充技术手段。但是所获取的图像信息由于成像分辨率、飞
行高度、相机焦距等影响因素，通常不能一次得到理想的图像信息来分析
。一般会多获取一些图像信息，再经过图像融合、图像校正等工作得到最
终理想的图像进行数据分析。同时图像配准技术在遥感图像校正、融合、
拼接中也起着至关重要的作用[3]。在军事领域中，图像配准技术可以在
目标追踪、侦察等工作中起到很大的作用[4]。图像配准技术的重要性在
侦查、追踪过程中逐渐凸显出来，它可以对所要侦察追踪的目标进行实时
校对、匹配。在导弹追踪系统、雷达追踪系统中被普遍应用[5]。在民生
领域内，图像配准技术又广泛应用于人脸识别、虹膜识别、指纹识别中来
辨识人的身份信息，或用于车牌识别、智能交通系统、建筑物识别、工业
生产自动化中等[6]。 ...........................
国内外研究现状
二十世纪七十年代美国军方提出了图像配准技术，并用于飞行器的
导航与武器的制造上。此后其他国家逐渐探索军事领域的图像配准技术。
图像配准技术可以应用到很多方向。近些年来，随着虚拟现实、3D
重建的兴起，图像配准的研究也得到迅速发展[7]。
针对图像配准技术的研究，国内外的研究学者们主要从提高配准精
度、提高配准速度、提高配准算法的实时性、增强配准算法的鲁棒性、增
强算法的通用性、适应性等方面来进行深入研究与改进[8]。到目前为止
，图像配准技术大致分为两大类：一类是基于灰度的图像配准算法，另一
类是基于特征的图像配准算法，在这两个方面都已经取得了一定的成果[9
][10]。
基于灰度的图像配准算法比较适合处理只存在旋转和缩放的图像[11
][12]。最基本的基于灰度的图像配准算法是 1971 年被 Leese
提出的平均绝对差算法（ Mean Absolute
Differences，MAD）[13]。Silveman 和 Barnea 在 MAD
算法的基础之上提出序贯相似性检测算法（Sequential Similarity
Detection
Algorithm，SSDA）[14]，后在此基础上又提出归一化互相关算法（Norma
lized Cross Correlation，NCC）。在基于灰度的图像配准算法中，NCC
算法是应用最广泛的[15]。但是 NCC
算法在对图像进行配准的过程中，由于计算量大，所消耗的时间很长，为
了解决这一问题，一些研究学者们提出了一系列的改进方法：周常鑫等人
[16]提出一种改进灰度图像的直方图匹配算法，使用 K-means
聚类图像的灰度信息进行聚类，再进行加权匹配，可以排除匹配干扰，减
少灰度信息的误匹配。范新峰等人[17]提出一种基于归一化互相关的亚像
素双目视觉匹配方法，首先采用 NCC
匹配获得像素级最优的匹配点，用二次曲面拟合法拟合最优匹配点邻域，
得到亚像素级最佳匹配点，最后对参考图像和待配准图像分别处理即可。
吴鹏等人[18]针对 NCC
算法计算量大、运算速度慢等提出一种小波金字塔搜索策略的快速 NCC
图像配准算法，分别计算图像均值、图像方差以及图像之间的互相关降低
运算的复杂度，同时构造图像小波金字塔结构，利用分层匹配提高效率。
.............................
2 图像配准相关技术
图像配准的分类及其数学描述
根据分类标准的不同，图像配准可以大致从所应用的领域、自动化
程度、以及图像信息的不同等几个方面进行分类。
1.根据图像配准所应用的领域分类：遥感图像的配准；医学图像的
配准；计算机视觉领域的配准；其他领域的配准。
2.根据图像配准的自动化程度分类：人工图像配准；半自动图像配
准；全自动图像配准。
3.根据图像配准时所用的图像信息的不同分类：基于灰度的图像配
准（包括基于时域的配准、基于频域的配准等）；基于特征的图像配准（
包括基于特征点的配准、基于特征线的配准、基于特征区域的配准）。
基于灰度的图像配准通常是根据原始图像的像素灰度值进行匹配。
但是如果图像之间有微小的变化，例如光照、角度等因素，引起的细微差
异，那么可能会使匹配结果变化，导致匹配失败[34]。基于灰度的图像配
准通常只适用于简单的刚性变换或仿射变换的场景以及外界的条件差异不
大的情况，并且它对图像灰度、噪声等变化很敏感，算法运算的速度较慢
。但是这种算法也有它自己的优点，算法比较简单，不需要在匹配之前对
图像进行预处理，利用相关值就可以很好的描述两幅图像之间的相似程度
。
对于灰度信息相近的两幅图像来说，常用的配准方法有：互相关配
准方法、投影配准法、基于傅里叶变换的相位配准法以及图相矩配准法。
基于灰度的配准算法具有较高的精度，但是也有一些缺点[35]：对图像灰
度的变化较为敏感，特别是非线性光照的变化，会很大程度上降低算法的
性能；算法的计算复杂度很高；对图像中的目标形变、旋转、遮挡较敏感
。
..........................
基于特征点的图像配准关键技术
特征点提取
图像配准中最基础、最重要的一个环节就是图像的特征点提取。特
征点提取的结果对图像配准的结果有很大影响。特征提取就是找到图像中
待配准目标的特征，例如关键点、线、边缘、区域等。关键点特征一般是
图像中各个方向上灰度变化比较大的点，如边缘点、角点、交叉点等。特
征提取过程分为特征检测和特征描述两个步骤。
特征检测过程就是确定图像中具有独特性和不变性特征的位置信息
。要确定特征的尺度和方向信息可以使用有尺度不变性和旋转不变性的特
征检测算法。特征检测过程是图像配准过程中最基础的一步，特征检测的
结果对后续图像处理工作有很大影响。一个好的特征检测算法可以很好的
抵抗几何形变、图像失真等干扰。
特征检测过程，只能确定每个特征的位置（和尺度、方向）信息，
无法直接进行特征匹配，则必须使用一定的方法使得特征能够彼此区分开
来，这个方法即为特征描述。特征描述是用特征周围邻域像素的颜色、梯
度、纹理等信息建立特征描述符的过程，从而用描述符的相似性度量来解
决特征间的匹配。好的特征描述符可区分性强、在图像噪声、图像几何变
换和光照变换等情况下仍具有较好的鲁棒性。维度是描述符的一个重要属
性，通常，高维描述符可以更精细的描述特征，有较强的独特性，更适于
特征匹配，但是匹配过程中耗时长，计算较复杂；相反，低维描述符的匹
配时间较短，但是因缺少独特性，极易造成误匹配。因此特征描述过程的
关键就是设计独特性强、维度适中的描述符。
............................. 3 基于多尺度空间改进 SIFT
图像配准算法 ...............13
算法概述 ..................... 13
基于尺度空间的 Marr 小波特征提取 .................... 15
双层图像配准模型 ..................... 20
本章小结 ....................... 24
4实验结果与分析 .........................25
实验环境及参数说明 ..................... 25
实验结果 ..................................... 26
本章小结 ................................ 37
5 总结与展望 .......................38
总结 ........................ 38
展望 ............... 38
4 实验结果与分析
实验环境及参数说明
硬件环境：实验机型为惠普 envy-360x
笔记本电脑。实验主机处理器：AMD Ryzen 2500U with Radeon Vega
Mobile Gfx ， 8G 运行内存。软件环境：本文选择
WINDOWS10 64 位操作系统作为工作平台。开发软件使用 MATLAB
R2014a。
为了评测本文算法的性能，需要使用一些指标来作为评价标准，本
文使用如下四个客观评价标准：
1.重复度： Deriche
等人[60]对以前的特征点检测的算法做了比较全的总结，发现算法中存在
一个共性问题：针对不同的图像，特征点检测算法检测出的特征点位置会
有偏差，这一结果会为后续图像处理过程带来较大的影响。我们可以根据
Schmid
等人[61]提出的以特征点重复度（Repeatability）作为判断一个特征点
提取算法的性能的优劣的通用指标。经过后来的研究验证该方法是有效的
。这种评价指标是对参考图像和待配准图像用同种算法进行特征点提取，
用图像重复的特征点的数量和两幅图中所含特征点数较少的图片所提取出
的特征点数量的百分比，作为评判该方法的性能的优劣标准。重复度定义
如式 所示。
..........................
5 总结与展望
总结
本文对图像配准的基本算法，以及 SIFT
图像配准算法做了详细的分析、介绍。针对SIFT
图像配准算法中存在的干扰特征点较多、计算复杂度高、配准精度低以及
配准效率低的问题，提出一种基于尺度空间的 Marr
小波双层图像配准算法。通过基于尺度空间的
Marr小波对图像进行特征点提取，减少干扰点的出现，再使用双层特征匹
配算法，使最终配准结果更加精确，配准效率也有所提高。
本文研究取得成果如下：
1.通过对 SIFT
算法进行改进，解决了图像配准技术中配准精度低以及配准效率低的问题
。并且算法能很好的应用于遥感图像配准，得到的配准精度和配准效率较
其他算法都有一定提升。
2.为了更好的提取图像中的特征点，引入一种基于尺度空间的 Marr
小波算法。使用两种不同尺度的 Marr
小波与图像进行卷积，对两次结果做差，得到极大值点集合。将此极大值
点集合定义为图像的特征点集合，可以有效减少特征点邻域内相似干扰点
的问题，使提取的特征点都在图像目标参考区域内，有效地提高算法准确
度，提高算法配准效率。
3.为了使匹配结果更加精确，本文提出一种双层图像特征点匹配算
法，对图像进行两次配准：粗配准和精配准。粗配准通过互向欧式距离进
行匹配，选择由参考图像到待配准图像以及待配准图像到参考图像的双向
距离匹配，可以在粗配准中尽量减少错误匹配点对的存在；在粗配准之后
使用改进的随机采样一致算法对粗配准结果进行精细处理，剔除错误匹配
点对，使最终结果更加精确。
4.本文将算法应用到遥感图像的配准中，实验得到的配准精度较其
他算法有较大提升，并且配准效率较高，可以较好地应用于对实时性要求
较高的系统中。
参考文献（略）
