- 1 -
中国科技论文在线
基于 a-expansion 的超分辨率图像重建#
张东晓1,2，李翠华1**
基金项目：国家自然科学基金（61373077）；国防基础科研计划（B0110155）；国防科技重点实验室
（9140C30211ZS8）；高等学校博士学科点专项科研基金项目（20110121110020）；福建省重点项目
（2014H0034）；黄慧贞集美大学学科建设基金（ZC2014010）
作者简介：张东晓（1980—），男，讲师，主要研究方向：超分辨率重建技术
通信联系人：李翠华，教授，主要研究方向：计算机视觉、视频与图像处理和超分辨率重建技术. E
（1. 厦门大学信息科学与技术学院，福建 厦门 361005；
2. 集美大学理学院，福建 厦门 361021） 5
摘要：为了获得更精确的超分辨率重建结果，在重建高分辨率像素时，剔除对重建没有贡献
甚至贡献微弱的低分辨率像素，保留有所贡献的低分辨率像素。对这些低分辨率像素的贡献
加以程度化，获得所有低分辨率像素的加权贡献。以此为基础建立超分辨率重建的极小化能
量函数，并使用 a-expansion 算法求解能量函数极小化问题。在求解过程中，保留了三个像10
素间的关系，避免了由能量函数的近似而引入错误信息。实验结果表明，所提方法是合理的、
有效的。
关键词：图像处理；超分辨率；a-expansion 算法；图像重建；程度化
中图分类号：TP391
15
Image super-resolution reconstruction based on a–expansion
algorithm
Zhang Dongxiao
1,2
, Li Cuihua
1
(1. School of Information Science and Technology, Xiamen University, Xiamen, Fujian
361005,China; 20
2. School of Science, Jimei University, Xiamen, Fujian 361021, China)
Abstract: In order to obtain more accurate super-resolution reconstruction results, we deleted the
low-resolution pixels contributing nothing to the reconstruction of a high-resolution pixel. Grading
method was introduced to weighting the contribution of these remainder low-resolution pixels,
which did contribute to the reconstruction. Minimization energy function for super-resolution was 25
obtained based on the weighted sum. In addition, a-expansion was chosen to minimize the energy
function. Triple priors (the relation between three adjacent pixels) were retained in the process of
a-expansion, which can restrain error messages introduced by energy function over approximation.
The experiment results show that the proposed method is both reasonable and effective.
Key words: image processing; super-resolution; a-expansion algorithm; image reconstruction; 30
grading
0 引言
超分辨率重建技术是现有硬件条件下提升图像分辨率的有效技术手段，具有广泛的应用
前景。重建算法大致可以分为两种：多帧重建和单帧重建。单帧重建[1-3]主要针对单帧低分35
辨率图像，利用预先训练的图像库，通过学习的方式重建一幅较高分辨率图像，以期在图像
放大若干倍后，依然保持低分辨率图像的细节信息。多帧重建[4-8]主要利用低分辨率图像序
列间的互补信息进行重建，获得一幅较高分辨率的图像，以期分辨低分辨率图像序列中原本
无法辨识的细节信息。两类方法各有用途，本文侧重提高细节辨识能力的研究，只对多帧重
建展开讨论。 40
多帧重建往往需要对图像退化过程进行建模，在图像退化过程中，受点扩散函数（Point
- 2 -
中国科技论文在线
Spread Function，PSF）的影响，低分辨率图像中的某个像素点 'p 的灰度值取决于高分辨
率图像中的众多像素，此外，这些高分辨率像素中的某些像素还会影响 'p 周围的低分辨率
像素。在重建这些高分辨率像素 p 时，首要的任务便是寻找那些在退化过程中受它影响的
低分辨率像素。在多帧重建中，这一任务通常利用图像配准技术来完成。由于配准技术存在45
一定误差，这会导致所确定的低分辨率像素可能在退化过程中并未受到 p 的影响或者影响
很微弱，那么在重建高分辨率像素 p 时，如果大量使用这样的低分辨率像素，势必导致重
建结果失真。文献[6]提出高分辨率像素在低分辨率坐标系中的“影响范围”，一定程度上
解决了这一问题。
一个高分辨率像素 p 的“影响范围”界定了对其有影响的低分辨率像素，也就是只有50
在这个范围内的低分辨率像素才会对 p 的重建有所作用。在重建高分辨率像素 p 的过程中，
可以利用“影响范围”摒弃那些对 p 的重建没有作用甚至作用微小的低分辨率像素。文献
[6]的实验结果表明，这确实可以避免过于冗余的信息所导致的模糊效应。
然而文献[6]对落在“影响范围”内的低分辨率像素一视同仁，并未考虑它们对重建高
分辨率像素 p 所起作用的差异性。事实上，针对高分辨率像素 p ，落入其影响范围的低分55
辨率像素来自不同的低分辨率图像帧，在图像退化过程中，这些低分辨率像素受 p 的影响
是无疑的，但是其影响的程度却是不同的。那么，在重建高分辨率像素 p 时，无区别地使
用这些低分辨率像素无疑是不合理的。
本文将针对这一问题，引入程度化思想，在重建 p 时，不仅考虑 p 的“影响范围”，
还要考虑落在“影响范围”内的低分辨率像素的差异性。这一差异性主要通过高分辨率像素60
p 在低分辨率网格中的像元位置 "p 与低分辨率像素 'p 之间的差距来体现，这种差距越大，
低分辨率像素 'p 对重建 p 的贡献越小，反之，这种差距越小， 'p 对重建 p 的贡献越大。
文献[6]在极小化超分辨率能量函数时使用了图割算法。图割算法能够很好地解决 F2 类
函数[9]的极小化问题，为了使能量函数具有 F2 类函数的形式，文献[6]将能量函数中关于三
个相邻像素的数据项直接舍弃，这在一定程度上降低了重建算法的精度，在重建结果中势必65
会引入错误信息。为了弥补这一不足之处，本文将保留这些信息。事实上，图割算法也支持
F
3 类函数[9]的极小化求解。本文试图将超分辨率能量函数纳入 F3 类函数，以保留文献[6]舍
弃的三个相邻像素间的数据项。
1 确定能量函数
设 1 2, , , ng g gL 为现有硬件设备采集的 n 帧低分辨率图像，f 为待重建的高分辨率图70
像。如图 1 所示，图像的退化过程可以描述为：(a)中高分辨率图像经过几何变换 kT 后变为
(b)中结果，然后对(a)和(b)分别进行模糊(点扩散函数 kH )、退化( D )、加噪声得到(c)和(d)。
与文献[6]一致，将图像退化模型表示为：
k k k kg DH T f ， 1,2, ,k n L 。 (1)
其中，
kT 为几何变换， kH 为点扩散函数，D为下采样算子， k 是噪声信号。本文考虑 4475
倍重建，所以下采样算子 D为 4:1 采样。
- 3 -
中国科技论文在线
模糊，下采样，噪声
(d)(c)
(b)(a)
图 1 图像退化模型示意图。(a)为待重建的高分辨率源图，(b)为经过变换后的高分辨率图像，(c)为第 1
帧低分辨率图像，在重建时作为参考帧，(d)为第 k 帧低分辨率图像。
Fig. 1 The process of image degradation. (a) High-resolution image to be reconstructed. (b) High-resolution 80
image after the transformation is applied to (a). (c) First low-resolution image treated as a reference frame. (d) kth
low-resolution image.
为了去掉对重建没有贡献或者贡献微弱的低分辨率像素，文献[6]引入影响范围的概念。
如图 2所示，高分辨率像素 p 在低分辨率坐标系中的投影为 " kp DT p 。在低分辨率图像 rg
和 sg 中，存在低分辨率像素 'p 落在其影响范围内，那么该像素对 p 的重建将起作用。而在85
低分辨率图像 tg 中，并没有低分辨率像素落入影响范围，那么该低分辨率图像对 p 的重建
没有贡献。以阈值函数定义为：
1, , "
, '
0,
k
d p p
p p
其它
， (2)
其中， d 是为欧式距离， 为阈值，在算法执行过程中，将 k归一化使 1k
k
。
影响范围
90
图 2 影响范围
Fig. 2. The zone of influence
在 MRF 中建立能量极小化函数，
2
,
1 ,
| , ' * ( ) ( ') ( ), ( )k k p q
p S k p q N
E f g p p h f p g p V f p f q
, (3)
其中， *h f 为离散点扩散函数h和待重建高分辨率图像 f 的卷积。 95
公式(3)中的第一项为似然项，由图像退化模型确定，该项保证重建结果的真实性。第
二项为平滑先验项，定义为 , ( ), ( ) =min , ( ) ( )p qV f p f q f p f q ，为调节平滑度的
- 4 -
中国科技论文在线
参数。为调节似然项和先验项权重的参数，实验结果表明太大会导致图像过度平滑，
所以不宜太大。
如图 2 所示，在低分辨率像素 'p 和高分辨率像素 p 之间的三种关系中， tg 中的 'p 没100
有落在影响范围内，它和 p 不建立联系，依据公式(2)， , ' 0t p p 。而 rg 和 sg 中的 'p
落在影响范围内，依据公式(2)可得 , ' 1r p p 且 , ' 1s p p ，也就是说 rg 和 sg 中的低
分辨率像素对重建 p 的贡献是一样的。但是， rg 中的 'p 几乎位于影响范围的边缘，而 sg 中
的 'p 几乎位于影响范围的中心，将这两个低分辨率像素对 p 的贡献不加以区别就显得不太
合理。显然，越是落在影响范围中心的低分辨率像素对 p 的贡献应该越大，反之，越在边105
缘处贡献应该越小。因此，本文对 , 'k p p 加以程度化，使用如下新的阈值函数：
* 1 , ', ", '
0,
k
d d p p
p p
其它
(4)
因此，本文所得能量函数为
2*
,
1 ,
| , ' * ( ) ( ') ( ), ( )k k p q
p S k p q N
E f g p p h f p g p V f p f q
, (5)
2 极小化能量函数 110
针对诸如公式(5)这类不连续的能量函数，-expansion[10]是一种快速、有效的算法。文
献[9]给出该算法所能求解的两类能量函数：F2类和 F3 类，它们分别表示为：
,
1 2( ( ) ( , )
i i j
n i i j
i i j
E x x x E x E x x
, , , ) ， (6)
, , ,
1 2( ( ) ( , ) ( , , )
i i j i j k
n i i j i j k
i i j i j k
E x x x E x E x x E x x x
, , , ) , (7)
其中， 1 2 {0,1}nx x x , , , ， ( )
i
iE x 为数据项，是针对单个像素的能量形式。
, ( , )i j i jE x x 为115
二元先验项， , , ( , , )i j k i j kE x x x 为三元先验项，表示相邻三个像素之间的能量形式。在
-expansion 过程中，用 =1ix 表示第 i 个像素的灰度值为 ，用 =0ix 表示第 i 个像素的灰度
值保持不变。
受滤波器h的影响，公式(5)的似然项中存在相邻像素间的运算，不满足数据项 ( )
i
iE x 的
形式。为此，需要重写能量函数(5)。根据卷积规则，可设 *
p
pp p pq q
q N
h f p f f
，则 120
2*
1
* ( ) ( ')
n
k k
p S k
h f p g p
2
*
1
( ')
p
n
k pp p k pq q
p S k q N
f g p f
2
2
*
1
( ') 2 ( ')
p p
n
k pp p k pq q pp p k pq q
p S k q N q N
f g p f f g p f
- 5 -
中国科技论文在线
2
2
*
1 1
( ')
p
n n
k pp p k k pq q
p S k p S k q N
f g p f
*
1
2 ( ')
p
n
k pp p k pq q
p S k q N
f g p f
125
注意到 *
1
1
n
k
k
，则
2 2
*
1 p p
n
k pq q pq q
p S k q N p S q N
f f
2
,
( ) ( )( )
p p
pq q pq q pr r
p S q N p S q r N
f f f
，
于是能量函数(11)重写为
2
* *
1 1
| ( ') 2 ( ')
p
n n
k pp p k k pp p k pq q
p S k p S q N k
E f g f g p f g p f
2 ,
, ,
( ) , ( )( )
p p
pq q p q p q pq q pr r
p S q N p q N p S q r N
f V f f f f
(8) 130
记
2
*
1
( ')
n
p
k pp p k
k
E f g p
，
2
,
,
1
2 ( ')
n
p q
k pp p k pq q pq q p q
k
E f g p f f V
，
, ,p q r
pq pr q rE f f ，则能量函数为：
, , ,
,p p
p p q p q r
p S q N q r N
E E E E
(9)
公式(9)中的第一项未涉及相邻像素的关系，满足公式(6)和(7)的数据项要求。第二项只
涉及相邻两个像素的关系，满足公式(6)和(7)的二元先验项要求。第三项涉及相邻三个像素135
之间的关系，满足公式(7)的三元先验项要求。
文献[6]为了让公式(8)具有公式(6)的形式，直接舍弃了三元先验项，这样处理势必降低
重建精度，引入错误信息。本文考虑将其保留，为此将其表示为公式(7)的形式。对比公式(9)
和公式(7)，可以发现公式(9)中求和符号下标并无顺序关系，即，
pq N 和 qp N 可以同时
成立，而公式(7)则要求下标具有顺序关系。为此，本文引入如图 3 所示的新邻域系统： 140
8邻域
8 neighborhood
图 3 新领域系统，有数字的位置与 p 相邻
Fig. 3. A new neighborhood system. Only these sites with number tags are connected with p
图 3 为针对 8 邻域系统的新邻域关系，其他邻域系统可以类似获得。与像素 p 相邻的
位置用数字标记，数字排序表示邻域内像素的顺序关系。用 *
pq N 表示q在 p 的新邻域内，145
用
qs 表示 q 在新邻域内的位置序号。显然
*
pq N 与
*
qp N 不能同时成立，且
* *
, , , ,
, , ,
2
p p q r
p q r p q r
q r N q r N s s
E E
。此时，公式(9)可以写为
* *
, , , , , ,
, ,p p q r
p p q q p p q r p r q
p S q N q r N s s
E E E E E E
(10)
- 6 -
中国科技论文在线
3 实验结果及分析
为了验证本文所提的新阈值函数的合理性，也为了说明保留相邻三个像素间关系的必要150
性，我们比较本文方法和文献[6]方法重建结果的 PSNR。将算法中用到的参数、和 表
示为向量 , , 。
为了获得较全面的比较结果，选择四种类型的图像（如图 4 所示），设置 48 组参数，
其中参数向量 , , 的各分量取值如下：
,,, ， ,,, 和 8,10,20 。 155
(a) Boat (b) Cameraman (c) EIA (d) Lena
图 4 高分辨率源图 (256256)
Fig. 4. Ground truth images (256256)
重建时，先将图 4 所示的高分辨率源图按照公式(1)进行退化，退化过程中的变换以随
机方式产生，最大平移量为 16，最大旋转角度为
32
，下采样倍数为4 4 。由于旨在考虑160
本文想法的合理性，所以暂不考虑噪声。针对图 4 所示的每组源图，获得 32 帧低分辨率图
像。分别利用文献[6]和本文的方法对着四组低分辨率图像进行重建，然后与源图比较并计
算 PSNR 值。针对四种不同类型的图像，在 48 种参数设置下，所得 48 个 PSNR 的统计结果
如表 1 所示。比如，针对 Boat 图像，在 48 种参数设置下，用本文方法所得重建结果的 48
个 PSNR 值的最大值、平均值和最小值分别为 、 和 ，而用文献[6]方165
法所得 48 个 PSNR 的最大值、平均值和最小值分别为 、 和 。
表 1 PSNR 的统计结果
Table 1 Statistical results of PSNR
Image
Method
文献
[6]
本文
文献
[6]
本文
文献
[6]
本文
文献
[6]
本文
Max
Average
Min
Boat Cameraman EIA Lena
分析表 1 中的结果可以发现，本文方法的 PSNR 值都大于文献[6]的结果。以第二行的170
平均值为例，针对 Lena 图像，本文方法所得 PSNR 平均值比文献[6]的结果大了将近 dB。
即使在差距最小的图像 EIA 方面，其差值也差不多为 。
为了全面比较两种方法的 PSNR，将以上 48 个参数向量依照如下方式排序：
,,8 ， ,,10 ，……， ,,10 ， ,,20 。
将其序号记为 iP ， 1,2, ,48i 。以 iP 为横坐标，PSNR 为纵坐标，两种方法所得 PSNR175
如图 5 所示。分析图 5，针对四种图像，不管是哪一种参数设置，本文方法所得 PSNR 都远
大于文献[6]的 PSNR，由此可见，本文所提改进思路是合理的，保留三个像素间的的关系确
实可以提升重建精度。此外，也可以看出影响范围的半径 对重建效果有较大影响，比较大
的半径会导致重建结果模糊。不过太小的半径又会剔除很多有用的低分辨率像素，会导致重
建结果缺乏细节信息。经过实验发现 是一个比较理想的半径。 180
- 7 -
中国科技论文在线
图 5 48 种参数下本文方法和文献[6]重建结果的 PSNR 比较图. 横坐标为 48 中参数设置的序号，纵坐标为
PSNR 的值. 三角形是本文结果，实点是文献[6]的结果
Fig. 5 Comparison of PSNR between Ref. [6] and ours. Abscissa values are the serial numbers of 48 kinds of
parameters. Ordinate values are PSNR. Triangle symbols denote our results while real points designate the results 185
of Ref. [6]
4 结论
从图像退化过程来看，受点扩散函数的影响，一个低分辨率像素受多个高分辨率像素的
影响，同时一个高分辨率像素也会影响多个低分辨率像素，只是影响的程度有所不同。那么
在由低分辨率图像重建高分辨率图像时，一个高分辨率像素的重建需要找出在退化过程中这190
个高分辨率像素所影响过的低分辨率像素。同时这些低分辨率像素对该高分辨率像素重建的
贡献应该是不同的，如果将找到的低分辨率像素不加区别地用于重建，必然在重建结果中引
入错误信息。本文对这些低分辨率像素的贡献进行程度化处理，在构建能量函数时根据其贡
献大小给予其不同的权重。从实验结果的 PSNR 对比来看，所提方法是合理的、有效的。此
外，在极小化能量函数时，在使用 -expansion 算法的同时保留了三元先验项，最大程度地195
保证能量函数的精确度，这一点也得到了实验结果的验证。
[参考文献] (References)
[1] Yang J C, Wright J, Huang T S, Ma Y. Image Super-Resolution Via Sparse Representation[J]. IEEE
Transactions on image processing, 2010, 19(11):2861-2873.
[2] Ren J, Liu J Y, Guo Z M. Context-Aware Sparse Decomposition for Image Denoising and Super-Resolution[J]. 200
IEEE Transactions on Image Processing, 2013, 22(4):1456-1469.
[3] 白蔚，杨撒博雅，刘家瑛，郭宗明. 基于显著性稀疏表示的图像超分辨率算法[J].中国科技论文，2014，
9(1)：103-107.
Bai Wei, Yang Saboya, Liu Jiaying, Guo Zongming. Image super resolution based on salient sparse coding[J].
China Sciencepaper, 2014, 9(1): 103-107. (in Chinese) 205
[4] Li X L, Hu Y T, Gao X B. A multi-frame image super-resolution method[J]. Signal Processing, 2010,
90(2):405-414.
[5] Ji H, Fermüller C. Robust wavelet-based super-resolution reconstruction: theory and algorithm[J]. IEEE
Transaction on Pattern Analysis and Machine Intelligence, 2009, 31(4):649-660.
[6] Mudenagudi U, Banerjee S, Kalra P K. Space-time super-resolution using graph-cut optimization[J]. IEEE 210
Transaction on Pattern Analysis and Machine Intelligence, 2011, 33(5): 995-1008.
[7] Esmaeil F, Dinesh R, Marc P C. A Unified Blind Method for Multi-Image Super-Resolution and
Single/Multi-Image Blur Deconvolution[J]. IEEE Transactions on Image Processing, 2013, 22(6):2101-2114.
[8] 张东晓，鲁林，李翠华，金泰松. 基于亚像素位移的超分辨率图像重建算法[J]. 自动化学报，2014,40(12)：
2851-2861. 215
Zhang Dongxiao, Lu Lin, Li Cuihua, Jin Taisong. Super-resolution image reconstruction algorithm based on
sub-pixel shift[J]. Acta Automatica Sinica, 2014, 40(12): 2851-2861. (in Chinese)
[9] Kolmogorov V, Zabih R. What energy functions can be minimized via graph cuts[J]. IEEE Transaction on
Pattern Analysis and Machine Intelligence, 2004, 26(2): 147-159.
[10] Boykov Y, Kolmogorov V. An experimental comparison of min-cut/max-flow algorithms for energy 220
minimization in vision[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2004, 26(9):
1124-1137.
