- 1 -
中国科技论文在线
可伸缩 3DTV 视频编解码器研究
白雪，张家谋**
作者简介：白雪， (1985-)，女，硕士研究生，主要研究方向：通信与信息系统。
通信联系人：张家谋， (1934-)，男，教授，主要研究方向：多媒体通信。
（北京邮电大学信息与通信工程学院，北京 100876）
摘要：为了使用现有的 2DTV基础设施实现 2DTV 向 3DTV 的平滑过渡，一种 3D 视频的帧兼容 5
(frame-compatible) 技术被提出。基于这种帧兼容技术，利用 2DTV系统在相对小的系统升
级下可实现 3DTV 的服务。这种方案中 3D 视频的恢复是将解码后的兼容帧分为半分辨率
（half-resolution）的左右眼子帧后分别内插而实现的。未来的 3DTV 市场将会有越来越多
的设备可以支持全分辨率的 3D 视频和半分辨率的 3D 视频的并存。本文提出一种基于 SVC
的可伸缩 3D 视频编解码器。编码端以 3D 视频 side-by-side 格式的兼容帧为输入，解码端10
输出可伸缩码流。从可伸缩码流中解码基本层后，用几种经典内插方法对左右眼半分辨率子
帧分别进行内插可恢复 3D 视频。把整个可伸缩码流解码后得到基本层和增强层后，用反交
错编码恢复出全分辨率的 3D 视频。实验结果证明了该方案的可行性。
关键词：3DTV；帧兼容(frame-compatible)；可伸缩视频编码(SVC)
中图分类号： 15
Research on Scalable 3DTV Video Codec
BAI Xue, ZHANG Jiamou
(School of Information and Communication Engineering, Beijing University of Posts and
Telecommunications, Beijing 100876) 20
Abstract: In order to support the 3DTV service through the existing 2DTV infrastructure, a 3D
video frame-compatible solution is proposed. In this solution, the left and right views are down
sampled and multiplexed by a side-by-side/top-bottom manner. However, this solution reduces the
resolution of the original content. The decoded compatible frame should be separate to left view
subframe and right view subframe as half-resolution frames and then the letf view subframe and 25
the right view subframe are interpolated respectively to recover the 3D video. The future 3DTV
market is also interested in a scalable solution that would provide the output compatibility of 3D
half resolution and 3D full resolution images. In this paper, an SVC based 3D scalable video
codec is proposed. It takes advantage of the side-by-side compatible frames as the input of the
SVC codec. If only the base layer is decoded from the scalable codestream, several classical 30
interpolation methods are used to recover the 3D video. If the entier codestream is decoded,
re-interleaving is used to recover the full resolution 3D video. Experimental results show the
feasibility of this scheme.
Keywords: 3DTV; Frame-compatible; Scalable video coding (SVC)
35
0 引言
随着诸如 3D 电影，3D 游戏，3D 体育节目等 3D 视频源的不断丰富，3D 视频通过移动
终端（例如移动电话），因特网，3D 电影放映设备等渠道逐渐走入人们的生活。近年来，
3D 视频通过电视走入家庭成为了研究领域的一个热点话题。
应用现有的 2DTV 的设备，实现向 3DTV 的平滑过渡，不仅可以节约更换设备的费用，40
而且可以提高过渡的效率。在现在的 3DTV 市场，帧兼容技术被广泛采用来实现这种平滑过
渡[1]。帧兼容技术就是把 3D 视频序列中的每对左右眼帧分别进行下采样并拼接在一起。使
拼接后的每帧与原来的左眼帧或者右眼帧具有相同的分辨率。把拼接后的帧序列放在原有的
2DTV 的系统中利用原有的视频编码和传输技术进行编码传输。在解码端，利用原有的解码
设备进行解码后，可以恢复出兼容帧序列。然后再从兼容帧序列中拆分出左眼子帧序列和右45
- 2 -
中国科技论文在线
眼子帧序列后分别进行内插从而恢复 3D 视频序列。基于这种帧兼容技术，内容提供商和服
务提供商利用现有的 2DTV 基础设施，可以为用户提供 3DTV 服务，从而实现了 2DTV 向
3DTV 的平滑过渡。然而，这种平滑过渡是以牺牲 3DTV 视频质量为代价的[2]。因为采用帧
兼容技术，解码后只能得到半分辨率的左右眼子帧再采用内插方法恢复 3D 视频。在未来的
3DTV 市场，会有越来越多的设备可以支持全分辨率的 3D 视频[3]。同时，现在已经存在的50
帧兼容方案将期待与全分辨率方案共存。用可伸缩编码实现共存是解决方案之一[4]。
本文提出一种基于 SVC 的可伸缩 3D 视频编解码器。在编码端，对于 3D 视频序列的每
一对左右眼帧进行交错编码得到两列兼容帧序列。这两列兼容帧序列分别作为 SVC 编码器
的基本层和增强层进行 SVC 编码。在解码端，根据需求，可对可伸缩码流基本层解码得到
半分辨率的左右眼子帧后分别内插恢复 3D 视频；也可对整个可伸缩码流解码后采用反交错55
编码恢复全分辨率 3D 视频。
1 兼容帧格式
兼容帧是指 3D 视频每对对应的左右眼两帧被下采样后重新拆分组合后形成的新帧[5]。
拆分组合有多种形式。图 1 给出了几种经典的兼容帧表现形式。
(Ⅰ) Top‐Bottom (Ⅱ) Side‐by‐Side
x x x x x x x x x x x x x x x x
x x x x x x x x x x x x x x x x
x x x x x x x x x x x x x x x x
x x x x x x x x x x x x x x x x
o o o o o o o o o o o o o o o o
o o o o o o o o o o o o o o o o
o o o o o o o o o o o o o o o o
o o o o o o o o o o o o o o o o
x x x x x x x x o o o o o o o o
x x x x x x x x o o o o o o o o
x x x x x x x x o o o o o o o o
x x x x x x x x o o o o o o o o
x x x x x x x x o o o o o o o o
x x x x x x x x o o o o o o o o
x x x x x x x x o o o o o o o o
x x x x x x x x o o o o o o o o
(Ⅲ) Row Interleaved (Ⅳ) Column Interleaved
x x x x x x x x x x x x x x x x
o o o o o o o o o o o o o o o o
x x x x x x x x x x x x x x x x
o o o o o o o o o o o o o o o o
x x x x x x x x x x x x x x x x
o o o o o o o o o o o o o o o o
x x x x x x x x x x x x x x x x
o o o o o o o o o o o o o o o o
x o x o x o x o x o x o x o x o
x o x o x o x o x o x o x o x o
x o x o x o x o x o x o x o x o
x o x o x o x o x o x o x o x o
x o x o x o x o x o x o x o x o
x o x o x o x o x o x o x o x o
x o x o x o x o x o x o x o x o
x o x o x o x o x o x o x o x o
图 1 经典帧兼容格式，其中 x 表示左（右）眼采样点，o 表示右（左）眼采样点 60
Classic frame-compatible formats, where x represents the samples from left (right) view and o represents
samples from right (left) view
2 可伸缩视频编码 (SVC)
可伸缩视频编码是基于传统的 MPEG-4 AVC 编码的改良[6]。可伸缩视频编码的65
目标是在编码端编码一次得到可伸缩码流。在解码端，根据用户需求对可伸缩码流解码得到
不同帧率，不同分辨率，不同质量的视频。可伸缩视频编码有三大特性：时间可伸缩性，空
间可伸缩性以及质量可伸缩性[7]。
一个典型的可伸缩视频编码的预测结构如图 2 所示：
- 3 -
中国科技论文在线
70
图 2 典型的可伸缩编码预测结构
Typical SVC prediction structure
3 基于 SVC 的可伸缩 3D 视频编解码器
本文提出一种基于 SVC 的可伸缩 3D 视频编解码器。在编码端，左右眼每对对应帧被75
下采样交错编码形成两帧兼容帧。本文采用的是 side-by-side 格式的兼容帧。兼容帧的形成
过程如图 3 所示。
图 3 Side-by-side 格式兼容帧的形成
Generation of Side-by-side compatible-frame 80
得到兼容帧序列后，将奇数列兼容帧序列作为基本层，偶数列兼容帧序列作为增强层进
行 SVC 编码。本文中，基本层和增强层的帧率相同。在时间域，基本层和增强层采用相同
的运动补偿预测结构。
在解码端，对可伸缩码流进行解码时有两种方案。第一种方案的编解码结构如图 4(a)85
所示。解码端只解码基本层码流恢复出奇数列兼容帧序列后，首先对每帧奇数列兼容帧拆分
为半分辨率的左眼子帧和右眼子帧，然后采用内插方法恢复 3D 视频。对可伸缩码流解码的
第二种方案就是解码整个可伸缩码流后得到基本层的奇数列兼容帧序列和增强层的偶数列
兼容帧序列，然后采用反交错编码恢复全分辨率的 3D 视频。第二种方案的编解码结构如图
4(b)所示。 90
- 4 -
中国科技论文在线
左
眼
右
眼
交
错
编
码
奇数列兼容帧
（基本层）
偶数列兼容帧
（增强层）
SVC
编
码
奇数列兼容帧
（基本层）
内
插
左
眼
右
眼
SVC
解
码
编码过程 解码过程
图 4 (a) 基于 SVC 的可伸缩 3D 视频编解码器结构（只解码基本层）
(a) SVC based 3D video codec（only base layer is decoded）
95
图 4 (b) 基于 SVC 的可伸缩 3D 视频编解码器结构（解码整个可伸缩码流）
(a) SVC based 3D video codec（the entire scalable code stream is decoded）
图 4. 基于 SVC 的可伸缩 3D 视频编解码器结构
SVC based 3D video codec 100
方案二中反交错编码的过程如图 5 所示。
图 5. 反交错编码恢复左右眼帧
Fig5. Re-interleaving for restoration of left and right views 105
4 实验结果
本文采用了可伸缩编码 (SVC) 的参考软件 JSVM (Joint Scalable Video Model) 的
版本进行 SVC 编解码。仿真所用的测试序列是 512x384 的 YUV 序列。本文采用了此序列
的前 64 帧。画面组 GOP 的大小为 16，量化参数值分别为 20, 25, 30, 35, 40 时的峰值信噪比110
均被测试。对于解码端只解码可伸缩码流中的基本层来说，需要对解码恢复后得到的半分辨
率的左右眼帧进行内插，本文采用了四种内插方法 :最近邻域内插 (Nearest interpolation), 线
性内插 (Linear interpotion), 分段三次 Hermite 内插 (Piecewise cubic Hermite interpolation),
- 5 -
中国科技论文在线
三次样条内插( Cubic spline interpolation)。四种内插方法得出的率失真曲线如图 6 所示 :
500 1000 1500 2000 2500 3000 3500 4000 4500 5000 5500
29
30
31
32
33
34
35
BitRate(Kbits/s)
P
S
N
R
-Y
(d
B
)
Piecewise Cubic Hermite Interpolation
Linear Interpolation
Cubic Spline Interpolation
Nearest Interpolation
115
图 6 四种内插方法的率失真曲线(左眼)
Rate distortion curves for the four interpolation methods (left view)
由图 6 可以看出，最近邻域内插方法得出的率失真特性远远差于其它三种方法；其它三
种方法得出的率失真特性相差不多，其中由分段三次 Hermite 内插方法得出的率失真特性最120
优。
当 SVC 解码时解码整个可伸缩码流，并用反交错编码恢复全分辨率 3D 视频时，其率
失真特性与分段三次 Hermite 内插方法恢复 3D 视频的率失真特性的对比如图 7 所示。
0 1000 2000 3000 4000 5000 6000 7000 8000 9000
30
35
40
45
BitRate(Kbits/s)
P
S
N
R
-Y
(d
B
)
Re-interleaving
Piecewise Cubic Hermite Interpolation
图 7 反交错编码恢复 3D 视频与分段 3 次 Hermite 内插恢复 3D 视频的率失真特性（左眼） 125
Rate distortion curve for re-interleaving and piecewise cubic Hermite interpolation method（left view）
- 6 -
中国科技论文在线
从图 7 中可以看出，反交错编码的方法得到的率失真特性优于内插方法得到的率失真特
性。SVC 编码中基本层编码是独立于增强层的，内插恢复 3D 视频的方案可以利用 2D 视频
的系统来提供 3D 视频的服务。反交错编码恢复 3D 视频的方案有更好的率失真特性，但是
它与现存的 2DTV 系统兼容性不高，需要现存系统进行（相对于内插恢复 3D 视频方案）较130
大的改变与升级来实现这种方案。
5 结论
本文中，一种基于 SVC 的可伸缩 3D 视频编解码器的解决方案被提出。这种解决方案
利用 side-by-side 格式的兼容帧作为 SVC 编码器的输入，编码形成可伸缩码流后。解码端
SVC 解码器根据需要可以只解码可伸缩码流中的基本层码流后得到半分辨率的左右眼子帧135
再分别进行内插恢复 3D 视频；也可以解码整个可伸缩码流后用反交错编码恢复全分辨率的
3D 视频。文中对提出的编解码器进行了仿真与分析，验证了方案的可行性。
[参考文献] (References)
[1] Y. Chen, R. Zhang , and M. Karczewicz , Comments on MFC Requirements, m19229, ISO/IEC 140
JCT1/SC29/WG11, Daegu, Korea, Jan. 2011
[2] Y. Chen, R. Zhang, and M. Karczewicz , MVC Based Scalable Codec Enhancing Frame-compatible
Stereoscopic Video, IEEE International Conference on Multimedia and Expo, 2011.
[3] P. V. Pahalawatta, A. Leontaris, A. M. Tourapis, and W. J. Husak, Performance Analysis of Frame Compatible
Full Resolution 3D Coding Systems, m19414, ISO/IEC JTC1/SC29/WG11, Daegu, Korea, Jan. 2011. 145
[4] K. Minoo, D. Baylon, A. Luthra, V. Kung , and K. Panusopone , Scalable resolution enhancement of
frame-compatible stereoscopic 3D video, m19008, ISO/IEC JTC1/SC29/WG11, Daegu, Korea, Jan. 2011.
[5] A. Vetro, Frame Compatible Formats for 3D Video Distribution, IEEE International Conference on Image
Processing, 2010
[6] H. Schwarz, D. Marpe and T. Wiegand, Overview of the Scalable Video Coding Extension of the 150
Standard [J]. IEEE Transition on Circuits and Systems for Video Technology, , , 2007
[7] 汪大勇，孙士新，可伸缩视频编码研究现况综述[J]. 电子测量与仪器学报，, , 2009
