*
*
第四章 视频信息的获取与处理
*
*
数字化视频
*
*
数字化视频概念
*
*
视频数字化
在第二种方法中，要使一台PC机具有视频信息的处理功能，系统对硬件和软件还需如下要求：
（1）视频（捕捉）卡：它将模拟视频信号转换成数字化视频信号。
（2）视频存储设备：至少有30MB的自由硬盘空间或更多。
（3）一个视频输入源，如视频摄像机、录像机或光盘驱动器，这些设备连到视频捕获板上。
（4）视频软件：它包括视频捕获、压缩，播放和基本视频编辑功能。
*
*
数字视频采集过程
摄像机
录像机
视频软件
扬声器
显示器
视频卡
音频卡
硬盘
可以用模拟信号源和一块视频采集卡完成视频采集，视频采集卡接受模拟信号，然后将其转化成数字视频数据。
*
*
● 电视图像数字化方法
数字视频获取
*
*
● 数字视频采样
数字视频获取
*
*
彩色电视数字化指标（CCIR601）
数字视频获取
● 电视图像数字化标准
采样格式 信号形式 采样频率(MHz) 样本数（扫描行）
NTSC PAL 数字电视图像取值范围（A/D）
4 : 2 : 2 Y
CR
CB
858(720)
429(360)
429(360) 864(720)
432(360)
432(360) 220级(16~235)
225级(16~240)
(128±112)
4 : 4 : 4 Y
CR
CB
858(720)
858(720)
858(720) 864(720)
864(720)
864(720) 220级(16~235)
225级(16~240)
(128±112)
*
*
数字视频获取
●数字视频采样
采样格式：
4：4：4 在每条扫描线上每4个连续的采样点取4个亮度信号Y样本，4个红色差Cr样本和4个蓝色差Cb样本，相当于每个象素用3个样本表示。
4：2：2 在每条扫描线上每4个连续的采样点取4个亮度信号Y样本，2个红色差Cr样本和2个蓝色差Cb样本，相当于每个象素用2个样本表示。
4：1：1 在每条扫描线上每4个连续的采样点取4个亮度信号Y样本，1个红色差Cr样本和1个蓝色差Cb样本，相当于每个象素用个样本表示。
*
*
● 数字视频采样
数字视频获取
*
*
●数字视频采样
采样频率：
1）对于PAL和SECAM制，采样频率为：
Fs=625×25×N = 15625×N=
N=864
N为每一扫描行上的采样数目
2）对于NTSC制，采样频率为：
Fs=525××N = 15734×N=
N=858
N为每一扫描行上的采样数目
数字视频获取
*
*
●数字视频采样
有效显示分辨率：
对于PAL和SECAM制的亮度信号，每一条扫描线上有864个样本，对于NTSC制，每一扫描线上有858个样本。对于所有制式，每一扫描行的有效采样样本为720个。
计算机中显示电视图像常用的分辨率为：
NSTC制：640×480
PAL制：768×576
数字视频获取
*
*
数字视频获取
电视信号的传送过程
*
*
数字视频获取
电视信号的传送过程
1）原始彩色图像的RGB信号，经过颜色空间转换，转换成亮度信号和色差信号(Y,U,V)；经过A/D转换（采样、量化）得到数字信号，然后发送。如果Y,U,V各取8位，则每个象素需要经过24位的数据量，这种编码就是PCM编码。
2）接受端恢复R,G,B信号显示彩色图像。
*
*
数字视频压缩编码
视频压缩基础
因为视频图像的相邻帧是非常相似的，只是由于运动的存在，存在一定程度的帧差（相邻两帧的差值，体现了两帧之间的不同之处），所以在视频图像中主要存在的是时间冗余。
时间冗余——视频图像中的主要冗余
*
*
数字视频压缩编码
数字视频图像的采样过程
视频场景
空间采样点阵
时间采样
*
*
数字视频压缩编码
视频图像的编码方法的基本思想
*
*
数字视频压缩编码
运动矢量
宏块在上一帧搜索窗口内寻找匹配块
编码时，对当前帧的每一个方块进行如下操作：
在前一帧中寻找当前块的相似块；
计算当前块和前一帧相似块之间的运动矢量；
计算当前块和前一帧相似块之间的帧差；
对运动矢量进行编码；
对帧差块进行编码。
帧t
帧t+1
运动矢量
搜索窗
宏块
被搜索的宏块
最佳匹配的宏块
当前帧图像中的一个小方块（称为宏块）可以
在上一帧图像中找到相似的块，这两个方块之
间的位移（带方向的距离），称为运动矢量。
*
*
数字视频压缩编码
在前一帧寻找相似块时一般限制在一定的区域 ：
寻找相似块的操作可以分为两种类型：
全部搜索：
在限制的搜索区域内对每一个可能的块进行比较，找到最相似的块，
这些寻找的速度比较慢。
快速搜索：
用较少的比较次数，找到最佳匹配块的近似块，这样搜索速度比较快。
当前块
搜索窗
*
*
数字视频压缩编码
匹配判据是判断两个宏块的相似程度，一般用下面的几种方法进行表示：
绝对差值AE：
*
*
数字视频压缩编码
判断两个宏块的相似程度
均方误差MSE：
其中：i，j分别表示宏块的横坐标和纵坐标；I，J分别表示宏块的横坐标和纵坐标的像素个数；f(i,j)表示当前帧中的宏块的灰度值，g(i-dx,j-dy)表示参考帧中的宏块在横坐标和纵坐标的偏移量为（dx,dy）处的灰度值。
*
*
数字视频压缩编码
判断两个宏块的相似程度
平均绝对帧差MAD：
其中：i，j分别表示宏块的横坐标和纵坐标；I，J分别表示宏块的横坐标和纵坐标的像素个数；f(i,j)表示当前帧中的宏块的灰度值，g(i-dx,j-dy)表示参考帧中的宏块在横坐标和纵坐标的偏移量为（dx,dy）处的灰度值。
*
*
① 在缓存中重构一个经过编解码处理的前一帧的图像，该图像称为运动估计的“参考帧”，编码端和解码端采用同样的参考帧；
数字视频压缩编码
运用运动补偿技术进行预测编码的过程
*
*
② 计算当前帧中的每一个方块（一般为16*16像素的宏块）和缓存中的参考帧中宏块的最佳匹配块，即进行运动估计计算。用运动矢量表明两个宏块之间的位移。例如，运动矢量＝（-4，5），则在当前帧的宏块向右移动4个像素，向下移动5个像素，就可以在参考帧中找到最匹配的宏块。
数字视频压缩编码
运用运动补偿技术进行预测编码的过程
*
*
③ 通过参考帧的最佳匹配块进行运动补偿计算，得到当前帧的最相似图像（运动补偿参考帧）。
数字视频压缩编码
运用运动补偿技术进行预测编码的过程
*
*
④ 然后当前帧和运动补偿参考帧进行差值运算（相对应的像素进行减法运算），得到运动补偿的帧差图像。
数字视频压缩编码
运用运动补偿技术进行预测编码的过程
*
*
⑤ 对帧差图像进行DCT变换和量化；
数字视频压缩编码
运用运动补偿技术进行预测编码的过程
*
*
⑥ 量化后的系数和运动矢量进行熵编码和传输；
数字视频压缩编码
运用运动补偿技术进行预测编码的过程
*
*
⑦ 量化后的系数同时被解码，得到的帧差图像和运动补偿参考帧进行加法运算，从而得到一个新的放在缓存中的参考帧。
数字视频压缩编码
运用运动补偿技术进行预测编码的过程
*
*
①在解码端对运动矢量和系数进行解码；
数字视频压缩编码
在解码端重构当前帧的过程
*
*
②对系数进行反量化和反变换，得到帧差图像；
数字视频压缩编码
在解码端重构当前帧的过程
*
*
③ 对缓存中的参考帧（重构的前一帧图像）通过运动矢量进行运动补偿计算，得到运动补偿参考帧；
数字视频压缩编码
在解码端重构当前帧的过程
*
*
④ 帧差图像和运动补偿参考帧进行加法运算，得到当前帧图像；
数字视频压缩编码
在解码端重构当前帧的过程
*
*
⑤ 当前帧图像放入缓存中，作为新的参考帧。
数字视频压缩编码
在解码端重构当前帧的过程
*
*
数字视频压缩编码标准
数字视频技术广泛应用于通信、计算机、广播电视等领域，带来了会议电视、可视电话及数字电视、媒体存储等一系列应用，促使了许多视频编码标准的产生。ITU-T( International Telecommunication Union - Telecommunication Standardization国际电信联盟远程通信标准化组 ) 与ISO/IEC （International Electrotechnical Commission IEC是国际电工委员会 ）是制定视频编码标准的两大组织.
ITU-T 的标准包括、、、，主要应用于实时视频通信领域，如会议电视；
MPEG 系列标准是由ISO/IEC制定的，主要应用于视频存储(DVD)、广播电视、因特网或无线网上的流媒体等。两个组织也共同制定了一些标准， 标准等同于MPEG-2 的视频编码标准，而目前最热门的 标准则是MPEG-4的第10 部分。
*
*
数字视频压缩编码标准
视频编码标准
是ITU-T 为在综合业务数字网(ISDN)上开展双向声像业务(可视电话、视频会议)而制定的，速率为64kb/s的整数倍。 只对CIF 和QCIF 两种图像格式进行处理，每帧图像分成图像层、宏块组(GOB)层、宏块(MB)层、块(Block)层来处理。
是最早的运动图像压缩标准，它详细制定了视频编码的各个部分，包括运动补偿的帧间预测、DCT 变换、量化、熵编码，以及与固定速率的信道相适配的速率控制等部分。
*
*
数字视频压缩编码标准
视频编码标准（又称MPEG-2）
由MPEG-1 扩充而来，支持隔行扫描。使用十分广泛，几乎用于所有的数字电视系统，适合标清和高清电视，适合各种媒体传输，包括卫星、有线、地面等，都能有效地传输。
*
*
数字视频压缩编码标准
视频编码标准
是最早用于低码率视频编码的ITU-T 标准，是ITU-T 为低于64kb/s 的窄带通信信道制定的视频编码标准。它是在 基础上发展起来的，其标准输入图像格式可以是S-QCIF、QCIF、CIF、4CIF 或者16CIF 的彩色4∶2∶0 亚取样图像。 与 相比采用了半象素的运动补偿，并增加了4 种有效的压缩编码模式。随后出现的第二版(+)及++增加了许多选项，主要是为了增强码流在恶劣信道上的抗误码性能，同时为了提高增强编码效率使其具有更广泛的适用性。
*
*
视频编码标准
是由ISO/IEC 与ITU-T 组成的联合视频组(JVT)制定的新一代视频压缩编码标准。1996 年制定标准后，ITU-T 的视频编码专家组(VCEG)开始了两个方面的研究：一个是短期研究计划，在 基础上增加选项(之后产生了+与++)；另一个是长期研究计划，制定一种新标准以支持低码率的视频通信。长期研究计划产生了 标准草案，其目标是研制出新的压缩标准，与以前的任何标准相比，效率要提高一倍，同时具有简单、直观的视频编码技术，网络友好的视频描述，适合交互和非交互式应用（广播、存储、流煤体）。
2001 年，ISO 的MPEG 组织认识到 潜在的优势，随后ISO 与ITU 开始组建包括来自ISO/IEC MPEG与ITU-T VCEG 的联合视频组(JVT)，JVT 的主要任务就是将 草案发展为一个国际性标准。于是，在ISO/IEC中该标准命名为AVC(Advanced Video Coding)，作为MPEG-4 标准的第10 个选项；在ITU-T 中正式命名为标准。该标准在2003 年3 月正式获得批准。
数字视频压缩编码标准
*
*
视频编码标准特点
1. 在相同的重建图像质量下， 比+和MPEG-4(SP)减小50%码率。
2. 对信道时延的适应性较强，既可工作于低时延模式以满足实时业务，如会议电视等；又可工作于无时延限制的场合，如视频存储等。
3. 提高网络适应性，采用“网络友好”的结构和语法，加强对误码和丢包的处理，提高解码器的差错恢复能力。
4. 在编/解码器中采用复杂度可分级设计，在图像质量和编码处理之间可分级，以适应不同复杂度的应用。
相对于先期的视频压缩标准， 引入了很多先进的技术，包括4×4 整数变换、空域内的帧内预测、1/4 象素精度的运动估计、多参考帧与多种大小块的帧间预测技术等。新技术带来了较高的压缩比，同时大大提高了算法的复杂度。
数字视频压缩编码标准
*
*
视频编码应用
数字视频压缩编码标准
视频会议系统
在同等速率下，能够比减小50%的码率。也就是说，
用户即使是只利用 384kbit/s的带宽，就可以享受下高达
768kbit/s的高质量视频服务。
IPTV应用
可以在500Kbps-900Kbps的带宽上提供DVD质量的视频节目。
视频实时通信
数字广播电视
视频存储
*
*
数字视频压缩编码标准
MPEG-1视频编码标准
制定于1992年，为工业级标准而设计，可适用于不同带宽的设备，如CD-ROM，Video-CD、CD-i。它用于传输数据传输率的数字存储媒体运动图像及其伴音的编码，经过MPEG-1标准压缩后，视频数据压缩率为1/100～1/200，影视图像的分辨率为360×240×30（NTSC制）或360×288×25（PAL制），它的质量要比家用录像系统（VHS-Video Home System）的质量略高。音频压缩率为1/，声音接近于CD-DA的质量。MPEG-1允许超过70分钟的高质量的视频和音频存储在一张CD-ROM盘上。
VCD标准。 VCD采用的就是MPEG-1的标准，该标准是一个面向家庭电视质量级的视频、音频压缩标准。MPEG-1的编码速率最高可达4-5Mbits/sec，但随着速率的提高，其解码后的图象质量有所降低。MPEG-1也被用于数字电话网络上的视频传输，如非对称数字用户线路(ADSL)，视频点播(VOD)，以及教育网络等。同时，MPEG-1也可被用做记录媒体或是在INTERNET上传输音频。MPEG1标准占用的网络带宽在左右。
*
*
数字视频压缩编码标准
MPEG-1视频编码标准
MPEG-1视频把图像编码分成I帧、P帧和B帧三种类型
I帧为帧内编码帧（Intracoded Frame），编码时采用类似JPEG的帧内DCT编码，I帧的压缩率是几种编码类型中最低的。
*
*
数字视频压缩编码标准
MPEG-1视频编码标准
MPEG-1视频把图像编码分成I帧、P帧和B帧三种类型
P帧为预测编码帧（Predictively Coded Frame），采用向前运动补偿预测和误差的DCT编码，由前面的I或P帧进行预测。
*
*
数字视频压缩编码标准
MPEG-1视频编码标准
MPEG-1视频把图像编码分成I帧、P帧和B帧三种类型
B帧为双向预测编码帧（Bidirectionally Predictively Coded Frame）采用双向运动补偿预测和误差的DCT编码，由前面和后面的I帧或P帧进行预测，所以B帧的压缩效率最高。
*
*
MPEG-1中的运动补偿
数字视频压缩编码标准
MPEG-1视频编码标准
*
*
MPEG-1中的运动补偿
数字视频压缩编码标准
MPEG-1视频编码标准
*
*
MPEG-1中的运动补偿
数字视频压缩编码标准
MPEG-1视频编码标准
*
*
数字视频压缩编码标准
MPEG-1视频编码标准缺点
因为采用双向预测，所以MPEG-1的编解码器在没有I帧或P帧的情况下无法对B帧进行编解码。这样就需要一些帧的缓冲，不可避免地造成一定程度的延迟 ，故有以下缺点：
不适合在实时的网络中传输，特别是进行流式传输
图像的传输次序和显示次序有可能不同
*
*
MPEG-1可适用于不同格式的设备
如CD-ROM、Video-CD、CD-i。它的目的是把221Mbit/s的视频图像
压缩到
MPEG-1是图像压缩的工业认可标准
它可针对CIF标准分辨率的图像进行压缩，每秒播放30帧，
具有CD音质，质量级别基本与广播级录像带相当。
应用 MPEG-1 技术最成功的产品是 VCD
MPEG－1也被用于数字电话网络上的视频传输
如非对称数字用户线路(ADSL)、视频点播(VOD)和教育网络等。
数字视频压缩编码标准
MPEG-1视频编码标准应用
*
*
数字视频压缩编码标准
MPEG-2视频编码标准
制定于1994年，设计目标是高级工业标准的图象质量以及更高的传输率，主要针对高清晰度电视（HDTV）的需要，传输速率在3-10Mbits/sec间，与MPEG-1兼容，适用于～60Mbps甚至更高的编码范围。分辨率为720×480×30（NTSC制）或720×576×25（PAL制）。影视图像的质量是广播级的质量,声音也是接近于CD-DA的质量。MPEG-2是家用视频制式（VHS）录像带分辨率的两倍。
DVD标准。 MPEG-2的音频编码可提供左右中及两个环绕声道,以及一个加重低音声道，和多达7个伴音声道(DVD可有8种语言配音的原因)。由于MPEG-2在设计时的巧妙处理，使得大多数MPEG-2解码器也可播放MPEG-1格式的数据，如VCD。除了做为DVD的指定标准外，MPEG-2还可用于为广播，有线电视网，电缆网络以及多级多点的直播 (Direct Broadcast Satellite) 提供广播级的数字视频。
MPEG-2的另一特点是，其可提供一个较广的范围改变压缩比，以适应不同画面质量，存储容量，以及带宽的要求。对于最终用户来说，由于现存电视机分辨率限制，MPEG-2所带来的高清晰度画面质量(如DVD画面)在电视上效果并不明显，到是其音频特性(如加重低音，多伴音声道等)更引人注目。 MPEG-2的画质质量最好，但同时占用带宽也非常大，在4M~15M之间，不太适于远程传输。
*
*
数字视频压缩编码标准
MPEG-2视频编码标准
MPEG-2的目标与MPEG-1相同，仍然是提高压缩比，改善音频、视频质量，
采用的核心技术还是分块DCT和帧间运动补偿预测技术。包括：
① 针对隔行扫描的常规电视专门设置了“按帧编码”和“按场编码”两种模式，并相
应地对运动补偿和DCT方法进行了扩展，从而显著提高了压缩编码效率。
② 考虑到标准的通用性，增大了重要的参数值，允许有更大的画面格式、比特率和运动矢量长度，输入/输出图像格式不限定。
③ 亮度分量和色度分量的比例可由原来的Y:U:V=4:1:1扩展到4:2:2或4:4:4，每个像素由8比特可扩展到10比特；
④ 可以直接对隔行扫描视频信号进行处理；
⑤ 增加码流结构的可分级性（Scalability）；
⑥ 输出码率可以是恒定的也可以是变化的，以适应同步和异步传输。
*
*
MPEG-2标准主要应用在广播电视领域
视音频资料的保存
电视节目、音像资料等可通过MPEG-2编码系统编码，保存到低成本
的CD-R光盘或高容量的可擦写DVD-RAM上，也可利用DVD编著软件制作成标准的DVD视盘，既可节约开支，也可节省存放空间。
电视节目的非线性编辑系统及其网络
MPEG-2采用帧间压缩的方式，只需进行I帧的帧内压缩处理，B帧和P帧通过侦测获得，因此，传输和运算的数据大多由帧之间的时间相关性得到，相对来说，数据量小，可以实现较高的压缩比。
卫星传输
电视节目的播出
数字视频压缩编码标准
MPEG-2视频编码标准应用
*
*
数字视频压缩编码标准
MPEG-4视频编码标准
如果说，MPEG-1“文件小，但质量差”；而MPEG-2则“质量好，但更占空间”的话，那么MPEG－4则很好的结合了前两者的优点。
它于1998年10月定案，在1999年1月成为一个国际性标准。MPEG－4是超低码率运动图像和语言的压缩标准，它不仅是针对一定比特率下的视频、音频编码，更加注重多媒体系统的交互性和灵活性。MPEG-4标准主要应用于视像电话(Video Phone)，视像电子邮件(Video Email)和电子新闻(Electronic News)等，其传输速率要求较低，在4800-64Kbits/sec之间，分辨率为176X144。MPEG-4利用很窄的带宽，通过帧重建技术，压缩和传输数据，以求以最少的数据获得最佳的图象质量。
与MPEG-1和MPEG-2相比，MPEG-4为多媒体数据压缩提供了一个更为广阔的平台。它更多定义的是一种格式、一种架构，而不是具体的算法。它可以将各种各样的多媒体技术充分用进来，包括压缩本身的一些工具、算法，也包括图像合成、语音合成等技术。 MPEG-4的特点是其更适于交互AV服务以及远程监控。MPEG-4是第一个使你由被动变为主动(不再只是观看，允许你加入其中，即有交互性)的动态图象标准；它的另一个特点是其综合性；从根源上说，MPEG-4试图将自然物体与人造物体相溶合(视觉效果意义上的)。MPEG-4的设计目标还有更广的适应性和可扩展性。
MPEG4标准的占用带宽可调，占用带宽与图像的清晰度成正比。以目前的技术，一般占用带宽大致在几百K左右。
*
*
数字视频压缩编码标准
MPEG-4视频编码标准
MPEG-4不再将视频图像看成是一个矩形像素阵列的序列，把音频看成是一个多声道或单声道的声音，而是根据组成场景的视频、音频对象的语义，对不同的主体采用不同的编码方式。
例如把一幅图像中的教师、讲台、黑板和声音分别作为不同的视频和音
频对象进行编码。各种视、音频对象源不限于自然界，也可以是合成源，
最终在解码端进行组合。
基于内容的压缩
MPEG-4重要特点：
更高的压缩比
时空可伸缩性
*
*
数字电视、动态图像
万维网（WWW），远程多媒体监控
基于内容存储和检索的多媒体系统
互联网上的视频流与交互式视频游戏
基于面部表情模拟的虚拟会议
DVD上的交互多媒体应用
基于计算机网络的可视化合作实验室场景应用
监控
演播室技术及电视后期制作
数字视频压缩编码标准
MPEG-4视频编码标准应用
*
*
AVS是我国具备自主知识产权的第二代信源编码标准，是达到国际先进水平的数字音视频编解码标准。
AVS标准包括系统、视频、音频、数字版权管理等四个主要技术标准和一致性测试等支撑标准。
AVS标准具有如下一些特点：
在高清图像压缩方面，与的压缩性能类似；
具有自主知识产权；
制定过程开放、国际化。
数字视频压缩编码标准
AVS视频编码标准
*
*
实验二
一、选择一幅个人彩色生活照片（如由数码相机摄制而成），按如下要求编辑处理：
1）将该照片转换成24位灰度图像（黑白照片），在不改变图像长宽比例的情况下，降低图像分辨率，将其转换成300K左右大小的图像。
2）将该照片制作成老照片效果（提示:调整色彩平衡），在不改变图像长宽比例的情况下，降低图像分辨率，将其转换成300K左右大小的图像。
3) 提取原彩色图像中的人物头部部分，制作一个2寸大小的，分辨率为72DPI的大头照。
4)将第3）步中获得的大头照的背景换成统一的蓝色背景。
将上述4步得到的图像保存提交。
