第 6 章 多媒体技术基础
1
多媒体技术概述
媒体(medium)
是信息表示和传输的载体,如数字、文字、声音、图形、
图像和视频等。
分类
感觉媒体—人的直观感觉
表示媒体—各种编码,如图像编码,声音编码
表现媒体— 如键盘、显示器、扬声器
存储媒体—保存表示媒体的介质,U盘、光盘
传输媒体—传输的物理载体,如光纤、电缆
2
多媒体
多媒体(Multimedia)
是指能够同时获取、处理、编辑、存储和展示两个以
上不同类型信息媒体的技术。
这些信息媒体包括文字、声音、图形、图像、动画与
视频等。
多媒体不仅是指多种媒体本身,而且包含处理和
应用它的一整套技术。“多媒体”与“多媒体技
术”是同义词。
3
多媒体计算机系统的组成
1. 多媒体硬件
(1)外部设备
光驱、麦克风、MIDI合成器、扫描仪、VCD/DVD、数码
照相机、摄像机、音箱、投影仪、刻录机、声卡、
打印机等
(2)功能卡
作用:连接各种外部设备,完成音频、视频信息的数
字化输入、编辑和输出
种类:声卡、视频输出卡、VGA/TV转换卡等
4
2. 多媒体软件
音频处理:Adobe Audition、SoundForge、Goldwave
等
图像处理:Windows 的画图、Photoshop、Corel
Draw
动画制作:Gifanimator、Cool3D、Flash、3D Max
视频处理:Adobe Premiere、Director
VCD制作与光盘刻录
Authorware、Director等
5
多媒体技术的特点
1.集成性
多种媒体信息有机的组织在一起,共同表达一个完整
的多媒体信息,成为一体化系统。
2.交互性
从单向的被动接收到双向有选择的交互方式转变
3.实时性
要求系统有较高的传输速率。
6
多媒体技术的应用
1. 教育
2. 办公自动化
3. 电子出版物
4. 通信
5. 商业广告
6. 影视娱乐
7. 医疗
8. 旅游
7
多媒体信息的数字化
声音数字化
计算机处理声音的硬件要求
安装声卡
麦克风连接到声卡的MIC插孔
音箱连接到声卡的SPEAKER插孔
处理过程:
数字化、保存和处理、还原
8
1. 声音的基本参数
振幅
音量,声波波形的幅度,表示声音信号的强弱。
频率
声音信号每秒钟变化的次数
带宽
声音信号的频率范围,带宽越宽音质越好
DAT(Digital Audio Tape)—— 20Hz~20kHz
CD(Compact Disc)—— 20Hz~20kHz
FM(Frequency Modulation)—— 20Hz~15kHz
AM(Amplitude Modulation)——50Hz~7kHz
数字电话——200Hz~ 9
2. 声音信号的数字化过程
模拟音频信号
时间上和幅度上都是连续变化的
数字化
将模拟的声音信号转变为数字音频的过程
三个阶段
采样、量化和编码
10
(1)采样
采样
每隔一段时间间隔读取一次声音波形的幅度值
采样频率
单位时间内进行采样的次数,通常用赫兹(Hz)表示。
采样频率越高,经过离散的波形越接近原始波形,声音还原质
量越好
奈奎斯特采样定理
11
奈奎斯特采样定理
奈奎斯特采样定理
采样频率高于输入信号中最高频率的两倍时,可以从
采样信号中无失真地重构原始信号
示例:
(1)话音信号最高频率为3400Hz,采样频率为8000Hz
,能以数字声音还原原来的声音
(2)一般音频信号最高频率为20kHz,采样频率为
40kHz以上时,就能无失真地还原
12
(2)量化
量化
对采样后得到的幅度值取值数量加以限定
离散值的个数与采用的编码的二进制位数有关
13
模拟音频信号
分30次测量幅度值
第20次测量
幅度值结果
为155
14
(3)编码
将量化后的幅度值用二进制编码进行表示
采样精度
用来表示量化级别的二进制数据的位数,也叫样本位
数、位深度。
例如:采样精度为8位,可以表示256种幅值;采样精
度为16位,可以表示65536种不同的幅值。
采样精度越高,声音质量越高,需要存储空间越大
15
16
3. 数据率和未压缩数据量的计算
数据率
还原1秒钟的声音所需传输的数据位数,未经压缩的数
字声音的数据率为:
数据率(b/s)=采样频率(*Hz)*样本精度(bit)*声道数
未压缩声音数据的容量计算
存储空量(字节)
=采样频率×样本精度×声道数×采样时间/8
17
示例
(1)采样频率为8kHz,样本精度为8位:
数据率=8(bit)*8kHz=
(2)采样频率8kHz,样本精度8位,双声道:
数据率= 8(bit)*8kHz*2(声道数)=128kb/s
(3)1分钟的双声道声音文件的数据量:
8(bit)*8000Hz*2(声道数)*60(秒)/8
=960000/1024=
18
示例
(4)采样频率 ,采样精度16位的立体声声
音,采样1秒钟声音的数据量大小为:
16××2×1/8=176400Byte= KB
(5)某个立体声音频文件大小为2100000KB,采样
频率为32000Hz,可以播放70分钟,则该音频文
件的采样深度为 bit。
解答:2100000*1024*8/(2*32000*4200)
= 64
19
图像数字化
1. 图像的数字化
(1)采样
将连续图像在二维空间上进行离散化处理
采样方式:
逐行顺序进行,假设在水平、垂直两个方向上分别取M
和N个相等的间隔,可以得到M×N个点
每个点称为一个图像元素,简称像素(Pixel)或像元
20
(2)量化
采样后每个像素点的处理:
单色图像:将每个点量化为两个级别,分别是0和1
灰度图像:将每个点的灰度进行离散化,划分纯白色、
纯黑色和介于这两者之间的不同程度的灰色
彩色图像:要将每个点的颜色的值进行离散化,也就
是使用不同的颜色模型进行颜色编码
量化的等级和像素的颜色编码位数有关
21
22
(3)编码
将量化后的每个点的灰度级别或颜色用不同的二
进制编码表示,用这种编码表示的图像就称为数
字图像。
像素深度(位深度)
为每个像素点的颜色或灰度进行编码所使用的二进制
数的位数。
像素深度的值越大表示的颜色数越多,色彩也越丰富
逼真,占用的存储空间越大。
23
2. 颜色模型
1. RGB模型:相加混色
有源物体:能发出光波的物体
2. CMY模型:相减混色
无源物体:不发出光波的物体
3. HSB模型
24
RGB颜色模型
1)国际照明委员会(CIE) 规定
以700nm(红)、(绿)、
(蓝)三个色光为三基
色。又称为物理三基色。
2)自然界的所有颜色都可以
通过这三基色按不同比例混
合而成。
25
RGB颜色模型
R:200
G:50
B:120
黄(255,255,0)
黑(0,0,0)
绿(0,255,0)
青(0,255,255)
蓝(0,0,255)
品红(255,0,255)
白(255,255,255)
红(255,0,0)
26
CMYK颜色模型
在理论上说,任何一种颜色都可以用青色
(Cyan)、品红(Magenta)和黄色(Yellow)三
种基本颜料按一定比例混合得到,通常写成CMY
,称为CMY模型
由于彩色墨水和颜料的化学特性,用等量的三种
基本颜色得到的黑色不是真正的黑色,因此在印
刷术中常加一种真正的黑色(Black ink),所以
CMY又写成 CMYK
27
HSB颜色模型
1) 色调
颜色的外观
2) 饱和度
颜色明暗的程度
3) 明度
对可见物体辐射或发光多少的感知属性
28
HSB颜色模型
29
图像分辨率
图像采样的点数,称为图像分辨率,用点的“行数
×列数”表示
如数码像机常用的图像分辨率为640×480、1024×786、
1128×764等。
对相同尺幅的图像,如果组成该图的像素数目越
多,则说明图像的分辨率越高,看起来就越逼真。
相反,图像显得越粗糙。
30
扫描分辨率
用每英寸多少点(dots per inch,DPI)表示。
如果用300DPI来扫描一幅8′×10 ′的图像,就得到一
幅2400×3000个像素的数字图像。
分辨率越高,像素就越多,获得的图像越细腻
扫描分辨率是采样时,单位尺寸内采样的点数,
而图像分辨率是组成数字图像的像素数
31
像素深度
数字图像中表示每个像素的颜色使用的二进制位
数称为像素深度或位深度。
像素深度值越大,图像能表示颜色数越多,色彩
越丰富逼真,占用的存储空间越大。
常见的像素深度有1位、4位、8位和24位,分别用
来表示黑白图像、16色或16级灰度图像、256色
或256级灰度图像和真彩色(224—16 777 216种颜
色)图像
32
数字图像数据大小的计算
计算用位图文件存储一幅分辨率为352×288的静态
真彩色图像需要的存储空间。
解:图像文件大小的计算公式:
文件字节数=每行列数×图像行数×颜色深度÷8
真彩色图像的每一个像素点用24位来记录:
352×288×24/8 B=304128B(字节)
33
视频的数字化
视频数字化是将视频信号经过视频采集卡转换成数字视
频文件存储在硬盘中。在使用时,将数字视频文件从硬
盘中读出,再还原成为电视图像加以输出。
一般的视频采集卡采用帧内压缩的算法把数字化的视频
存储成AVI格式文件,高档一些的视频采集卡还能直接
把采集到的数字视频数据实时压缩成MPEG格式的文件。
34
视频的压缩
数字视频标准主要由MPEG(Moving Picture Expert Group)即
运动图像联合专家组制定,这是由国际标准化组织
(ISO)和国际电工委员会(IEC)联合成立的专家组,
负责制定关于运动图像在不同速率的传输介质上传输的
一系列压缩标准,目前,已出台的标准有MPEG1、
MPEG2、MPEG4、MPEG7等。
35
数据编码及压缩
一. 编码
1. 编码:将模拟信号转换成数字信号的过程
2. 解码:将数字信号还原成模拟信号的过程
3. 编解码器:完成编码、解码功能的装置。
二. 数据压缩
1。必要性: 数据量庞大
2。压缩目的:便于存储和传输
36
例1:存储3分30秒的CD音质立体声歌曲
×2B×2×210秒 = 37044KB =
例2:存储一幅352×288的静态真彩色图像
352×288×3B=297kB
例3:存储1分钟视频所用的空间
×25×60=456195kB=
37
3.数据压缩的可能性
1)信息冗余
2)数据量不等于它所包含的信息量
3)静态图像中存在的空间冗余
4)动态视频中存在的时间冗余
38
4. 压缩的方法
1)无损压缩
一种可逆压缩方式,经过压缩后可将原文件包含的信
息完全保留
利用原始信息中的相关性进行的数据压缩不损失原信
息的内容,可实现无损压缩
39
例题:无损压缩的RLE编码
RLE编码后得到的代码为:
50(200,30,100)2(255,255,255)
1(0,5,5)9(0,0,0)72(200,30,100)
2)有损压缩 各种不同的压缩标准
40
文件格式
AVI(Audio Video Interleave)是一种音频和视频交叉记录
的数字视频文件格式。在AVI文件中,运动图像和伴音
数据是以交织的方式存储,并独立于硬件设备。按交替
方式组织音频和视像数据可使得读取视频数据流时能更
有效地从存储媒介得到连续的信息。
41
数据压缩
在多媒体计算机系统中要表示、传输和处理声文图信息,
特别是数字化图像和视频要占用大量的存储空间,因此
高效的压缩和解压缩算法是多媒体系统运行的关键。
数据压缩是一种对原始数据进行重新编码、去除原始数
据中的冗余,以较小的数据量来表示原始数据的技术,
它是实现在计算机上处理音频和视频等多媒体信息的前
提。
42
基本原理
数据压缩的对象是数据。数据是信息的载体,用来记录
和传送信息。真正有用的不是数据本身,而是数据所携
带的信息,大的数据量并不代表含有大的信息量 。
例:食品包装
43
信息冗余
多媒体数据中大的数据量并不完全等于它们所携带的信
息量。在信息论中,称为冗余。
冗余是指信息存在的各种性质的多余度。
减少数据冗余可以节省存储空间,有效利用网络带宽。
44
可逆编码
可逆编码也叫无失真编码、冗余度压缩、熵编码等。其
原理是减少数据中的冗余度,而不损失任何信息。解压
时可以完全恢复出原来的数据,亦称无损压缩。典型的
无损压缩有Huffman编码、算术编码和行程编码等。
可逆编码由于不会产生失真,因此在多媒体技术中常用
于文本、数据的压缩,它能保证完全地恢复原始数据。
但这种方法的压缩比较低,一般在2:1~5:1之间。
45
不可逆编码
不可逆编码是有失真压缩,信息论中叫熵压缩。由于压
缩了熵,会减少信息而不能再恢复。因此这种压缩又称
有损压缩。在语音和图像中,由于存在视觉冗余和听觉
冗余,减少这种信息并不影响人们的听觉效果和视觉效
果,所以经常采用这种方法。
有损压缩常用于数字化存储的模拟数据,并且主要应用
于图像、声音、动态视频等数据的压缩。如果用混合编
码的JPEG标准,对自然景物的彩色图像,压缩比可达
到几十倍甚至上百倍。
46
3. 矢量图形
使用一系列指令描述一幅图所包含的直线、矩形、
圆、圆弧、曲线等的形状、位置、颜色等属性和
参数
例如,直线的描述:line,start_point,end_point
圆的描述:circle,center_x,center_y,radius
矢量图像不会随图像尺寸的改变而改变,也不存
在采样分辨率的问题,只与显示的尺寸和显示分
辨率有关
矢量图像文件所占空间较小
47
48
3. 声音文件的存储格式
WAV
Windows采用的波形声音文件存储格式
MP3
主要应用于因特网上的声音传输。
高达96:1的压缩比,有较好的音质。
RM、RA
RealNetworks公司制定的声音文件格式,有较高的压缩
比,可采用流媒体方式在网络上实时播放。
48
4. 图像文件格式
位图文件(Bitmap-File,BMP)
一种不压缩的格式,占有较大存储空间,但图像质量
较高。
GIF (Graphics Interchange Format)
压缩效率高、占用的存储空间很小。
JPEG(Joint Photographic Experts Group)
文件存储格式为jpg格式,适合存储色彩丰富的照片。
49
文件格式
文件格式是数据在存储器中的存放形式。相同的数据,
可以有不同的存放形式,所以也就有多种文件格式。
WAV是Windows采用的波形声音文件存储格式,主要用于
自然声的保存与回放,其特点是声音层次丰富,还原性
好,表现力强。如果使用足够高的采样频率和采样精度,
可以获得极好的音质,但文件的数据量比较大。该格式
的文件可以被几乎所有的多媒体软件使用,易于编辑。
50
MP3是MPEG(Moving Picture Expert Group运动图像专家
组)第三层压缩文件格式,提供8kb/s到128kb/s的数据
率和高达96:1的压缩比,有较好的音质。主要应用于因
特网上的声音传输。常见的MP3音乐就使用了该压缩标
准,是MP3播放器的主要格式
RM、RA是RealNetworks公司制定的声音文件格式,有较
高的压缩比,可以采用流媒体的方式在网络上实时播放,
主要使用RealNetworks公司的播放器播放
51
电子合成音乐 MIDI文件的扩展名为“.MID”,它与波形
文件不同,记录的不是声音本身,而是将每个音符记录
为一个数字,如按了哪一个键、力度多大、时间多长等。
因此比较节省空间,可以满足长时间音乐的需要。主要
限制是缺乏重现真实自然的能力。
WMA的全称是Windows Media Audio,它是微软公司推出
的与MP3格式齐名的一种新的音频格式。
52
声音编辑
GoldWave是一个专业级的数字音频处理软件。它
可以以不同的采样频率录制声音,声源可以是通
过CD—ROM播放的激光音乐盘,也可以是通过音
频电缆传送过来的录音机信号,还可以通过麦克
风直接进行现场录音。
CoolEdit 是一个多轨录混音软件,功能强大,使用方
便,放大、衰减、去噪、淡入淡出、回声、混音、
格式转换。
53
实例:
知道了图像的分辨率和颜色深度,就可以计算出图像的
文件大小。
文件大小(kB)=
图像横向点数×图像纵向点数×颜色深度/8/1024
如一幅分辨率为1024×768的16位图像的文件大小为:
1024×768×16/8/1024=1536kB≈
54
文件格式
BMP是指位图文件(Bitmap File),其文件后缀名是.bmp,
是微软公司为其Windows环境设置的标准图像格式,随
着Windows 的不断普及,BMP文件格式事实上也是PC机
上的流行图像文件格式,一般的图像处理软件都能打开
该类文件。
55
GIF是Graphics Interchange Format即图形交换格式的缩写,
该格式文件的后缀名为.gif,可以用1~8位表示颜色,
因此最多为256色.
一个GIF文件中可以有多幅图像,而且这多幅图像可以按
一定的时间间隔显示,形成简单的动画。
56
JPEG是Joint Photographic Experts Group的缩写,意思是联
合影像专家小组,这是一个由国际标准化组织(ISO)
和国际电工委员会(IEC)联合组成的专家组,负责制
定静态的数字图像数据压缩编码标准,这个专家组开发
的算法称为JPEG算法,并且成为国际上通用的标准,
相应的文件后缀为.JPG。JPEG标准是一个静态图像数
据压缩标准,既可用于灰度图像又可用于彩色图像。
57
TIF是Tagged Image Format的缩写,意思是标志图像文件,
这是一种多变的最复杂的图像文件格式标准,支持的颜
色从单色到真彩色,图像文件可以是压缩的和非压缩的,
其中压缩的文件中,压缩的方法很多,而且还可以扩充,
有很大的选择余地,由于这种灵活性,这种格式是图像
处理软件支持的格式之一,大部分的OCR软件也采用这
种格式。
58
图像编辑
Micorsoft的“画图”程序是Windows操作系统附带的一个图像处理
软件,使用“开始\程序\附件\画图”命令启动。该软件简单、
方便,虽比不上其他专业软件功能强大,但其非常小巧,做一
些图形的绘制、擦除、裁剪非常方便。如果不是对图像做很多
艺术上的加工,“画图”是个很好的软件。
Photoshop是美国Adobe公司的图像处理软件。Photoshop可以对图
像的各种属性,如色彩的明暗、浓度、色调、透明度等进行细
致的调整,使用变形功能可以对图像进行任意角度的旋转、拉
伸、倾斜等变形操作,使用滤镜可以产生特殊效果,如浮雕效
果、动感效果、模糊效果、马赛克效果等等,图层、蒙板和通
道处理功能提供丰富的图像合成效果。
59
视频
人的眼睛有一种视觉暂留的生物现象,即人们观察的物
体消失后,物体的影像在眼睛的视网膜上会保留一个非
常短暂的时间(大约秒)。利用这一现象,将一系列
物体位置或形状变化很小的图像以足够快的速度连续播
放,人眼就会感觉画面变成了连续活动的场景。
连续地随时间变化的一组图像就称为视频。
60
RM格式是RealNetworks公司开发的一种流媒体视频文
件格式 .
可以根据网络数据传输的不同速率制定不同的压缩比
率,从而实现在低速率的Internet上进行视频文件
的实时传送和播放 .
在数据传输过程中可以边下载边播放,而不必完全下
载后再播放。也可以利用RealVideo对重大事件进行
实时转播。
61
ASF(Advanced Streaming Format)是由Microsoft
公司推出的一种高级流媒体格式,也是一个可以
在Internet上实现实时播放的标准,使用MPEG-4
的压缩算法。
62
FLV流媒体格式是一种新的视频格式,全称为Flash Video。
由于它形成的文件极小、加载速度极快,使得网络观看
视频更加流畅。
63
视频编辑
Premiere是Adobe公司的专业非线性编辑软件。Premiere提
供与线性编辑机一致的操作方式,可以组接多种格式的
视频和图像,提供多种镜头切换方式、视频叠加方式,
可对图像的色调和亮度等色彩参数进行调整,方便地在
视频图像上添加字幕或徽标,也可以进行音频的编辑和
合成,很方便地为图像配音或为语音添加背景音乐,支
持多种视频格式的导入和导出,如avi格式、mpge格式、
mov格式、wmv格式、flv格式等。
64