第第11页页
第
7
多媒体技术
基础了解多媒体信息的基
本数字化处理技术和多媒
体计算机系统的组成
中山大学计算机科学系中山大学计算机科学系
第第22页页
第7 章多媒体技术基础
多媒体技术概述
多媒体信息的数字化处理
多媒体计算机系统
中山大学计算机科学系中山大学计算机科学系
第第33页页
多媒体技术概述
基本概念
一、媒体与多媒体
媒体是信息表示、存储和传播的载体。分为5类：
（1）感觉媒体：是直接作用于人的感官、使人产
生感觉的媒体，如语言、文字、图形、图像等。
（2）表示媒体：如文字、图像、音频编码等。
（3）表现媒体：键盘、鼠标、扫描仪等。
（4）存储媒体：磁盘、光盘、U盘等。
（5）传输媒体：电话线、网线等。
其中，表示媒体是核心。
中山大学计算机科学系中山大学计算机科学系
第第44页页
多媒体技术概述
在多媒体技术中，
“媒体”一词通常是指感觉媒体，分为文字、音
频、图形、图像、视频和动画等单媒体。
多媒体是多种媒体的综合，也就是指融合两种
或两种以上感觉媒体的一种人机交互式信息交流
和传播的媒体。
中山大学计算机科学系中山大学计算机科学系
第第55页页
多媒体技术概述
二、多媒体技术
多媒体技术是指利用计算机综合处理图、文、声、
像等媒体信息的技术。具有以下特点：
（1）集成性
（2）交互性
（3）实时性
中山大学计算机科学系中山大学计算机科学系
第第66页页
多媒体技术概述
多媒体处理的关键技术
一、数据压缩技术
二、多媒体专用芯片技术
三、多媒体输入/输出技术
四、多媒体存储技术
五、多媒体通信技术
六、多媒体软件技术
七、虚拟现实技术
中山大学计算机科学系中山大学计算机科学系
第第77页页
多媒体技术概述
多媒体技术的应用领域
(1)教育与培训
(2)电子出版物
(3)娱乐应用
(4)视频会议
(5)咨询演示
(6)艺术创作
(7)模拟训练
中山大学计算机科学系中山大学计算机科学系
第第88页页
多媒体技术概述
多媒体技术的发展
一、起步阶段（1984~1985，Amiga系统）
二、快速发展阶段（1985~1992年，
CD-ROM→Windows ）
与此同时，数据压缩理论的深入研究和大规模集成
电路制造技术的发展，为多媒体设备的研制打下了
坚实的理论和技术基础。各种处理音频、视频的专
用插卡纷纷面世，使多媒体计算机的发展和应用进
入了高潮。
三、标准化阶段（1991年~至今，
MPC-1→MPC-2→MPC-3→MPC-4）
四、应用发展阶段（1990年~至今）中山大学计算机科学系中山大学计算机科学系
第第99页页
多媒体信息的数字化处理
音频信息
基本概念
音频（Audio）是声音采集设备捕捉或生成的声
波以数字化形式存储，并能够重现的声音信息。
音频技术主要包括声音的采集、数字化、压缩/
解压缩以及声音的播放。
中山大学计算机科学系中山大学计算机科学系
第第1010页页
多媒体信息的数字化处理
声音是由空气中分子振动而产生的一种机械振动波，
通常用模拟的连续波形描述声波形状，如图所示。
其中
基线是测量模拟信号的基准点；
振幅是波形相对基线的最大位移，反映音量；
周期表示两个相邻波峰（或波谷）之间的时间长，
而周期的倒数就是频率，表示每秒振动的次数，以
赫兹（Hz）为单位。频率反映音调。
中山大学计算机科学系中山大学计算机科学系
第第1111页页
多媒体信息的数字化处理
模拟音频的数字化
将随时间连续变化的声波模拟信号转换成离散变化
的数字信号，这个过程也称为模/数（A/D）转换；
反之，播放数字音频时进行数/模（D/A）转换。
模拟音频的数字化包括采样、量化和编码三个步骤，
如图所示。
中山大学计算机科学系中山大学计算机科学系
第第1212页页
多媒体信息的数字化处理
采样是指每隔一个时间间隔在模拟音频波形上取一
个幅度值，从而把连续的模拟信号转换为采样值序
列。其中，时间间隔称为采样周期，其倒数是采样
频率，单位是赫兹（Hz），其中是高保真采
样频率 。
量化是指按照量化编码表，把每个原始采样值转换
为量化值。所谓采样精度是指表示采样量化值的二
进制位数。
编码是指将已量化的音频数值数据表示成计算机的
二进制格式，从而最终将模拟音频信号转换为数字
音频信号。
中山大学计算机科学系中山大学计算机科学系
第第1313页页
多媒体信息的数字化处理
数字音频的技术指标
数字音频的质量取决于采样频率、采样精度和声道
数
存储容量的基本计算公式是：
采样频率×采样精度×声道数×时间／8
例如以采样频率、16位采样精度录制1分钟立
体声所需字节是：
60××1000×16/8×2 = 10584000 Byte
≈
中山大学计算机科学系中山大学计算机科学系
第第1414页页
多媒体信息的数字化处理
常见音频文件类型
（1）光盘数字音频（简称CD-DA）文件
（2）波形音频（WAV）文件
（3）乐器数字接口（简称MIDI）文件
（4）MP3（MPEG Audio Layer 3）音频文件
（5）WMA（Windows Media Audio）音频文件
（6）RA（Real Audio）音频文件
中山大学计算机科学系中山大学计算机科学系
第第1515页页
多媒体信息的数字化处理
图像信息
基本概念
模拟图像是指人们在日常生活中接触到的各类图
像（如图片、照片、X光片等）
数字图像是用数据表示的图像
图像处理技术包括图像数字化、图像编辑、压缩
与解压缩、增强与复原以及图像识别等。
数字图像分类：图像（也称位图）和图形
中山大学计算机科学系中山大学计算机科学系
第第1616页页
多媒体信息的数字化处理
位图图像
定义：由排列成若干行、列的光点组成的像素点阵
图像分辨率：阵列中列数和行数的乘积。
位图图像优劣：
优点：视觉效果好，生动逼真，适合于表现层次和
色彩比较丰富、包含大量细节的图像。
缺点：清晰度与分辨率有关，放大后会出现锯齿、
变模糊
中山大学计算机科学系中山大学计算机科学系
第第1717页页
多媒体信息的数字化处理
图形
定义：是指使用绘图指令描述的由直线、曲线等图元
组成的图像。一般分为二维图形和三维图形两大类。
优劣：
优点：图形质量与分辨率无关，占用存储空间很小，
放大与缩小不会失真，适于表示由有规律的线条组
成的图像
缺点：图形越复杂显示时间越长，难以表示人物、
景色照片一类的彩色图像。
图形
中山大学计算机科学系中山大学计算机科学系
第第1818页页
多媒体信息的数字化处理
图像数字化
图像数字化是指将由连续的各种不同颜色、亮度的点
组成的模拟图像转换成由一系列离散数据表示的数字图
像。
图像数字化过程：采样→量化
采样是指以一定垂直间隔将图像在水平方向上分割
成若干个小区域，每个小区域就是一个采样点，对
每个采样点只采用其若干数据（如颜色、亮度值）。
采样结果是生成M×N个像素点的集合。
量化是用一定的数据格式来表示每个采样点的颜色、
亮度等信息。
中山大学计算机科学系中山大学计算机科学系
第第1919页页
多媒体信息的数字化处理
颜色模式
颜色模式用于描述图像色彩，有以下几种：
（1）RGB模式（R：红色，G：绿色，B：蓝色）
（2）HSB模式
– H：色调，表明光谱波长，决定颜色，如红、绿等色
– S：饱和度，颜色纯度从0%（灰色）→100%（纯色）
– B：亮度，0%（黑色） → 100%（白色）
（3）索引颜色模式：使用调色板（注：相当于一
个由颜色索引值到RGB颜色值的映射表）存放并索
引图像中的颜色。
中山大学计算机科学系中山大学计算机科学系
第第2020页页
多媒体信息的数字化处理
颜色深度
颜色深度是表示图像中每个像素颜色值的二进制位数，
深度与颜色总数对应关系如表7-3所示
图像容量
– 分辨率越高、颜色位数越多，图像越逼真，但容量也大
– 计算公式。例如，若不压缩，一幅分辨率为640×480的真彩
色图像文件大小为：
640×480×24/8 = 921600Byte = 900KB中山大学计算机科学系中山大学计算机科学系
第第2121页页
多媒体信息的数字化处理
常见图像文件类型
BMP：Windows中的标准图像文件格式，支持黑白
图像、16色和256色图像及真彩色图像。
GIF：主要用于在不同的平台上进行图像交流和传
输。GIF压缩比较高，文件较小；其GIF89A格式支
持动画。其缺点是最多只能处理256种颜色。
JPG：是24位颜色的图像文件格式，由于其高效的
压缩率和标准化要求，被广泛应用。
PNG：是一种网络图形格式。使用高速交替显示
方案，显示速度很快，只需要下载1/64的图像信息
就可以显示出低分辨率的预览图像。
常见的图形文件有CDR、DWG、WMF、AI等格式中山大学计算机科学系中山大学计算机科学系
第第2222页页
多媒体信息的数字化处理
视频信息
基本概念
视频：是一种动态图像，由连续渐变的静态图像
或图形序列组成，其中每幅图像称为帧。
帧速率：每秒显示的帧数目， 典型帧速为24～
30fps，且一般伴有同步的声音。
视频分为模拟视频和数字视频
–模拟视频是指用模拟信号形式进行记录、存
储和传输的视频，如电影、电视
–数字视频是以数字方式记录的视频信号。
分辨率用来表示视频的清晰度，一般用水平方向
和垂直方向的像素乘积表示。中山大学计算机科学系中山大学计算机科学系
第第2323页页
多媒体信息的数字化处理
视频数字化
视频技术包括视频数字化和视频编码两方面：
–视频数字化是指将模拟视频信号经模数转换
和彩色空间变换转换为数字信号
–视频编码技术则是将数字化的视频信号经过
编码成为模拟信号
数字化方法：在一段时间内以一定的速度对模拟
信号进行捕获并加以采样，最后形成数字视频。
视频捕捉卡
抓图软件
中山大学计算机科学系中山大学计算机科学系
第第2424页页
多媒体信息的数字化处理
数字视频的质量
–采样频率：每秒所捕获的画面帧数
–采样深度：采样后每帧图像的颜色位数
视频数据量：在不压缩的情况下，数据量的大小
是帧数目乘上每幅图像的数据量。例如，对于一
段视频，每帧是分辨率为640×480的24位真彩色图
像，按25帧/秒连续播放10分钟，则数据量是：
640×480×24/8×25×60×10 = 13824000000Byte
≈
中山大学计算机科学系中山大学计算机科学系
第第2525页页
多媒体信息的数字化处理
常见视频文件类型
（1）MPEG格式：采用有损压缩方法减少运动图
像中的冗余信息，同时保证每秒30帧的动态图像
刷新率，已被几乎所有的计算机平台共同支持。
MPEG产品有VCD、SVCD、DVD
（2）AVI格式：是Microsoft公司推出的数字视频
格式。其优点是图像清晰，易于编辑；缺点是所
需存储空间较大
（3）RM格式：是Real Networks公司设计的流式
视频格式，主要用来在低速率的广域网上实时传
输活动视频影像
中山大学计算机科学系中山大学计算机科学系
第第2626页页
多媒体信息的数字化处理
（4）ASF和WMV格式：都是微软设计的流式视频
格式，采用MPEG-4压缩算法，图像压缩和质量比
VCD差一点，但优于RM格式
（5）MOV格式：是Apple（苹果）公司设计的一
种音频、视频格式，支持25位色彩，提供多种视频
和MIDI声音效果，能够通过Internet提供实时的数
字化信息流。
（6）DivX格式：是微软设计的视频编码技术，使
用MPEG-4压缩算法。DivX可以说是针对DVD而产
生的，使用DivX技术可以把1张DVD盘压缩到2张
CD盘中
中山大学计算机科学系中山大学计算机科学系
第第2727页页
多媒体信息的数字化处理
动画
基本概念
动画也是一种动态图像。与视频类似，区别在于：
动画的每帧图像由人工或计算机绘制；而视频的每帧
图像是对自然景象或活动对象的实时摄取。
动画分类：
逐帧动画：是由一幅幅内容相关的位图组成连续
画面
关键帧动画：只创作关键帧，自动计算中间帧
造型动画：设计每个角色，在脚本控制下进行表
演
中山大学计算机科学系中山大学计算机科学系
第第2828页页
多媒体信息的数字化处理
常见动画文件类型
（1）GIF动画：是CompuServe公司开发的动画格
式，由若干静态图像形成动画。
（2）FLIC动画：FLIC是Autodesk公司设计的彩色
动画格式，FLIC是FLC和FLI的统称
（3）3DS动画：是Autodesk公司的3D Studi动画的
原始图形文件
（4）SWF格式：是Micromedia公司产品Flash的向
量动画格式，广泛应用于网页中。
中山大学计算机科学系中山大学计算机科学系
第第2929页页
多媒体信息的数字化处理
流媒体
流媒体是一种可以使音频、视频和其他多媒体信
息在网络上实时地边下载边播放的技术。流媒体
在播放前并不需要先下载整个文件，只需开始部
分就可播放，剩余部分在播放的同时继续下载。
流式传输方式是将多媒体文件经过特殊的压缩方
法分成一个个压缩包，由流媒体服务器向用户计
算机连续、实时地传送。
流媒体文件格式是支持流式传输及播放的媒体格
式，常见的格式包括MOV、ASF、WMV、RA、
RM、SWF等。
中山大学计算机科学系中山大学计算机科学系
第第3030页页
多媒体信息的数字化处理
多媒体数据压缩标准
（1）JPEG
是静态图像的编码标准，适用于压缩连续色调的
静态图像。JPEG支持无损和有损压缩，压缩比为
2:1~100:1
JPEG 2000与JPEG兼容，压缩率比JPEG高约30%
；支持渐进传输，即先传输图像轮廓数据，再逐
步传输其他数据来不断提高图像质量
中山大学计算机科学系中山大学计算机科学系
第第3131页页
多媒体信息的数字化处理
（2）MPEG
是视频图像的编码标准，适用于压缩活动图像和音频
MPEG是一种有损压缩，其基本思想是：在单位时间
内采集并保存第一帧信息，然后只存储其余帧相对第一
帧发生变化的部分，从而达到压缩目的。
MPEG的平均压缩比为50:1，最高可达200:1
MPEG标准分为三部分：MPEG视频、MPEG音频、
MPEG系统
MPEG标准有以下版本：MPEG-1、MPEG-2、MPEG-
4、MPEG-7及MPEG-21
中山大学计算机科学系中山大学计算机科学系
第第3232页页
多媒体信息的数字化处理
（3）
是ITU为可视电话和电视会议制定的压缩标准，也称
为p×64Kbit/s标准（p=1，2，⋯，30）。
采用帧内和帧间压缩算法，其压缩比可达48:1
，压缩比虽较MPEG稍低，但实时性较好。的主
要缺点是图像质量低。
（4）DVI
是数字视频接口的简称，其视频图像的压缩算法性能
与MPEG-1相当，压缩后的图像数据率约为
Indeo技术：Intel公司推出的DVI算法的软件解码算法，
压缩比可达8:1
中山大学计算机科学系中山大学计算机科学系
第第3333页页
多媒体计算机系统
多媒体计算机系统是在普通计算机系统的基础上
配以多媒体软、硬件环境，并通过各种接口部件
连接而成。与普通计算机系统类似，多媒体计算
机系统由多媒体硬件和多媒体软件构成。
中山大学计算机科学系中山大学计算机科学系
第第3434页页
多媒体计算机系统
多媒体硬件系统
多媒体硬件系统的基本组成
由主机、多媒体接口卡和多媒体外部设备构成。
中山大学计算机科学系中山大学计算机科学系
第第3535页页
多媒体计算机系统
一、主机
一般是MPC
二、多媒体接口卡
用于连接多媒体外部设备，如声卡、视频卡
三、多媒体外部设备
视频/音频的输入设备，如数码相机、话筒等
视频/音频的输出设备，如投影仪、音箱等
人机交互设备：如触摸屏、光笔等
数据存储设备：如磁盘、光盘等
中山大学计算机科学系中山大学计算机科学系
第第3636页页
多媒体计算机系统
几种多媒体接口卡简介
一、声卡（或称声音卡、声效卡、音频卡）
声卡是处理音频信号的接口硬件
（1）声卡功能
录制与播放功能：支持A/D和D/A转换
编辑与合成处理功能
MIDI接口功能：用于外部电子乐器与计算机之
间的通信
中山大学计算机科学系中山大学计算机科学系
第第3737页页
多媒体计算机系统
（2）声卡结构
声卡主要由音效芯片、模数与数模转换芯片、放
大器芯片和各种输入/输出接口等部件组成
（3）声卡的外部连接端口(一般有5个)
线路输入、线路输出、麦克风、耳机和、Game插孔
中山大学计算机科学系中山大学计算机科学系
第第3838页页
多媒体计算机系统
（4）声卡的安装方法
硬件安装
–插入到总线插槽
– CD音频线：连接CD-ROM音频接口和声卡的
CD接口相连
–连接麦克风、音箱等外设
软件安装：声卡驱动程序
中山大学计算机科学系中山大学计算机科学系
第第3939页页
多媒体计算机系统
二、视频卡
计算机中处理活动图像的适配器称为视频卡，是
与视频相关的多种卡的一种统称，如显卡
（1）视频卡的功能
分为：
基本功能：是指将CPU传送过来的数字视频数据
转化成显示器可以接受的格式，再送到显示器上
形成模拟视频
扩展功能是指将模拟视频信号转换为数字视频数
据，并以压缩格式保存到文件中。
中山大学计算机科学系中山大学计算机科学系
第第4040页页
多媒体计算机系统
（2）视频卡的种类
显卡：具有视频卡的基本功能
视频转换卡：将数字视频转换成模拟视频信号
压缩/解压卡：用于压缩和解压缩视频
MPEG影音解压卡（电影卡）：用于播放压缩后
的视频。目前，一般用软件解压实现此功能。
视频叠加卡：将计算机的VGA信号与视频信号叠
加，然后把叠加后的信号在显示器上显示。
电视选台卡（TV卡）：相当于电视机的高频头，
起选台作用。
中山大学计算机科学系中山大学计算机科学系
第第4141页页
多媒体计算机系统
视频捕捉卡
作用：用于从摄像机、录像机、影碟机等视频设
备的视频信号中捕捉图像和视频
一般具有多个复合视频接口和一个分离视频接口
（如图所示），以便与模拟视频设备连接。
中山大学计算机科学系中山大学计算机科学系
第第4242页页
多媒体计算机系统
几种多媒体外部设备简介
一、扫描仪
扫描仪是一种图形、图像专用输入设备
此外，扫描仪一般都配置有文字识别OCR软件
中山大学计算机科学系中山大学计算机科学系
第第4343页页
多媒体计算机系统
扫描仪的性能指标
分辨率：300～2400dpi
色彩位数：有24bit、32bit、36bit等
灰度级：从纯黑到纯白之间平滑过渡的能力。一
般有256级、1024级和4096级
扫描速度：扫描一定数量的图像所需要的时间
扫描幅面：扫描对象的最大尺寸，主要有A3和
A4两种规格
中山大学计算机科学系中山大学计算机科学系
第第4444页页
多媒体计算机系统
二、数码相机
数码相机：使用存储器保存图像数据，而不是胶片
工作原理：使用CCD把光线转换成电荷→送到模/数
转换器，对光线数据进行编码，再保存
性能指标
分辨率
颜色深度
存储卡：SM卡和CF卡
数据输出接口：串行口、USB、IEEE 1394
连续拍摄
中山大学计算机科学系中山大学计算机科学系
第第4545页页
多媒体计算机系统
三、摄像头
摄像头是一种视频输入设备，具有静态照片拍摄
和实时监控等功能。分为以下两类：
模拟摄像头：是指输出模拟视频信号的摄像头，
主要使用CCD作为感光器件，并通过视频捕捉卡
与计算机配合工作。模拟摄像头功能强大，但价
格高，一般用于大型视频会议和实时监控。
数字摄像头：是指输出数字视频信号的摄像头，
主要使用CMOS作为感光器件。数字摄像头安装、
使用简单，并且价格便宜，但分辨率不高，一般
用于家庭、网吧等低端应用场合。
中山大学计算机科学系中山大学计算机科学系
第第4646页页
多媒体计算机系统
四、触摸屏（Touch Screen）
定义：触摸屏是一种定位设备。
原理：当用手指触摸触摸屏时，所接触到的位置
（以坐标形式）被触摸屏控制器检测到，并通过
接口送到CPU，从而确定用户所输入的信息。
五、光笔
光笔是用来在显示器屏幕上直接书写、作图的输
入设备
光笔是一种检测光的装置，其外形象一支笔，头
部有一直径为几毫米的小孔（称为光孔），用来
检测显示器屏幕上的光点。
中山大学计算机科学系中山大学计算机科学系
第第4747页页
多媒体计算机系统
六、音箱
音箱是一种能将模拟脉冲信号转换为机械性的振
动，并通过空气的振动再形成人耳可以听到的声
音的输出设备。
根据有无放大器，可将音箱分为以下两类：
无源音箱：是指没有电源和功率放大器的音箱，
这种音箱的音质和音量主要取决于声卡的功率放
大器，通常音量不大。
有源音箱：是指包含电源和功率放大器的音箱，
将功放与音箱功能合二为一，如多媒体电脑音箱、
有源超低音箱以及家庭影院有源音箱等。
中山大学计算机科学系中山大学计算机科学系
第第4848页页
多媒体计算机系统
多媒体软件系统
一、多媒体软件的分类
多媒体软件系统主要包括多媒体操作系统、多媒
体工具软件和多媒体应用软件等三个部分，如图
所示。
中山大学计算机科学系中山大学计算机科学系
第第4949页页
多媒体计算机系统
二、多媒体操作系统
目前，多媒体操作系统仍然是指常规的操作系统，
如UNIX、Linux、Windows等。也就是在常规操作
系统的基础上，增加部分支撑多媒体技术的硬件、
软件及其驱动程序，使常规操作系统满足多媒体
技术的基本应用需求。例如，Windows XP包括以
下多媒体应用程序：
录音机
画图
媒体播放器软件（Windows Media Player）
Windows Movie Maker
Windows 图像捕获服务程序中山大学计算机科学系中山大学计算机科学系
第第5050页页
多媒体计算机系统
三、多媒体工具软件的分类
⑴文本工具。如Windows记事本、Word、OCR等
⑵音频工具。如Windows录音机、COOL Edit等，
其基本功能是录音和音频编辑。
⑶图像工具。如Windows的画图软件、
MacroMedia Fireworks、Adobe Photoshop等。除基
本图像编辑功能之外，一般还提供图像捕捉功能，
即利用数码相机、图像扫描仪捕捉实际图像，或
抓取屏幕图像。
⑷图形工具。如Microsoft剪辑管理器、AutoCAD、
3D Studio Max、CorelDraw等
中山大学计算机科学系中山大学计算机科学系
第第5151页页
多媒体计算机系统
⑸视频工具。如Windows Movie Maker。一般都提
供独立的图像、视频、音频编辑功能和视频捕捉
⑹动画工具。如Macromedia Flash、COOL 3D等
⑺播放工具。主要是显示、浏览图像或播放音频
和视频等多媒体数据，如ACDSee、Windows
Media Player、RealPlayer、Flash Player等。
⑻创作工具。是一种高级的多媒体工具软件，能
够将多种单媒体集成为一个综合性的多媒体应用
软件。常见的创作工具有Authorware、Director、
ToolBook、Action和PowerPoint等。
中山大学计算机科学系中山大学计算机科学系
谢 谢
一月-
2311:04:1611:0411
:04一月-23一月-
2311:04
11:0411:04:1
6一月-23一月
-2311:04:16
2023/1/17 11:04:16
