威海北洋职业技术学校威海北洋职业技术学校《《多媒体技术教程多媒体技术教程
》》
第二章第二章 多媒体信息的表示多媒体信息的表示
威海北洋职业技术学校威海北洋职业技术学校《《多媒体技术教程多媒体技术教程
》》
【【学习目标学习目标】】
.掌握：位图、矢量图的定义。掌握：位图、矢量图的定义。
.理解：音频信号的数字化处理，矢量图与位图、图像与理解：音频信号的数字化处理，矢量图与位图、图像与
图形的比较。图形的比较。
.了解：超文本与超媒体。了解：超文本与超媒体。
【【学习要点学习要点】】
多媒体信息（文字、音频、视觉媒体、动画）在计算机中多媒体信息（文字、音频、视觉媒体、动画）在计算机中
是如何表示的。是如何表示的。
文字文字
文字是人与计算机之间进行信息交换的文字是人与计算机之间进行信息交换的
主要媒体。主要媒体。
文本文件
在现实世界中，文字是人们进行通讯的主要形式，
文字包括西文和汉字。文字包括西文和汉字。
西文西文
在计算机中西文采用在计算机中西文采用ASCIIASCII码表示。是由美国国家码表示。是由美国国家
标准局标准局(ANSI)(ANSI)制定的制定的ASCIIASCII码（码（American Standard American Standard
Code for Information Interchange Code for Information Interchange ））
例如：字符例如：字符AA的的ASCIIASCII码值为码值为065065；；
字符字符BB的的ASCIIASCII码值为码值为066066；；
字符字符CC的的ASCIIASCII码值为码值为067067；；
汉字汉字
.汉字的输入编码汉字的输入编码
（（11）数字编码）数字编码
数字编码输入的优点是无重码，缺点难以记数字编码输入的优点是无重码，缺点难以记
忆。忆。
（（22）拼音码）拼音码
以汉语拼音为基础的输入法，汉字输入法重以汉语拼音为基础的输入法，汉字输入法重
码率很高，同音字的选择影响了输入速度码率很高，同音字的选择影响了输入速度
的提高。的提高。
（（33）字型编码）字型编码
五笔五笔
.汉字内码汉字内码
汉字内码用于汉字信息的存储、交换、汉字内码用于汉字信息的存储、交换、
检索等操作的机内代码，一般采用两检索等操作的机内代码，一般采用两
个字节表示。个字节表示。
3.汉字字模码
字模码是用点阵表示的汉字字形代码，
它是汉字的输出形式
音音 频频
¨̈音频音频
––分类分类
.波形声音波形声音
––包含了所有的声音形式，它可以把任何声音都进包含了所有的声音形式，它可以把任何声音都进
行采样量化，并恰当地恢复出来。行采样量化，并恰当地恢复出来。
音音 频频
¨̈音频音频
––分类分类
.语音语音
––人的说话声虽是一种特殊的媒体，但也是一种波人的说话声虽是一种特殊的媒体，但也是一种波
形，所以和波形声音的文件格式相同。形，所以和波形声音的文件格式相同。
.音乐音乐
––符号化了的声音，符号化了的声音，
乐谱可转变为符号乐谱可转变为符号
媒体形式。媒体形式。
数数 字字 音音 频频
¨̈音频音频
––数字声音波形质量的主要技术参数数字声音波形质量的主要技术参数
•• 采样频率采样频率
––等于波形被等分的份数，份数越多，质量越好等于波形被等分的份数，份数越多，质量越好
•• 、、 、、
•• 采样精度采样精度
––每次采样信息量每次采样信息量
•• 88位、位、1616位位
•• 通道数通道数
––声音产生的波形数声音产生的波形数
•• 单声道、立体声道、单声道、立体声道、声道声道
数据量计算：
(采样频率×采样精度×通道数 ×时间 )/8 字节
常见的媒体元素常见的媒体元素
¨̈动画动画
––动画的概念动画的概念
运动的图画，实质是一幅幅静态图像的连运动的图画，实质是一幅幅静态图像的连
续播放。动画的连续播放既指时间上的连续，续播放。动画的连续播放既指时间上的连续，
也指图像内容上的连续，即播放的相邻两幅图也指图像内容上的连续，即播放的相邻两幅图
像之间内容相差不大像之间内容相差不大 。。
––计算机设计动画方法计算机设计动画方法
•• 造型动画造型动画
•• 帧动画帧动画
常见的媒体元素常见的媒体元素
¨̈动画动画
––帧动画帧动画
常见的媒体元素常见的媒体元素
¨̈动画动画
––帧动画帧动画
媒体的种类媒体的种类
¨̈视觉视觉
视 觉
（静止）
图像
图形
文字
符号
语言文字
抽象化
抽象化
（动态） 图像
图形
动态影像视频
真实感三维动画
二维动画
三维动画
其它表示为视觉的媒体
媒体与多媒体媒体与多媒体
¨̈听觉听觉
¨̈触觉触觉
¨̈其他感觉其他感觉
抽象化
听觉 声音
声响（自然界）
语音（人类语言）
音乐
其它（嗅觉、味觉等）
触觉
振动
运动
传感/发生器
媒体的性质和特点媒体的性质和特点
¨̈各种媒体具有不同特点和性质各种媒体具有不同特点和性质
–– 媒体是有格式的媒体是有格式的
–– 不同媒体表达信息的特点和程度各不相同不同媒体表达信息的特点和程度各不相同
–– 媒体之间可以相互转换媒体之间可以相互转换
–– 媒体之间的关系也具有丰富的信息媒体之间的关系也具有丰富的信息
¨̈媒体具有空间性质媒体具有空间性质
–– 表现空间表现空间
–– 媒体按相互的空间关系进行组织媒体按相互的空间关系进行组织
–– 视觉空间、听觉空间和触觉空间这视觉空间、听觉空间和触觉空间这33者既相互独者既相互独
立又需要相互结合立又需要相互结合
媒体的性质和特点媒体的性质和特点
¨̈媒体的时间性质媒体的时间性质
–– 表现需要时间表现需要时间
–– 媒体在时间坐标轴上的相互关系媒体在时间坐标轴上的相互关系
¨̈媒体的语义媒体的语义
–– 媒体的语义是有层次的媒体的语义是有层次的
–– 抽象的程度不同，语义的重点也就不同抽象的程度不同，语义的重点也就不同
¨̈媒体结合的影响媒体结合的影响
–– 媒体结合是多层次的媒体结合是多层次的
–– 媒体结合有利于信息接受和理解媒体结合有利于信息接受和理解
¨̈隐喻隐喻
–– 交互的概念模型，也称心智模型交互的概念模型，也称心智模型
威海北洋职业技术学校威海北洋职业技术学校《《多媒体技术教程多媒体技术教程
》》
听觉媒体技术听觉媒体技术
声音心理学声音心理学
1. 1.声音的量纲声音的量纲
声音的振动是一种正弦波，声音的变化必须声音的振动是一种正弦波，声音的变化必须
确定三件事：频率（变化的速度）、幅度（产生确定三件事：频率（变化的速度）、幅度（产生
的压力）、相位（何时开始）。的压力）、相位（何时开始）。
另外一方面，人们可以感觉到声音的强弱，另外一方面，人们可以感觉到声音的强弱，
可以感觉到歌唱家音调的高低。可以感觉到歌唱家音调的高低。
因此，声音的量纲分为声音的物理量纲和心因此，声音的量纲分为声音的物理量纲和心
理量纲。理量纲。
声音心理学声音心理学
物理量纲可以用精确的值来描述，但物理量纲可以用精确的值来描述，但
对某一具体声音得来的心理印象却不容易对某一具体声音得来的心理印象却不容易
说明白，因为心理印象要由被测者的经验说明白，因为心理印象要由被测者的经验
而定。而定。
声声音音的的心心理理属属性性和和物物理理属属性性不不可可等等同同，，
首首先先，，这这些些关关系系不不是是线线性性的的；；其其次次这这些些关关
系不是孤立的；第三这些关系不是不变的。系不是孤立的；第三这些关系不是不变的。
声音心理学声音心理学
两两者者之之间间确确有有关关系系：：例例如如声声音音的的响响度度
取取决决于于强强度度和和频频率率两两个个因因素素，，如如果果频频率率不不
变变，，强强声声显显得得比比弱弱声声要要响响些些。。但但如如果果强强度度
不不变变，，过过高高频频率率的的声声音音和和过过低低频频率率的的声声音音
似似乎乎比比中中频频的的声声音音听听起起来来都都要要弱弱一一些些。。由由
此此可可见见，，响响度度依依赖赖于于频频率率，，原原因因是是人人耳耳能能
反应的频率范围是有上限和下限的。反应的频率范围是有上限和下限的。
声音的量纲声音的量纲
心理变量 首要的物理变量 次要的物理变量
响度 声强 声波频率
音调 声波频率 声强
音色 声波复合 －
音量 频率和强度
－
密度 频率和强度 －
谐和（流畅或粗糙） 谐波结构 音乐技巧
噪声 强度 频率组合，各种时间参量
骚扰声 强度 频率组合，无意义
声音心理学声音心理学
2. 2.听觉特性听觉特性
等响曲线等响曲线
由于响度与频率和强度有关，所以在不同频由于响度与频率和强度有关，所以在不同频
率上的强度是不同的。先设一个音为标准音，给率上的强度是不同的。先设一个音为标准音，给
予固定的频率、强度和持续时间，例如予固定的频率、强度和持续时间，例如10001000HzHz、、
4040分贝、持续分贝、持续秒；再给一个音也持续秒；再给一个音也持续秒，但秒，但
频率不同，通过调整使其响度听起来一样，得到频率不同，通过调整使其响度听起来一样，得到
的这样一组曲线称之为等响曲线。等响曲线描述的这样一组曲线称之为等响曲线。等响曲线描述
的是响度与频率和强度的关系。从声音心理学考的是响度与频率和强度的关系。从声音心理学考
虑，对同一响度的声音在频率上和强度上可以有虑，对同一响度的声音在频率上和强度上可以有
很大的差别，这对声音表现有重要意义。很大的差别，这对声音表现有重要意义。
声音心理学声音心理学
掩蔽（掩蔽（maskingmasking））
声声音音的的响响度度不不仅仅取取决决于于自自身身的的强强度度和和频频率率，，
而而且且也也依依赖赖于于同同时时出出现现的的其其它它声声音音。。各各种种声声音音可可
以以互互相相掩掩蔽蔽，，也也就就是是说说一一种种声声音音的的出出现现可可能能使使得得
另另一一种种声声音音难难于于听听清清。。由由于于声声音音的的掩掩蔽蔽效效果果，，可可
以以欺欺骗骗人人的的听听觉觉。。例例如如，，本本来来是是多多种种频频率率的的声声音音
的的复复合合，，但但听听众众以以为为是是另另一一种种声声音音。。所所以以，，声声音音
的掩蔽特性常常用于声音的压缩。的掩蔽特性常常用于声音的压缩。
声音心理学声音心理学
临界频带临界频带
在在频频率率的的某某一一临临界界区区里里，，各各种种声声音音是是相相互互
作作用用的的，，合合成成声声音音的的响响度度由由这这些些频频率率共共同同决决定定。。
如如果果超超出出临临界界区区，，声声音音的的响响度度不不再再相相互互作作用用，，
声声音音的的响响度度随随频频率率的的改改变变而而改改变变。。这这个个临临界界区区
就就是是临临界界频频带带，，其其宽宽度度视视其其中中心心频频率率而而定定。。对对
于于临临界界频频带带的的确确定定，，使使得得对对声声音音响响度度的的处处理理能能
够有的放矢。够有的放矢。
声音心理学声音心理学
相位相位
从从声声音音的的波波形形来来看看，，声声音音的的起起点点和和方方向向也也要要
反反映映声声音音的的特特性性，，这这就就是是声声音音的的相相位位。。当当两两个个声声
音音相相同同相相位位完完全全相相反反时时，，它它们们将将相相互互抵抵消消；；当当两两
个个声声音音相相同同而而且且相相位位也也相相同同时时，，声声音音就就会会得得到到加加
强。强。
相相位位的的确确定定对对于于多多声声道道声声音音系系统统的的设设计计非非常常
重重要要，，其其可可以以应应用用在在回回声声的的消消除除、、会会议议系系统统的的声声
音设计上。音设计上。
声音心理学声音心理学
自然声音的时变现象自然声音的时变现象
声音的音调分成三个区域：起始区、稳定状声音的音调分成三个区域：起始区、稳定状
态区、延迟区。态区、延迟区。
研研究究表表明明，，音音调调的的频频谱谱分分量量随随时时间间改改变变。。在在
稳稳定定状状态态区区，，频频谱谱保保持持固固定定。。在在起起始始区区，，振振幅幅频频
谱谱随随时时间间变变化化。。因因此此自自然然声声音音的的起起始始部部分分是是非非常常
难难识识别别的的。。例例如如刚刚听听了了一一小小节节音音调调后后要要识识别别乐乐器器，，
专专家家也也会会觉觉得得较较难难。。时时变变现现象象用用于于数数字字系系统统中中，，
说说明明声声音音中中的的某某些些错错误误是是不不太太容容易易发发现现的的，，但但如如
果出现停顿就很容易引起人的注意。果出现停顿就很容易引起人的注意。
声音心理学声音心理学
听觉空间听觉空间
人人耳耳可可听听到到来来自自各各个个方方向向的的声声音音，，并并用用不不同同
的的因因素素来来判判定定声声源源的的位位置置。。声声源源的的位位置置不不论论对对于于
增增进进人人们们的的感感受受还还是是增增进进对对声声音音的的理理解解，，都都是是非非
常常重重要要的的。。通通过过声声音音的的精精确确再再现现，，就就可可以以构构造造出出
听觉空间。听觉空间。
方方位位的的线线索索是是各各种种声声音音到到达达两两耳耳的的精精确确时时间间
和强度。和强度。
声音心理学声音心理学
听觉的频谱特性听觉的频谱特性
声声音音是是时时间间函函数数，，通通过过傅傅里里叶叶变变换换可可做做出出其其频频
谱谱图图。。人人耳耳对对频频谱谱成成分分的的波波峰峰和和波波谷谷是是非非常常敏敏感感
的的。。在在语语言言中中，，元元音音很很少少有有频频谱谱变变速速变变化化的的区区域域。。
基基频频改改变变，，人人耳耳是是很很敏敏感感的的。。例例如如：：快快进进的的录录像像，，
音调会发生变化。音调会发生变化。
音音色色非非常常复复杂杂，，目目前前尚尚在在研研究究中中。。音音色色的的处处
理理将将使使我我们们能能识识别别音音源源，，音音色色也也代代表表和和声声音音有有关关
的主观质量。的主观质量。
声音心理学声音心理学
声音的心理模拟声音的心理模拟
通通过过人人工工真真实实的的方方法法，，可可以以对对视视觉觉空空间间的的景景物物
进进行行再再造造或或虚虚构构，，同同样样也也可可以以对对听听觉觉空空间间的的声声音音
进进 行行 心心 理理 的的 模模 拟拟 ，， 这这 就就 是是 所所 谓谓 的的 可可 听听 化化
（（audiolizationaudiolization））。。用用声声音音可可以以表表达达出出一一些些声声音音的的
效果。效果。
音频的数字化和符号化音频的数字化和符号化
从从人人与与计计算算机机交交互互的的角角度度看看，，音音频频信信号号的的处处理理包包
括下述括下述33点：点：
人人与与计计算算机机通通信信，，也也就就是是计计算算机机接接收收音音频频信信号号。。包包
括音频获取、语音的识别和理解。括音频获取、语音的识别和理解。
计计算算机机与与人人通通信信，，也也就就是是计计算算机机输输出出音音频频。。包包括括音音
乐乐合合成成、、语语音音合合成成、、声声音音的的定定位位以以及及音音频频视视频频的的同同
步。步。
人人--计计算算机机--人人通通信信。。人人通通过过网网络络与与异异地地的的人人进进行行语语
音音通通信信，，相相关关的的音音频频处处理理有有语语音音采采集集、、音音频频的的编编码码
和和解解码码、、音音频频的的存存储储、、音音频频的的传传输输、、基基于于内内容容的的检检
索等。索等。
音频的数字化和符号化音频的数字化和符号化
1 1．音频的数字化与再现．音频的数字化与再现
在在计计算算机机中中，，所所有有的的信信息息都都以以数数字字来来表表示示。。
声声音音信信号号也也是是由由一一系系列列的的数数字字来来表表示示的的，，称称为为数数
字字音音频频。。数数字字音音频频的的特特点点就就是是保保真真度度好好，，动动态态范范
围大。围大。
数数字字声声音音是是一一个个数数据据序序列列。。它它是是由由外外界界声声音音
经过采样、量化和编码后得到的。经过采样、量化和编码后得到的。
音频的数字化和符号化音频的数字化和符号化
对对声声音音进进行行采采样样用用奈奈奎奎斯斯特特采采样样定定理理来来决决定定
采采样样的的频频率率。。根根据据该该定定理理，，只只要要采采样样频频率率高高于于信信
号号中中最最高高频频率率的的两两倍倍，，就就可可以以从从采采样样中中完完全全恢恢复复
原原始始信信号号的的波波形形。。因因为为人人耳耳所所能能听听到到的的频频率率范范围围
为为2020HzHz到到2020KHzKHz，，所所以以实实际际的的采采样样过过程程中中，，为为了了
达达到到好好的的效效果果，，就就采采用用作作为为高高质质量量声声音音
的的采采样样频频率率。。如如果果达达不不到到这这么么高高的的频频率率，，声声音音恢恢
复复的的效效果果就就会会差差一一些些，，例例如如电电话话声声音音的的质质量量等等。。
一一般般来来说说，，声声音音恢恢复复和和采采样样频频率率、、信信道道带带宽宽都都有有
关。关。
声
音
的
采
样
以
及
量
化
图
音频的数字化和符号化音频的数字化和符号化
音频的数字化和符号化音频的数字化和符号化
与数字音频相关的重要特性：与数字音频相关的重要特性：
采样频率采样频率
采采样样频频率率与与声声音音的的质质量量关关系系最最为为紧紧密密。。采采样样
频频率率越越高高，，声声音音质质量量越越接接近近原原始始声声音音，，所所需需的的存存
储储量量便便越越多多。。标标准准的的采采样样频频率率有有三三个个：：
，，，，和和。。
采样位数采样位数
存放一个采样点所需的比特数。一般的采样存放一个采样点所需的比特数。一般的采样
位数为位数为88位或位或1616位，即把声音采集为位，即把声音采集为256256等份或等份或
6553665536等分。等分。
音频的数字化和符号化音频的数字化和符号化
声道数声道数
有单声道、双声道和多声道。如多种语言音有单声道、双声道和多声道。如多种语言音
频混存时，需要多声道频混存时，需要多声道
数据量数据量
(采样频率×每点采样位数×声道数)
数据量＝
8
(字节/秒)
音频的数字化和符号化音频的数字化和符号化
2 2．声音的符号化．声音的符号化
波形声音可以把音乐、语音都进行数据化并波形声音可以把音乐、语音都进行数据化并
且表示出来，但是并没有把它看成音乐和语音。且表示出来，但是并没有把它看成音乐和语音。
对于声音的符号化（也可以称为抽象化）表对于声音的符号化（也可以称为抽象化）表
示包括两种类型：一种是音乐，一种是语音。示包括两种类型：一种是音乐，一种是语音。
音频的数字化和符号化音频的数字化和符号化
（（11）音乐的符号化－）音乐的符号化－MIDIMIDI
MIDI(Music Instrument Digital Interface) MIDI(Music Instrument Digital Interface)是是
指乐器数字接口的国际标准。指乐器数字接口的国际标准。
MIDI MIDI消息，是指乐谱的数字描述。消息，是指乐谱的数字描述。
任何电子乐器，只要有处理任何电子乐器，只要有处理MIDIMIDI消息的微处消息的微处
理器和合适的硬件接口，就构成了一个理器和合适的硬件接口，就构成了一个MIDIMIDI设设
备。当一组备。当一组MIDIMIDI消息通过音乐合成芯片处理时，消息通过音乐合成芯片处理时，
合成器能解释这些符号并且产生音乐。合成器能解释这些符号并且产生音乐。
MIDI MIDI的关键是作为媒体能够记录这些音乐的的关键是作为媒体能够记录这些音乐的
符号，相应的设备能够产生和解释这些符号。它符号，相应的设备能够产生和解释这些符号。它
给出了一种得到音乐声音的方法。给出了一种得到音乐声音的方法。
音频的数字化和符号化音频的数字化和符号化
MIDIMIDI的特点：的特点：
与波形声音相比，与波形声音相比，MIDIMIDI不是声音数据而是指令，不是声音数据而是指令，
所以数据量要少得多。所以数据量要少得多。3030分钟的音乐，分钟的音乐， 用用MIDIMIDI文文
件记录只需件记录只需200200KBKB，，用用1616位位CDCD品质的未压缩品质的未压缩WAVWAV
文件记录需文件记录需317317MBMB
MIDI MIDI可以与其他波形声音配合使用，形成伴乐的可以与其他波形声音配合使用，形成伴乐的
效果。而两个波形声音一般是不能同时使用的效果。而两个波形声音一般是不能同时使用的
对对MIDIMIDI的编辑也很灵活，用户可以自由地改变音的编辑也很灵活，用户可以自由地改变音
调、音色等属性，直到自己想要的效果调、音色等属性，直到自己想要的效果
MIDI MIDI在音质上还不能与真正的乐器完全相似。无在音质上还不能与真正的乐器完全相似。无
法模拟自然界中其它非乐曲类声音法模拟自然界中其它非乐曲类声音
音频的数字化和符号化音频的数字化和符号化
（（22）语音的符号化）语音的符号化
语音与文字是对应的。波形声音可以记录表示语音与文字是对应的。波形声音可以记录表示
语音，它是不是语音取决于听者对声音的理解。语音，它是不是语音取决于听者对声音的理解。
对语音的符号化实际上就是对语音的识别，将语对语音的符号化实际上就是对语音的识别，将语
音转变为字符，反之也可以将文字合成语音。音转变为字符，反之也可以将文字合成语音。
语音指构成人类语音信号的各种声音。在采语音指构成人类语音信号的各种声音。在采
集和存储上可以与波形声音一样，但由于语音是集和存储上可以与波形声音一样，但由于语音是
由一连串的音素组成。由一连串的音素组成。““一句话一句话””中包含许多音中包含许多音
节以及上下文过渡过程的连接体等特殊的信息，节以及上下文过渡过程的连接体等特殊的信息，
并且语音本身与语言有关，所以要把它作为一个并且语音本身与语言有关，所以要把它作为一个
独立的媒体来看待。独立的媒体来看待。
音频媒体的三维化处理音频媒体的三维化处理
11．三维虚拟声空间．三维虚拟声空间
所所 谓谓 三三 维维 虚虚 拟拟 声声 空空 间间 （（ Three Three Dimensional Dimensional
Virtual Virtual AcousticAcoustic，，3DVA3DVA）），，是是指指用用一一定定的的声声音音
设设备备人人为为地地产产生生出出来来的的具具有有空空间间位位置置信信息息的的声声音音
空间。空间。
三三维维听听觉觉的的使使用用明明显显地地依依赖赖于于用用户户对对听听觉觉空空间间
中中各各种种信信息息源源的的定定位位能能力力。。一一般般说说来来，，三三维维虚虚拟拟
声空间要达到以下的一些目标：声空间要达到以下的一些目标：
①① 在可听的范围内重现频率分辨度和动态范围；在可听的范围内重现频率分辨度和动态范围；
②② 在三维空间中精确地呈现声音的位置信息；在三维空间中精确地呈现声音的位置信息；
③③ 能表达多个静止和移动的声源；能表达多个静止和移动的声源；
④④ 能和头部的动作具有一定的关联；能和头部的动作具有一定的关联；
⑤⑤ 能够支持一定程度的交互。能够支持一定程度的交互。
音频媒体的三维化处理音频媒体的三维化处理
22．．33DVADVA的基本理论的基本理论
人类感知声源位置的最基本的理论是双工理论人类感知声源位置的最基本的理论是双工理论，，
该理论基于两种因素：两耳间声音的到达时间差该理论基于两种因素：两耳间声音的到达时间差
ITDITD（（Interaural Time DifferencesInteraural Time Differences））和两耳间声音和两耳间声音
的强度差的强度差IIDIID（（Interaural Intensity DifferencesInteraural Intensity Differences））。。
时间差是由于距离的原因造成的，当声音从正时间差是由于距离的原因造成的，当声音从正
面传来时，距离相等，所以没有时间差；但若偏右面传来时，距离相等，所以没有时间差；但若偏右
33oo，，则到达右耳的时间就要比左耳约早则到达右耳的时间就要比左耳约早3030msms，，而正而正
是这是这3030msms，，使得我们辨别出了声源的位置。使得我们辨别出了声源的位置。
强度差是由于信号衰减造成的，信号的衰减是强度差是由于信号衰减造成的，信号的衰减是
因为距离产生的，在很多情况下是因为人的头部遮因为距离产生的，在很多情况下是因为人的头部遮
挡，使声音衰减，产生了强度的差别，使得靠近声挡，使声音衰减，产生了强度的差别，使得靠近声
源一侧的耳朵听到的声音强度要大于另一耳。源一侧的耳朵听到的声音强度要大于另一耳。
音频媒体的三维化处理音频媒体的三维化处理
3 3DVADVA理论较形象地说明：人耳对声音定位的理论较形象地说明：人耳对声音定位的
特性，通过大脑的综合作用后，对有差别的声音信特性，通过大脑的综合作用后，对有差别的声音信
号进行了相对于空间位置的定位。号进行了相对于空间位置的定位。
人耳对声源方位的判定起决定作用的是耳廓。人耳对声源方位的判定起决定作用的是耳廓。
当声波从声源传到听者的耳部时，声波会在耳廓发当声波从声源传到听者的耳部时，声波会在耳廓发
生不断的反射和折射，然后由内耳道传到耳鼓，使生不断的反射和折射，然后由内耳道传到耳鼓，使
人产生音感。这种反射、折射是依赖于频率的，通人产生音感。这种反射、折射是依赖于频率的，通
过不同频率的变化，使得人耳能够辨别声源的方位。过不同频率的变化，使得人耳能够辨别声源的方位。
另外，当声音从声源传到人的内耳并形成听觉时，另外，当声音从声源传到人的内耳并形成听觉时，
声音信号已经携带了两个很重要的信息，从而形成声音信号已经携带了两个很重要的信息，从而形成
了空间真实感和环境真实感。声源的本身信号特征、了空间真实感和环境真实感。声源的本身信号特征、
声源的空间三维位置、声源所处的环境这三个因素声源的空间三维位置、声源所处的环境这三个因素
描述了声源的全部信息。描述了声源的全部信息。
音频媒体的三维化处理音频媒体的三维化处理
33．．HRTFHRTF方法方法
实现空间真实感的关键是建立起耳廓模型，这实现空间真实感的关键是建立起耳廓模型，这
种方法被称为种方法被称为““双耳相关函数法双耳相关函数法””，也即，也即
HRTFHRTF（（Head-Related Transfer FunctionHead-Related Transfer Function，，与头部与头部
有关的转移函数）。有关的转移函数）。
从理论上利用从理论上利用HRTFHRTF产生真实空间声音的算法产生真实空间声音的算法
如下图所示。如下图所示。
音频媒体的三维化处理音频媒体的三维化处理
威海北洋职业技术学校威海北洋职业技术学校《《多媒体技术教程多媒体技术教程
》》
视觉媒体技术视觉媒体技术
视觉心理学视觉心理学
11．视觉的心理特征．视觉的心理特征
视视觉觉是是人人类类最最重重要要的的感感知知能能力力，，通通过过视视觉觉可可
以以感感知知到到外外部部世世界界的的形形状状、、大大小小、、色色彩彩、、明明暗暗、、
机理和运动等多方面的信息。机理和运动等多方面的信息。
同声音心理学相似，与视觉相对应的光学物同声音心理学相似，与视觉相对应的光学物
理性质和心理知觉也是截然不同的。虽然光的物理性质和心理知觉也是截然不同的。虽然光的物
理特性与心理知觉有关，但它们的关系并不是线理特性与心理知觉有关，但它们的关系并不是线
性的。对光的色调和亮度的感觉不仅和它的频率性的。对光的色调和亮度的感觉不仅和它的频率
和强度有关，而且还和它出现的背景有关，和同和强度有关，而且还和它出现的背景有关，和同
时出现的周围光有关。时出现的周围光有关。
视觉心理学视觉心理学
视觉心理变量 主要的物理变量
亮度 光强
色调（彩色） 波长
浓度（彩色的浓度） 光谱成分
对比 光强、波长、周围光
视觉心理学视觉心理学
2. 2. 视觉特性视觉特性
亮度亮度
亮度是人眼对光强度的感受。亮度是人眼对光强度的感受。
一一个个物物体体的的亮亮度度不不仅仅跟跟目目标标的的物物理理强强度度有有关关，，
而而且且与与周周围围的的背背景景有有关关。。假假定定整整个个照照明明增增大大了了，，目目
标标和和环环境境的的光光强强就就按按照照比比例例增增大大了了，，两两者者之之间间的的物物
理理对对比比就就维维持持不不变变。。但但当当照照明明增增强强时时，，目目标标的的亮亮度度
可可能能会会亮亮一一些些，，也也可可能能保保持持不不变变，，甚甚至至看看起起来来亮亮度度
减减少少一一些些。。这这些些都都取取决决于于中中心心和和周周围围之之间间的的相相对对强强
度，也就是对比度。度，也就是对比度。
对图像的处理最重要的是亮度的差别。对图像的处理最重要的是亮度的差别。
视觉心理学视觉心理学
与与声声音音相相似似，，视视觉觉上上也也有有等等亮亮曲曲线线，，反反映映了了视视
觉觉在在亮亮度度上上与与波波长长的的关关系系。。在在同同一一亮亮度度感感觉觉下下，，不不
同波长的光具有不同的光强。同波长的光具有不同的光强。
视觉也有掩蔽现象，在很亮的高光周围时难以视觉也有掩蔽现象，在很亮的高光周围时难以
看清的，道理和声音是类似的看清的，道理和声音是类似的。。
视觉心理学视觉心理学
视觉的时间特性视觉的时间特性
建建立立视视觉觉图图像像需需要要时时间间，，而而一一旦旦建建立立起起来来之之后后，，
即即使使把把图图像像对对象象拿拿走走，，这这种种反反应应也也要要维维持持一一段段时时间间。。
这这是是因因为为把把光光转转变变为为神神经经电电需需要要时时间间。。正正因因为为视视网网
膜膜图图像像时时逐逐渐渐消消退退的的，，所所以以视视觉觉暂暂留留可可以以存存在在十十分分
之几秒。之几秒。
视觉心理学视觉心理学
彩色彩色
表表示示颜颜色色需需要要考考虑虑三三种种心心理理属属性性：：色色调调、、亮亮度度
和和饱饱和和度度。。色色调调就就是是通通常常意意义义下下的的彩彩色色，，它它随随波波长长
的的变变化化而而变变化化，，反反映映颜颜色色的的基基本本特特性性。。亮亮度度是是光光作作
用用于于人人眼眼所所引引起起的的明明亮亮程程度度的的感感觉觉，，与与光光强强有有关关。。
饱饱和和度度是是代代表表为为了了产产生生所所感感知知到到的的彩彩色色在在白白光光中中必必
须须混混入入的的纯纯单单色色光光的的相相对对数数量量，，或或者者说说是是颜颜色色的的深深
浅浅程程度度。。对对同同一一色色调调的的彩彩色色光光，，饱饱和和度度越越深深颜颜色色越越
鲜艳。色调和饱和度统称为色度。鲜艳。色调和饱和度统称为色度。
视觉心理学视觉心理学
颜色是由三种原色光混合而成的。可见光的波颜色是由三种原色光混合而成的。可见光的波
长从长从380380纳米到纳米到780780纳米。不同波长呈现出不同颜色，纳米。不同波长呈现出不同颜色，
可见光波长从长到短依次为红橙黄绿青蓝紫。可见光波长从长到短依次为红橙黄绿青蓝紫。
只只有有单单一一波波长长成成分分的的光光称称为为单单色色光光，，含含有有两两种种
以以上上波波长长成成分分的的光光称称为为复复合合光光，，所所有有可可见见光光按按照照一一
定比例混合就是白色光。定比例混合就是白色光。
在在辐辐射射功功率率相相同同的的条条件件下下，，不不同同波波长长的的光光不不仅仅
给给人人不不同同的的颜颜色色感感觉觉，，而而且且也也给给人人不不同同的的亮亮度度感感觉觉。。
人人眼眼一一般般感感到到红红光光最最暗暗，，蓝蓝光光次次之之，，而而黄黄绿绿光光最最亮亮。。
研研究究表表明明，，人人眼眼对对亮亮度度信信息息敏敏感感，，而而对对颜颜色色的的敏敏感感
程度相对较弱。程度相对较弱。
视觉心理学视觉心理学
在在白白色色背背景景下下，，一一般般使使用用红红黄黄蓝蓝作作为为原原色色来来混混
合其它颜色，这就是减基色合成彩色系统。合其它颜色，这就是减基色合成彩色系统。
在在黑黑色色背背景景下下，，一一般般使使用用红红绿绿蓝蓝作作为为基基色色来来混混
合其它颜色，这就是加基色合成彩色系统。合其它颜色，这就是加基色合成彩色系统。
一般绘画时采用前者，电视中采用后者。一般绘画时采用前者，电视中采用后者。
视觉心理学视觉心理学
注视点和视野范围注视点和视野范围
人人在在观观察察视视觉觉类类媒媒体体时时，，注注视视点点喜喜欢欢集集中中在在什什
么么地地方方？？研研究究表表明明，，视视觉觉注注视视点点主主要要集集中中在在图图像像中中
黑黑白白交交界界的的部部分分，，尤尤其其是是拐拐角角处处。。如如果果是是闭闭合合图图形形，，
注注视视点点往往往往向向内内侧侧移移动动。。注注视视点点容容易易集集中中在在时时隐隐时时
现运动变化的部分或者图像中特别不规则的地方。现运动变化的部分或者图像中特别不规则的地方。
人人眼眼的的视视野野开开阔阔，，左左右右视视角角约约为为180180度度，，上上下下
约约为为6060度度。。但但视视力力好好的的部部位位仅仅限限于于22到到33度度，，用用于于观观
察察视视觉觉媒媒体体的的细细节节。。而而在在周周边边，，则则主主要要识识别别特特征征。。
但但是是需需要要注注意意，，只只有有大大的的视视野野才才有有可可能能制制造造出出临临场场
感。感。
模拟视频原理模拟视频原理
光栅扫描原理光栅扫描原理
视视频频摄摄像像机机将将图图像像转转换换为为电电信信号号，，电电信信号号是是一一
维维的的，，但但图图像像是是二二维维的的，，将将二二维维图图像像转转成成为为一一维维电电
信信号号是是由由光光栅栅扫扫描描的的方方法法实实现现的的。。快快速速的的扫扫描描线线从从
顶顶部部开开始始，，一一行行一一行行地地向向下下扫扫描描，，直直至至显显示示器器的的最最
底底部部，，然然后后再再返返回回顶顶部部的的起起点点，，重重新新开开始始扫扫描描。。这这
个个过过程程产产生生的的一一个个有有序序的的图图像像信信号号集集合合，，就就组组成成了了
电电视视显显示示中中的的一一幅幅图图像像，，在在此此称称为为帧帧。。连连续续不不断断的的
图像序列就形成了动态视频图像。图像序列就形成了动态视频图像。
模拟视频原理模拟视频原理
分分辨辨率率表表现现的的是是电电视视系系统统中中重重现现场场景景细细
节节的的能能力力。。水水平平扫扫描描线线所所能能分分辨辨出出的的点点数数称称
为为水水平平分分辨辨率率。。一一般般来来说说，，点点数数越越小小，，线线越越
细细，，分分辨辨率率就就越越高高。。一一个个系系统统的的水水平平分分辨辨率率
为为400400线线，，指指在在对对应应于于图图像像高高度度的的水水平平距距离离内内
能能交交替替显显示示200200条条白白线线和和200200条条黑黑线线。。相相应应地地，，
一一帧帧中中垂垂直直扫扫描描的的行行数数称称为为垂垂直直分分辨辨率率。。垂垂
直直分分辨辨率率和和每每帧帧中中的的扫扫描描线线有有关关，，扫扫描描线线越越
多多，，分分辨辨率率就就越越高高。。广广播播电电视视系系统统垂垂直直的的行行
数数一一般般是是525525线线（（北北美美和和日日本本））和和625625线线（（欧欧
洲和中国）。洲和中国）。
模拟视频原理模拟视频原理
每每一一秒秒钟钟所所扫扫描描的的帧帧数数称称为为帧帧频频，，一一般般为为2525帧帧
（（PALPAL））或或者者3030帧帧（（NTSCNTSC））。。由由于于是是隔隔行行扫扫描描，，
所所以以垂垂直直频频率率分分别别是是每每秒秒5050帧帧和和6060帧帧。。因因此此，，人人眼眼
就不容易看到闪烁。就不容易看到闪烁。
宽宽高高比比是是扫扫描描的的一一个个重重要要的的参参数数。。扫扫描描行行的的长长
度度与与在在图图像像垂垂直直方方向向上上的的所所有有扫扫描描行行所所跨跨过过的的距距离离
之之比比，，就就成成为为宽宽高高比比。。目目前前电电视视中中的的宽宽高高比比为为44：：33
，，新新型型电电视视的的宽宽高高比比为为1616：：99，，有有些些电电影影系系统统的的宽宽
高比为高比为22：：1 1 。。
模拟视频原理模拟视频原理
彩色视频彩色视频
加加基基系系统统是是彩彩色色视视频频系系统统的的基基础础。。彩彩色色电电视视
采采用用红红绿绿蓝蓝（（RGBRGB））作作为为三三基基色色进进行行配配色色，，产产生生出出
RR、、GG、、BB三三个个输输出出信信号号，，RGBRGB信信号号可可以以分分别别传传输输，，
但但是是要要配配上上相相应应的的同同步步信信号号。。在在RGBRGB系系统统中中需需要要三三
根根视视频频电电缆缆互互连连，，但但是是三三个个信信号号在在同同步步关关系系方方面面相相
当当复复杂杂，，所所以以大大部部分分彩彩色色电电视视不不处处理理RGBRGB，，而而是是将将
RGBRGB信信号号组组合合起起来来在在一一条条电电缆缆中中传传输输，，这这就就是是复复合合
信号。信号。
模拟视频原理模拟视频原理
现现有有的的几几种种不不同同的的复复合合信信号号有有NTSCNTSC、、PALPAL和和
SECAMSECAM。。根根据据亮亮度度//色色度度原原理理，，任任何何彩彩色色信信号号都都可可
以以分分为为亮亮度度和和色色度度。。色色度度只只要要使使用用色色差差就就可可以以表表示示
颜颜色色信信号号，，而而不不必必使使用用RGBRGB三三个个完完整整的的信信号号。。将将
亮亮度度和和色色度度交交错错排排列列分分别别放放到到电电缆缆上上，，就就组组成成了了复复
合信号。合信号。
电电视视系系统统的的三三种种制制式式采采用用的的信信号号形形式式也也不不完完全全
一一样样。。NTSCNTSC的的亮亮度度信信号号称称为为YY，，色色度度信信号号为为II和和QQ
，，即即YIQYIQ方方式式。。PALPAL制制式式和和SECAMSECAM制制式式的的亮亮度度和和
色色度度与与之之相相对对应应为为YUVYUV，，它它们们的的差差别别在在于于编编码码方方
式式的的不不同同。。YUVYUV、、YIQYIQ可可以以与与RGBRGB互互换换。。RGBRGB、、
YUVYUV和和YIQYIQ等都被称为彩色空间。等都被称为彩色空间。
模拟视频原理模拟视频原理
视频设备视频设备
按按照照用用途途不不同同，，视视频频设设备备可可以以分分为为广广播播、、专专业业
和和消消费费三三个个级级别别。。广广播播级级一一般般是是大大型型的的电电视视台台和和网网
络络站站使使用用，，它它的的性性能能最最好好，，用用于于大大系系统统应应用用，，价价格格
昂昂贵贵；；专专业业级级一一般般用用于于教教育育界界和和工工业业界界的的小小广广播播站站，，
有有较较好好的的性性能能。。而而消消费费级级是是家家用用设设备备，，一一般般操操作作简简
单、性能可靠，一般价格是第一位的。单、性能可靠，一般价格是第一位的。
具具体体的的视视频频设设备备有有如如彩彩色色摄摄影影机机、、视视频频记记录录设设
备和视频监视设备。备和视频监视设备。
视觉视觉媒体数字化媒体数字化
11．位图图像与数字视频．位图图像与数字视频
对计算机来说，无论是文字或图形，还是图对计算机来说，无论是文字或图形，还是图
像或视频，在计算机上进行处理首先要数字化。像或视频，在计算机上进行处理首先要数字化。
与音频信号相似，对所要处理的一幅画面，通过与音频信号相似，对所要处理的一幅画面，通过
对每一个象素进行采样，并且按照颜色或者灰度对每一个象素进行采样，并且按照颜色或者灰度
进行量化，就可以得到图像的数字化结果。数字进行量化，就可以得到图像的数字化结果。数字
化的结果放在显示缓存区中，与显示器上的点一化的结果放在显示缓存区中，与显示器上的点一
一对应，这就是位图图像。对视频按照时间进行一对应，这就是位图图像。对视频按照时间进行
数字化所得到的图像序列，就构成了数字视频序数字化所得到的图像序列，就构成了数字视频序
列。它同样与频率和量化的比特数有关。频率必列。它同样与频率和量化的比特数有关。频率必
须足够高，以跟上模拟信号流；量化的比特数越须足够高，以跟上模拟信号流；量化的比特数越
多，量化的值就越多，所能表示的颜色或灰度级多，量化的值就越多，所能表示的颜色或灰度级
数就越多。数就越多。
视觉视觉媒体数字化媒体数字化
在在一一幅幅图图像像的的XX轴轴上上是是一一行行的的点点数数，，在在YY轴轴上上
是是行行数数。。XX、、YY的的交交叉叉点点就就是是一一个个象象素素，，每每一一个个象象
素素可可以以有有若若干干比比特特来来表表示示。。按按照照标标准准间间隔隔在在时时间间
轴轴上上采采样样的的图图像像组组组组成成视视频频序序列列。。所所以以可可以以说说，，
图图像像是是离离散散的的视视频频，，而而视视频频是是连连续续的的图图像像。。当当进进
行行再再现现时时，，被被表表示示称称数数字字形形式式的的数数据据按按格格式式和和时时
间间送送上上显显示示器器，，就就又又恢恢复复了了原原先先的的形形态态。。其其它它的的
视视觉觉媒媒体体如如文文字字、、图图形形等等，，在在显显示示原原理理上上都都是是以以
此此为为基基础础的的，，它它们们都都是是通通过过预预先先的的编编码码表表示示出出显显
示示的的形形式式，，在在再再现现时时，，在在显显示示器器上上画画出出所所要要的的图图
形或者文字。形或者文字。
视频媒体数字化视频媒体数字化
视频媒体数字化视频媒体数字化
文件格式 说 明
GIF
Graphics Interchange Format的缩写，是由Compu-Serve公司于
1987年为制定彩色图像传输协议而开发的一种图像文件格式
TIFF
Tag Image File Format缩写，是由Alaus和Microsoft公司为扫描仪和桌
上出版系统研发的一种图像文件格式，它的文件格式全部基于标志域
TGA
Targe Image Format的缩写，是Truevision公司为Targe
和Vista图像获取板设计的软件TIPS所使用的文件格式
BMP（Bitmap
）
是一种与设备无关的图像文件格式，是Windows软件推荐
使用的一种格式
PCX 是由Zsoft公司研制开发的，一般与PC-Paint Brush图像软件一起使用
MPG 根据国际标准MPEG编码的一种动态图像文件格式
AVS
Intel和IBM公司共同研制的DVI系统的一种动态图像文件格式，
AVS文件只能在DVI系统硬件下才能够读写
AVI Intel和IBM公司共同研制的DVI系统的一种动态图像文件格式
视觉视觉媒体数字化媒体数字化
22．图形．图形
图图 形形 ((Graphics)Graphics)：： 一一 种种 抽抽
象象化化的的图图像像，，是是对对图图像像依依据据
某某个个标标准准进进行行分分析析而而产产生生的的
结结果果。。它它不不直直接接描描述述数数据据的的
每每一一点点，，而而是是描描述述产产生生这这些些
点点的的过过程程及及方方法法。。因因此此被被称称
之之为为矢矢量量图图形形，，一一般般直直接接称称
为图形。为图形。
视觉视觉媒体数字化媒体数字化
矢矢量量图图形形是是以以一一组组指指令令的的形形式式存存在在的的，，这这些些指指令令
描描述述一一幅幅图图中中所所包包含含的的直直线线、、圆圆、、弧弧线线、、矩矩形形的的大大
小小和和形形状状，，也也可可以以用用更更为为复复杂杂的的形形式式表表示示图图像像中中曲曲
面面、、光光照照、、材材质质等等效效果果。。在在计计算算机机上上显显示示一一幅幅图图像像
时时，，首首先先要要解解释释这这些些指指令令，，然然后后将将它它们们转转变变成成屏屏幕幕
上显示的形状和颜色。上显示的形状和颜色。
图形的矢量化使得有可能对图中的各个部分分图形的矢量化使得有可能对图中的各个部分分
别进行控制。计算机可以对其中任何对象分别进行别进行控制。计算机可以对其中任何对象分别进行
任意的变换：放大、缩小、旋转、变形、扭曲、移任意的变换：放大、缩小、旋转、变形、扭曲、移
位、叠加等，并仍保持图形特性。图形变换的灵活位、叠加等，并仍保持图形特性。图形变换的灵活
性，使其在处理上获得了更大的自由度。性，使其在处理上获得了更大的自由度。
视觉视觉媒体数字化媒体数字化
33．符号与文字．符号与文字
符号媒体：是某种抽象的结果。各种描述量、符号媒体：是某种抽象的结果。各种描述量、
语言、数据、标识符、数值、字符等都是符号媒语言、数据、标识符、数值、字符等都是符号媒
体。体。
由于符号具有明显的结构性，大脑可以识别由于符号具有明显的结构性，大脑可以识别
这种结构，进而可识别出由这一组符号所代表的这种结构，进而可识别出由这一组符号所代表的
信息。这种结构可以组成文本，即字符串；也可信息。这种结构可以组成文本，即字符串；也可
以组成数据组，如数据库中的一个元组，均可表以组成数据组，如数据库中的一个元组，均可表
达特定的信息达特定的信息 。。
视觉视觉媒体数字化媒体数字化
符号媒体特点：符号媒体特点：
符号媒体要知识的辅助才能使用，知识的辅助符号媒体要知识的辅助才能使用，知识的辅助
随着层次的升高而不断增强作用随着层次的升高而不断增强作用
“ “I CAN SPEAK ENGLISH”I CAN SPEAK ENGLISH”
如学英文时，开始只认识字母；如学英文时，开始只认识字母；
学过英文单词后，认识到一个个单词；学过英文单词后，认识到一个个单词；
学习文法后，发现是一个句子学习文法后，发现是一个句子
符号媒体表达精度高符号媒体表达精度高
符号媒体存储量小符号媒体存储量小
视觉视觉媒体数字化媒体数字化
文本媒体是用得最多的符号媒体形文本媒体是用得最多的符号媒体形
式。主要特点如下：式。主要特点如下：
文本是流结构形式：由具有上下文关系的字文本是流结构形式：由具有上下文关系的字
符串组成符串组成,,它与字符的结构样式有关，与形式它与字符的结构样式有关，与形式
无关无关
对文本的控制不影响媒体信息本来的表达对文本的控制不影响媒体信息本来的表达
文本显示的改变只是属性的改变，并不影响文本显示的改变只是属性的改变，并不影响
文本本身的含义文本本身的含义
对文本的处理应遵从文本内部的结构，如断对文本的处理应遵从文本内部的结构，如断
词，接尾，分段，章节安排词，接尾，分段，章节安排
视觉视觉媒体的三维立体显示媒体的三维立体显示
11．立体显示原理．立体显示原理
三维显示实际上具有两个含义，一个是指物三维显示实际上具有两个含义，一个是指物
体的三维图像在平面上的显示，特别是三维图形体的三维图像在平面上的显示，特别是三维图形
的显示，这是图形学的重点。另一个含义是指所的显示，这是图形学的重点。另一个含义是指所
显示的图像确确实实是立体的，是显示的图像确确实实是立体的，是““浮浮””在空间在空间
中的，和我们所看的立体电影一样。这是我们讨中的，和我们所看的立体电影一样。这是我们讨
论的重点。论的重点。
视差（视差（parallaxparallax））是投影到人眼视网膜上图像是投影到人眼视网膜上图像
上两点间的水平距离，正是这个距离产生了视觉上两点间的水平距离，正是这个距离产生了视觉
上的立体感。注视远处的物体时的视差与注视近上的立体感。注视远处的物体时的视差与注视近
处物体时的视差是不同的，因此所谓的立体感正处物体时的视差是不同的，因此所谓的立体感正
是这个不同距离作用的结果。是这个不同距离作用的结果。
视觉视觉媒体的三维立体显示媒体的三维立体显示
视差视差
视觉视觉媒体的三维立体显示媒体的三维立体显示
22．视差．视差
决定立体视觉的是视差。视差的种类大致分为决定立体视觉的是视差。视差的种类大致分为
四种：零视差、正视差、负视差和发散视差。它们四种：零视差、正视差、负视差和发散视差。它们
产生的立体感觉是不同的。产生的立体感觉是不同的。
零零视视差差：：当当显显示示的的左左右右眼眼图图像像之之间间没没有有缝缝隙隙时时，，视视
差为零，就称为零视差。差为零，就称为零视差。
正正视视差差：：一一旦旦计计算算机机显显示示的的立立体体图图像像对对的的视视差差大大于于
00，，我我们们就就可可以以看看到到深深度度。。正正视视差差差差值值大大于于00且且小小于于
等于人眼之间的距离。等于人眼之间的距离。
负负视视差差：：当当两两眼眼的的目目光光交交叉叉时时，，就就会会产产生生负负视视差差。。
这这时时，，所所观观察察的的对对象象将将会会浮浮现现在在两两眼眼与与显显示示器器之之间间
的空间中。的空间中。
发散视差发散视差 ：视差的值比两眼之间的距离还要大。：视差的值比两眼之间的距离还要大。
视觉视觉媒体的三维立体显示媒体的三维立体显示
33．立体图像的产生．立体图像的产生
（（11）旋转法）旋转法
一一个个很很简简单单的的方方法法是是将将一一幅幅图图像像进进行行旋旋转转以以制制造造
出视差效果。旋转的顺序是：出视差效果。旋转的顺序是：
将整个图像从左至右旋转将整个图像从左至右旋转4°4°，以产生左眼图像，以产生左眼图像
将整个图像从右至左旋转将整个图像从右至左旋转4°4°，以产生右眼图像，以产生右眼图像
执行透视投影执行透视投影
显示图像显示图像
使用旋转的方法产生出的立体图像对一些人来使用旋转的方法产生出的立体图像对一些人来
说并不适合，会引起不舒适感，显示立体图像时一说并不适合，会引起不舒适感，显示立体图像时一
般不采用这种方法。般不采用这种方法。
视觉视觉媒体的三维立体显示媒体的三维立体显示
（（22）投影变换法）投影变换法
投影变换法是模仿人眼观察物体时产生的视差，投影变换法是模仿人眼观察物体时产生的视差，
通过运算后投影到显示器上。在这种方法中，场景通过运算后投影到显示器上。在这种方法中，场景
中的物体对象在建模之后，通过投影变换生成线框中的物体对象在建模之后，通过投影变换生成线框
图，然后对该物体进行成像处理，生成左右眼的图图，然后对该物体进行成像处理，生成左右眼的图
像。像。
标准的投影变换基于单视点的投影。在坐标系标准的投影变换基于单视点的投影。在坐标系
中，以视点为投影中心，将三维物体的点投影于显中，以视点为投影中心，将三维物体的点投影于显
示器的投影平面上，便在该平面上产生三维物体的示器的投影平面上，便在该平面上产生三维物体的
像。把投影中心的单点变换为双点，很容易构造出像。把投影中心的单点变换为双点，很容易构造出
双眼的投影视图出来。双眼的投影视图出来。
视觉视觉媒体的三维立体显示媒体的三维立体显示
44．立体图像的显示．立体图像的显示
立体图像的显示方法有两种。一种方法是让一立体图像的显示方法有两种。一种方法是让一
只眼睛看一个显示器，每个显示器只显示对应眼睛只眼睛看一个显示器，每个显示器只显示对应眼睛
的图像，这样头脑中就产生了立体图像。这种方法的图像，这样头脑中就产生了立体图像。这种方法
的实现是把显示器缩小，放入到头盔中，这就是所的实现是把显示器缩小，放入到头盔中，这就是所
谓的头盔显示器。另一种方法是在显示器上快速地谓的头盔显示器。另一种方法是在显示器上快速地
显示两眼不同的图像，而观察者带上立体眼镜进行显示两眼不同的图像，而观察者带上立体眼镜进行
观察。由于眼镜中的液晶片与显示的图像同步地进观察。由于眼镜中的液晶片与显示的图像同步地进
行开关切换，使得在每一时刻只有一只眼睛能够看行开关切换，使得在每一时刻只有一只眼睛能够看
到对应的图像，只要速度足够快，由眼睛的暂留现到对应的图像，只要速度足够快，由眼睛的暂留现
象和大脑的作用，感觉到的就是立体的图像。象和大脑的作用，感觉到的就是立体的图像。
威海北洋职业技术学校威海北洋职业技术学校《《多媒体技术教程多媒体技术教程
》》
触觉媒体技术触觉媒体技术
触觉媒体概述触觉媒体概述
皮肤可以感觉环境的温度、湿度，也皮肤可以感觉环境的温度、湿度，也
可感觉压力，身体可以感觉振动、运动、可感觉压力，身体可以感觉振动、运动、
旋转等，这些都是触觉在起作用，都可以旋转等，这些都是触觉在起作用，都可以
作为传递信息的媒体。事实上，触觉媒体作为传递信息的媒体。事实上，触觉媒体
就是环境媒体，它描述了该环境中的一切就是环境媒体，它描述了该环境中的一切
特征和参数。特征和参数。
触觉媒体概述触觉媒体概述
人体在信息交流过程中起的作用最大的是人的头部、人体在信息交流过程中起的作用最大的是人的头部、
手部和整体躯干。与外界环境的触觉交互主要包括位置手部和整体躯干。与外界环境的触觉交互主要包括位置
跟踪、力量反馈等方面。跟踪、力量反馈等方面。
对手部信息的处理包括手部的位置、手指的动作类对手部信息的处理包括手部的位置、手指的动作类
型、手部的感觉、手部的力量反馈等。这些都要有特殊型、手部的感觉、手部的力量反馈等。这些都要有特殊
的设备和技术完成系统对手部信息的数字化和跟踪，并的设备和技术完成系统对手部信息的数字化和跟踪，并
将它们与系统的控制和应用结合起来。这些设备和技术将它们与系统的控制和应用结合起来。这些设备和技术
包括数据手套、压力传感手套、手部位置超声波跟踪器、包括数据手套、压力传感手套、手部位置超声波跟踪器、
力量反馈接口等。对躯干的位置跟踪和反馈与手部和头力量反馈接口等。对躯干的位置跟踪和反馈与手部和头
部很类似，但它要反映人体的体势语言和外界对人体的部很类似，但它要反映人体的体势语言和外界对人体的
力量反馈，如振动、倾覆、旋转等。这些设备包括数据力量反馈，如振动、倾覆、旋转等。这些设备包括数据
服装、三维数据座舱、模拟器等。服装、三维数据座舱、模拟器等。
简单指点设备与技术简单指点设备与技术
11．指点的任务．指点的任务
指点的任务包括：指点的任务包括：
选择选择
定位定位
定向定向
路径路径
数量数量
操作操作
简单指点设备与技术简单指点设备与技术
2 2．指点设备．指点设备
指指点点设设备备分分成成直直接接指指点点设设备备和和间间接接指指点点设设备备两两类类。。
前前者者直直接接使使用用特特殊殊的的指指点点设设备备或或用用手手指指点点屏屏幕幕，，后后者者
则通过指点设备的间接动作对屏幕上的对象进行指点。则通过指点设备的间接动作对屏幕上的对象进行指点。
直接指点设备包括：光笔、触摸屏及输入笔等。直接指点设备包括：光笔、触摸屏及输入笔等。
间接指点设备包括：鼠标、跟踪球、控制杆和图间接指点设备包括：鼠标、跟踪球、控制杆和图
形板。这些设备不接触显示屏幕，所以使用时不会遮形板。这些设备不接触显示屏幕，所以使用时不会遮
挡视线，也不易疲劳。挡视线，也不易疲劳。
简单指点设备与技术简单指点设备与技术
这些指点设备的输入都是在显示平面上这些指点设备的输入都是在显示平面上
的二维坐标空间中进行的，包括坐标改变的的二维坐标空间中进行的，包括坐标改变的
速度。除非经过特殊的变换，很难把它们向速度。除非经过特殊的变换，很难把它们向
三维空间转换。现在又出现了一些新型的指三维空间转换。现在又出现了一些新型的指
点设备，例如脚用鼠标器、视线跟踪器、凝点设备，例如脚用鼠标器、视线跟踪器、凝
视检测控制器等。视检测控制器等。
位置跟踪位置跟踪
为了与系统交互，系统必须了解参与者的身体动为了与系统交互，系统必须了解参与者的身体动
作，包括头、眼、手、肢体等部位的位置与运动方向。作，包括头、眼、手、肢体等部位的位置与运动方向。
系统将这些位置与运动的数据转变为特定的模式，对系统将这些位置与运动的数据转变为特定的模式，对
相应的动作进行表示。相应的动作进行表示。
1 1．手指动作测量和数字化．手指动作测量和数字化
对手部的跟踪采用一种称为数据手套的工具。对对手部的跟踪采用一种称为数据手套的工具。对
手指的测量主要采用在手套的手指部位装上能够测量手指的测量主要采用在手套的手指部位装上能够测量
手指弯曲、移动的检测器。检测器的种类有光纤、测手指弯曲、移动的检测器。检测器的种类有光纤、测
力板等。数据手套将接收到的数据送入计算机中，在力板等。数据手套将接收到的数据送入计算机中，在
计算机中被转换为相应的数字化格式。计算机中被转换为相应的数字化格式。
位置跟踪位置跟踪
对手指动作的测量和数字化，实际上更关心的是对手指动作的测量和数字化，实际上更关心的是
手指的相对位置。拇指和食指、食指和其他手指等的手指的相对位置。拇指和食指、食指和其他手指等的
相对动作包含了许多含义。识别这些相对的动作，采相对动作包含了许多含义。识别这些相对的动作，采
用的方法就是建立手指动作模式库。首先将各种手指用的方法就是建立手指动作模式库。首先将各种手指
的动作数据进行采集，进行规范化处理后建立起动作的动作数据进行采集，进行规范化处理后建立起动作
模式并存储起来。在使用时将实时采样得到的数据与模式并存储起来。在使用时将实时采样得到的数据与
库中的模式进行比较，就可以知道手指的动作。手指库中的模式进行比较，就可以知道手指的动作。手指
动作的数字化分辨率越高，模式就越复杂，对手指动动作的数字化分辨率越高，模式就越复杂，对手指动
作的解释就越丰富、越精确。作的解释就越丰富、越精确。
位置跟踪位置跟踪
2 2．空间位置跟踪．空间位置跟踪
在数据手套上有一个定位的装置，这是用于进行在数据手套上有一个定位的装置，这是用于进行
手部位置跟踪的。手部的位置是指手部在空中的相对手部位置跟踪的。手部的位置是指手部在空中的相对
位置，所以还需要一个坐标原点。事实上，无论是数位置，所以还需要一个坐标原点。事实上，无论是数
据手套还是头部的位置跟踪其原理都是一样的。据手套还是头部的位置跟踪其原理都是一样的。
另外一种测量空间位置的装置称为另外一种测量空间位置的装置称为PolhemusPolhemus三三
维定位机构，它也是一种有六个自由度的空间位置传维定位机构，它也是一种有六个自由度的空间位置传
感器，可相对于某一固定位置的原点，得到目标所处感器，可相对于某一固定位置的原点，得到目标所处
位置的相对方向和位置信号。位置的相对方向和位置信号。
力反馈与触觉反馈力反馈与触觉反馈
这这与与位位置置跟跟踪踪正正好好相相反反，，是是由由系系统统向向参参与与者者反反馈馈
力力和和运运动动的的信信息息，，如如触触觉觉刺刺激激（（物物体体的的表表面面纹纹理理等等））
、、反反作作用用力力（（推推门门的的门门重重感感觉觉））、、运运动动感感觉觉（（摇摇晃晃、、
振动等）及温度、湿度等环境信息。振动等）及温度、湿度等环境信息。
1 1．力反馈．力反馈
力力反反馈馈包包括括对对重重量量的的感感知知、、对对阻阻力力的的感感知知（（在在水水
中中前前进进与与前前进进中中碰碰壁壁是是不不同同的的阻阻力力））、、吸吸引引力力（（如如
分子间的吸引力、磁铁的吸引力）等。分子间的吸引力、磁铁的吸引力）等。
建立力反馈的直接方法是利用提供动力的电动建立力反馈的直接方法是利用提供动力的电动
机和对人体或人体部位进行力反馈的机和对人体或人体部位进行力反馈的““外骨系统外骨系统””
。。
力反馈与触觉反馈力反馈与触觉反馈
建建立立力力的的反反馈馈可可以以采采用用简简单单的的方方法法，，通通
过过颜颜色色、、声声音音或或运运动动都都可可以以间间接接获获得得力力的的反反
馈馈效效果果。。例例如如，，通通过过改改变变屏屏幕幕上上对对象象的的颜颜色色，，
可以表示出对象的受力情况。可以表示出对象的受力情况。
通通过过力力感感反反馈馈装装置置，，可可以以直直接接提提供供力力的的
反反馈馈，，提提供供使使人人感感受受到到的的物物理理力力。。目目前前已已建建
造了一些用以提供力感反馈的装置。造了一些用以提供力感反馈的装置。
力反馈与触觉反馈力反馈与触觉反馈
2 2．触觉反馈．触觉反馈
对对于于触触觉觉的的反反馈馈需需要要能能够够让让人人体体区区别别出出不不同同物物体体
的的质质感感和和纹纹理理结结构构。。抚抚摸摸小小猫猫的的皮皮肤肤与与抚抚摸摸乌乌龟龟壳壳
的感觉肯定是不一样的。的感觉肯定是不一样的。
采采用用某某些些物物理理装装置置，，可可以以提提供供一一种种直直接接通通过过皮皮
肤肤感感知知的的触触觉觉反反馈馈。。例例如如使使用用一一种种手手套套，，分分布布在在手手
套套内内表表面面上上的的是是一一个个具具有有若若干干振振动动凸凸起起物物的的矩矩阵阵，，
通通过过这这些些振振动动凸凸起起物物的的作作用用，，可可以以模模拟拟出出一一定定的的触触
觉觉效效果果。。其其他他的的可可能能方方法法还还有有：：在在手手套套内内部部安安装装一一
些些可可膨膨胀胀的的特特制制小小泡泡或或微微型型弹弹簧簧，，或或基基于于在在电电荷荷的的
作作用用下下某某些些材材料料可可由由液液态态变变为为固固态态以以及及利利用用记记忆忆合合
金的变形功能等。金的变形功能等。
力反馈与触觉反馈力反馈与触觉反馈
3 3．热觉反馈．热觉反馈
热热觉觉反反馈馈也也是是一一种种触触觉觉反反馈馈，，但但它它提提供供的的是是温温
度度的的反反应应。。当当拿拿一一个个物物体体时时，，应应该该感感觉觉到到物物体体的的温温
度度；；当当靠靠近近一一盆盆虚虚拟拟的的篝篝火火时时，，应应能能感感觉觉到到篝篝火火的的
温度。这些反馈需要的就是热觉反馈。温度。这些反馈需要的就是热觉反馈。
有有一一种种热热觉觉反反馈馈系系统统使使用用了了加加热热泵泵、、温温度度传传感感
器器和和热热表表面面，，通通过过计计算算机机对对系系统统进进行行控控制制，，控控制制的的
温温度度范范围围目目前前在在1010～～35℃35℃之之间间。。加加热热泵泵将将热热从从热热表表
面面上上移移入入移移出出，，通通过过传传感感器器的的控控制制，，就就可可以以得得到到所所
需要的温度。需要的温度。
威海北洋职业技术学校威海北洋职业技术学校《《多媒体技术教程多媒体技术教程
》》
小小 结结
本章重点本章重点
¨̈媒体的种类，常见的媒体元素及特点媒体的种类，常见的媒体元素及特点
¨̈听觉特性听觉特性
¨̈音频的数字化和符号化及三维化处理音频的数字化和符号化及三维化处理
¨̈视觉特性视觉特性
¨̈视觉媒体的数字化和三维立体显示视觉媒体的数字化和三维立体显示
¨̈触觉特性触觉特性
¨̈指点、位置跟踪、力反馈与触觉反馈指点、位置跟踪、力反馈与触觉反馈
