威海北洋职业技术学校威海北洋职业技术学校《《多媒体技术教程多媒体技术教程
》》
第二章第二章 多媒体信息的表示多媒体信息的表示
威海北洋职业技术学校威海北洋职业技术学校《《多媒体技术教程多媒体技术教程
》》
【学习目标】【学习目标】
.掌握：位图、矢量图的定义。掌握：位图、矢量图的定义。
.理解：音频信号的数字化处理，矢量图与位图、图像与理解：音频信号的数字化处理，矢量图与位图、图像与
图形的比较。图形的比较。
.了解：超文本与超媒体。了解：超文本与超媒体。
【学习要点】【学习要点】
多媒体信息（文字、音频、视觉媒体、动画）在计算机中多媒体信息（文字、音频、视觉媒体、动画）在计算机中
是如何表示的。是如何表示的。
文字文字
文字是人与计算机之间进行信息交换的文字是人与计算机之间进行信息交换的
主要媒体。主要媒体。
文本文件
在现实世界中，文字是人们进行通讯的主要形式，
文字包括西文和汉字。
西文西文
在计算机中西文采用码表示。是由美国国家标准局在计算机中西文采用码表示。是由美国国家标准局
()()制定的码（制定的码（ ））
例如：字符例如：字符AA的码值为的码值为065065；；
字符字符BB的码值为的码值为066066；；
字符字符CC的码值为的码值为067067；；
汉字汉字
.汉字的输入编码汉字的输入编码
（（11）数字编码）数字编码
数字编码输入的优点是无重码，缺点难以记数字编码输入的优点是无重码，缺点难以记
忆。忆。
（（22）拼音码）拼音码
以汉语拼音为基础的输入法，汉字输入法重以汉语拼音为基础的输入法，汉字输入法重
码率很高，同音字的选择影响了输入速度码率很高，同音字的选择影响了输入速度
的提高。的提高。
（（33）字型编码）字型编码
五笔五笔
.汉字内码汉字内码
汉字内码用于汉字信息的存储、交换、汉字内码用于汉字信息的存储、交换、
检索等操作的机内代码，一般采用两检索等操作的机内代码，一般采用两
个字节表示。个字节表示。
3.汉字字模码
字模码是用点阵表示的汉字字形代码，
它是汉字的输出形式
音音 频频
¨̈音频音频
¨̈分类分类
¨̈.波形声音波形声音
¨̈包含了所有的声音形式，它可以把任何包含了所有的声音形式，它可以把任何
声音都进行采样量化，并恰当地恢复出声音都进行采样量化，并恰当地恢复出
来。来。
音音 频频
¨̈音频音频
¨̈分类分类
¨̈.语音语音
¨̈人的说话声虽是一种特殊的媒体，但也人的说话声虽是一种特殊的媒体，但也
是一种波形，所以和波形声音的文件格是一种波形，所以和波形声音的文件格
式相同。式相同。
.音乐音乐
符号化了的声音，乐符号化了的声音，乐
谱可转变为符号媒谱可转变为符号媒
体形式。体形式。
数数 字字 音音 频频
¨̈音频音频
¨̈数字声音波形质量的主要技术参数数字声音波形质量的主要技术参数
¨̈采样频率采样频率
¨̈等于波形被等分的份数，份数越多，等于波形被等分的份数，份数越多，
质量越好质量越好
¨̈、、 、、
¨̈采样精度采样精度
¨̈每次采样信息量每次采样信息量
¨̈ 8 8位、位、1616位位
¨̈通道数通道数
¨̈声音产生的波形数声音产生的波形数
¨̈单声道、立体声道、单声道、立体声道、声道声道
数据量计算：
(采样频率×采样精度×通道数 ×时间 )/8 字节
常见的媒体元素常见的媒体元素
¨̈动画动画
¨̈动画的概念动画的概念
¨̈ 运动的图画，实质是一幅幅静态运动的图画，实质是一幅幅静态
图像的连续播放。动画的连续播放既图像的连续播放。动画的连续播放既
指时间上的连续，也指图像内容上的指时间上的连续，也指图像内容上的
连续，即播放的相邻两幅图像之间内连续，即播放的相邻两幅图像之间内
容相差不大容相差不大 。。
¨̈计算机设计动画方法计算机设计动画方法
¨̈造型动画造型动画
¨̈帧动画帧动画
常见的媒体元素常见的媒体元素
¨̈动画动画
¨̈帧动画帧动画
常见的媒体元素常见的媒体元素
¨̈动画动画
¨̈帧动画帧动画
媒体的种类媒体的种类
¨̈视觉视觉
视 觉
（静止）
图像
图形
文字
符号
语言文字
抽象化
抽象化
（动态） 图像
图形
动态影像视频
真实感三维动画
二维动画
三维动画
其它表示为视觉的媒体
媒体与多媒体媒体与多媒体
¨̈听觉听觉
¨̈触觉触觉
¨̈其他感觉其他感觉
抽象化
听觉 声音
声响（自然界）
语音（人类语言）
音乐
其它（嗅觉、味觉等）
触觉
振动
运动
传感/发生器
媒体的性质和特点媒体的性质和特点
¨̈各种媒体具有不同特点和性质各种媒体具有不同特点和性质
¨̈媒体是有格式的媒体是有格式的
¨̈不同媒体表达信息的特点和程度各不相同不同媒体表达信息的特点和程度各不相同
¨̈媒体之间可以相互转换媒体之间可以相互转换
¨̈媒体之间的关系也具有丰富的信息媒体之间的关系也具有丰富的信息
¨̈媒体具有空间性质媒体具有空间性质
¨̈表现空间表现空间
¨̈媒体按相互的空间关系进行组织媒体按相互的空间关系进行组织
¨̈视觉空间、听觉空间和触觉空间这视觉空间、听觉空间和触觉空间这33者既相者既相
互独立又需要相互结合互独立又需要相互结合
媒体的性质和特点媒体的性质和特点
¨̈媒体的时间性质媒体的时间性质
¨̈表现需要时间表现需要时间
¨̈媒体在时间坐标轴上的相互关系媒体在时间坐标轴上的相互关系
¨̈媒体的语义媒体的语义
¨̈媒体的语义是有层次的媒体的语义是有层次的
¨̈抽象的程度不同，语义的重点也就不同抽象的程度不同，语义的重点也就不同
¨̈媒体结合的影响媒体结合的影响
¨̈媒体结合是多层次的媒体结合是多层次的
¨̈媒体结合有利于信息接受和理解媒体结合有利于信息接受和理解
¨̈隐喻隐喻
¨̈交互的概念模型，也称心智模型交互的概念模型，也称心智模型
威海北洋职业技术学校威海北洋职业技术学校《《多媒体技术教程多媒体技术教程
》》
听觉媒体技术听觉媒体技术
声音心理学声音心理学
1. 1.声音的量纲声音的量纲
声音的振动是一种正弦波，声音的变声音的振动是一种正弦波，声音的变
化必须确定三件事：频率（变化的速度）、化必须确定三件事：频率（变化的速度）、
幅度（产生的压力）、相位（何时开始）。幅度（产生的压力）、相位（何时开始）。
另外一方面，人们可以感觉到声音的另外一方面，人们可以感觉到声音的
强弱，可以感觉到歌唱家音调的高低。强弱，可以感觉到歌唱家音调的高低。
因此，声音的量纲分为声音的物理量因此，声音的量纲分为声音的物理量
纲和心理量纲。纲和心理量纲。
声音心理学声音心理学
物理量纲可以用精确的值来描述，但物理量纲可以用精确的值来描述，但
对某一具体声音得来的心理印象却不容易对某一具体声音得来的心理印象却不容易
说明白，因为心理印象要由被测者的经验说明白，因为心理印象要由被测者的经验
而定。而定。
声音的心理属性和物理属性不声音的心理属性和物理属性不
可等同，首先，这些关系不是线性的；其可等同，首先，这些关系不是线性的；其
次这些关系不是孤立的；第三这些关系不次这些关系不是孤立的；第三这些关系不
是不变的。是不变的。
声音心理学声音心理学
两两者者之之间间确确有有关关系系：：例例如如声声音音的的响响度度
取取决决于于强强度度和和频频率率两两个个因因素素，，如如果果频频率率不不
变变，，强强声声显显得得比比弱弱声声要要响响些些。。但但如如果果强强度度
不不变变，，过过高高频频率率的的声声音音和和过过低低频频率率的的声声音音
似似乎乎比比中中频频的的声声音音听听起起来来都都要要弱弱一一些些。。由由
此此可可见见，，响响度度依依赖赖于于频频率率，，原原因因是是人人耳耳能能
反应的频率范围是有上限和下限的。反应的频率范围是有上限和下限的。
声音的量纲声音的量纲
心理变量 首要的物理变量 次要的物理变量
响度 声强 声波频率
音调 声波频率 声强
音色 声波复合 －
音量 频率和强度
－
密度 频率和强度 －
谐和（流畅或粗糙） 谐波结构 音乐技巧
噪声 强度 频率组合，各种时间参量
骚扰声 强度 频率组合，无意义
声音心理学声音心理学
2. 2.听觉特性听觉特性
等响曲线等响曲线
由于响度与频率和强度有关，所以在由于响度与频率和强度有关，所以在
不同频率上的强度是不同的。先设一个音不同频率上的强度是不同的。先设一个音
为标准音，给予固定的频率、强度和持续为标准音，给予固定的频率、强度和持续
时间，例如时间，例如10001000、、4040分贝、持续分贝、持续秒；再给秒；再给
一个音也持续一个音也持续秒，但频率不同，通过调秒，但频率不同，通过调
整使其响度听起来一样，得到的这样一组整使其响度听起来一样，得到的这样一组
曲线称之为等响曲线。等响曲线描述的是曲线称之为等响曲线。等响曲线描述的是
响度与频率和强度的关系。从声音心理学响度与频率和强度的关系。从声音心理学
考虑，对同一响度的声音在频率上和强度考虑，对同一响度的声音在频率上和强度
上可以有很大的差别，这对声音表现有重上可以有很大的差别，这对声音表现有重
要意义。要意义。
声音心理学声音心理学
掩蔽（）掩蔽（）
声音的响度不仅取决于自身的强度和声音的响度不仅取决于自身的强度和
频率，而且也依赖于同时出现的其它声音。频率，而且也依赖于同时出现的其它声音。
各种声音可以互相掩蔽，也就是说一种声各种声音可以互相掩蔽，也就是说一种声
音的出现可能使得另一种声音难于听清。音的出现可能使得另一种声音难于听清。
由于声音的掩蔽效果，可以欺骗人的听觉。由于声音的掩蔽效果，可以欺骗人的听觉。
例如，本来是多种频率的声音的复合，但例如，本来是多种频率的声音的复合，但
听众以为是另一种声音。所以，声音的掩听众以为是另一种声音。所以，声音的掩
蔽特性常常用于声音的压缩。蔽特性常常用于声音的压缩。
声音心理学声音心理学
临界频带临界频带
在频率的某一临界区里，各种声音在频率的某一临界区里，各种声音
是相互作用的，合成声音的响度由这些频是相互作用的，合成声音的响度由这些频
率共同决定。如果超出临界区，声音的响率共同决定。如果超出临界区，声音的响
度不再相互作用，声音的响度随频率的改度不再相互作用，声音的响度随频率的改
变而改变。这个临界区就是临界频带，其变而改变。这个临界区就是临界频带，其
宽度视其中心频率而定。对于临界频带的宽度视其中心频率而定。对于临界频带的
确定，使得对声音响度的处理能够有的放确定，使得对声音响度的处理能够有的放
矢。矢。
声音心理学声音心理学
相位相位
从声音的波形来看，声音的起点和从声音的波形来看，声音的起点和
方向也要反映声音的特性，这就是声音的方向也要反映声音的特性，这就是声音的
相位。当两个声音相同相位完全相反时，相位。当两个声音相同相位完全相反时，
它们将相互抵消；当两个声音相同而且相它们将相互抵消；当两个声音相同而且相
位也相同时，声音就会得到加强。位也相同时，声音就会得到加强。
相位的确定对于多声道声音系统的相位的确定对于多声道声音系统的
设计非常重要，其可以应用在回声的消除、设计非常重要，其可以应用在回声的消除、
会议系统的声音设计上。会议系统的声音设计上。
声音心理学声音心理学
自然声音的时变现象自然声音的时变现象
声音的音调分成三个区域：起始区、声音的音调分成三个区域：起始区、
稳定状态区、延迟区。稳定状态区、延迟区。
研究表明，音调的频谱分量随时间改研究表明，音调的频谱分量随时间改
变。在稳定状态区，频谱保持固定。在起变。在稳定状态区，频谱保持固定。在起
始区，振幅频谱随时间变化。因此自然声始区，振幅频谱随时间变化。因此自然声
音的起始部分是非常难识别的。例如刚听音的起始部分是非常难识别的。例如刚听
了一小节音调后要识别乐器，专家也会觉了一小节音调后要识别乐器，专家也会觉
得较难。时变现象用于数字系统中，说明得较难。时变现象用于数字系统中，说明
声音中的某些错误是不太容易发现的，但声音中的某些错误是不太容易发现的，但
如果出现停顿就很容易引起人的注意。如果出现停顿就很容易引起人的注意。
声音心理学声音心理学
听觉空间听觉空间
人耳可听到来自各个方向的声音，并用人耳可听到来自各个方向的声音，并用
不同的因素来判定声源的位置。声源的位不同的因素来判定声源的位置。声源的位
置不论对于增进人们的感受还是增进对声置不论对于增进人们的感受还是增进对声
音的理解，都是非常重要的。通过声音的音的理解，都是非常重要的。通过声音的
精确再现，就可以构造出听觉空间。精确再现，就可以构造出听觉空间。
方位的线索是各种声音到达两耳的精确方位的线索是各种声音到达两耳的精确
时间和强度。时间和强度。
声音心理学声音心理学
听觉的频谱特性听觉的频谱特性
声音是时间函数，通过傅里叶变换可声音是时间函数，通过傅里叶变换可
做出其频谱图。人耳对频谱成分的波峰和做出其频谱图。人耳对频谱成分的波峰和
波谷是非常敏感的。在语言中，元音很少波谷是非常敏感的。在语言中，元音很少
有频谱变速变化的区域。基频改变，人耳有频谱变速变化的区域。基频改变，人耳
是很敏感的。例如：快进的录像，音调会是很敏感的。例如：快进的录像，音调会
发生变化。发生变化。
音色非常复杂，目前尚在研究中。音音色非常复杂，目前尚在研究中。音
色的处理将使我们能识别音源，音色也代色的处理将使我们能识别音源，音色也代
表和声音有关的主观质量。表和声音有关的主观质量。
声音心理学声音心理学
声音的心理模拟声音的心理模拟
通过人工真实的方法，可以对视觉空通过人工真实的方法，可以对视觉空
间的景物进行再造或虚构，同样也可以对间的景物进行再造或虚构，同样也可以对
听觉空间的声音进行心理的模拟，这就是听觉空间的声音进行心理的模拟，这就是
所谓的可听化（）。用声音可以表达出一所谓的可听化（）。用声音可以表达出一
些声音的效果。些声音的效果。
音频的数字化和符号化音频的数字化和符号化
从从人人与与计计算算机机交交互互的的角角度度看看，，音音频频信信号号的的处处理理包包
括下述括下述33点：点：
人人与与计计算算机机通通信信，，也也就就是是计计算算机机接接收收音音频频信信号号。。包包括括
音频获取、语音的识别和理解。音频获取、语音的识别和理解。
计计算算机机与与人人通通信信，，也也就就是是计计算算机机输输出出音音频频。。包包括括音音乐乐
合成、语音合成、声音的定位以及音频视频的同步。合成、语音合成、声音的定位以及音频视频的同步。
人人--计计算算机机--人人通通信信。。人人通通过过网网络络与与异异地地的的人人进进行行语语音音
通通信信，，相相关关的的音音频频处处理理有有语语音音采采集集、、音音频频的的编编码码和和
解解码码、、音音频频的的存存储储、、音音频频的的传传输输、、基基于于内内容容的的检检索索
等。等。
音频的数字化和符号化音频的数字化和符号化
1 1．音频的数字化与再现．音频的数字化与再现
在在计计算算机机中中，，所所有有的的信信息息都都以以数数字字来来表表
示示。。声声音音信信号号也也是是由由一一系系列列的的数数字字来来表表示示的的，，
称称为为数数字字音音频频。。数数字字音音频频的的特特点点就就是是保保真真度度
好，动态范围大。好，动态范围大。
数数字字声声音音是是一一个个数数据据序序列列。。它它是是由由外外界界
声音经过采样、量化和编码后得到的。声音经过采样、量化和编码后得到的。
音频的数字化和符号化音频的数字化和符号化
对对声声音音进进行行采采样样用用奈奈奎奎斯斯特特采采样样定定理理来来决决定定
采采样样的的频频率率。。根根据据该该定定理理，，只只要要采采样样频频率率高高于于信信
号号中中最最高高频频率率的的两两倍倍，，就就可可以以从从采采样样中中完完全全恢恢复复
原原始始信信号号的的波波形形。。因因为为人人耳耳所所能能听听到到的的频频率率范范围围
为为2020到到2020，，所所以以实实际际的的采采样样过过程程中中，，为为了了达达到到好好
的的效效果果，，就就采采用用作作为为高高质质量量声声音音的的采采样样频频率率。。
如如果果达达不不到到这这么么高高的的频频率率，，声声音音恢恢复复的的效效果果就就会会
差差一一些些，，例例如如电电话话声声音音的的质质量量等等。。一一般般来来说说，，声声
音恢复和采样频率、信道带宽都有关。音恢复和采样频率、信道带宽都有关。
声
音
的
采
样
以
及
量
化
图
音频的数字化和符号化音频的数字化和符号化
音频的数字化和符号化音频的数字化和符号化
与数字音频相关的重要特性：与数字音频相关的重要特性：
采样频率采样频率
采样频率与声音的质量关系最为紧密。采样采样频率与声音的质量关系最为紧密。采样
频率越高，声音质量越接近原始声音，所需的存频率越高，声音质量越接近原始声音，所需的存
储量便越多。标准的采样频率有三个：储量便越多。标准的采样频率有三个：，，
，和，和。。
采样位数采样位数
存放一个采样点所需的比特数。一般的采样存放一个采样点所需的比特数。一般的采样
位数为位数为88位或位或1616位，即把声音采集为位，即把声音采集为256256等份或等份或
6553665536等分。等分。
音频的数字化和符号化音频的数字化和符号化
声道数声道数
有单声道、双声道和多声道。如多种语有单声道、双声道和多声道。如多种语
言音频混存时，需要多声道言音频混存时，需要多声道
数据量数据量
(采样频率×每点采样位数×声道数)
数据量＝
8
(字节/秒)
音频的数字化和符号化音频的数字化和符号化
2 2．声音的符号化．声音的符号化
波波形形声声音音可可以以把把音音乐乐、、语语音音都都进进行行数数据据
化化并并且且表表示示出出来来，，但但是是并并没没有有把把它它看看成成音音乐乐
和语音。和语音。
对对于于声声音音的的符符号号化化（（也也可可以以称称为为抽抽象象化化））
表表示示包包括括两两种种类类型型：：一一种种是是音音乐乐，，一一种种是是语语
音。音。
音频的数字化和符号化音频的数字化和符号化
（（11）音乐的符号化－）音乐的符号化－
( ) ( )是指乐器数字接口的国际标准。是指乐器数字接口的国际标准。
消息，是指乐谱的数字描述。消息，是指乐谱的数字描述。
任何电子乐器，只要有处理消息的微任何电子乐器，只要有处理消息的微
处理器和合适的硬件接口，就构成了一个处理器和合适的硬件接口，就构成了一个
设备。当一组消息通过音乐合成芯片处理设备。当一组消息通过音乐合成芯片处理
时，合成器能解释这些符号并且产生音乐。时，合成器能解释这些符号并且产生音乐。
的关键是作为媒体能够记录这些音乐的关键是作为媒体能够记录这些音乐
的符号，相应的设备能够产生和解释这些的符号，相应的设备能够产生和解释这些
符号。它给出了一种得到音乐声音的方法。符号。它给出了一种得到音乐声音的方法。
音频的数字化和符号化音频的数字化和符号化
的特点：的特点：
与与波波形形声声音音相相比比，，不不是是声声音音数数据据而而是是指指令令，，所所以以数数
据据量量要要少少得得多多。。3030分分钟钟的的音音乐乐，， 用用文文件件记记录录只只需需
200200，用，用1616位品质的未压缩文件记录需位品质的未压缩文件记录需317317
可可以以与与其其他他波波形形声声音音配配合合使使用用，，形形成成伴伴乐乐的的效效果果。。
而两个波形声音一般是不能同时使用的而两个波形声音一般是不能同时使用的
对对的的编编辑辑也也很很灵灵活活，，用用户户可可以以自自由由地地改改变变音音调调、、音音
色等属性，直到自己想要的效果色等属性，直到自己想要的效果
在在音音质质上上还还不不能能与与真真正正的的乐乐器器完完全全相相似似。。无无法法模模拟拟
自然界中其它非乐曲类声音自然界中其它非乐曲类声音
音频的数字化和符号化音频的数字化和符号化
（（22）语音的符号化）语音的符号化
语音与文字是对应的。波形声音可以语音与文字是对应的。波形声音可以
记录表示语音，它是不是语音取决于听者对记录表示语音，它是不是语音取决于听者对
声音的理解。对语音的符号化实际上就是对声音的理解。对语音的符号化实际上就是对
语音的识别，将语音转变为字符，反之也可语音的识别，将语音转变为字符，反之也可
以将文字合成语音。以将文字合成语音。
语音指构成人类语音信号的各种声音。在语音指构成人类语音信号的各种声音。在
采集和存储上可以与波形声音一样，但由于采集和存储上可以与波形声音一样，但由于
语音是由一连串的音素组成。语音是由一连串的音素组成。““一句话一句话””中中
包含许多音节以及上下文过渡过程的连接体包含许多音节以及上下文过渡过程的连接体
等特殊的信息，并且语音本身与语言有关，等特殊的信息，并且语音本身与语言有关，
所以要把它作为一个独立的媒体来看待。所以要把它作为一个独立的媒体来看待。
音频媒体的三维化处理音频媒体的三维化处理
1 1．三维虚拟声空间．三维虚拟声空间
所谓三维虚拟声空间（所谓三维虚拟声空间（ ，，33），是指用一定的声音设），是指用一定的声音设
备人为地产生出来的具有空间位置信息的声音空间。备人为地产生出来的具有空间位置信息的声音空间。
三维听觉的使用明显地依赖于用户对听觉空间中各种信三维听觉的使用明显地依赖于用户对听觉空间中各种信
息源的定位能力。一般说来，三维虚拟声空间要达到以下息源的定位能力。一般说来，三维虚拟声空间要达到以下
的一些目标：的一些目标：
①① 在可听的范围内重现频率分辨度和动态范围；在可听的范围内重现频率分辨度和动态范围；
②② 在三维空间中精确地呈现声音的位置信息；在三维空间中精确地呈现声音的位置信息；
③③ 能表达多个静止和移动的声源；能表达多个静止和移动的声源；
④④ 能和头部的动作具有一定的关联；能和头部的动作具有一定的关联；
⑤⑤ 能够支持一定程度的交互。能够支持一定程度的交互。
音频媒体的三维化处理音频媒体的三维化处理
2 2．．33的基本理论的基本理论
人类感知声源位置的最基本的理论是双工理论，该理论人类感知声源位置的最基本的理论是双工理论，该理论
基于两种因素：两耳间声音的到达时间差（基于两种因素：两耳间声音的到达时间差（ ）和两耳间声）和两耳间声
音的强度差（音的强度差（ ）。）。
时间差是由于距离的原因造成的，当声音从正面传来时，时间差是由于距离的原因造成的，当声音从正面传来时，
距离相等，所以没有时间差；但若偏右距离相等，所以没有时间差；但若偏右3o3o，则到达右耳的时，则到达右耳的时
间就要比左耳约早间就要比左耳约早3030，而正是这，而正是这3030，使得我们辨别出了声源，使得我们辨别出了声源
的位置。的位置。
强度差是由于信号衰减造成的，信号的衰减是因为距离强度差是由于信号衰减造成的，信号的衰减是因为距离
产生的，在很多情况下是因为人的头部遮挡，使声音衰减，产生的，在很多情况下是因为人的头部遮挡，使声音衰减，
产生了强度的差别，使得靠近声源一侧的耳朵听到的声音强产生了强度的差别，使得靠近声源一侧的耳朵听到的声音强
度要大于另一耳。度要大于另一耳。
音频媒体的三维化处理音频媒体的三维化处理
3 3理论较形象地说明：人耳对声音定位的特性，理论较形象地说明：人耳对声音定位的特性，
通过大脑的综合作用后，对有差别的声音信号进行通过大脑的综合作用后，对有差别的声音信号进行
了相对于空间位置的定位。了相对于空间位置的定位。
人耳对声源方位的判定起决定作用的是耳廓。人耳对声源方位的判定起决定作用的是耳廓。
当声波从声源传到听者的耳部时，声波会在耳廓发当声波从声源传到听者的耳部时，声波会在耳廓发
生不断的反射和折射，然后由内耳道传到耳鼓，使生不断的反射和折射，然后由内耳道传到耳鼓，使
人产生音感。这种反射、折射是依赖于频率的，通人产生音感。这种反射、折射是依赖于频率的，通
过不同频率的变化，使得人耳能够辨别声源的方位。过不同频率的变化，使得人耳能够辨别声源的方位。
另外，当声音从声源传到人的内耳并形成听觉时，另外，当声音从声源传到人的内耳并形成听觉时，
声音信号已经携带了两个很重要的信息，从而形成声音信号已经携带了两个很重要的信息，从而形成
了空间真实感和环境真实感。声源的本身信号特征、了空间真实感和环境真实感。声源的本身信号特征、
声源的空间三维位置、声源所处的环境这三个因素声源的空间三维位置、声源所处的环境这三个因素
描述了声源的全部信息。描述了声源的全部信息。
音频媒体的三维化处理音频媒体的三维化处理
3 3．方法．方法
实现空间真实感的关键是建立起耳廓模型，这实现空间真实感的关键是建立起耳廓模型，这
种方法被称为种方法被称为““双耳相关函数法双耳相关函数法””，也即（，也即（ ，与，与
头部有关的转移函数）。头部有关的转移函数）。
从理论上利用产生真实空间声音的算法如下图从理论上利用产生真实空间声音的算法如下图
所示。所示。
音频媒体的三维化处理音频媒体的三维化处理
威海北洋职业技术学校威海北洋职业技术学校《《多媒体技术教程多媒体技术教程
》》
视觉媒体技术视觉媒体技术
视觉心理学视觉心理学
1 1．视觉的心理特征．视觉的心理特征
视觉是人类最重要的感知能力，通过视觉可以感知到视觉是人类最重要的感知能力，通过视觉可以感知到
外部世界的形状、大小、色彩、明暗、机理和运动等多方外部世界的形状、大小、色彩、明暗、机理和运动等多方
面的信息。面的信息。
同声音心理学相似，与视觉相对应的光学物理性质和同声音心理学相似，与视觉相对应的光学物理性质和
心理知觉也是截然不同的。虽然光的物理特性与心理知觉心理知觉也是截然不同的。虽然光的物理特性与心理知觉
有关，但它们的关系并不是线性的。对光的色调和亮度的有关，但它们的关系并不是线性的。对光的色调和亮度的
感觉不仅和它的频率和强度有关，而且还和它出现的背景感觉不仅和它的频率和强度有关，而且还和它出现的背景
有关，和同时出现的周围光有关。有关，和同时出现的周围光有关。
视觉心理学视觉心理学
视觉心理变量 主要的物理变量
亮度 光强
色调（彩色） 波长
浓度（彩色的浓度） 光谱成分
对比 光强、波长、周围光
视觉心理学视觉心理学
2. 2. 视觉特性视觉特性
亮度亮度
亮度是人眼对光强度的感受。亮度是人眼对光强度的感受。
一个物体的亮度不仅跟目标的物理强度有关，而且与一个物体的亮度不仅跟目标的物理强度有关，而且与
周围的背景有关。假定整个照明增大了，目标和环境的光周围的背景有关。假定整个照明增大了，目标和环境的光
强就按照比例增大了，两者之间的物理对比就维持不变。强就按照比例增大了，两者之间的物理对比就维持不变。
但当照明增强时，目标的亮度可能会亮一些，也可能保持但当照明增强时，目标的亮度可能会亮一些，也可能保持
不变，甚至看起来亮度减少一些。这些都取决于中心和周不变，甚至看起来亮度减少一些。这些都取决于中心和周
围之间的相对强度，也就是对比度。围之间的相对强度，也就是对比度。
对图像的处理最重要的是亮度的差别。对图像的处理最重要的是亮度的差别。
视觉心理学视觉心理学
与与声声音音相相似似，，视视觉觉上上也也有有等等亮亮曲曲线线，，反反映映了了视视
觉觉在在亮亮度度上上与与波波长长的的关关系系。。在在同同一一亮亮度度感感觉觉下下，，不不
同波长的光具有不同的光强。同波长的光具有不同的光强。
视视觉觉也也有有掩掩蔽蔽现现象象，，在在很很亮亮的的高高光光周周围围时时难难以以
看清的，道理和声音是类似的。看清的，道理和声音是类似的。
视觉心理学视觉心理学
视觉的时间特性视觉的时间特性
建立视觉图像需要时间，而一旦建立建立视觉图像需要时间，而一旦建立
起来之后，即使把图像对象拿走，这种反应起来之后，即使把图像对象拿走，这种反应
也要维持一段时间。这是因为把光转变为神也要维持一段时间。这是因为把光转变为神
经电需要时间。正因为视网膜图像时逐渐消经电需要时间。正因为视网膜图像时逐渐消
退的，所以视觉暂留可以存在十分之几秒。退的，所以视觉暂留可以存在十分之几秒。
视觉心理学视觉心理学
彩色彩色
表示颜色需要考虑三种心理属性：色表示颜色需要考虑三种心理属性：色
调、亮度和饱和度。色调就是通常意义下的调、亮度和饱和度。色调就是通常意义下的
彩色，它随波长的变化而变化，反映颜色的彩色，它随波长的变化而变化，反映颜色的
基本特性。亮度是光作用于人眼所引起的明基本特性。亮度是光作用于人眼所引起的明
亮程度的感觉，与光强有关。饱和度是代表亮程度的感觉，与光强有关。饱和度是代表
为了产生所感知到的彩色在白光中必须混入为了产生所感知到的彩色在白光中必须混入
的纯单色光的相对数量，或者说是颜色的深的纯单色光的相对数量，或者说是颜色的深
浅程度。对同一色调的彩色光，饱和度越深浅程度。对同一色调的彩色光，饱和度越深
颜色越鲜艳。色调和饱和度统称为色度。颜色越鲜艳。色调和饱和度统称为色度。
视觉心理学视觉心理学
颜色是由三种原色光混合而成的。可见光的波颜色是由三种原色光混合而成的。可见光的波
长从长从380380纳米到纳米到780780纳米。不同波长呈现出不同颜色，纳米。不同波长呈现出不同颜色，
可见光波长从长到短依次为红橙黄绿青蓝紫。可见光波长从长到短依次为红橙黄绿青蓝紫。
只有单一波长成分的光称为单色光，含有两种只有单一波长成分的光称为单色光，含有两种
以上波长成分的光称为复合光，所有可见光按照一以上波长成分的光称为复合光，所有可见光按照一
定比例混合就是白色光。定比例混合就是白色光。
在辐射功率相同的条件下，不同波长的光不仅在辐射功率相同的条件下，不同波长的光不仅
给人不同的颜色感觉，而且也给人不同的亮度感觉。给人不同的颜色感觉，而且也给人不同的亮度感觉。
人眼一般感到红光最暗，蓝光次之，而黄绿光最亮。人眼一般感到红光最暗，蓝光次之，而黄绿光最亮。
研究表明，人眼对亮度信息敏感，而对颜色的敏感研究表明，人眼对亮度信息敏感，而对颜色的敏感
程度相对较弱。程度相对较弱。
视觉心理学视觉心理学
在在白白色色背背景景下下，，一一般般使使用用红红黄黄蓝蓝作作为为原原色色来来混混
合其它颜色，这就是减基色合成彩色系统。合其它颜色，这就是减基色合成彩色系统。
在在黑黑色色背背景景下下，，一一般般使使用用红红绿绿蓝蓝作作为为基基色色来来混混
合其它颜色，这就是加基色合成彩色系统。合其它颜色，这就是加基色合成彩色系统。
一般绘画时采用前者，电视中采用后者。一般绘画时采用前者，电视中采用后者。
视觉心理学视觉心理学
注视点和视野范围注视点和视野范围
人在观察视觉类媒体时，注视点喜欢集中在人在观察视觉类媒体时，注视点喜欢集中在
什么地方？研究表明，视觉注视点主要集中在图像什么地方？研究表明，视觉注视点主要集中在图像
中黑白交界的部分，尤其是拐角处。如果是闭合图中黑白交界的部分，尤其是拐角处。如果是闭合图
形，注视点往往向内侧移动。注视点容易集中在时形，注视点往往向内侧移动。注视点容易集中在时
隐时现运动变化的部分或者图像中特别不规则的地隐时现运动变化的部分或者图像中特别不规则的地
方。方。
人眼的视野开阔，左右视角约为人眼的视野开阔，左右视角约为180180度，上下度，上下
约为约为6060度。但视力好的部位仅限于度。但视力好的部位仅限于22到到33度，用于观度，用于观
察视觉媒体的细节。而在周边，则主要识别特征。察视觉媒体的细节。而在周边，则主要识别特征。
但是需要注意，只有大的视野才有可能制造出临场但是需要注意，只有大的视野才有可能制造出临场
感。感。
模拟视频原理模拟视频原理
光栅扫描原理光栅扫描原理
视频摄像机将图像转换为电信号，电视频摄像机将图像转换为电信号，电
信号是一维的，但图像是二维的，将二维图信号是一维的，但图像是二维的，将二维图
像转成为一维电信号是由光栅扫描的方法实像转成为一维电信号是由光栅扫描的方法实
现的。快速的扫描线从顶部开始，一行一行现的。快速的扫描线从顶部开始，一行一行
地向下扫描，直至显示器的最底部，然后再地向下扫描，直至显示器的最底部，然后再
返回顶部的起点，重新开始扫描。这个过程返回顶部的起点，重新开始扫描。这个过程
产生的一个有序的图像信号集合，就组成了产生的一个有序的图像信号集合，就组成了
电视显示中的一幅图像，在此称为帧。连续电视显示中的一幅图像，在此称为帧。连续
不断的图像序列就形成了动态视频图像。不断的图像序列就形成了动态视频图像。
模拟视频原理模拟视频原理
分分辨辨率率表表现现的的是是电电视视系系统统中中重重现现场场景景细细
节节的的能能力力。。水水平平扫扫描描线线所所能能分分辨辨出出的的点点数数称称
为为水水平平分分辨辨率率。。一一般般来来说说，，点点数数越越小小，，线线越越
细细，，分分辨辨率率就就越越高高。。一一个个系系统统的的水水平平分分辨辨率率
为为400400线线，，指指在在对对应应于于图图像像高高度度的的水水平平距距离离内内
能能交交替替显显示示200200条条白白线线和和200200条条黑黑线线。。相相应应地地，，
一一帧帧中中垂垂直直扫扫描描的的行行数数称称为为垂垂直直分分辨辨率率。。垂垂
直直分分辨辨率率和和每每帧帧中中的的扫扫描描线线有有关关，，扫扫描描线线越越
多多，，分分辨辨率率就就越越高高。。广广播播电电视视系系统统垂垂直直的的行行
数数一一般般是是525525线线（（北北美美和和日日本本））和和625625线线（（欧欧
洲和中国）。洲和中国）。
模拟视频原理模拟视频原理
每每一一秒秒钟钟所所扫扫描描的的帧帧数数称称为为帧帧频频，，一一般般为为2525帧帧
（（））或或者者3030帧帧（（））。。由由于于是是隔隔行行扫扫描描，，所所以以垂垂直直频频
率率分分别别是是每每秒秒5050帧帧和和6060帧帧。。因因此此，，人人眼眼就就不不容容易易看看
到闪烁。到闪烁。
宽宽高高比比是是扫扫描描的的一一个个重重要要的的参参数数。。扫扫描描行行的的长长
度度与与在在图图像像垂垂直直方方向向上上的的所所有有扫扫描描行行所所跨跨过过的的距距离离
之之比比，，就就成成为为宽宽高高比比。。目目前前电电视视中中的的宽宽高高比比为为44：：33
，，新新型型电电视视的的宽宽高高比比为为1616：：99，，有有些些电电影影系系统统的的宽宽
高比为高比为22：：1 1 。。
模拟视频原理模拟视频原理
彩色视频彩色视频
加基系统是彩色视频系统的基础。彩加基系统是彩色视频系统的基础。彩
色电视采用红绿蓝（）作为三基色进行配色，色电视采用红绿蓝（）作为三基色进行配色，
产生出产生出RR、、GG、、BB三个输出信号，信号可以分三个输出信号，信号可以分
别传输，但是要配上相应的同步信号。在系别传输，但是要配上相应的同步信号。在系
统中需要三根视频电缆互连，但是三个信号统中需要三根视频电缆互连，但是三个信号
在同步关系方面相当复杂，所以大部分彩色在同步关系方面相当复杂，所以大部分彩色
电视不处理，而是将信号组合起来在一条电电视不处理，而是将信号组合起来在一条电
缆中传输，这就是复合信号。缆中传输，这就是复合信号。
模拟视频原理模拟视频原理
现现有有的的几几种种不不同同的的复复合合信信号号有有、、和和。。根根据据亮亮度度
//色色度度原原理理，，任任何何彩彩色色信信号号都都可可以以分分为为亮亮度度和和色色度度。。
色色度度只只要要使使用用色色差差就就可可以以表表示示颜颜色色信信号号，，而而不不必必使使
用用三三个个完完整整的的信信号号。。将将亮亮度度和和色色度度交交错错排排列列分分别别放放
到电缆上，就组成了复合信号。到电缆上，就组成了复合信号。
电电视视系系统统的的三三种种制制式式采采用用的的信信号号形形式式也也不不完完全全
一一样样。。的的亮亮度度信信号号称称为为YY，，色色度度信信号号为为II和和QQ，，即即方方
式式。。制制式式和和制制式式的的亮亮度度和和色色度度与与之之相相对对应应为为，，它它们们
的的差差别别在在于于编编码码方方式式的的不不同同。。、、可可以以与与互互换换。。、、和和
等都被称为彩色空间。等都被称为彩色空间。
模拟视频原理模拟视频原理
视频设备视频设备
按照用途不同，视频设备可以分为广按照用途不同，视频设备可以分为广
播、专业和消费三个级别。广播级一般是大播、专业和消费三个级别。广播级一般是大
型的电视台和网络站使用，它的性能最好，型的电视台和网络站使用，它的性能最好，
用于大系统应用，价格昂贵；专业级一般用用于大系统应用，价格昂贵；专业级一般用
于教育界和工业界的小广播站，有较好的性于教育界和工业界的小广播站，有较好的性
能。而消费级是家用设备，一般操作简单、能。而消费级是家用设备，一般操作简单、
性能可靠，一般价格是第一位的。性能可靠，一般价格是第一位的。
具体的视频设备有如彩色摄影机、视具体的视频设备有如彩色摄影机、视
频记录设备和视频监视设备。频记录设备和视频监视设备。
视觉媒体数字化视觉媒体数字化
1 1．位图图像与数字视频．位图图像与数字视频
对计算机来说，无论是文字或图形，还是图像或视频，对计算机来说，无论是文字或图形，还是图像或视频，
在计算机上进行处理首先要数字化。与音频信号相似，对在计算机上进行处理首先要数字化。与音频信号相似，对
所要处理的一幅画面，通过对每一个象素进行采样，并且所要处理的一幅画面，通过对每一个象素进行采样，并且
按照颜色或者灰度进行量化，就可以得到图像的数字化结按照颜色或者灰度进行量化，就可以得到图像的数字化结
果。数字化的结果放在显示缓存区中，与显示器上的点一果。数字化的结果放在显示缓存区中，与显示器上的点一
一对应，这就是位图图像。对视频按照时间进行数字化所一对应，这就是位图图像。对视频按照时间进行数字化所
得到的图像序列，就构成了数字视频序列。它同样与频率得到的图像序列，就构成了数字视频序列。它同样与频率
和量化的比特数有关。频率必须足够高，以跟上模拟信号和量化的比特数有关。频率必须足够高，以跟上模拟信号
流；量化的比特数越多，量化的值就越多，所能表示的颜流；量化的比特数越多，量化的值就越多，所能表示的颜
色或灰度级数就越多。色或灰度级数就越多。
视觉媒体数字化视觉媒体数字化
在在一一幅幅图图像像的的XX轴轴上上是是一一行行的的点点数数，，在在YY轴轴上上
是是行行数数。。XX、、YY的的交交叉叉点点就就是是一一个个象象素素，，每每一一个个象象
素素可可以以有有若若干干比比特特来来表表示示。。按按照照标标准准间间隔隔在在时时间间
轴轴上上采采样样的的图图像像组组组组成成视视频频序序列列。。所所以以可可以以说说，，
图图像像是是离离散散的的视视频频，，而而视视频频是是连连续续的的图图像像。。当当进进
行行再再现现时时，，被被表表示示称称数数字字形形式式的的数数据据按按格格式式和和时时
间间送送上上显显示示器器，，就就又又恢恢复复了了原原先先的的形形态态。。其其它它的的
视视觉觉媒媒体体如如文文字字、、图图形形等等，，在在显显示示原原理理上上都都是是以以
此此为为基基础础的的，，它它们们都都是是通通过过预预先先的的编编码码表表示示出出显显
示示的的形形式式，，在在再再现现时时，，在在显显示示器器上上画画出出所所要要的的图图
形或者文字。形或者文字。
视频媒体数字化视频媒体数字化
视频媒体数字化视频媒体数字化
文件格式 说 明
GIF
Graphics Interchange Format的缩写，是由Compu-Serve公司于
1987年为制定彩色图像传输协议而开发的一种图像文件格式
TIFF
Tag Image File Format缩写，是由Alaus和Microsoft公司为扫描仪和桌
上出版系统研发的一种图像文件格式，它的文件格式全部基于标志域
TGA
Targe Image Format的缩写，是Truevision公司为Targe
和Vista图像获取板设计的软件TIPS所使用的文件格式
BMP（Bitmap
）
是一种与设备无关的图像文件格式，是Windows软件推荐
使用的一种格式
PCX 是由Zsoft公司研制开发的，一般与PC-Paint Brush图像软件一起使用
MPG 根据国际标准MPEG编码的一种动态图像文件格式
AVS
Intel和IBM公司共同研制的DVI系统的一种动态图像文件格式，
AVS文件只能在DVI系统硬件下才能够读写
AVI Intel和IBM公司共同研制的DVI系统的一种动态图像文件格式
视觉媒体数字化视觉媒体数字化
2 2．图形．图形
图形图形()()：一种抽象化的图像，：一种抽象化的图像，
是对图像依据某个标准进行分析是对图像依据某个标准进行分析
而产生的结果。它不直接描述数而产生的结果。它不直接描述数
据的每一点，而是描述产生这些据的每一点，而是描述产生这些
点的过程及方法。因此被称之为点的过程及方法。因此被称之为
矢量图形，一般直接称为图形。矢量图形，一般直接称为图形。
视觉媒体数字化视觉媒体数字化
矢矢量量图图形形是是以以一一组组指指令令的的形形式式存存在在的的，，这这些些指指令令
描描述述一一幅幅图图中中所所包包含含的的直直线线、、圆圆、、弧弧线线、、矩矩形形的的大大
小小和和形形状状，，也也可可以以用用更更为为复复杂杂的的形形式式表表示示图图像像中中曲曲
面面、、光光照照、、材材质质等等效效果果。。在在计计算算机机上上显显示示一一幅幅图图像像
时时，，首首先先要要解解释释这这些些指指令令，，然然后后将将它它们们转转变变成成屏屏幕幕
上显示的形状和颜色。上显示的形状和颜色。
图图形形的的矢矢量量化化使使得得有有可可能能对对图图中中的的各各个个部部分分分分
别别进进行行控控制制。。计计算算机机可可以以对对其其中中任任何何对对象象分分别别进进行行
任任意意的的变变换换：：放放大大、、缩缩小小、、旋旋转转、、变变形形、、扭扭曲曲、、移移
位位、、叠叠加加等等，，并并仍仍保保持持图图形形特特性性。。图图形形变变换换的的灵灵活活
性，使其在处理上获得了更大的自由度。性，使其在处理上获得了更大的自由度。
视觉媒体数字化视觉媒体数字化
3 3．符号与文字．符号与文字
符号媒体：是某种抽象的结果。各种描述量、符号媒体：是某种抽象的结果。各种描述量、
语言、数据、标识符、数值、字符等都是符号媒语言、数据、标识符、数值、字符等都是符号媒
体。体。
由于符号具有明显的结构性，大脑可以识别由于符号具有明显的结构性，大脑可以识别
这种结构，进而可识别出由这一组符号所代表的这种结构，进而可识别出由这一组符号所代表的
信息。这种结构可以组成文本，即字符串；也可信息。这种结构可以组成文本，即字符串；也可
以组成数据组，如数据库中的一个元组，均可表以组成数据组，如数据库中的一个元组，均可表
达特定的信息达特定的信息 。。
视觉媒体数字化视觉媒体数字化
符号媒体特点：符号媒体特点：
符号媒体要知识的辅助才能使用，知识的辅符号媒体要知识的辅助才能使用，知识的辅
助随着层次的升高而不断增强作用助随着层次的升高而不断增强作用
“I ” “I ”
如学英文时，开始只认识字母；如学英文时，开始只认识字母；
学过英文单词后，认识到一个个单词；学过英文单词后，认识到一个个单词；
学习文法后，发现是一个句子学习文法后，发现是一个句子
符号媒体表达精度高符号媒体表达精度高
符号媒体存储量小符号媒体存储量小
视觉媒体数字化视觉媒体数字化
文本媒体是用得最多的符号媒体形式。文本媒体是用得最多的符号媒体形式。
主要特点如下：主要特点如下：
文本是流结构形式：由具有上下文关系的字符串文本是流结构形式：由具有上下文关系的字符串
组成组成,,它与字符的结构样式有关，与形式无关它与字符的结构样式有关，与形式无关
对文本的控制不影响媒体信息本来的表达对文本的控制不影响媒体信息本来的表达
文本显示的改变只是属性的改变，并不影响文本文本显示的改变只是属性的改变，并不影响文本
本身的含义本身的含义
对文本的处理应遵从文本内部的结构，如断词，对文本的处理应遵从文本内部的结构，如断词，
接尾，分段，章节安排接尾，分段，章节安排
视觉媒体的三维立体显示视觉媒体的三维立体显示
1 1．立体显示原理．立体显示原理
三维显示实际上具有两个含义，一个是指物三维显示实际上具有两个含义，一个是指物
体的三维图像在平面上的显示，特别是三维图形体的三维图像在平面上的显示，特别是三维图形
的显示，这是图形学的重点。另一个含义是指所的显示，这是图形学的重点。另一个含义是指所
显示的图像确确实实是立体的，是显示的图像确确实实是立体的，是““浮浮””在空间在空间
中的，和我们所看的立体电影一样。这是我们讨中的，和我们所看的立体电影一样。这是我们讨
论的重点。论的重点。
视差（）是投影到人眼视网膜上图像上两点视差（）是投影到人眼视网膜上图像上两点
间的水平距离，正是这个距离产生了视觉上的立间的水平距离，正是这个距离产生了视觉上的立
体感。注视远处的物体时的视差与注视近处物体体感。注视远处的物体时的视差与注视近处物体
时的视差是不同的，因此所谓的立体感正是这个时的视差是不同的，因此所谓的立体感正是这个
不同距离作用的结果。不同距离作用的结果。
视觉媒体的三维立体显示视觉媒体的三维立体显示
视差视差
视觉媒体的三维立体显示视觉媒体的三维立体显示
2 2．视差．视差
决定立体视觉的是视差。视差的种类大致分为四种：决定立体视觉的是视差。视差的种类大致分为四种：
零视差、正视差、负视差和发散视差。它们产生的立体感零视差、正视差、负视差和发散视差。它们产生的立体感
觉是不同的。觉是不同的。
零视差：当显示的左右眼图像之间没有缝隙时，视差为零，零视差：当显示的左右眼图像之间没有缝隙时，视差为零，
就称为零视差。就称为零视差。
正视差：一旦计算机显示的立体图像对的视差大于正视差：一旦计算机显示的立体图像对的视差大于00，我们就，我们就
可以看到深度。正视差差值大于可以看到深度。正视差差值大于00且小于等于人眼之间的距且小于等于人眼之间的距
离。离。
负视差：当两眼的目光交叉时，就会产生负视差。这时，所负视差：当两眼的目光交叉时，就会产生负视差。这时，所
观察的对象将会浮现在两眼与显示器之间的空间中。观察的对象将会浮现在两眼与显示器之间的空间中。
发散视差发散视差 ：视差的值比两眼之间的距离还要大。：视差的值比两眼之间的距离还要大。
视觉媒体的三维立体显示视觉媒体的三维立体显示
3 3．立体图像的产生．立体图像的产生
（（11）旋转法）旋转法
一个很简单的方法是将一幅图像进行旋转以制造出视差效一个很简单的方法是将一幅图像进行旋转以制造出视差效
果。旋转的顺序是：果。旋转的顺序是：
将整个图像从左至右旋转将整个图像从左至右旋转4°4°，以产生左眼图像，以产生左眼图像
将整个图像从右至左旋转将整个图像从右至左旋转4°4°，以产生右眼图像，以产生右眼图像
执行透视投影执行透视投影
显示图像显示图像
使用旋转的方法产生出的立体图像对一些人来说并不适使用旋转的方法产生出的立体图像对一些人来说并不适
合，会引起不舒适感，显示立体图像时一般不采用这种方法。合，会引起不舒适感，显示立体图像时一般不采用这种方法。
视觉媒体的三维立体显示视觉媒体的三维立体显示
（（22）投影变换法）投影变换法
投影变换法是模仿人眼观察物体时产生的视差，投影变换法是模仿人眼观察物体时产生的视差，
通过运算后投影到显示器上。在这种方法中，场景通过运算后投影到显示器上。在这种方法中，场景
中的物体对象在建模之后，通过投影变换生成线框中的物体对象在建模之后，通过投影变换生成线框
图，然后对该物体进行成像处理，生成左右眼的图图，然后对该物体进行成像处理，生成左右眼的图
像。像。
标准的投影变换基于单视点的投影。在坐标系标准的投影变换基于单视点的投影。在坐标系
中，以视点为投影中心，将三维物体的点投影于显中，以视点为投影中心，将三维物体的点投影于显
示器的投影平面上，便在该平面上产生三维物体的示器的投影平面上，便在该平面上产生三维物体的
像。把投影中心的单点变换为双点，很容易构造出像。把投影中心的单点变换为双点，很容易构造出
双眼的投影视图出来。双眼的投影视图出来。
视觉媒体的三维立体显示视觉媒体的三维立体显示
4 4．立体图像的显示．立体图像的显示
立体图像的显示方法有两种。一种方法是让一立体图像的显示方法有两种。一种方法是让一
只眼睛看一个显示器，每个显示器只显示对应眼睛只眼睛看一个显示器，每个显示器只显示对应眼睛
的图像，这样头脑中就产生了立体图像。这种方法的图像，这样头脑中就产生了立体图像。这种方法
的实现是把显示器缩小，放入到头盔中，这就是所的实现是把显示器缩小，放入到头盔中，这就是所
谓的头盔显示器。另一种方法是在显示器上快速地谓的头盔显示器。另一种方法是在显示器上快速地
显示两眼不同的图像，而观察者带上立体眼镜进行显示两眼不同的图像，而观察者带上立体眼镜进行
观察。由于眼镜中的液晶片与显示的图像同步地进观察。由于眼镜中的液晶片与显示的图像同步地进
行开关切换，使得在每一时刻只有一只眼睛能够看行开关切换，使得在每一时刻只有一只眼睛能够看
到对应的图像，只要速度足够快，由眼睛的暂留现到对应的图像，只要速度足够快，由眼睛的暂留现
象和大脑的作用，感觉到的就是立体的图像。象和大脑的作用，感觉到的就是立体的图像。
威海北洋职业技术学校威海北洋职业技术学校《《多媒体技术教程多媒体技术教程
》》
触觉媒体技术触觉媒体技术
触觉媒体概述触觉媒体概述
皮肤可以感觉环境的温度、湿度，也皮肤可以感觉环境的温度、湿度，也
可感觉压力，身体可以感觉振动、运动、可感觉压力，身体可以感觉振动、运动、
旋转等，这些都是触觉在起作用，都可以旋转等，这些都是触觉在起作用，都可以
作为传递信息的媒体。事实上，触觉媒体作为传递信息的媒体。事实上，触觉媒体
就是环境媒体，它描述了该环境中的一切就是环境媒体，它描述了该环境中的一切
特征和参数。特征和参数。
触觉媒体概述触觉媒体概述
人体在信息交流过程中起的作用最大的是人的头部、人体在信息交流过程中起的作用最大的是人的头部、
手部和整体躯干。与外界环境的触觉交互主要包括位置手部和整体躯干。与外界环境的触觉交互主要包括位置
跟踪、力量反馈等方面。跟踪、力量反馈等方面。
对手部信息的处理包括手部的位置、手指的动作类对手部信息的处理包括手部的位置、手指的动作类
型、手部的感觉、手部的力量反馈等。这些都要有特殊型、手部的感觉、手部的力量反馈等。这些都要有特殊
的设备和技术完成系统对手部信息的数字化和跟踪，并的设备和技术完成系统对手部信息的数字化和跟踪，并
将它们与系统的控制和应用结合起来。这些设备和技术将它们与系统的控制和应用结合起来。这些设备和技术
包括数据手套、压力传感手套、手部位置超声波跟踪器、包括数据手套、压力传感手套、手部位置超声波跟踪器、
力量反馈接口等。对躯干的位置跟踪和反馈与手部和头力量反馈接口等。对躯干的位置跟踪和反馈与手部和头
部很类似，但它要反映人体的体势语言和外界对人体的部很类似，但它要反映人体的体势语言和外界对人体的
力量反馈，如振动、倾覆、旋转等。这些设备包括数据力量反馈，如振动、倾覆、旋转等。这些设备包括数据
服装、三维数据座舱、模拟器等。服装、三维数据座舱、模拟器等。
简单指点设备与技术简单指点设备与技术
11．指点的任务．指点的任务
指点的任务包括：指点的任务包括：
选择选择
定位定位
定向定向
路径路径
数量数量
操作操作
简单指点设备与技术简单指点设备与技术
2 2．指点设备．指点设备
指指点点设设备备分分成成直直接接指指点点设设备备和和间间接接指指点点设设
备备两两类类。。前前者者直直接接使使用用特特殊殊的的指指点点设设备备或或用用手手
指指点点屏屏幕幕，，后后者者则则通通过过指指点点设设备备的的间间接接动动作作对对
屏幕上的对象进行指点。屏幕上的对象进行指点。
直直接接指指点点设设备备包包括括：：光光笔笔、、触触摸摸屏屏及及输输入入
笔等。笔等。
间间接接指指点点设设备备包包括括：：鼠鼠标标、、跟跟踪踪球球、、控控制制
杆杆和和图图形形板板。。这这些些设设备备不不接接触触显显示示屏屏幕幕，，所所以以
使用时不会遮挡视线，也不易疲劳。使用时不会遮挡视线，也不易疲劳。
简单指点设备与技术简单指点设备与技术
这些指点设备的输入都是在显示平面上这些指点设备的输入都是在显示平面上
的二维坐标空间中进行的，包括坐标改变的的二维坐标空间中进行的，包括坐标改变的
速度。除非经过特殊的变换，很难把它们向速度。除非经过特殊的变换，很难把它们向
三维空间转换。现在又出现了一些新型的指三维空间转换。现在又出现了一些新型的指
点设备，例如脚用鼠标器、视线跟踪器、凝点设备，例如脚用鼠标器、视线跟踪器、凝
视检测控制器等。视检测控制器等。
位置跟踪位置跟踪
为了与系统交互，系统必须了解参与者的身体动为了与系统交互，系统必须了解参与者的身体动
作，包括头、眼、手、肢体等部位的位置与运动方向。作，包括头、眼、手、肢体等部位的位置与运动方向。
系统将这些位置与运动的数据转变为特定的模式，对系统将这些位置与运动的数据转变为特定的模式，对
相应的动作进行表示。相应的动作进行表示。
1 1．手指动作测量和数字化．手指动作测量和数字化
对手部的跟踪采用一种称为数据手套的工具。对对手部的跟踪采用一种称为数据手套的工具。对
手指的测量主要采用在手套的手指部位装上能够测量手指的测量主要采用在手套的手指部位装上能够测量
手指弯曲、移动的检测器。检测器的种类有光纤、测手指弯曲、移动的检测器。检测器的种类有光纤、测
力板等。数据手套将接收到的数据送入计算机中，在力板等。数据手套将接收到的数据送入计算机中，在
计算机中被转换为相应的数字化格式。计算机中被转换为相应的数字化格式。
位置跟踪位置跟踪
对手指动作的测量和数字化，实际上更关心的是对手指动作的测量和数字化，实际上更关心的是
手指的相对位置。拇指和食指、食指和其他手指等的手指的相对位置。拇指和食指、食指和其他手指等的
相对动作包含了许多含义。识别这些相对的动作，采相对动作包含了许多含义。识别这些相对的动作，采
用的方法就是建立手指动作模式库。首先将各种手指用的方法就是建立手指动作模式库。首先将各种手指
的动作数据进行采集，进行规范化处理后建立起动作的动作数据进行采集，进行规范化处理后建立起动作
模式并存储起来。在使用时将实时采样得到的数据与模式并存储起来。在使用时将实时采样得到的数据与
库中的模式进行比较，就可以知道手指的动作。手指库中的模式进行比较，就可以知道手指的动作。手指
动作的数字化分辨率越高，模式就越复杂，对手指动动作的数字化分辨率越高，模式就越复杂，对手指动
作的解释就越丰富、越精确。作的解释就越丰富、越精确。
位置跟踪位置跟踪
2 2．空间位置跟踪．空间位置跟踪
在数据手套上有一个定位的装置，这是用在数据手套上有一个定位的装置，这是用
于进行手部位置跟踪的。手部的位置是指手部于进行手部位置跟踪的。手部的位置是指手部
在空中的相对位置，所以还需要一个坐标原点。在空中的相对位置，所以还需要一个坐标原点。
事实上，无论是数据手套还是头部的位置跟踪事实上，无论是数据手套还是头部的位置跟踪
其原理都是一样的。其原理都是一样的。
另外一种测量空间位置的装置称为三维定另外一种测量空间位置的装置称为三维定
位机构，它也是一种有六个自由度的空间位置位机构，它也是一种有六个自由度的空间位置
传感器，可相对于某一固定位置的原点，得到传感器，可相对于某一固定位置的原点，得到
目标所处位置的相对方向和位置信号。目标所处位置的相对方向和位置信号。
力反馈与触觉反馈力反馈与触觉反馈
这这与与位位置置跟跟踪踪正正好好相相反反，，是是由由系系统统向向参参与与者者反反馈馈力力和和运运
动动的的信信息息，，如如触触觉觉刺刺激激（（物物体体的的表表面面纹纹理理等等））、、反反作作用用力力
（（推推门门的的门门重重感感觉觉））、、运运动动感感觉觉（（摇摇晃晃、、振振动动等等））及及温温度度、、
湿度等环境信息。湿度等环境信息。
1 1．力反馈．力反馈
力力反反馈馈包包括括对对重重量量的的感感知知、、对对阻阻力力的的感感知知（（在在水水中中前前进进与与
前前进进中中碰碰壁壁是是不不同同的的阻阻力力））、、吸吸引引力力（（如如分分子子间间的的吸吸引引力力、、
磁铁的吸引力）等。磁铁的吸引力）等。
建建立立力力反反馈馈的的直直接接方方法法是是利利用用提提供供动动力力的的电电动动机机和和对对人人
体或人体部位进行力反馈的体或人体部位进行力反馈的““外骨系统外骨系统””。。
力反馈与触觉反馈力反馈与触觉反馈
建建立立力力的的反反馈馈可可以以采采用用简简单单的的方方法法，，通通
过过颜颜色色、、声声音音或或运运动动都都可可以以间间接接获获得得力力的的反反
馈馈效效果果。。例例如如，，通通过过改改变变屏屏幕幕上上对对象象的的颜颜色色，，
可以表示出对象的受力情况。可以表示出对象的受力情况。
通通过过力力感感反反馈馈装装置置，，可可以以直直接接提提供供力力的的
反反馈馈，，提提供供使使人人感感受受到到的的物物理理力力。。目目前前已已建建
造了一些用以提供力感反馈的装置。造了一些用以提供力感反馈的装置。
力反馈与触觉反馈力反馈与触觉反馈
2 2．触觉反馈．触觉反馈
对对于于触触觉觉的的反反馈馈需需要要能能够够让让人人体体区区别别出出不不
同同物物体体的的质质感感和和纹纹理理结结构构。。抚抚摸摸小小猫猫的的皮皮肤肤
与抚摸乌龟壳的感觉肯定是不一样的。与抚摸乌龟壳的感觉肯定是不一样的。
采采用用某某些些物物理理装装置置，，可可以以提提供供一一种种直直接接
通通过过皮皮肤肤感感知知的的触触觉觉反反馈馈。。例例如如使使用用一一种种手手
套套，，分分布布在在手手套套内内表表面面上上的的是是一一个个具具有有若若干干
振振动动凸凸起起物物的的矩矩阵阵，，通通过过这这些些振振动动凸凸起起物物的的
作作用用，，可可以以模模拟拟出出一一定定的的触触觉觉效效果果。。其其他他的的
可可能能方方法法还还有有：：在在手手套套内内部部安安装装一一些些可可膨膨胀胀
的的特特制制小小泡泡或或微微型型弹弹簧簧，，或或基基于于在在电电荷荷的的作作
用用下下某某些些材材料料可可由由液液态态变变为为固固态态以以及及利利用用记记
忆合金的变形功能等。忆合金的变形功能等。
力反馈与触觉反馈力反馈与触觉反馈
3 3．热觉反馈．热觉反馈
热热觉觉反反馈馈也也是是一一种种触触觉觉反反馈馈，，但但它它提提供供
的的是是温温度度的的反反应应。。当当拿拿一一个个物物体体时时，，应应该该感感
觉觉到到物物体体的的温温度度；；当当靠靠近近一一盆盆虚虚拟拟的的篝篝火火时时，，
应应能能感感觉觉到到篝篝火火的的温温度度。。这这些些反反馈馈需需要要的的就就
是热觉反馈。是热觉反馈。
有有一一种种热热觉觉反反馈馈系系统统使使用用了了加加热热泵泵、、温温度度
传传感感器器和和热热表表面面，，通通过过计计算算机机对对系系统统进进行行控控
制制，，控控制制的的温温度度范范围围目目前前在在1010～～35℃35℃之之间间。。
加加热热泵泵将将热热从从热热表表面面上上移移入入移移出出，，通通过过传传感感
器的控制，就可以得到所需要的温度。器的控制，就可以得到所需要的温度。
威海北洋职业技术学校威海北洋职业技术学校《《多媒体技术教程多媒体技术教程
》》
小小 结结
本章重点本章重点
¨̈媒体的种类，常见的媒体元素及特点媒体的种类，常见的媒体元素及特点
¨̈听觉特性听觉特性
¨̈音频的数字化和符号化及三维化处理音频的数字化和符号化及三维化处理
¨̈视觉特性视觉特性
¨̈视觉媒体的数字化和三维立体显示视觉媒体的数字化和三维立体显示
¨̈触觉特性触觉特性
¨̈指点、位置跟踪、力反馈与触觉反馈指点、位置跟踪、力反馈与触觉反馈
威海北洋职业技术学校威海北洋职业技术学校《《多媒体技术教程多媒体技术教程
》》
.（.....）成立于2004年，专注于企业管理培训。
提供60万企业管理资料下载，详情查看：
提供5万集管理视频课程下载，详情查看：
提供2万GB高清管理视频课程硬盘拷贝，详情查看：
2万GB高清管理视频课程目录下载：
高清课程可提供免费体验，如有需要请于我们联系。
咨询电话：020-.
值班手机：.
网站网址：
在线文档：.
威海北洋职业技术学校威海北洋职业技术学校《《多媒体技术教程多媒体技术教程
》》
谢 谢
二月-
2313:41:3913:4113:
41二月-23二月-
2313:41
13:4113:41:3
9二月-23二
月-
2313:41:39
2023/2/3 13:41:39
