虚拟现实技术
虚拟现实的特征及基本构成
虚拟现实技术的发展概况
位置跟踪通道
视觉通道
听觉通道
触觉、力反馈
虚拟场景的生成
虚拟现实的基本概念
1989年，美国VPL Research公司创始人Jaron
Lanier提出了"Virtual Reality"（虚拟现实）的概
念。在这里，"Reality"的含义是现实的世界，或
现实的环境。所以，"Virtual Reality"（虚拟现实）
的另一个名称是"Virtual Environment"（虚拟环
境）。"Virtual"说明，这个世界或环境是虚拟的，
不是真实的。这个世界或环境是人工构造的，是存
在于计算机内部的。用户应该能够"进入"这个虚拟
的环境中。所谓"进入"这个虚拟的环境中，是指用
户以自然的方式与这个环境交互（包括感知环境并
干预环境），从而产生置身于相应的真实环境中的
虚幻感，身临其境的感觉。
"Virtual Reality"（虚拟现实）或"Virtual
Environment"（虚拟环境）是人工构造的，存在
于计算机内部的环境。用户应该能够以自然的方
式与这个环境交互（包括感知环境并干预环境）
，从而产生置身于相应的真实环境中的虚幻感，
沉浸感，身临其境的感觉。
虚拟环境(Virtual Environment，VE)系统
或虚拟现实(Virtual Reality，VR)系统包括人
类操作者、人机接口和计算机。
虚拟现实系统应用最多的专用设备是头盔式立体显
示器和数据手套。于是，有人以使用这些专用设备为虚
拟现实系统的标志。这种观点是不准确的。上述的虚拟
现实的概念，是在计算机应用和人机交互方面开创的全
新的学科领域。这个新领域的发展，还有很多困难，有
很多技术难点有待解决。当前，这一领域还只是走出了
第一步。头盔式立体显示器和数据手套等设备，只是当
前已经实现的一部分虚拟显示设备。它们还很不完善。
例如，头盔的视场，分辨率，造成眩晕等问题还有待解
决。听觉接口和力觉接口等设备还在研究，应用还不多。
味觉，嗅觉，运动觉等技术，还缺乏研究。
虚拟现实技术
虚拟现实系统中的虚拟环境，可能有下列几种情况。
第一种情况是模仿真实世界中的环境。例如，建筑物，武器系统，
或战场环境。这种真实环境，可能是已经存在的，也可能是已经设计
好但还没有建成的。为了逼真地模仿真实世界中的环境，要求逼真地
建立几何模型和物理模型。环境的动态应符合物理规律。这一类虚拟
现实系统的功能，实际是系统仿真。
第二种情况是人类主观构造的环境。例如，用于影视制作或电子
游戏的三维动画。环境是虚构的，几何模型和物理模型就可以完全虚
构。这时，系统的动画技术常用插值方法。
第三种情况是模仿真实世界中的人类不可见的环境。例如，分子
的结构，空气中速度、温度、压力的分布等。这种真实环境，是客观
存在的，但是人类的视觉和听觉不能感觉到。对于分子结构这类微观
环境，进行放大尺度的模仿，使人能看到。对于空气中速度这类不可
见的物理量，可以用流线显示速度（流线方向表示速度方向，流线密
度表示速度大小）。这一类虚拟现实系统的功能，实际是科学可视化。
由此可见，虚拟现实技术可以用于系统仿真、科学可视化、三维
动画等领域。
第一种情况
第二种情况
虚拟现实的特点
基于虚拟现实的基本概念，可以得到虚拟现
实的下列三个特点。
1．计算机提供“环境”, 不是“数据, 信息
”。这改变了人机接口的内容。
2．操作者由视觉,听觉,力觉感知环境, 由自
然的动作操作环境, 不是由屏幕,键盘,鼠标和计
算机交互。这改变了人机接口的形式。
3．逼真的感知和自然的动作，使人产生身
临其境的感觉。这改变了人机接口的效果。
第一个特点体现了计算机应用的新方向。计算机的名称体现了，
它的最早应用是计算。当时，计算机和用户交互的是计算有关的数值。
此后，计算机扩大到处理数值，字符串，文本等各类数据。以后，计
算机更扩大到处理图像，图形，声音，语言等多种媒体的信息。虚拟
现实系统则以环境为计算机处理的对象和人机交互的内容。这开拓了
计算机应用的新思路。
第二个特点体现了计算机人机接口的新方向。至今为止的计算机
人机接口都是面向机器的。终端，键盘，鼠标，打印机等接口设备，
都是适应计算机的专用设备。这些设备很好地完成了各类数据和多媒
体信息的交互。虚拟现实中的人机接口，则是面向用户的。虚拟现实
系统中，用户以自然的方式与虚拟环境交互。所谓自然的方式，是指
用户通过视觉，听觉，触觉等感觉虚拟环境，使用户产生在真实环境
中的幻觉。同时，用户通过在真实环境中的行为，去干预虚拟环境。
于是，虚拟现实的人机接口设备，完全不同于现有计算机的人机接口
设备。这也是虚拟现实技术中最有特色的内容。
第三个特点体现了计算机人机接口的新要求。用户通过人机接口
与虚拟环境交互的结果，是使用户产生身临其境的虚幻感，沉浸感。
虚拟现实的应用领域
1．娱乐
2．国防
3．设计、制造和销售
4．医疗和健康
5．危险操作
6．训练
7．教育
8．信息可视化
9．远程交往与远程游历
虚拟现实技术
1．VR的人机接口
2．VR的计算机系统
3．VR的建模和仿真
1．VR的人机接口
VR的人机接口有两个作用：其一是给人类操作者提供环境信息（视觉、
听觉和触觉），其二是感觉人类操作者的动作和响应（位置跟踪和映射）。
前者包括：视觉通道、听觉通道、触觉通道、运动接口和其他接口。后者
包括：位置跟踪和映射，语音识别等。
（1）位置跟踪和映射
位置跟踪和映射用于测量人体各部位的位置和姿态，分析判断人面部
的表情。它的目的是了解人的身体行为。这是为了实现人机交互所必需的
系统功能。VR系统由此了解人的行为，然后做出适当的响应，实现交互。
常用的技术包括：机械链接、磁传感器、声传感器、光传感器和惯性
传感器。基本目标是精确完成位置和姿态的测量。三个主要的要求：大范
围的线性响应，高带宽（1kHz），以及允许头和身体的运动。
（2）视觉通道
视觉通道给人的视觉系统提供图形显示。为了提供身临其境的逼真感
觉，视觉通道应该满足一些要求。显示的像素应该足够小，使人不至感觉
到像素的不连续。显示的频率应该足够高，使人不至感觉到画面的不连续。
给两眼提供具有双目视差的图形，形成立体视觉。应该具有足够大的视场，
理想情况是显示画面充满整个视场。
视觉通道的显示表面分为：基于CRT和基于LCD。视觉通道的光学系
统分为：头盔显示(HMD)和非头盔显示(OHD)。
专用头盔图
（3） 听觉通道
听觉通道给人的听觉系统提供声音显示。为了提供身临其
境的逼真感觉，听觉通道应该满足一些要求，使人感觉置身于
立体的声场之中，能识别声音的类型和强度，能判定声源的位
置。
听觉通道的关键技术包括：合成由接口提供的虚拟声音信
号，声音在虚拟空间定位问题，以及发声设备。
（4） 触觉通道
触觉通道给人体表面提供触觉和力觉。当人体在虚拟空间
中运动时，如果接触到虚拟物体，虚拟显示系统应该给人提供
这种触觉和力觉。
触觉通道涉及操作以及感觉，包括触觉反馈和力觉反馈。
触觉通道的结构分为：安在身体上和安在地面的设备。
（5） 运动接口
人体在环境中的运动包括：身体的被动运动(被
动移动，如在车上的运动)，身体主动运动（漫游，
如散步）。人在运动中，人体内部的运动感觉器官
可以感知运动信息。
感知运动信息的器官包含：前庭系统，运动系
统，视觉听觉系统，本体感受，动觉和触觉。运动
接口应该给这些器官提供运动信息。
（6） 其它类型接口
其它类型接口包括：嗅觉、味觉通道，以及感
觉热、风及湿度的接口。还包括语音通讯（语音识
别与合成）以及直接心理感觉和控制。这些接口还
缺乏研究，以下将不介绍。
2．VR的计算机系统
现有的虚拟显示系统主要考虑视觉通道。听觉通道和触觉通道
还处于研究阶段。所以，VR的计算机系统主要考虑视觉通道的要
求。
（1） 硬件
视觉通道对计算机系统的要求，首先是要求维持足够的图形
帧速率。于是要求在指定的时间内（约为秒）计算出两眼的两
幅图像。同时要求提供足够好质量的图像，这一般体现在图像中
显示的多边形或三角形的树木。因此，往往需要专用硬件。图形
硬件应提供快速几何变换、截取、消隐、多边形填充和表面纹理。
（2） 软件
VR系统中的软件主要包括下列几种。交互软件利用人机控制
设备的输出去修改VE。视觉漫游软件控制用户在VE中运动时看到
的场景。建模软件定义虚拟物体形状、外观和属性的模型。操作
系统支持VE的实时多模态要求。
（3） 网络
分布式交互仿真已经成为现代仿真技术，特别是军事仿真的
潮流。通讯网络可以把VE转换成共享的分布式计算环境。
3．VR的建模和仿真
（1）建模
建模包括：几何建模和物理建模。一般的VR工具
软件都具有几何建模功能。利用现有的CAD建模工具
也是常用的方法。市场上已有商业模型库出售。对实
际物体的建模，则采用激光扫描等专用设备。物理建
模是基于物理方程的建模。一般考虑刚体建模，链接
物体的建模，以及非刚体的建模。智能体的建模不是
基于物理方程，而是基于人为的物体智能。
人工建模技术在图形学和CAD领域，已有成熟的
成果。自动建模采用激光扫描建立几何模型，也已经
有相关产品。自动建立物理模型的研究还不多。
（2）仿真
仿真包括：图形绘制和三维动画。
图形绘制是把三维环境，相对于虚拟摄像机（虚拟视点）投影，
形成图像的过程。为了提供连续运动的错觉，帧速率必须大于每秒8到
10帧。为了保持瞬间交互控制的错觉，响应时间的延迟必须小于秒。
为了绘制人眼可分辨的所有细节，这要求有8千万个多边形。这是对于
图形绘制的要求。
然而，用今天的硬件，每个画面8千万多边形的系统对真正的实时
交互是太慢了，于是存在真实图像与实时交互间的折衷。某些应用
（如建筑和艺术）可能要求照片一样真实的绘制。制造和医疗应用要
求更高层次的实时交互。
三维动画可以用两种途径实现。基于物理模型的数值计算是一种
方法。军事和工业等应用，往往要求这种满足物理规律的仿真技术。
数学插值则是另一种实现动画的方法。这种技术在三维动画电影中获
得了巨大的成功。
下图表示，虚拟现实开发系统的方块图。用户通过输入输出设备
与输入输出软件交互。输入软件通过形状编辑器完成几何建模，通过
声音编辑器完成虚拟声音系统建模。然后，在世界编辑器完成虚拟环
境的建模。其中的虚拟剪切器，用于模型的剪切。建立的模型，保存
在虚拟世界中。整个工作在计算机系统中完成。
虚拟现实的接口设备
◇ 位姿传感器
◇ 视觉显示
◇ 听觉显示
◇ 力觉和触觉显示
1．位姿传感器的要求
机器人、生物学、建筑、CAD、教育等应用领域，都要
求知道运动物体实时的位置和方向。虚拟现实系统则要求知道
人体各部分实时的位置和方向。
（1）3-D空间中的运动的刚体具有三个平移（沿着X、Y和Z
轴）和三个转动（偏航、俯仰和滚动）。
（2）在物体以高速运动时，应该足够快地测出这六个数值。
（3）3-D测量不应妨碍物体运动。非接触式测量（低频磁场、
超声、雷达、红外摄像和LED等）已经代替机械臂等接触式测
量。
（4）3-D传感器都具有一些共同的参数。
位姿跟踪常用的性能参数有：精度，分辨率，采样率，执
行时间，范围，工作空间，价格，障碍，方便，对模糊的敏感，
容易校准，同时测量的数目，方向相对位置跟踪。
（5）人体并非刚体。上述六个数值只能描述人体整体的运动，
人体各部分之间的相对运动也应该测量。
（6）位姿跟踪和映射是VE系统的基本要求。常用的要求包括：
（a）视觉显示对头和眼的跟踪；
（b）触觉接口对手和臂的跟踪；
（c）视觉显示对身体的跟踪；
（d）面部表情识别、虚拟衣服和医用遥控机器人的映射；
（e）建立数字化几何模型的环境映射。
（7）一种工作方式（“流动”方式）中，传感器数据连续送
给主计算机。这最适于快速运动的物体。但是这加重了通信线路
的负担。如果要求以30个画面/秒的速率重复计算，则每33毫秒
要画出一个画面。9600波特率的串行口要花费12毫秒传送6个数
的一组数据（每个数有16 bit）。因此，仅仅通信就要花费33毫
秒的36%。
另一种工作方式（“请求”方式）中，当主计算机请求时，
才传送一组的6个数。其它时间不读传感器数据，于是总体画面
更新时间中的通信时间部分就下降了。
（8） 用于位姿跟踪和映射的基本传感系统有：
机械链接，磁传感器，光传感器，声传感器和惯性传感器。
2．各种位姿跟踪器的比较如下：
3．研究要求
一般，位置跟踪器要求合适的性能和合理的价格。对肢体跟踪，某
些光学传感器是精确快速的，但对日常应用太贵（在5万到10万美元范
围），特别是为了防止阻挡和增加工作空间而加倍安装时。
肢体跟踪的任何传感系统难以识别可靠的基准点，这是由于人体组
织和衣服的柔软性。
为了得到关节角，必须使用某些校准过程，在肢体上建立坐标系。
此后的关节角计算将接近真实的生物机械角。
对整个人体跟踪，工作空间大小是重要问题。应该能在足够大的空
间跟踪运动人体，并且不会损失分辨率，不必担心遮挡。被跟踪的人应
能在建筑中由一个房间走到另一个房间。如果人体所有主要部分都被跟
踪，则要求安装某些东西在人体上（反光器，标记，测角器）的传感系
统，不如扫描人体的系统有吸引力。
对人体和环境表面映射，某些激光跟踪器是精确而快速的，但还较
贵。VE的长期目标是高精度实时跟踪人体的光学映射系统。这可能是用
自然光或主动激光扫描的立体视觉系统。
测量方法是在选择位置跟踪方法时最易混淆的一个问题，问题是性
能指标的含义及测量方法之间的不一致。应建立标准，指出怎样测精度、
分辨率、等待时间、带宽、敏感干扰、和起伏。测量设备应商品化，应
建立独立的实验室，使用户不至依赖厂家指标，而是了解真实性能。
机械式传感器
1．原理：
机械式传感器可分两类：
"安在身体上的"机械跟踪器中，机械全部安在身
上。
"安在地面上的"机械跟踪器中，机械部分安在地
面。
2．机械式传感器的优缺点：
机械式传感器：是便宜的，比较精确。可以测量
整个身体运动，没有延迟。可以同时实现力反馈。
但妨碍身体运动
（1）测角器（"安在身体上的"机械跟踪器）
（2）安在地面上的链接
3-D探头
传感手套是为满足上述要求而设计的虚拟现实工具。商
业化的产品有VPL公司的DataGlove，Vertex的CyberGlove，
Mattel的PowerGlove，和Exos Dextrous Hand Master。它们
都用传感器测量全部或部分手指关节的角度。某些传感手套
还用3-D传感器跟踪用户手腕的运动。手套的工作区大于跟踪
球和手柄（探头）的工作区。
下图表示，人手指的各种运动。
把原始的传感器读数变成手指关节角的过程称
为手套校准。每当开始一次新的仿真，戴上数据手
套时，都必须重新作校准。这是因为不可能知道是
否用户把手套松紧合适地戴在手指上。
下图表示，数据手套DataGlove的结构。
电磁传感器
电磁传感器测量头，手，其他设备的位姿。测量三个坐标，
以及三个姿态角度。
下图表示，电磁传感器用于测量头盔的位姿。轻便的电磁
接受器部分安装在头盔上，电磁发射器安装在地面。
超声传感器
超声传感器同样测量头，手，其他设备的位姿。测量三
个坐标，以及三个姿态角度。
下图表示使用超声传感器的示意图。在用户头部前额上
的正三角形架子上安装了三个超声接受器，另一个大的正三
角形架子上安装了三个超声发射器。
视觉显示
理想的视觉显示与日常经历中的场景对比，在质量、修
改率和范围方面应该是无法区分的。但是当前的技术还不支
持这种高真实度的视觉显示，而且也不清楚是否多数应用要
求这种高真实度。对任何给定的应用，必须认真评价各种显
示特性的重要性，这包括视觉特性（视场、分辨率、亮度、
对比和彩色），人类工程学，安全，可靠和价格。视觉显示
的基本要求是提供立体视觉。
对虚拟现实（VR），最常用的技术成熟的显示类型是阴
极射线管（CRT）和背光液晶显示（LCD）。虽然这些技术
对近期的虚拟现实应用是很有用的，但几个缺点却妨碍其长
期的发展。
1．CRT类显示
2．LCD类显示
CRT技术是多年来在电视机和计算机监视器上广
泛应用的成熟技术。CRT技术能给头盔显示器提供小
的高分辨率高亮度的单色显示。但这些CRT较重，并
把高电压放在人头部上的设备中。此外，开发小型高
分辨率高亮度彩色CRT是困难的。在头盔显示中，要
求笨重的光学设备形成高质量图像。
组合的技术途径可产生高质量彩色图像，并减少
重量和价格。近期的途径是把高质量彩色的基于CRT
的HMD（头盔显示器）引入市场，它使用了加于单
色CRT的机械电子彩色滤光技术。这种途径中，CRT
以三倍正常速率扫描，并依次加上红、绿、兰三色的
滤光器。
LCD技术以低电压产生彩色图像，但只
具有很低的图像元密度。在头盔显示中，也
要求笨重的光学设备形成高质量图像。
市场出售的头盔式显示器几乎全部依靠
TV（电视机）质量的液晶显示。在VR和遥
操作领域，不要求大区域显示。只要求紧凑
的轻便的高分辨率显示。LCD显示器有待提
高其分辨率。
3．VRD类显示
与基于CRT或LCD的显示器不同的工作是
在华盛顿大学人类接口接术（HIT）实验室。
HIT实验室正研究基于激光微扫描技术的显示
VRD，它用微型固体激光器扫描视网膜上的彩
色图像。它的优点是不使用笨重的光学设备，
可能开发高分辨率、轻便、低价格显示系统。
但激光微扫描显示还面对大量技术障碍。
VRD的应用包括用于军事，头盔，移动电
话，以及医学上。
下图表示，VRD的显示设备用
于头盔显示器。
未来的VRD的头盔显示器
视
觉
显
示
的
产
品
几种基于LCD
的头盔产品
视
觉
显
示
的
产
品
基于CRT的
头盔产品
听觉显示
虚拟环境的听觉接口应能给两耳提供一对声波。
(1)它应有高逼真性，
(2)能以预订方式改变波形，作为听者各种属性和输出的函
数(包括头部位姿变化)，
(3)排除所有不是VR系统产生的声源(如真实环境背景声
音)。对增强现实系统可以放松上述条件(3)，它的意图是组
合合成声音与真实声音。
声音显示设备
一般讲，用耳机最容易达到虚拟现实的要求。在使用喇
叭，并远离头部时，每个耳朵听到每个喇叭的声音，控制问
题很困难。虽然商业化的高逼真电影往往声称喇叭有很好的
形成声象能力，但用户限制在房中单一收听位置，只得到固
定方位声象（不补偿头部转动），而且房间的声学特性不容
易处理。此外，由于耳朵完全打开,不可能排除环境中附加的
声音。最后，虽然与耳机有关的接触感可能限制听觉临场感
的程度，但是由于用户需要在虚拟和真实环境之间来回转移，
这种与耳机接触可能是有用的。在任何情况，由于视觉接口
会存在这些问题。在需要喇叭的情况下，可能发生高能低频
声爆破。这种情况，喇叭可能用于振动部分身体，而不仅是
耳膜。
房间声音建模
1．声音的空间分布
虚拟环境听觉接口以前多数工作是要提供声音的空
间分布。在这个领域，工作最初集中在仿真正常的
空间分布。很少注意提供超正常分布。
2．房间声学建模
当前，Acoustetron是唯一的包含简化的房间实时
声学建模的实时声音空间定位系统。即使声学模型
是简单的，并只有少量一阶和二阶反射，系统提供
了加强的现实性。
3．增强现实显示
力觉和触觉显示
1．接触反馈和力反馈
接触接口可以按照提供给用户的信息分成两类，接触反
馈和力反馈。接触反馈给用户提供的信息有：物体表面几何
形状、表面纹理、滑动等。力反馈给用户提供的信息有：总
的接触力、表面柔顺、物体重量等。接触接口还可以分成：
部分身体运动接口，以及全身运动接口。部分身体运动接口，
安装在人体的一部分，如手、臂、躯干等。全身运动接口则
全面支持在虚拟环境中的主动和被动的运动，但这种接口技
术还远未成熟。机械接触接口的一个重要的指标是：自由度
（DoF）。由操作器的观点看，自由度是关节的数目。这些
关节是位置受控的，也是力矩受控的。
2．接触反馈和力反馈的要求
在虚拟现实交互中，没有真实的被抓物体。虚拟接触反
馈和力反馈需要复制实时计算的接触力、表面形状、平滑性
和滑动等。除了对所有传感通道的实时要求外，对虚拟接触
反馈和力反馈还有某些特殊要求。
3． 接触反馈和力反馈的技术
接触接口需要几种机械部件，以及描述环境性
质的模型和软件。至今还只有很少的接触反馈和力
反馈设备。他们采用下列的技术。
（1）软件和模型
（2）心理物理学
（3）作用器
触觉显示设备
接触反馈在物体辨识与操作中起重
要作用。它也检测开始接触，所以在任
何力反馈系统中也是需要的。人体具有
二十种不同类型的神经末梢，给大脑发
送信息。多数感知器是热、冷、疼、压、
接触等感知器。接触接口给这些感知器
提供：高频震动、形状或压力分布、温
度分布等信息。
接触反馈设备有下列几种
1．气动接触反馈
2．振动触觉反馈
力觉显示设备
力反馈设备应该跟踪用户身体的运动，以及用户施加的
力。根据这些数据，力反馈设备确定它加给用户的力。这种
接口的目标是给用户提供立即的，高逼真的，可信的真实交
互。
力
反
馈
手
柄
力反馈手臂
手臂有重力和惯性补偿，于是在与虚拟环境无交
互时在手柄上也不感到力。
（a）为系统布局，
（b）为手臂的结构
虚拟场景的生成
虚拟场景的生成主要包括两方面内容：
虚拟环境的建模及三维图形显示。
几何对象的完整描述应包括两方面，其一称为“静态
模型”，他描述对象的静态特征，包括几何尺寸、形状特
征、位置、方向、材料及有关属性；其二称之为“动态模
型”，他描述对象的动态属性，包括其运动、行为及其约
束条件等。
1、虚拟场景静态模型的建立
静态模型的描述一般分为：几何模型，光照模型、灰
度模型、纹理处理、渲染效果等。
2、虚拟场景动态模型的建立
虚拟场景动态模型建立主要涉及两个方面的内容，其
一是如何确定场景中每一个对象运动过程中的坐标（包括
绝对坐标与相对坐标），其二是当视点变化时场景如何动
态刷新。
2 虚拟现实技术
虚拟现实技术是一种三维计算机图形技术与计算机硬件技术发展而
实现的高级人机交互技术，让用户通过视觉、听觉、触觉、甚至嗅觉和
味觉等多种知觉方式实时地与计算机所建造的仿真环境发生相互作用。
虚拟现实（VR-Virtual Reality)
VR技术是综合利用计算机图形系统和各种显示和控制等接口设备，
在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。
•VR技术的直观与交互特性弥补了传统设计工具的不足
•为概念设计，设计方案的评价提供了有力的支持
•VR技术是一个极有应用潜力的新技术领域
虚拟虚拟现实技术提供了在产品制造以前观察、验证和使用产品的可视技术提供了在产品制造以前观察、验证和使用产品的可视
化的环境。化的环境。
虚拟现实技术的特征
1）立体感的视觉效果
由内向外观察，按人的视觉原理设计，环境真实感
2）人在虚拟环境中的沉浸感
用户在虚拟空间处于运动坐标系中。
3）多知感
借助多媒体，产生视觉、听觉、触觉感。
4）闭环的交互方式
人对虚拟空间的对象进行操作时，对象将给人以感觉上的反馈
5）动态的显示
场景可随人的视点作全方位的运动
虚拟现实技术提供：具有独特输入/输出装置的特殊人机界面，如
头盔式显示器HMD、跟踪器、数据手套、定位器等。借助这些虚拟外
设，比之传统CAD技术，用户就可沉浸在仿真环境之中，有“身临其
境”的感觉，从而完成在现实世界中可能或不可能的工作
虚拟现实环境的建立
屏幕仿真采用键盘和鼠标与计算机交互，用户仍然置屏幕仿真采用键盘和鼠标与计算机交互，用户仍然置
身于虚拟环境之外操作和观看。身于虚拟环境之外操作和观看。
借助立体显示装置和软件、多通道的视觉、听觉、触借助立体显示装置和软件、多通道的视觉、听觉、触
觉和甚至味觉传感器，可使用户沉浸到虚拟环境中去，构觉和甚至味觉传感器，可使用户沉浸到虚拟环境中去，构
想成接近现实的幻觉。想成接近现实的幻觉。
这种环境称为虚拟实境（这种环境称为虚拟实境（Virtual Reality Virtual Reality ）是一种能在）是一种能在
三维视觉空间中进行实时仿真和交互的高端人机界面。三维视觉空间中进行实时仿真和交互的高端人机界面。
虚拟现实环境的建立
交互交互
沉浸沉浸 遐想遐想
视觉视觉
听觉听觉
触觉触觉
味觉味觉
虚 拟 环 境
虚拟现实环境的建立
有沉浸感的虚拟实境环境有沉浸感的虚拟实境环境 人工的虚拟实境产品人工的虚拟实境产品
带头盔的用户带头盔的用户 虚拟实境计算机虚拟实境计算机
虚拟现实环境的建立
虚拟实境环境虚拟实境环境输入接口输入接口
位置跟踪位置跟踪
数据手套数据手套
空空 间间 球球
操操 纵纵 杆杆
话话 筒筒
头头 盔盔
双双 筒筒 镜镜
立体眼镜立体眼镜
显示设备显示设备
耳耳 机机
输出接口输出接口
虚拟实境数据库虚拟实境数据库
CADCAD、音频、视频、音频、视频
测量测量
建模建模
渲染渲染
控制控制
虚拟实境计算机虚拟实境计算机
虚拟实境虚拟实境
建模语言建模语言
VRMLVRML
虚拟现实环境建模
虚拟实境的建模过程首先是将虚拟实境的建模过程首先是将CADCAD的实体模型进行三的实体模型进行三
角形处理，将连续的实体转为大量三角形构成的表面，以角形处理，将连续的实体转为大量三角形构成的表面，以
减少虚拟对象的数据量。减少虚拟对象的数据量。
三角形的数量越多，虚拟对象越逼真，虚拟实境的沉三角形的数量越多，虚拟对象越逼真，虚拟实境的沉
浸感越强。浸感越强。
对于需要表现细节的局部，也可以借助照片贴图的方对于需要表现细节的局部，也可以借助照片贴图的方
法，避免数据量过大。法，避免数据量过大。
虚拟现实对计算机系统的要求
1．帧频和延迟时间的要求
VR要求高帧频和快速响应，这是由于其内在的
交互性质。
要求的帧频和延迟一般取决于环境特性。只有
慢速运动物体的较静的环境，可以用帧频每秒8至
10，和秒延迟。如果环境有高速运动的物体，则
要求高帧频（>60Hz）和短延迟。所有情况下，若
帧频低于每秒8帧，则失去三维环境的生动感，若
延迟大于秒，则很难操作环境。因此，帧频必须
大于8到10帧/秒,总延迟必须小于秒。
2．计算能力和场景复杂性
虚拟现实仿真的计算问题，是一种时间受限的计算。这是因
为显示的帧频必须大于8到10帧/秒。于是，在秒内，必须完成
一次场景的计算。如果一个显示的场景中有10,000个三角形（或
多边形），这个数量就反映了场景复杂性。这样，在每秒进行的
10次计算中，就应该计算100,000个三角形（或多边形）。这表示
了计算能力。
若要求更加逼真的仿真效果，就要增加场景复杂性。显示的
场景中有更多的三角形（或多边形），显示的效果就更逼真。这
就要求更强的计算能力，每秒计算更多的三角形（或多边形）。
反之，如果只能使用能力有限的指定的计算机，则限定了计算能
力，也就限定了场景复杂性。每个场景，只能用较少的三角形
（或多边形），产生较粗糙的显示。这种考虑就是，计算能力和
场景复杂性的折衷。
对计算机，主要的技术指标就是其计算能力，也就是每秒计
算的三角形（或多边形）的数目。应该注意，是否加纹理，是否
反走样，采用哪一种明暗模型，都会影响到计算能力。加入这些
复杂的功能，就会增加计算复杂性，从而减少每秒计算的三角形
（或多边形）的数目。
25002500个三角形个三角形
3333个三角形个三角形
600600个三角形个三角形 134754134754个三角形个三角形
虚拟现实环境建模
汽车前仪表盖
三角形较少的模三角形较少的模
型型
三角形较多的模三角形较多的模
型型
贴上仪表盘照片贴上仪表盘照片
方方
向向
盘盘
的的
C C
A A
DD
模模
型型
三三
角角
形形
较较
多多
的的
模模
型型
三三
角角
形形
较较
少少
的的
模模
型型
虚虚
拟拟
实实
境境
的的
模模
型型
虚拟现实环境建模
虚拟现实环境设备
位置输入装置的用途是：位置输入装置的用途是：
操纵和控制虚拟对象的位置。操纵和控制虚拟对象的位置。
将用户的位置与虚拟实境交互。将用户的位置与虚拟实境交互。
位置输入装置的主要类型：位置输入装置的主要类型：
空间球（空间球（66自由度立体鼠标）。自由度立体鼠标）。
操纵杆（力反馈或没有力反馈）。操纵杆（力反馈或没有力反馈）。
超声波或光学位置跟踪器。超声波或光学位置跟踪器。
全身动作跟踪服。全身动作跟踪服。
位置输入装置位置输入装置
虚拟现实环境设备
虚拟对象有
6个自由度
空间球
具有磁性位置跟踪的立体鼠标具有磁性位置跟踪的立体鼠标
单柄操纵杆单柄操纵杆
具有力反馈的
操纵杆
摄像机
摄像机
两极发光管
指向标
两极发光管
天花板
带传感器的头盔
超声波超声波
发生器发生器
超声波接收器超声波接收器
位置控制器位置控制器
虚拟实境计算机虚拟实境计算机
光学位置跟踪器
传感器
激光扫描仪
传感器传感器
位置信号位置信号
发射装置发射装置
传感器传感器
全身动作跟踪服全身动作跟踪服
（（2020个传感器）个传感器）
虚拟现实环境设备
数据手套既是位置输入装置，也是触觉输入装置，它将数据手套既是位置输入装置，也是触觉输入装置，它将““虚拟手虚拟手
””加到虚拟实境场景中去。加到虚拟实境场景中去。
数据手套数据手套
与空间球和操纵杆相比，数据手套扩大了用户与虚拟实境交互与空间球和操纵杆相比，数据手套扩大了用户与虚拟实境交互
的活动空间。的活动空间。
数据手套的主要类型有：数据手套的主要类型有：
位置和动作数据手套。位置和动作数据手套。
力反馈数据手套。力反馈数据手套。
将用户手的姿势转化成计算机可读的数据，有测量几个或全部手指
关节的传感器。有的具有三维传感器，以跟踪用户腕部的运动
基于光导衰减有利的光纤手套 CyberGrasp
数据手套数据手套
虚拟手虚拟手
数据手套的数据手套的
工作空间工作空间
信号发射器信号发射器
空间球的空间球的
工作空间工作空间
工具栏工具栏 菜单栏菜单栏 输出信号输出信号
22个传感器个传感器//每根手每根手
指指++手指分合传感器手指分合传感器
++手腕转动传感器手腕转动传感器 接口电缆接口电缆
接口盒接口盒
软接线软接线
信号转换信号转换
软手套软手套
虚拟现实环境设备
虚拟现实环境设备
头盔和双筒镜头盔和双筒镜
头盔头盔(HMD-Head Mounted Display)(HMD-Head Mounted Display)和双筒镜和双筒镜( ( BOOMBOOM ) )是是
个人用户的虚拟实境显示装置，使用方便，价格便宜。个人用户的虚拟实境显示装置，使用方便，价格便宜。
头盔的缺点是头部负重和不舒适感，头盔分专业（带位置头盔的缺点是头部负重和不舒适感，头盔分专业（带位置
跟踪）和普通（不带位置跟踪）。跟踪）和普通（不带位置跟踪）。
双筒镜与观景望远镜相似，缺点是视觉范围有限，观看时双筒镜与观景望远镜相似，缺点是视觉范围有限，观看时
需要不断移动，分手持和座式。需要不断移动，分手持和座式。
在头盔或双筒镜两侧有两个小型液晶显示器，通过光学系在头盔或双筒镜两侧有两个小型液晶显示器，通过光学系
统在用户眼前生成虚拟实境场景。统在用户眼前生成虚拟实境场景。
虚拟现实环境设备
单通道虚拟实境系统单通道虚拟实境系统
HMDHMD
控制器控制器
HMDHMD
控制器控制器
虚拟实境计算机虚拟实境计算机
虚拟实境计算机虚拟实境计算机
RGB-NTSCRGB-NTSC
转换器转换器
图形卡图形卡
图形卡图形卡
图形卡图形卡
场景计算场景计算
左眼左眼计算计算
右眼右眼计算计算HMDHMD
位置跟踪位置跟踪
位置跟踪位置跟踪
接收器接收器
头围调节头围调节
多通道虚拟实境系统多通道虚拟实境系统
显示器显示器
立体声耳机立体声耳机
位置跟踪位置跟踪 接接
收器收器
头围调节头围调节
瞳距调节瞳距调节
场景显示场景显示
虚拟现实环境设备
虚拟现实环境设备
虚拟桌面和虚拟幕墙虚拟桌面和虚拟幕墙
大屏幕的虚拟桌面（大屏幕的虚拟桌面（ImmersaDeskImmersaDesk）和虚拟幕墙）和虚拟幕墙( (
PowerWall PowerWall ）是可供多人观看虚拟实境的显示装置。）是可供多人观看虚拟实境的显示装置。
虚拟桌面一般采用一个虚拟桌面一般采用一个CRTCRT、、LCDLCD或或DLPDLP投影仪，通过投影仪，通过
反射镜投射到屏幕。反射镜投射到屏幕。
大型虚拟幕墙采用多个大型虚拟幕墙采用多个CRTCRT或或DLPDLP投影仪，从背面投射，投影仪，从背面投射，
布满整个墙面，可供数十人观看。布满整个墙面，可供数十人观看。
观看时用户需要戴上立体眼镜。观看时用户需要戴上立体眼镜。
投影仪投影仪
反射镜反射镜
显示屏显示屏
虚拟幕墙
虚拟现实环境设备
虚拟现实环境设备
CAVE CAVE 虚拟环境虚拟环境
CAVE CAVE是计算机自动虚拟环境的缩写，（是计算机自动虚拟环境的缩写，（Computer Automated Computer Automated
Virtual Environment--CAVEVirtual Environment--CAVE）。）。
在在3m3m3m3m 的空间中，前面和左右侧面场景采用的空间中，前面和左右侧面场景采用33个大屏幕个大屏幕
投影仪通过反射镜投射或直接从背面投射，地面场景借助屋顶上的投影投影仪通过反射镜投射或直接从背面投射，地面场景借助屋顶上的投影
仪通过反射镜投射仪通过反射镜投射。。
使用者戴上立体眼镜观看场景、借助数据手套对目标进行交互、利使用者戴上立体眼镜观看场景、借助数据手套对目标进行交互、利
用位置跟踪器和空间操纵杆进行操作。用位置跟踪器和空间操纵杆进行操作。
CAVECAVE已经在重大产品开发、建筑设计、军事和体育训练、科学研已经在重大产品开发、建筑设计、军事和体育训练、科学研
究等许多领域获得应用。究等许多领域获得应用。
CAVE（六面）示意图
虚拟现实环境设备
地面投影仪地面投影仪
右侧投影仪右侧投影仪
左侧投影仪左侧投影仪
前景投影仪前景投影仪
双筒显示器双筒显示器
数据手套数据手套
““驾驶驾驶””虚拟的汽虚拟的汽
车车
虚拟现实环境应用
虚拟现实环境应用
虚拟现实环境应用
虚拟现实环境应用
网格虚拟实现环境网格虚拟实现环境
普及虚拟实现技术，首先遇到投资问题，高端和低端的投资差别普及虚拟实现技术，首先遇到投资问题，高端和低端的投资差别
很大，从几万到几千万。很大，从几万到几千万。
网格计算（网格计算（Grid ComputingGrid Computing）是新一代的互联网，可提供强大的）是新一代的互联网，可提供强大的
图形交互和处理能力。图形交互和处理能力。
借助网格，可以将在不同地点的虚拟实境设备连接在一起，实现借助网格，可以将在不同地点的虚拟实境设备连接在一起，实现
资源共享。资源共享。
例如甲地有例如甲地有CAVECAVE，乙地有头盔，丙地有双筒镜，借助网格，乙地，乙地有头盔，丙地有双筒镜，借助网格，乙地
和丙地也可进入和丙地也可进入CAVECAVE。。
虚拟现实环境应用
共享的虚拟实境场景
虚拟现实环境应用
虚拟现实的建模和仿真技术
◇ 虚拟现实的几何建模技术
◇ 虚拟现实的物理建模技术
◇ 虚拟现实仿真的动画技术
环境模型的表示
建模是VR的核心,它定义物体的形式、属性和外观。多模式VR的
一个重要的技术难点是设计开发物体表示、仿真和绘制(RSR)技术。
它支持实时与VR的视听触觉交互。RSR处理有两个主要途径。
人工的几何建模方法
建立详细的三维几何模型的要求是来自计算机辅助设计(CAD)
，计算机图形学，和其它领域。几何建模是活跃的科学和工业研究
领域，已经可以得到大量的商业建模系统。尽管有丰富的工具，还
是把建模看成繁重的任务。有关的因素是建模缓慢，用户接口不便，
不灵活，以及模型规定在低层次。这些困难的表现是多数实验室和
商业动画公司宁愿使用自制建模工具，或在某些情况用自制建模工
具与市场销售建模工具的混合。
自动的几何建模方法
三维扫描仪（3 Dimensional Scanner）又称为三维数字化仪
（3 Dimensional Digitizer）。它是当前使用的对实际物体三维建
模的重要工具。它能快速方便的将真实世界的立体彩色信息转换为
计算机能直接处理的数字信号，为实物数字化提供了有效的手段。
虚拟现实几何建模得到的建筑物场景
虚拟现实的物理建模技术
为了使VR可靠，并把用户定位在其中，
虚拟物体(包括用户的图像)必须象真的一样。
至少固体不应彼此穿过，物体在被推拉抓取
时应按予期方式运动。
VR的物理属性往往用微分方程来描述，
它构成动力学系统。这种动力学系统由系统
分析和系统仿真来研究。系统仿真实际上就
是动力学系统的物理仿真。
经典力学的仿真广泛用于帮助工程设计和分析。
虽然这些传统仿真提供属性的数值规律，但还没有
满足VR要求。在工程实践中，仿真是长的推理活动。
工程师一般花很多时间手工开发系统的数学模型。
模型再转换成仿真软件和参数选择。这样仿真才能
运行。在进行设计时，初始方程必须修改，并重新
运行仿真。
与此对比，VR的力学仿真必须可靠地、无缝地、
自动地、实时地运行。在世界建模的范围内，任何
可能发生的情况必须正确处理。近年来，计算机图
形的研究开始涉及这类仿真提出的问题，这称为基
于物理的建模。下面综述现有的技术。
基于物理模型的动画技术，尽管比传统动画技术的计算复
杂性高，但能逼真地模拟自然物理现象。基于物理模型的动画，
大致可分为三类，刚体运动模拟、塑性物体变形运动模拟、流
体运动模拟。
虚拟现实仿真的动画技术
VR中物体的动态，也就是数值的动态。可以由
两种方法实现这种数值的动态。
之一是基于数值插值的动画方法，它可以得到
物体的动态。例如虚拟人体的步行，可以由插值实
现动画。下面介绍几种插值方法。
之二是基于物理的运动方程，由方程数值解可
得到物体的动态。例如球的自由下落。下面也将介
绍基于动力学方程的系统仿真方法。
1、插值方法
2、过程动画
用插值方法得到的虚拟现实场景
过程动画
过程动画是用过程来描述动画中物体的运动或变形。简
单的过程动画，用一个数学模型描述。另一类过程动画，采
用特殊方法，如粒子系统和群体运动。
1、粒子系统
2、动力学方程的系统仿真
系统仿真技术是解决虚拟环境中物体动态行为的动力学
方法，所以系统仿真是虚拟现实的基础技术之一。系统仿真
技术往往承担大型仿真任务，如武器系统的仿真。在大型仿
真任务中，虚拟现实技术是仿真可视化和人机交互的先进工
具。所以，虚拟现实和系统仿真是紧密相关和相辅相成的两
个领域。
用动力学方程
的系统仿真得
到的虚拟现实
场景
虚拟现实技术
虚拟现实的特征及基本构成
虚拟现实技术的发展概况
位置跟踪通道
视觉通道
听觉通道
触觉、力反馈
虚拟场景的生成
