收稿日期: 2011唱05唱10 修回日期: 2011唱06唱13 基金项目: 国家“863”计划资助项目(2007AA010404);国家科技支撑计划资助项目
(2007BAH14B0、2007BAH14B03);湖南省自然科学基金资助项目(08JJ6041)
作者简介: 周强(1986唱),男,湖南郴州人,硕士研究生,主要研究方向为游戏人工智能( zhon7491456@163.com);高春鸣(1961唱),男,教授,博
士,主要研究方向为数字媒体技术;孟志刚(1976唱),男,博士,主要研究方向为游戏人工智能、群组动画.
有限理性模型在游戏智能决策中的研究与应用 倡
周 强a,b, 高春鸣a,b, 孟志刚b
(湖南大学 a.信息科学与工程学院; b.数字媒体研究所,长沙 410082)
摘 要: 为了让游戏 NPC 能够学习和模拟玩家在游戏中的策略和行为方式,在基于模型的智能决策方法基础
上,结合行为决策理论中的有限理性模型提出了一种新的游戏智能方法。 该方法分别从有限理性模型的两个核
心原则———有限理性和满意准则来改进过去的方法在感知和决策过程中所面对的问题,从而使得游戏 NPC 行
为决策方式更加人性化。 最后,通过在 Starcraft平台上与其他方法的对抗性实验来进一步验证该方法的优势。
关键词: 游戏智能决策方法; 有限理性模型; 有限理性; 满意准则
中图分类号: TP39 文献标志码: A 文章编号: 1001唱3695(2011)12唱4581唱04
doi:10.3969/j.issn.1001唱3695.2011.12.048
Research and application of bounded rationality model used in
game intelligent decision唱making
ZHOU Qianga,b, GAO Chun唱minga,b, MENG Zhi唱gangb
(a.School of Information Science & Engineering, b.Institute of Digital Media, Hunan University, Changsha 410082, China)
Abstract: This article presented a novel game intelligent decision唱making method to make game NPC(non唱player character)learn and simulate strategies and behavioral pattern which the players used in the video game.This method improved the mod唱el唱based method, and introduced the bounded rationality model of the behavioural decision theory as the basic decision唱makingmodel.So that it would drawback the problems confronted with the past methods in the perception and decision唱making processfrom two aspects唱bounded rationality and satisfactory criterion, which was the core of the bounded rationality model.Finally,the advantages of this method were verified by the experiments on the platform of Starcraft.Key words: game intelligence decision唱making method; bounded rationality model; bounded rationality; satisfactory criterion
随着硬件技术的迅猛发展、3D图形图像技术日趋完善,视
频游戏在画面表现力上已经达到了与电影相媲美的高度,随之
带来的是玩家对游戏的可玩性需求的提高,这当中视频游戏的
人工智能技术就起到了关键性的作用。 过去许多游戏开发研
究人员往往将人工智能技术归结为一段能够驱动视频游戏中
NPC(non唱player character)的智能代码。 这种智能主要表现在
游戏中的 NPCs完成路径规划、碰撞避免等外在行为表现上,
实际上这些只是一种较底层的智能表现。 如果能让游戏中的
NPCs学习和模拟人们在玩游戏时所采用的策略和行为方式,
NPCs将可以在复杂的游戏场景中自主且“真实”地完成行为
的决策以及与环境的交互,最终将大大提升游戏的可玩性和沉
浸感。 针对这一点,游戏研究人员通过引入神经网络、遗传算
法、人工生命、认知模型等有关人类行为学的相关理论,改进过
去的智能决策算法,让游戏中的 NPCs在面对不同的环境情况
中作出更为“真实”的反应。
游戏智能主要考虑在人性化、效率和可维护性等方面的设
计需求。 在比较分析当前常用的智能决策方法以后,本文将采
用基于模型的决策方式加强系统对决策模块控制,同时为了提
高游戏 NPC的智能,将行为决策理论中的有限理性模型作为
决策模型的基本原型。 这样将使得该方法不仅能够保留原方
法的高效、灵活、易维护等特点,还能够使得智能角色在行为决
策中更加人性化。
1 相关研究现状
不同时期,研究开发人员针对视频游戏的不同需求设计出
了与之对应的智能决策系统来实现游戏中 NPC的智能问题。
作为游戏人工智能方面的先导性技术,基于规则的智能决
策方法[1]自 20世纪 70年代起就开始被人们逐步分析和研究,
从最初的 Pong、Pac唱Man以及 Joust等简单游戏到 Warcraft Ⅲ、
Quake、 Simbionic等大型的 3D游戏,都是通过建立规则系统来
串联游戏 NPCs中各种行为完成最终智能决策。 该方法是一
种基于一组既定的事实以及人们对特定问题领域的知识,以人
类惯性思考和推理方式进行模拟,从而使设计的系统更具有条
理性和易理解性。 然而规则的脆弱和不稳定,以及它在很大程
度上受开发人员智力因素影响的特点,使其无法实现 NPCs真
正的智能,还会加大开发和维护所耗费的人力、物力。
为了解决规则所面对的问题,2003年 Orkin[2]首次提出了
基于目标的智能决策方法。 该方法通过构建规划器来模拟人
类在明确目标后的规划过程,将满足该目标以及目标的前置条
件的一组行为组织起来作为决策输出,这样就突破了过去规则
的限制使行为执行更为连贯自然,并且提高了模块的可复用性
第 28 卷第 12 期
2011 年 12 月
计 算 机 应 用 研 究Application Research of Computers Vol.28 No.12Dec.2011
和可维护性。 基于这些方面的优势,该方法很快被 F.E.A.
R[3]游戏所采用,并在游戏 No One Lives Forever 2以及 SWAT 4
得以进一步延伸。 但是在动态实时的场景中,游戏 NPCs所面
对的或许是基于多目标且涉及到行为的同步互斥和中断恢复
的复杂情况,该方法将无法满足需求。
针对游戏在动态实时环境对游戏 NPCs智能决策的需求,
游戏人工智能研究人员分别从策略、需求、模型等方面寻求突
破。 这当中由于基于模型的智能决策方法[4]被成功移植到
SOAR智能引擎中来提升 Quake Ⅲ的智能而作为最近几年智
能研发人员的关注重点。 该方法以决策模型的管理和操纵为
手段,以决策问题的求解为核心,通过修改模型中的参数和数
据来得出所需要的分析结果,从而提高了系统决策的效率和构
建的灵活性,也让游戏智能部分的修改和维护更加方便。 因此
要设计和开发出一个有效的智能决策系统,必须从决策模型的
基本架构入手,结合决策问题求解策略来保证系统的最终实现。
2 决策模型的设计
由于对于游戏中 NPCs 智能的设计目标就是在面对复杂
的游戏场景时,能够让它按照人的行为决策方式作出“真实”
的反应。 而人们作出策略和行为的方式往往是通过收集当前
世界信息、评估自身拥有的知识和能力,并附带部分个人情感
以及性格因素等产生最终的抉择,这一过程也被系统地称为行
为决策理论。 于是将行为决策理论中的有限理性模型应用于
基于模型的智能决策方法中,将不仅保留原决策方法灵活、高
效、简便等优势,还能够使得游戏中 NPCs 的行为决策更加
智能。
2畅1 有限理性模型
有限理性模型(bounded rationality model) [5] ,又称西蒙模
型或西蒙最满意模型(Simmon’ s bounded rationality model)。
该模型是基于理性决策模型中完全理性和最优化原则这两大
基本命题在理论描述和实际应用中所面对的问题而发展起来
的。 西蒙针对这两个方面的问题提出了相应的修正。
首先,一方面由于人们面对的是一个动态不确定的世界,
并且涉及到多角色间的信息交互,从而导致人们收集到的信息
是不完全的;另一方面由于人自身的计算能力以及认知能力的
有限性,决定了人不可能无所不知。 因此,赫伯特· 西蒙就此
将人的理性解释为完全理性和非理性之间的一个有限理性。
其次,西蒙还提出人们在作出决策的过程中寻找的并不是
“最大”或“最优”的标准,而是“满意”的标准,于是他也将过
去理性决策模型中所采用的面向最大收益值的“经济人”替换
为“社会人”。
有限理性和满意准则作为有限理性模型的核心命题,不仅
纠正了过去理性决策模型中的偏激,还让理性选择更加贴合人
们的现实生活。 因此,在设计和实现智能决策模型时,同样也
需要基于以上两个基本方面来考虑。
2畅2 有限性设计
游戏中 NPCs需要在没有人干预的情况下自主地控制自
身行为和内部状态,这就需要它们能够不断地检测场景变化、
收集场景信息,从而依据信息的变化作出最终的决策。 基于有
限性原则使得游戏 NPCs 对周围信息的获取具有范围性。 在
过去的游戏开发中,游戏 NPCs无论视觉、听觉、嗅觉乃至其他
方面的感知范围都是采用离散式的变量设定,在设定范围外对
于该角色来说都是“感知盲区”,这在游戏中被许多玩家称为
一个较大的漏洞。 然而现实中各种生物体对一个可确定性范
围外的感知能力是一个逐步下降的模式,并非完全不可感知。
以视觉感知系统为例,人有两只眼睛,总共有 200°的可视
范围,其中 120°的视觉重叠(双目并用) [6] 。 眼睛聚焦光线到
眼睛后方,用杆体细胞和视锥细胞来检测光线和颜色。 视觉敏
锐度在固影的中心最强,并随着到中心距离的变大而减弱,并
且在周边迅速地减小。 基于视觉感知理论,发现游戏中采用的
视锥和视距来决定最终的可视范围存在以下两个方面的主要
问题:
a)过高估计远处边缘的可视区域,而忽略了近处的可视
范围。
b)将设定范围外的区域统一设为了不可视。
为了解决上述问题,让游戏 NPCs最大限度地模拟人的视
觉感知能力,为其创建一个新的视觉模型,如图 1所示。
假设 1 可确定的最大视角范围为ω;
假设 2 视角范围内最远视距为 a,最近视距为 b;
假设 3 在可确定区域范围外感知数据的确定性呈现指
数性衰减;
假设 4 当感知数据的确定性低于 50%时,数据自动被角
色所忽略;
假设 5 可视范围内的运动物体和具有颜色鲜明对比度
的物体获得 50%的附加额外值。
基于以上的假设,可确定的视觉感知范围的边界线方程为
f(x) =
x· cot ω/2
-x· cot ω/2
-(ekx +e -kx) /2 +a +1
(1)
其中:θ=180 -ω
2
, x <b· cos θ,d =a +1 -2b· sin θ,k =ln
d + d -4
2
b· cos θ 。
可视范围内的确定性概率设定(感知点的坐标为( x1 ,
y1 )):
a)如果感知点在封闭区域内,则获取的数据确定性概率
为 100%。
b)如果感知点在封闭区域外,计算感知点到边界线的最
短距离为 d;如果点离两条曲线距离更近,则采用的概率公式
为 P=e -kd(k为常系数用于控制下降的速度)。 如果点离两条
直线更近时,则采用的概率公式为 P=e -k(θ -|actan(y1/x1) |) (k为常
系数用于控制下降的速度)。
·2854· 计 算 机 应 用 研 究 第 28 卷
依据以上的描述可以对视觉感知可视性的概率设计有一
个基本了解。 同样,其他的感知系统也可以基于自身的特点模
拟重构一个新的感知系统,如图 2所示。
感知系统除了受到感知能力的影响以外,自身的情感、认
知、个性等主观因素也起到了很重要的作用。 在一个动态的环
境中,任何人乃至其他生物都不可能处理感知区域内的所有数
据,它们往往会受到主观因素的影响从其中选取个体偏好的信
息作为后续决策的输入。
定义 X为一个有限元素集{x1 , x2, x3 , ⋯, xn},偏好关
系 R是包含了 X中的任意两个元素 x1 ,x2∈X组成的有序对的
集合,且满足 R 彻 X ×X。
即 X中若有两个元素 x1 ,x2 存在偏好关系 R,则可以表示
为(x1 ,x2 ) ∈R或 x1R x2 的形式。
基于以上定义,如果场景中感知信息的偏好集为 A{aRb,
bRc, dRf},在某一时刻 t,智能角色通过可确定性的数据处理
获取到外界场景信息为集合 SI( t){a, b, c, d, e, f},经过偏
好集 A对该集合进行筛选,最终得到 SI′( t){a, d, e}。
2畅3 满意准则
游戏 NPCs前面有限感知过程获取到当前偏好的数据集
合为 SI′( t),在自身感知器模型的作用下转换为可以被其所能
理解的信息,即游戏 NPCs的属性描述信息 I( t)。 I( t)中各个
属性值的大小以及变化将进一步触发游戏 NPC作出相应的反
应应对这样的变化,实现游戏 NPC状态间的转换,完成最终决
策。 其表示为
S t =f(S t -1 ,b t ,I( t)) (2)
其中:S( t)表示在 t时刻游戏 NPC的状态;b( t)表示在 I( t)因
素的影响下,实现状态转换所采用的一个行为队列。
在实际游戏场景中,并不是单一的一组行为能够完成状态
间的转换,存在着一个行为备选集 B( t),该集合中包含了多个
满足上述条件的行为队列 bi( t)。 如何从中选择出哪个行为队
列作为最终的输出而让游戏 NPC 更为智能,这就涉及到满意
决策理论。 综合满意决策各方面的理论研究可以分为以下两
种[7] :
a)通过对“满意”的定义和描述,来研究满意综合评价方
法,其核心概念就是“隶属度”函数的确定。
b)将“满意”看做正效用和负效用之间的平衡状态,对于
一个决策问题来说,当决策者的收益和耗损差最大(或最小)
时,可认为该决策是令人“满意”的。
然而,由于“隶属度”缺乏一个客观、实际的测度标准,结
果往往会因人而异难以评价。 因此,该模型采用效用函数作为
评估标准函数来解决满意决策问题。
假设游戏 NPC在某一情况下生成行为备选集为 B( t),存
在一个这样的函数 u(b( t))能够反映行为队列中 b( t) ∈B的
执行结果对自身产生价值和作用,就称 u(b(t))为定义在该行
为集合 B( t)上的效用函数[8] 。 其实效用函数可以看成是表现
决策者偏好的实数值函数。 例如,b1 ( t)和 b2 ( t)分别为 B( t)
中的两个行为队列,如果 u(b1 ) >u(b2 ),则可以看成决策者
更加偏好于 b1 。
以上效用函数的描述是基于行为执行结果确定的情况下
生成的,而在许多动态实时的场景中,游戏 NPC获取的信息是
不完全的,并且行为作用目标也在变化,于是行为执行的最终
结果受到各方面因素的干扰变得不确定。 游戏 NPC可以依据
已有的数据对行为进行预期,从而产生最终的执行结果的概率
分布。 此时的效用函数为
U bi t =∑Si∈SP Si |bi t u bi t (3)
其中:P(Si |bi(t))表示行为队列 bi(t)执行后状态为 Si 的概率。
依据优化后的效用函数可以计算出游戏 NPC在某一情况
下各个行为队列所执行的效用,基于满意准则,从中选择效用
值的最大(或最小)作为游戏 NPC接下来的行为输出。 因此,
游戏 NPC的决策函数描述为
b( t) ={ bk t |max( or min)(U(bi( t)))}(0≤i≤n) (4)
2畅4 行为反馈
游戏 NPCs的智能决策除了上述的信息收集(有限感知)、
信息处理(决策)、信息输出(执行)外,还涉及到信息的反馈这
一重要组成部分。 信息的反馈可描述为系统在信息输出后,又
将其作用的结果返送回来,从而达到对信息的再输出起到控制
和影响的作用。 因此,在每次行为执行完后,游戏 NPCs 并不
是立即转入下一次行为决策中,而是会评估在当前情况S( t)
下,该行为 b( t)在执行后对自身乃至外界的影响。 然后依据
该评估的结果确定行为执行的价值 V(b( t),S( t))。 通过对该
行为执行价值 V(b( t),S( t))和智能决策对其的期望值 U(b
( t))这两者间的比较,来调整效用函数表中情况和结果的效
用值。 例如,V(b( t),S( t)) >U(b( t)),且 b( t)对应的状态和
结果集为 R,系统会依据两者间的比例大小提高 R集合中各元
素对应的效用函数。
3 实现与应用
通过前面对基于有限理性模型的游戏智能决策方法的介
绍可知,该决策模型将从感知、决策、反馈等方面来提升游戏
NPC的智能。 本文通过在 Starcraft商业游戏对战平台上[9] ,将
该智能决策方法分别同其他的智能决策方法进行对抗,来验证
其智能决策上的优势。 图 3 中就大体上表示了双方对战的基
本过程。
首先对游戏双方初始化为:左边采用以上决策模型的人族
兵力为 5个机枪兵(生命值为 40、攻击力为 6)和 10 个 Goliath
(生命值为 125、攻击力为 20 ×0.75),右边采用原始方法的虫
族兵力为 40个飞龙(生命值为 120、攻击力为 9)。 总体上看
·3854·第 12 期 周 强,等:有限理性模型在游戏智能决策中的研究与应用
来,右边的兵力明显强于左边的族群,而如何让左边的族群击
败右边兵力,就涉及到一个智能决策的过程。 以玩家的观点来
看,他们会利用右边族群的“感知盲区”问题通过边缘分批诱
敌、各个击破的方式来战胜对手。
基于上述对决策模型的有限理性原则介绍可知,该模型按
照人的感知理论去重新设定游戏 NPC 的感知范围,将感知范
围外的边缘数据采用概率分布的原则确定化,解决了过去感知
模型中的“感知盲区”问题。 这样一来使得左边的族群贴合人
的感知方式,获取到更多应该被感知的信息,相对于过去的智
能决策方法限定了右边族群的感知范围,该方法更加人性化。
除了以上感知过程外,更重要的是在没有人的策略性干预
的情况下,游戏 NPC面对实时变化的情况如何作出更为“真实”
的行为决策。 从图 3(b)中可以发现,右边族群无论是基于目标
的还是基于规则的方法往往将攻击目标锁定在离自己较近的敌
方身上,这样造成攻击目标分散,致使无法取胜。 而采用基于有
限理性模型的智能决策方法不再是仅仅关注于较近的敌人,它
首先会将感知到的信息转换为自身的属性信息,并依据属性信
息的大小以及变化来分别确定下一步行为的目标,同时计算出
敌我双方的行为结果概率分布,如表 1所示。 已知行为结果的
概率分布,系统会依据当前对战双方的基本态势,建立与之对应
的效用函数表,如表 2所示,从而求出我方行动备选集中每一个
行为执行的效用值,如表 3 所示。 以攻击目标 C 为例:U =-
(0.8 ×10) +0.6 ×20 +0.6 ×10 =10,其他行为的效用值可以采
用类似的方式求得。 最终,通过决策函数选择行为备选集中效
用值最大的作为我方下一步行动,即攻击目标 C。
表 1 敌我双方行为结果概率分布
目标 目标行动 威胁程度 击毁目标 击伤目标
敌方 A 攻击我方 0 6.9 0 J0 .8
敌方 B 攻击我方 0 6.9 0 &.1 0 .8
敌方 C 攻击我方 0 6.8 0 &.6 0 .6
敌方 D 攻击我方 0 6.8 0 J0 .5
敌方 E 有攻击我方意图 0 6.6 0 J0 .3
表 2 敌我双方行为的效用值表
敌方目标的行动 负效用值 我方行动的结果 正效用值
攻击我方 10 妹击毁目标 20 摀
有攻击我方意图 6 北击伤目标 10 摀
逃跑 2 亖
表 3 下一步我方行动效用值
下一步行动 攻击目标 A 攻击目标 B 攻击目标 C 攻击目标 D 攻击目标 E 逃跑
期望效用值 -1 �1 R10 噜-3 n-0 破.6 2 噜
如此重复以上过程,对敌方兵力逐一消灭,从而实现左边
族群以弱胜强的目标。
通过以上比较可以发现,新的方法在游戏 NPC 的行为决
策过程中更加贴合玩家的想法,并且在应对实时动态的环境时
它能够综合地考虑各个方面的问题,而不是简单的状态和规则
间的转换,也体现出该方法更加智能的特点。
4 结束语
该方法将游戏 NPC 的智能决策模块化,不仅有利于系统
对各个角色的控制,还避免了多角色间行为执行的相互干扰,
也从整体上减少了系统在开发和维护中的消耗。 并且它还通
过应用行为决策理论中的有限理性模型来弥补了过去游戏智
能决策系统中的感知区域设定上的缺陷以及决策过程的不足,
让游戏中的智能角色能够更加“真实”地进行行为规划,从而
提高了游戏的可玩性和玩家的沉浸度。 然而,不可忽略的一点
就是这样的设计使得系统需要处理的信息量随之增大,虽然系
统中采用偏好的手段来减少当中计算量,但是如何将偏好集设
计得更为合理将是该系统进一步优化的目标。
参考文献:
[1] MILLINGTON I,FUNGE J.Artificial intelligence for games[M].2nd
ed.San Francisco: Morgan Kaufmann Publishers, 2009:427唱459.
[2] ORKIN J.Applying goal唱oriented action planning to games[M] //AI
Game Programming Wisdom 2.Hingham Massachusetts:Charles River
Media, 2003:217唱229.
[3] ORKIN J.Three states and a plan: the AI of FEAR [ C] //Proc of
Game Developers Conference.2006:41唱46.
[4] PRIEDITIS A,DALAL M.Applying model唱based decision唱making me唱
thods to games: applying the locust AI engine to quake Ⅲ[M] //
DICKHEISER M.Game Programming Gems 6.Hingham Massachu唱
setts:Charles River Media,2006:211唱222.
[5] HARBERT S.Administrative behavior:a study of decision making pro唱
cesses in adminstrative organization[M].New York: Macmillan Pub唱
lishing Co.lnc,1971:31唱36.
[6] BRAIN W.Foundations of version[M].Massachusetts:Sinauer Asso唱
ciates, 1995.
[7] 王清.一类有限理性的建模和决策分析方法的研究[D].武汉:
华中科技大学,2009.
[8] RUSSELL S,NORVIG P.Artificial intelligence: a modern approach
[M].New Jersey:Prentice Hall, 2010: 610唱626.
[9] BWAPI[EB/OL].http://code.google.com/p/bwapi/.
下期要目
樃国内外典型城市群交通网络特性对比分析
樃基于两步跟踪算法的海关车辆监控研究
樃喷水推进型无人舰航向跟踪的反步自适应滑模控制
樃基于滚动时域估计的非线性目标跟踪
樃基于局部聚类的数据匿名化算法
樃结合聚类思想神经网络文本分类技术研究
樃基于优先性的延迟噪声故障分析方法
樃信息条件下基于预期后悔更新生成备选路径仿真研究
樃浏览器扩展行为监控系统的设计与实现
樃基于贝叶斯网络的跳频序列多步预测
樃基于形殊点抗局部非线性几何攻击水印算法
樃基于节点差异性的无线传感器网恶意软件传播模型研究
樃基于凹性分析的粘连车辆分割
樃基于视觉密码的家纺花样签证技术研究
樃基于演化算法的图像二值化算法研究
樃基于中介真值程度的图像融合效果评价方法
樃一种区域多直方图红外图像增强方法
樃大规模地形无缝漫游技术研究
樃基于角点动能模型的电梯轿厢内异常行为检测
樃基于三维数据与 MMSV 特征的二维人脸识别
樃基于图像序列期望特征的阈值分割方法
樃基于混沌的 DCT 域关系数据库水印算法
樃基于碰撞检测的三维板坯库动态注记模型
樃非重叠监控视频中基于颜色空间分布模型的行人匹配方法
樃基于多层码本模型的遗弃行李检测算法
樃基于均值偏移的户外图像快速分割算法
·4854· 计 算 机 应 用 研 究 第 28 卷