计算机仿真实验之全局预测最优化序贯实验构设
第一章介绍
背景概述
计算机仿真实验与一般克里金模型
近年来，计算机仿真实验越来越广泛地应用于科学实验和工业产品
设计等诸多领域。在计算机仿真实验中，科研人员根据已有规律，编写程
序源代码，构建复杂的数学模型，模拟真实的实验过程，获取新的认识。
在真实的实验中随机误差总是存在的。由于受到外界环境、实验仪器的精
度以及科研人员实际操作的影响，即使在相同的实验初始条件下，各次实
验结果总存在多少不同。并且通过多次测量可以提高预测精度。与真实的
实验不同，计算机仿真实验结果具有确定性，即只要计算机程序源代码不
发生改动，相同的输入值，总会得到相同的输出值。我们可以通过回归等
统计方法来拟合真实实验数据，刻画实验条件和实验结果之间的客观规
律。但对于确定性的计算机仿真实验来讲，回归等统计方法是不适用的。
需要寻找新的统计方法和模型来分析计算机仿真实验数据。一般克里金模
型(Ordinary Kriging, OK)便是其中最重要和有用的统计模型之一。0K
模型起源于地理统计学，最早是由南非工程师 Krige提出的间。虽然最初
提出 0K模型是出于其他动机和目的，但是 Sacks et al. [22]指出 OK模
型可以作为复杂数学模型的替代模型，应用于计算机仿真实验。插值性是
0K模型最具吸引力的特征，这正好与计算机仿真实验数据的确定性相符
合。一些经验性研究（Laslett151和 Brian[1])结果表明：0K模型的预
测效果优于其他插值方法，例如样条（Spline) [26]和反距离加权
（Inverse Distance Weighting, IDW) [25]等。为得到克里金预测，需
要计算丑的逆。当 n很大时，丑是一个高维矩阵。求丑的逆将会耗费大量
的计算机运算时间。如图（1-1)所示，随着已知点个数 n不断增加，构建
一次 0K模型所需的运算时间迅速增长，并且 a;的维度越高，所需的运算
时间越长。据我们所知,当变量个数在 10或 10以下和统计数据大小低于
1000时，0K模型可以成功应用于计算机实验。而在实际情况下变量的数
目可能远远高于 10，数据集也可能包含成千上万的已知点。而且近似奇
异时，求逆的数值计算过程不具有稳健型。这都会影响 0K模型的运行效
率和预测效果。从统计的观点来看，数值计算的不稳健性会造成严重的后
果，因为它会导致预测值具有不可靠性。
计算机仿真实验中存在的选点问题
当己知点个数 n较少时，我们并没有掌握足够多的信息来刻画变化
趋势。如果只是基于有限的己知点，构建 0K模型，势必会产生较大的预
测误差。下面通过一个简单的例子来说明这一问题。已知点对应的函数值
都是 0。由公式（1-3)知，对于任意的：EG [0,1],克里金预测值列 a;)都
为 0。如图（1-2) 0K模型和原函数存在很大差异。这时，为了提高预测
精度，需要对已知点集进行扩充。添加新的观测点，获得更多关于的有用
信息。Brian [1]指出不同的选点策略（Sampling Strategy)会对各种空
间插值方法（包括 OK模型）的预测效果产生不同的影响。模型对于的预
测效果是通过对于预测点的平均预测误差平方根（Rootof Mean Squared
Error, RMSE)来刻画。同时 Jones [6]还指出：H准则和 EI准则都是两阶
段方法。在第一阶段，根据初始已知点集￡>?，构建 0K模型，得到所需
参数估计。在第二阶段，利用已有参数估计，计算候选点的各准则取值，
然后比较大小，确定下一个观测点。候选点的各准则取值大小与参数估计
有关，同时参数估计是根据计算得到的。所以两准则对于的选取敏感。于
是，为了保证参数估计的精度，要求初始已知点集的数据量不能过
小。Loeppky et al.给出的经验法则为：所需的数据量大约为 lOm，其中
m为 CC的维度。Lam pL4j在讨论全局预测问题时，重新定义了改进函数/
(x)，将 EI准则改进推广为改进期望全局预测最优化准则（Expected
Improvement of GlobalFit, EIGF)，用来寻找能够最大化改进模型全局
预测效果的观测点。Lam还提出利用交叉验证方法，设计一种关于预测误
差的半参数评价指标，并且将这一指标作为试验设计准则，用于选取新的
观测点。Joseph et al.在解决纳米材料合成条件最优化问题时，提出了
序贯最小能量试验设计准则（Sequential Minimum EnergyDesign,
SMED)。SMED准则是一种非参数设计方法，避免了参数估计，可以用于寻
找复杂黑箱函数的最优化问题。我们的工作也借鉴了他们提出的方法。
第二章已有的一些序贯试验设计准则
在本章中，我们将介绍一些己有的的序贯试验设计准则。其中交叉
验证准则就是将交叉验证方法应用到全局预测优化中。改进概率准则和改
进期望准则是寻找函数值最优化的序贯试验设计准则，Lam重新定义了改
进函数/(aO，将改进期望准则改进推广为改进期望全局预测准则
（Expected Improvement of Global Fit，EIGF)，用来寻找能够最大化
改进模型全局预测效果的观测点。最后介绍了 Joseph etal. _提出的最
小能量试验设计准则，SMED准则是一种非参数设计方法，避免了参数估
计，可以用于寻找复杂黑箱函数的最优化问题。在本篇论文中，我们探讨
了计算机仿真实验中的全局预测最优化问题。首先介绍了 0K模型和已有
的两种全局预测最优化序贯设计准则一一交叉验证准则（Cross
Validation Prediction Error Criterion, CVPE)和 EIGF准则。然后我
们利用梯度估计信息，提出 EIGFG准则。紧接着借鉴了 SMED准则的思
想，进一步对 EIGF准则和 EIGFG准则进行改进，提出了 ME^EIGF准则和
ME-EIGFG准则。最后通过随机模拟比较了各种全局预测最优化序贯试验
设计准则。模拟结果显示：虽然 CVPE准则的预测效果最好，但同时 CVPE
准则也是最耗时的序贯试验设计准则；EIGFG准则要优于 EIGF准则；引
入最小能量策略可以在一定程度上提高 EIGF准则和 EIGFG准则的预测效
果。论文结构如下：第二章介绍了三个己有的序贯设计准则一一 CVPE准
则、EIGF准则和 SMED准则；第三章提出了三个新的全局预测最优化序贯
试验设计准则一-EIGFG准则、ME-EIGF准则和 ME-EIGFG准则；第四章通
过随机模拟比较了各种序贯设计准则的优劣；最后，在第五章中对计算机
仿真实验中的全局预测序贯最优化问题进行了简单讨论。
第二章已有的一些序贯试验设计准则......... 7
交叉验证准则......... 7
改进期望全局预测最优化序贯设计准则......... 8
改进概率准则和改进期望准则......... 8
改进期望全局预测最优化序贯.........9
序贯最小能量试验设计准则......... 9
第三章新的全局预测最优化序贯试验......... 12
基于梯度的改进期望全局预测序贯......... 12
全局预测最优化中的最小能量方法......... 14
第四章模拟比较......... 16
测试函数......... 16
模拟比较方案与结果分析......... 17
结论
结合模拟结果，我们可以得到以下四点结论。EIGF准则和 EIGFG准
则的选点效果与 Du有关。正如 Jones [6]所说，EI准则是两阶段方法，
对于初始己知点敏感。在第一阶段，根据初始已知点集，构建一般克里金
模型，得到所需参数估计。在第二阶段，利用已有参数估计，计算各候选
点的 EI判别准则，然后比较大小，确定下一个观测点。各候选点的 EI判
别准则取值大小与参数估计有关，同时参数估计是通过计算得到的。所以
EI准则对于的选取敏感。EIGF准则和 EIGFG准则是在 EI准则基础上改进
的。故 EIGF准则和 EIGFG准则也同样具有这一特点。考虑到全局预测效
果，最好具有空间均勾填充（space~filling)的性质。最小能量方法是提
高 EIGF准则和 EIGFG准则的有效方法。(3)综合平均 RMSE和运算时间，
CVPE准则并不是最优的选点准则。虽然对于一般的函数，CVPE准则的平
均 RMSE最小，具有最好的选点效果。但是当 n增加时，CVPE准则将耗费
大量的运算时间。对于 EIGF准则和 EIGFG准则，n的增加对于两准则的
运算时间没有太大的影响。故建议当 n较小时，利用 CVPE准则选点，当
n增大后，改用 ME-EIGFG准则（或 ME-EIGF准则）选点。维度对于各准
则的选点效果有很大影响。当 n相同时，一般克里金模型对于低维函数的
预测效果要优于高维函数。E的维度提高，对于初始已知点具有稀释作
用。并且维度越高，个点在全局范围内分布越容易出现有偏性，同样不利
于一般克里金模型的预测效果。
参考文献
[1] Brian, R. D. (2009). Spatial interpolation; A
simulated analysis of the effects of samplingstrategy on
interpolation method, master thesis, The Humboldt State
University.
[2] Cressie, N. (1993). Statistics for Spatial Data. 2nd
edition. John Wiley and Sons.
[3] Forrester, A., A. Sobester, and A. J. Keane (2008).
Engineering Design via Surrogate Mod?elling: A Practical Guide.
John Wiley and Sons.
[4] Gramacy, R. B. (2005). Bayesian Treed Gaussian Process
Models. PHD thesis, Universityof California.
[5] Jin, R.’ W. Chen, and A. Sudjianto (2002). On
sequential sampling for global metamodelingin engineering
design. In Proceedings of DETC 2002.
[6] Jones, D. (2001). A taxonomy of global optimization
methods based on response of Global
Optimization 21, 345—383.
[7] Jones, D., M. Schonlau, and W. Welch (1998). Efficient
global optimization of expensiveblack-box functions. Journal of
Global Optimization 13, 455-492.
[8] Joseph, V. R. (2006). Limit kriging. Technometrics 48,
458-466.
[9] Joseph, V. R. (2012). Coupled gaussion process
[10] Joseph, V. R., T. Dasgupta, and C. F. J. Wu (2012).
Minimum energy designs: fromnanostructure synthesis to
sequential optimization. Journal of Computational and
GraphicalStatistics, under revision.
