实验法
实验基本概念
实验就是研究者操作一个或多个变量，以便观测一个或多个结果。其中被操作的变量是自变量，反应自变量变化所诱发的结果的变量称为因变量。在试验中，暴露在操作环境中的样本为实验组，自变量维持不变的样本称为控制组。为了研究变量之间的因果关系需要确保实验组和控制组除了自变量上不同之外，其他可能影响到因变量的变量保持相同，这些被控制的变量称为干扰变量。
自变量就是被实验者操纵的变量。如研究培训方式对员工技能影响试验中的
培训方式
，研究不同汉字输入法效率中的
汉字输入法
和研究电子商务网站设计风格对电子商务易用性影响中的
网站设计风格
都是自变量。因为实验者决定了这些变量的数量和水平，同时相信它们的变化会引起结果的变化，所以实验者选择这些变量作为自变量。但是不是所有自变量操作会引起结果的变化，这种自变量操作失败就是
零结果
。
因变量依赖实验者操纵的自变量，在实验中随着自变量的变化而不断地变化。如研究培训方式对员工技能影响的
员工技能
，研究不同汉字输入法效率的
输入效率
和研究电子商务网站设计风格对电子商务易用性影响中的
网站易用性
都是因变量。因变量必须具有可靠性，在相同实验对象和相同自变量水平下，因变量测量结果应该保持不变。
干扰变量是除了自变量之外会对研究结果产生影响的变量。例如研究不同汉字输入法对输入效率的影像中，除了输入方法这个自变量影响输入效率之外，打字员打字熟练程度、心情和打字使用的电脑都会对打字效率产生影响。
因素
我们把需要实验者操作的自变量称为因素。例如研究员工工作绩效时，工作任务的复杂性和工作压力都会对绩效产生影响。如果我们在试验中将工作压力和任务复杂性都作为独立变量进行操作，这时实验就有两个因素。单因素实验，多因素实验
因素水平：因素所处的状态称为因素水平，简称水平。任务复杂性有简单和复杂，这时因素就有两个水平。
A
、
B
、
C
实验设计的原则
实验过程的三个原则：重复、随机和局部控制。
重复实验可以降低误差、从而提高实验的准确度。
随机化原则就是每一个实验对象都有同样的机会被安排到不同的实验条件。例如研究任务复杂性与员工工作关系时，需要每名员工都有同样的机会被安排到简单任务组和复杂任务组，这就是随机化原则。这就避免了由于实验对象不同造成对实验结果影响。
局部控制原则就是当干扰变量不能从实验中排除时，通过实验设计对他们进行控制，从而降低这些干扰变量对实验结果的影响，从而提高推断的可靠性。通过配对设计实验设计、重复实验设计和协方差实验分析等实验设计方式和统计分析方法，我们在实验研究中可以实现局部控制。
实验方法
实验方法有
实验室实验法
现场试验
法
情景实验法
1
实验室实验法就是实验室内借助专门的实验设备，在不受外界干扰的、严格控制的和可操作的情况下，对自变量进行处理，以研究自变量变化对因变量的影响。
优点：针对同样的被试进行同样的实验程序，会得到相同或相似的实验结果。具有很高的的内部效度。在实验室实验法中便于对实验条件和被试活动作出精确的记录，有利于分析和研究。
缺点：实验条件与真实环境差别很大，因而实验室所获结果在管理中很难实现。并且存在着反应误差，实验结果不但会受到自变量本身的影响，还会受到实验者
和
实验
条件
的影响。外部效度差
。
注：内部
效度
(
internal validity)
，表示
实验所提供的自变量与因变量之间因果关系明确程度的一种指标。
现场实验法
现场实验法就是在自然条件下进行试验。
优点：外部效度较高。由于被试者不知道自己当了被试者，所以他们不会产生反应偏向；又由于控制了自变量，所以可以看出需研究的变量间的因果关系
。
缺点：内部效度低，无关因素影响的可能性较大，难以保护被试者的权利和安全
。例如，某连锁超市期望研究超市背景音乐风格是否对销售额产生影响时，可以用现场实验法进行研究。研究者可以将某城市连锁店随即分为两组，一组分为甲背景音乐，一组播放乙背景音乐，然后比较两组超市的人均营业额。由于采取现场试验，试验场景符合现实环境，但是由于不同店面所在地区的收入水平、职业水平和交通情况等都会对研究结果产生干扰，从而造成研究内部效度降低。
注
：外部
效度是指研究结果能够一般化和普遍适用到样本来自的总体和到其它的总体中的程度，即研究结果和变量条件、时间和背景的代表性和普遍适用性
。要注意取样工作，取样
工作不但包括被试的取样，而且也包括有代表性的研究背景（工作场所、学校、家庭、实验室）、研究工具、研究程序和时间等的选择。取样的背景与实际情景越接近，研究结果的可用性、适用性、推广性就越强。一般来说，随机取样，提高模拟现实情景的程度，采用多种相关的研究方法，变化研究条件寻求具有普遍意义的结论，是获得外部效度、提高研究结果可应用性的重要条件。
情景实验法
解释：情景实验法是采取模拟的方式对被试对象对象非常熟悉的现实环境进行再现，以分析环境差异对被试行为影响的实验研究方法。模拟现实环境可以采取录像再现真实场景很文字再现真实场景的方式处理独立变量。
优点：能使复杂的操控变量变得易于控制，并能有限降低研究成本，在管理科学研究中被广范应用。
缺点：模拟的环境对真实环境有差别，不能全面反映真实环境。
以
荷兰铁路公司为研究对象，研究强迫使用自助服务技术就是采用的情景实验法。首先根据荷兰铁路的实际场景，总结出购票和信息查询的
8
种服务场景，其中包括强迫使用场景和非强迫使用场景。然后，以铁路旅客为样本，将旅客分为
8
组，采取问卷调查方式分别针对不同场景回答满意度和今后使用意向等问题。最后，使用统计分析方法研究了强迫使用自助服务技术对顾客满意度和忠诚度的影响。研究表明强迫使用自助服务会降低顾客满意度和忠诚度。
实验流程
明确问题。不同问题采取不同的研究方法。例如在不了解员工离职的情况下，想探明员工离职因素最好的方法是采取定性研究方法进行探索研究，实验研究法不能结局上面的问题。如果想研究某种因素是否是员工离职原因时可以采取实验研究方法。实验研究就是在已知的变量情况下，探明因果关系的惯例科学研究方法。
实验设计。
1
根据已经明确的研究问题，建立研究假设。例如，在研究广告社会责任对销售额影像中，由于实际销售额在试验中较难获得，我们呢可以采用购买意向来测量销售额，因此我们可以形成如下假设：
含有社会责任的广告能够显著提高消费者的购买意向
。
2
对实验中涉及的变量进行运营定义，以便在试验中对这些变量进行操作。消费者购买意向的可以采用一个条目的里克特量表进行测量，例如，
我今后会购买该产品
使用里克特量表进行评分，
1
分表示非常不同意，
7
分表示非常同意。在对社会责任进行操作化处理时，由于捐助希望工程事业是社会责任表现之一，我们可以拍摄两段广告：广告
1
中没有社会责任元素
;
广告
2
和广告
1
相同，只是在广告
1
中增加每销售一件产品，企业则捐出
1
元钱支持希望工程。这样处理后，自变量包含
1
个因素两个水平。
3
确立抽样方法和被试分配方法。在研究广告社会责任对销售额的影响时，可以采取街头拦截访问方法进行，使用平板电脑完成调查问卷填写。每成功拦截一个被访者，通过计算机随机选择所要播放的广告，在被访者观看完广告后，针对购买意向进行回答。
4
确立抽样地点。由于采取街头拦截访问，并且需要被访者观看视频，因此拦截地点应该设计在有可供休息的场所（公园和博物馆）
5
确立统计分析方法。只有一个自变量，因此采用单因素方差分析对研究假设进行统计检验
收集数据、分析数据、撰写报告
解释
p
值
假设检验
假设检验的基本思想
假设检验问题的一般提法
假设检验的一般步骤
例
一
个关于评价弹出式
广告的
中断影响的现场试验
______ WENDY
这
篇文献阐明了一个大规模的现场试验，这个试验是在一个信息网站上实施的，在这网站上实施的弹出式广告的时间选择是变化的。这个试验检查网站用户的关于弹出式广告的反应
。这个反应可以分为直接反应和间接反应。
影响因子：
五年
影响因子：
被
SSCI
索引
直接反应（
direct react
）：弹出广告的点击率（
Clickthrough
rates
）
间接
反映（
indirect react
）：用户离开网站的方式或者页面浏览数（
number of page
）
情景变量（
context
）：
目录页面（
content
page
）
和
门户页面（
gateway page
）。
目录页面：提供电影的具体信息每一个电影有多重独特目录页面，在这个页面用户可以深度阅读。
门户页面：连接目录页面的航向页面，主页也可以认为是一个门户页面，因为它提供的是一个大概的信息，信息没有深度，没有具体的内容。它提供了一些电影的品论，还有一些即将发布的电影，和一些明星，这些内容只是一个大概的，要想具体深入了解必须要连接目录页面。这个网站也提供每周排名前十的电影和本月即将上映的电影名单等等。
信息网站一般都是都是这种形式。浏览
主页
时用户可以看多很多的标题，每一标题可以有一个超链接使用户可以看到整个新闻故事。这个例子中主页就是门户页面，新闻故事本身就是目录页面。
时间变量（
timing
）：页面内延迟（
within pages delay
）和跨页面延迟（
across pages delay
）。
页面内延迟：
0
秒、
15
秒、
30
秒
跨
页面延迟：第一页、第二页、第四页
文献回顾
网络消费者行为法
优点：包含许多关于消费者的购买过程的信息，被广泛利用
。
缺点
；被二手的资料描述的本质阻碍。并且很难得出关于因果关系的结论。为了克服这个缺点一下人用实验室实验法来研究。缺点实验室实验法是不真实的，不能很真实的反应消费者的真实反应。因为点击流数据方法和实验室实验法的缺点一些研究者开始指导营销员在他们的网站上做这个实验。但是许多网站对这个方法是迟疑的因为惧怕打扰了网站访问者。这篇文章就弥补了这个缺陷且在一个高流量的网站上使大规模现场实验法变得更精彩
。
任务中断法
一个间隙促销独特的特点时他出现弹出式促销的时候，这打断了用户对网站的体验。一些研究要求参加者完成一些任务，在做任务的时候他们被其他的信息打断
这些文献关注于确定个体关于任务中段的反应的决定因素。
Kirmeyer
确定了一些任务中断的特点例如频率、忍耐力、情景因素、复杂性和时间选择这些作为变量影响个体对对任务中断的反应。我们既关注时间变量也关注情景变量。
Speier
和
Valacich
关注 原始任务的特点和参加者对任务中断的反应。他们提出了一个信息超载的观点，建议到参加者完成更加复杂的任务更可能被一个打断所超载因此反应更加消极。于此相反的是
Zijlstra
, Roe, Leonora, and
Krediet
(1999)
研究发现许多的人面对任务当被打断时会认为这是一个过度补偿，即他们将会更加集中注意力在这个任务上。这就说明在一些特殊情况下一个中断可能会引起更加积极地反应。这些任务中断研究与当网站用户访问网站时突然出现一个弹出广告相似。当访问网站时用户往往有任务在身，例如以娱乐为目的和搜索特定的信息。弹出式广告中断了访问进程。对于用户的反应依赖广告的的时间变量和情景变量，这两个变量特点以前用来对任务中断的研究。
实验网站描述
研究所用的网站是纯信息网站，在做研究的这段时间里没有商业信息需要直接处理这是一个运行良好的网站，这个网站提供关于电影的信息，包括评论、拖车、演员传记等等。
网站的组织类型的分类是目录页面（
content pages
）或门户页面（
gateway pages
）。
实验设计
点击
流数据收集的是
2000
年
12
月份
5
个工作日的。这个实验本身跨度四个工作日。在这个网站上出现一个弹出式窗口请求他们对每周时事通讯进行描述。这个请求没有金钱的价值，想得到就是关于电影的每周电子邮箱信息。这个弹出窗口的受众是以前没有在这个网站上注册过，或对这个时事通讯报了名，或以前得到一个相同的请求。第五天的实验数据看做是控制组
。
实验控制
弹出信息的时间变量。时间变量有两个维度：跨页面延迟和页面内延迟
。
另
一
个因素
是对用户任务中断的有意义的反应是情景变量
。
网上
行为随着每天的时间而改变
(
Telang
, Boatwright,
Mukhopadhyay
, 2002)
。每天的时间是另一个我们必须考虑的变量
。我们
应该随机不顾每天的时间分配浏览者到页面深度或者页面
延迟。
由于技术原因我们将时间分为三个维度：白天
(9-5)
，晚上（
5-12
），子夜（
12-9
）。
由拉丁方图看出最终每天的时间对用户的直接或者间接反应都没有有意义的影响。
信息收集
Cooki
：网站为了辨别用户身份进行
session
跟踪而储存在用户终端的数据。
通过
cookie
收集。点击数据流记录被用户访问的页面。即每一个数据线代表一个页面浏览。这就提供了页面浏览的日期和时间并且包含了页面的类型（门户页面和目录页面）。每一页面和和用户唯一的用来浏览网站和独特的时期（
session
）的个人电脑相联系。注意时期是连续的，必须中断不能超过一个小时，如果每一个超过一个小时的时期之后再浏览页面就被看作是一个新的时期。
收集的数据
由表得出：
合适
的实验数据
83136
个。在一个周期内平均有
页被浏览。在
83136
个浏览者里有
38834
个得到弹出窗口。其他也有资格得到弹出窗口，但是那个弹出窗口跨页面延迟出现，还没等到用户浏览到用户就中断浏览了。例如一个弹出窗口在第四页出现可是用户在第二页就中断浏览。结果，由实验引起的时间（除了一页或者
0
秒延迟）生成为条件样本。最终总共有
44954
个个体成为控制组，在这里平均每人有
页被浏览。
表说明
比较控制组和实验组没有明显的区别，包括平均浏览页面和目录页面对门户页面所占比例
。
最后
两栏被分成得到弹出广告和没得到弹出广告。在实验期内被浏览的页面的的数量是如何直接由弹出广告得到结果
。（
38
页）
从
表二数据中得到两个从属的结果。由点击率代表直接影响。每个人的平均浏览页面被看做间接影响。另外两类独立测量结果被用来代表促销的特点。
a
时间测量：跨页面延迟和页面内延迟。
b
情景测量，是门户页面还是目录页面。
假设
以前
研究任务中断表明中断的情景和时间因素如何对个体的中断反应的影响。这里我们也考虑直接和间接的对弹出广告的反应是如何被两个特征影响的。讨论两个观点。
1
、打断对个体有消极的反应。
2
、信息超载观点：弹出窗口导致信息超载这将会导致更消极的反应
。
首先
检查情景因素
，通过弹出式广告出现在目录页面或是门户页面。因此当然上任何出现在门户页面上的跟可能呈现出一个干扰者，以此假如是个打断者个体更可能对弹出式广告烦恼因而他可能继续手边的任务，这导致更消极的直接反应，或者更低的点击率。因此我们假设：
H1a
弹出式广告出现在门户页面上比出现在目录页面上导致更低的点击率
。
然而，是否我们考虑信息超载观点，一个可利用的假设结果。和这个框架相一致，我们可以提出理由，个体将会更加消极的对待弹出信息，这个弹出将会增加他们的信息量这会导致他们达到超载点。在这个试验中由弹出式广告提供的信息的数量对于个体是不变的，个体是否把信息视为超载的
决定因素
是当弹出出现时
正在浏览目录页面
。当这个浏览的页面包含更多的目录时，这个弹出更可能认为是使个体感到压力巨大。结果，个体将会更对弹出感到烦恼，导致更低的点击率。
H1b
弹出出现在目录页面将会导致比出现在门户页面更低的点击率。
时间
因素
。通常的惯例是弹出马上出现在主页上。现在的惯例是延迟出现。因此考虑跨页面延迟的影响。也就是出现在第一页和第四页哪个影响大点。此外，甚至在一个页面内网站可以改变弹出广告的时间选择，那就是页面延迟。
解释
在
浏览页面的目录时一个人可能会提出理由在页面内延迟将会更可能打断一个人。结果，在一个人的浏览页面信息进程时时将会被看作是中断，因此对弹出出现一个消极反应。另外，在弹出出现之前时间流逝，这可以给浏览者更多的时间浏览那个页面上的信息。这些理由导致以下竞争的假设。
H3a
页面内延迟将会
增加
弹出式促销的点击率。
H3b
页面内延迟将会
减少
弹出式促销的点击率
。
相同
的争论可以应用在
跨页面
延迟上。
H4a
跨页面延迟将会
增加
弹出式促销的点击率。
H4b
跨页面延迟将会
减少
弹出式促销的点击率。
除了
直接的点击率，还有间接的反应
。弹出如何影响用户的离开方式而非点击率。网站都是想设计的吸引浏览者，把浏览者留的更久。弹出可以影响浏览者留在网站的长度。再者，情景和时间有影响吗。
再次是否弹出
出现在目录页面
比出现在门户页面将会更没可能认为为一个中断，那对个体全面体会将会有一个更加积极地反应，导致一个更加长时间的留在网站上或者更高的页面计数。
H2a
个体在目录页面上得到弹出式广告将会比出现在门户页面浏览更多的页面
。
作为
一种选择，一个弹出出现在目录页面，将会更加使个体感到压力很大。不仅仅会产生直接的压力还会产生间接地压力，将会导致个体更快的离开网站，而不是倾向于喜欢。
H2b
个体在目录页面得到弹出式广告将会比出现在门户页面浏览更少的页面
。
从时间在网站离开方式的影响上，我们考虑一个人当原始作业在手边时是对中断时如何反应的。
Zijlstra
的用研究是相关的。这个研究表明当被中断时许多人将会视为对其过度补偿。这给了以下建议：
H5a
一个弹出式广告在页面延迟后出现与没有延迟出现相比将会增加页面浏览的数量。
H6a
一个弹出式广告在跨页面延迟后出现与没有跨页面延迟相比将会增加页面的浏览数量
。
除了
任务中断研究之外，这里又不得不考虑一些相关的关于
网络浏览习惯
的研究。特别的是，
Hoffman
和
Novak
（
1996
）提议网略浏览者进入一个流态在这里他们大量参与他们的互联网体验 。这个流态的一个特征是个体可以
并不注意信息的时间
因为个体在一页一页的浏览。一个弹出式的广告在这里出现将会引起他们的反感，从而很快的离开网站，而不是喜欢。任何不管是跨页面的或者页面内的弹出式广告延迟比没有延迟更可能打断这个流态。这将会产生几个相反的假设
：
H5b
一个弹出式广告在页面延迟后出现与没有延迟出现相比将会减少页面浏览的数量。
H6b
一个弹出式广告在跨页面延迟后出现与没有跨页面延迟相比将会增加页面的浏览数量
。
最后我们假设
情景和跨页面延迟
将会对弹出式广告
有交互的影响
。到目前为止，我们提出理由跨页面延迟在提供弹出式信息方面对消费者的回应有积极或者消极的影响依赖与它被感知为打扰的程度。一个延迟的弹出式信息在任务正在进行时将会更加被看作是一个中断。然而，信息目录网站任务宗旨像在这个研究里涉及浏览一个目录页面。因此，假如弹出式被延迟到出现在目录页面的点上，这不会被更看成一个弹出打断了任务，而是出现在任务的末尾。
H7
弹出式广告出现延迟在在目录页面将会比出现在一个门户页面产生更积极地直接反应。
H8
在目录页面出现延迟的弹出广告将会比在门户页面出现延迟的弹出广告产生更加积极地间接反应。
结果
我们首先检测了任何对弹出广告的直接反应，这个直接反应是通过点击率来测量的。发现唯一的
有意义的影响是页面内延迟
。跨页面延迟和情景因素没有产生直接的影响。总的来说，弹出广告的点击率是
%
。尽管这有点低，对典型的网络点击率这并不出格（平均点击率是
%
）。
通过迅速的在页面内提供弹出广告，点击率是
%
，轻微的延迟的点击率是
%
（
P<
）
。
这支持
H3a
的假设，并且启发我们一个轻微的延迟更可能被看作为一个中断
。这就暗示我们当弹出广告出现的时候应该努力减少一些延迟时间。没有明显证据表明情景（
H1
）和跨页面延迟（
H4
）既不在点击率有影响也不在交互式影响方面有意义。
同直接反应一道我们通过延迟的影响和在页面计数的的情景方面检测了网站离开方式，，即在实验组浏览的网站数量。这个分析将会阐明不同条件的下的页面计数差别的影响。
同
H2a
一致，一个弹出式广告出现在目录页面同弹出式广告出现在门户页面将会增加页面的数量，从
到
,
页（
p<
）
.
这考虑到弹出广告出现在目录页面比出现在门户被认为是一个中断的可能性将会变小，更可能增加网络浏览体验。这也建议到至少在这个案例中，有最小限度的信息超载的风险，通过展示这个在给定的过重目录的弹出式广告。
有意思
的是，延迟影响页面计数的不同的依靠于他或者是一个跨页面延迟或者是一个页面内延迟。
页面内延迟倾向于增加个体的网站离开
，网站页面数量从
页（迅速出现）到
页（延迟的弹出）。这支持
H5b
的假设，并且建议到在一个页面上当弹出式广告出现之前给一个个体提供时间来处理信息更可能被认为是一个中断，因而消极的影响网站体验。再次，这又建议到从弹出广告这个附加的信息使用户负担过重有最小的风险，因为提供额外的信息处理信息不能提高用户体验。相反，一个弹出广告如何影响网站体验的驱动因素是他被认为是一个中断的维度。
弹出广告在一个
更晚的页面
延迟（跨页面延迟）能够
增加浏览页面的数量
，两页的延迟
页，
4
页的延迟有
页，与一页的延迟才
页。然而，有统计的影响对这种明显的形式。平均状态下，这些时期内，两页的延迟将会比一页的延迟浏览更多的页面，因为个体必须浏览两页。四页同样。因此，这个时期的提醒，我们讨论比较条件控制组，另外作为一个不同的实验条件的影响
。
注
3
正像我们
之前提到的，不顾这个实验条件，促销增加了页面计数，平均状态下从
到
页。尽管有情景和页面内延迟的影响表明不同的实验条件的结果比控制组增加页面计数。这有意义非凡的暗示，建议到弹出式促销不是很必要的被认为是一件讨厌的事情，打断了用户对网页的体验。相反在确定的实验条件下，这也可以增加用户的体验，并且鼓励一个更长的浏览
。
注意
的是页面的增加是出现在目录页面而不是门户页面。表三解释
注：目录页面的比重是用目录页面除以总的页面浏览数量计算的，排除了弹出广告出现的页面。
表
4
提供了由跨页面延迟条件下和条件控制样本下的平均页面计数。因为跨页面延迟延迟条件仅仅影响用户的至少要浏览的的条件所以我们建立了条件控制样本。例如在一个时期内一页延迟条件时用户必须浏览至少一页，因此相应的在控制样本必须建立。二页和四爷延迟同理。
跨页面延迟增加页面计数，然而增加的是轻微的，这和
H6a
相一致。
尽管没有假设页面内延迟和情景的交互影响，但是确实有一点影响。
图形
1
说
明了页面内延迟和情景方面对页面计数的影响。
浏览页面数量
8
7
6
5
4
3
2
1
控制组 无延迟 延迟
门户页面
目录页面
图形
2
是跨页面延迟和情景在页面计数的影响。
讨论
这个实验展现了一个广告的时间和情景是如何影响浏览者的直接点击率和非直接的离开回应。以前的研究只关注促销的效率即直接回应。这篇文章我们说明了直接点击回应是使这个图片的一部分，还有大量的非直接的影响存在。特别的是我们测量了三个影响因素：促销出现的页面，跨页面延迟和页面内延迟。
结果显示页面内延迟是这三个因素当中唯一的一个对点击率有影响的因素
，但是都是对点击率和用户离开都是消极的影响。因此，网站应该努力在一个给定的网站传输信息时使延迟最小化。从行为学的观点，页面内延迟更能可能导致信息超载，不仅仅使点击率降低，同时也增加了用户对网站的消极体验。
通过
实验的结果，跨页面延迟和情景对点击率没有影响但可以影响页面浏览数量。把弹出广告延迟到后面的页面或者在目录页面展现弹出广告可以增加页面的浏览数量。不仅仅弹出广告被延迟到后面的网站或者在一个目录页面上呈现产生一个更加积极的回应（与弹出出现在跟早的页面或者出现在门户页面相比），它事实上比控制组长生更多的页面浏览。换句话说，一个时间控制良好的弹出广告可以增加用户的对这个网站的体验并且鼓励用户留在网站的时间更长。
这个实验说明了一个时间控制比较好的弹出广告可以增加用户的体验，从而在网站上停留的时间更长或者浏览更多的页面，这同流行的观点即弹出广告好的方面是没有效果的（因为点击率较低）或者坏的方面是令用户感到反感形成鲜明对比。这个实验说明有非直接影响被低估了。很少有人研究弹出广告除了弹出的点击率。对于帮助营销人员设计更有效的弹出广告这个策略还需要更多的研究。
从行为学的观点，对这一回应有两个合理的解释。第一，当有这两个特点的时候（跨页面延迟和目录页面出现）。这和
zijlstra
et al
相一致，他说明了党参加者被打断的时候参加者对任务更加注意。第二，有这两个弹出广告出现的页面更不可能认为是一个打断，以此忽略了消极反应。
除了行为学的解释，管理学的暗
弹
出跨页面延迟或者在目录页面延迟跟会被接收，尽管在点击率上没有没有影响，但是对用户的全面体验却有有积极的影响，这被页面计数证明了的。当网站在利用页面弹出时，要仔细权衡各个方面的利益。假如弹出出现在第四页时，要同第一页比较一下有没有更少的用户浏览。假如弹出出现在第一页时要关注点击率。假如弹出被延迟出现要关注点击率被作为一个子集加上别的增加页面浏览的利益。
