第六章 实验研究与准实验研究
实验研究是特意设计某些特殊的系统和特殊的环境,通过控制和观察操作变量之间的因果关系以得到具有明确意义的结论。
通过审慎设计和有控制的实验来检验与操作变量和事物状态相联系的概念模型,可以定量地检验假说、理论和模型。
现场实验和实验室实验
解决社会与经济问题的实验项目常采用现场实验的方法。通常称为“试点项目”,例如,在我国的各项改革中,常选取一些试点城市。由于改革涉及的方面较多,只能以区域作为研究单位。这些试点项目作用是产生选择最终行动方案依据,还可能产生对决策有重要意义的定性的、直觉的信息。
某些研究需要在一个人造环境中进行实验,这类研究称为实验室实验,实验室并不仅仅是一种简单的研究环境,而是可以构造多种研究环境的媒体。
一、实验室研究
实验室的独特之处在于它的灵活性。这种灵活性主要体现在研究人员可以在实验室中控制外部因素,将外部因素对研究的影响减少到最小限度,便于进行变量设置,便于根据不同的研究课题或目标采用不同的方法设置合适的研究环境。
实验设计对实验项目至关重要,它是实验能否得出有关可靠结果的关键,也是不浪费试验资源的关键。在实验中采集的数据必须客观,否则将导致错误的结论。
实验室的作用
在实验室条件下可以实现三个基本的研究目标:
(1)控制外部变量
在实验里可以对外部变量进行控制。参与研究的人员被从现实社会中隔离开来,不会因其它活动分散注意力或受其它外部事件的影响。这有助于在研究中排除和减少其它因素的影响,提高统计结论的有效性和研究结论的准确性。
实验室研究使研究者有可能测定操作变量的某种变化在一种特定范围内产生的影响,特别是一些细微影响,包括在实验室之外没有实际价值的细微影响。这在现场研究和观察研究中是难以做到的。
实验室的作用
(2)控制自变量。
实验室的研究环境为对自变量进行操作控制提供了方便。在实验室里,可以更容易地按照实验设计的需要控制自变量,将自变量设置成不同的水平,使随机分组的研究参与者接受不同水平的刺激,以观察他们的反映。
值得指出的是,研究设计和环境是不完全是一回事。很多非实验性的研究可以在实验室里做(例如,某些类型的观察是很容易在实验室里做),而很多实验性的研究却在实验室之外做。但在实验室里特别容易实现对实验的操作控制。
实验室的作用
(3)设置所需要的研究环境
在实验室里可以根据不同的研究目标,采用适当的方法设置有利于研究的各种环境。
例如,如果研究的课题是群体的行为,就需要有一个环境让受试者在群体中交流。如果研究的目标要求对于所观察的行为作不引人注意的记录,可以在实验室里装一台隐蔽的摄像机或单反射镜,观察者可以透过镜子来观察。
何时使用实验室
作为一种研究环境,实验室适合于某些类型的研究主题和研究目标,对另外一些类型研究主题和研究目标则不很适合。
一般性的或理论的研究目标通常是要检验假设的变量之间的因果关系。这种研究的重点在于测定总体的抽象概念之间的因果关系。重要的是假设的因果关系能否完全得到证实。如果一种理论表明,在条件X、Y和Z下,可以观察到桔果C,那么,在实验室里建立需要的条件和寻求预期的结果是可能的。至于这些条件是否也在实验室以外的“真实世界”中的其它地方发生,对于测试这些理论预期的有效性并不重要。一般性目标的研究比较适合于在实验室进行。
何时使用实验室
有些研究需要了解在某种特定环境下可能发生的现象(不论这种环境实际上是否存在),需要除去很多在自然环境中发生的因素,以测定产生某些影响的最低条件。在这些研究中,需要创造一种理论假设所确定的环境,或有目的地创造一些自然环境中没有的条件,看看预期的现象能否观察到。这种研究更适合于在实验室中进行,因为在实验室中可以建立起研究目标所需要的环境。
何时使用实验室
如果研究有特定的目标,研究成果要应用于特定的具体环境、人群和时间段。例如,我们可能并不关心一种新的管理技术是否在其它地方都能产生良好效果,而只关心它是否有益于某一个公司,是否适合于该公司特定的生产方法、公司文化和工人群体。我们需要的是针对这一特定目标的研究成果,而不是一个一般性的理论。这种特定目标的研究不太适合于在实验室进行。因为针对特定目标研究的问题本来就是特殊的,这些问题是以某种特定的人群、环境和其它条件为前提的,对问题的回答需要包含目标环境和人群的实质性细节。而在实验室里构造的环境很难与实验室以外的现实环境完全符合,很难回答这样的问题。
何时使用实验室
在对因果关系进行检验时,有些类型的自变量受到实际的和伦理的限制无法在实验室中建立和控制,比如性别和种族。由于实际的原因,象组织机构中的职位这种变量也不能控制,也很难或者不可能在实验室里调查。因此在实验室中研究这些变量是困难的或不可能的。
实验室研究大多限于一个相对短的时期。大多数实验室研究可在一至两小时内完成,有些要持续几周。但许多涉及社会关系的重要现象的发生则往往要持续几周、几个月或几年。对这类课题,需要选择在自然的或很少控制的环境里进行研究。
何时使用实验室
总之,实验室研究对某些研究课题比较适合,当自变量可以控制、研究周期比较短,研究环境对于研究所要检验的因果关系假设至关重要时,实验室是一个合适的研究环境。对于要将研究结论用于特定目标人群的研究、自变量不可控制的研究、因变量的变化需要较长时间的研究,最好在其它研究环境里进行。
实验室研究的类型
实验室研究可以分成几种类型,在不同类型的实验室研究中,自变量的性质是不同的,参与者的任务也常常不同。
根据自变量的性质及参与实验的人员的任务,实验室研究可分为三类
影响研究(或称效果研究)、
评判研究(Judgment Studies)
观察式研究。
影响研究与评判研究
影响研究(效果研究)的典型过程是:对自变量进行操作控制,控制的结果影响到被研究的参与者,研究人员对参与者在各种情况下的实际表现进行观察,以检验给定的假设。
在评判研究里,事件不直接作用于被研究人员,很少需要给试验对象施加直接影响。被研究的人员只是被要求阅读和填写一些材料,然后进行评估和判断,参与者只是对材料提出自己的回忆、分类、判断、评价。研究者通过观察被研究者的判断来研究某些问题。
观察式研究
观察式研究指在不同情形下对研究对象的观察,研究的重点在于对反应、行为的详细观察,并不强调可操纵的因素对结果的影响。例如,在 “决策行为研究”中:组织一些六人一组的大学生讨论一个决策问题,用录音机录下讨论过程,并讨论意见按“主观性决策行为”和“信息性决策行为”进行编码,然后分析观察结果。
观察式研究使用实验室主要是为了方便于在受控状态下进行观察。其关键是深入观察,尽管会设置不同的试验条件,但研究的重点就是观察,不是某些事件对参与者的影响,不是很强调对外在影响的控制。
实验室研究的内部有效性
内部有效性强是实验室研究的主要优势。
实验室背景本身并不一定对内部有效性带来正面或负面的影响。但是,实验室为随机设置和控制提供了方便。
而在提高研究的内部有效性方面,实验设计是最重要的一个因素。事实上,设计得很好的实验室研究有助于减少对研究的内部有效性的威胁。
实验室研究的概念建构有效性
在实验里可能比在自然环境中有更多的概念建构有效性方面的问题。这是因为,实验室研究构造的环境、任务、操作控制和人们日常经历的事情是不一样的。从这个意义上讲,对概念建构有效性可能是一个特殊的危险。
实验室研究中作为理论构件的概念常常是从现实生活中抽象出来的,或者是为特定的研究设计出来的,研究人员在抽象和设计概念的同时,必须判定在操作变量和理论概念之间是否具有一致性。因此,概念建构有效性是判断实验室研究的操作化设计和度量方法是否合适的关键因素。
实验室研究的外部有效性
外部有效性不是关于研究结果是否成立的问题,而是关于理论适用性的问题。外部有效性的重要性取决于具体的研究目标。
对于要将研究结论用于特定目标人群或目标环境的研究来说,实验室研究的外部有效性常常较低。 。
对于一般性研究目标,研究的目的在于测试理论上的假设是否成立,研究结论从实验室推广到其它方面的过程不是直接的。研究的有效性主要取决于理论的真实性,而不是研究发现是否可用于特定环境。因此,在以检验一般性理论为目标的研究中,实验室环境与目标环境的相似性并不重要。这类研究较适合于在实验室中进行。
威胁实验室研究有效性的因素
实验室研究的主要长处在于便于通过随机设置消除对内部有效性的威胁。实验室研究的弱点在于实验者预期和参与者迎合实验者需要的行为会造成的对概念建构有效性的威胁。
实验者期望得到的结果会对参加实验的人产生潜在的影响,研究对象可能会按实验人员希望的方式行事。消除这些影响的典型做法是盲实验,也就是将设置各种变量状态的实验者与收集结果的实验者分开。
实验研究中,受试者会根据自己的理解努力迎合试验者的需要,这会对研究的有效性带来影响。消除或削弱这种影响的最好办法是注意实验背景和实验程序的细节,尽量隐藏自变量,使自变量看起来像是无关的事件。
实验室研究的主要环节
实验室研究的主要环节包括:
研究环境的设置
自变量的操控
操作控制的检查
因变量的测量
实验结束后的谈话
这些环节的执行都要着眼于增强结论的有效性。
研究环境的设置(Setting)
在实验开始前实验者要给参与者提供一个有关实验的背景的一般性介绍(Cover Story)。目的是向参与者解释各种活动的总的框架,以及实验的任务,也就是要找一个“借口”。研究环境的细节要努力支持所给出的借口,应该使参与者按实验者的意图理解将要发生的事情,避免他们按自己的猜测解释实验过程。同时要有助于保持参与者的兴趣和热情。
自变量操控
实验室研究的自变量实际上是可控操作变量,选择操作变量的重要前提是保证研究的有效性。
对于影响研究和评判研究这两种不同类型的实验室研究来说,决定其有效性的关键因素是不同的。在影响研究中,操作控制的有效性是关键,在评判研究中,操作通常隐含在受试者将要研究和评论的材料中,而不是在对测试对象发生的事件里,因而材料的有效性是其关键。
实验室研究中要尽量避免把测试对象按某种条件分组,据以分组的条件差别可能会影响研究中操作控制的有效性。明智的做法是将参与者随机分配到各个组,将各个组置于不同的实验情景。
操作控制的检查
操作控制的检查是为了评价操作控制是否对参与者产生了预期的影响。若没有操作控制检查,在因变量未出现预期反应时,研究人员无法辨别是操作控制未能对研究对象产生影响,还是操作控制有效但自变量不能对因变量产生预期影响。这两种可能出现的情况对于实验研究来说,有完全不同的意义。前者意味着需要用更合适的操作控制重复原试验,后者则意味着实验已经进行但结果不证实理论假设。
因变量的测度
实验室研究中对因变量变化的测度有两种基本方式:自我报告方式和非自我报告方式。大多数评判研究采用自我报告的方式,如通过问卷或访谈让受试者自己报告他的判断或评价。非自我报告方式指则采用不同形式的观察来测度受试者的反应。非自我报告方式不依赖于受试者的自我描述,而通过观察他们完成各种任务时的表现来衡量他们的心理状态。
使受试者了解实验的内容并仔细阅读提供给他们的有关资料,对于实验中操作控制的有效性是非常重要的,如果受试者不了解或不关心他们所做的事情,那么就会给实验数据的准确性带来影响。
实验结束后的谈话
实验结束后与受试者的谈话是重要的。通过谈话可以了解受试者是否真正理解了要他们做什么,是否真的相信研究者告诉他们的“借口”,实验中是不是准确地按要求做了。对于某些采取了某些欺骗手段的实验,实验结束后应该向受试者作必要的解释。如果实验尚未完成,研究者需要恳请受试者不要在实验完成之前与其他人讨论这项实验。
对实验室研究的认识
没有一种研究环境是完美的,任何实验环境都不可能适合所有类型的研究主体和问题,但是每种实验环境都有其独特的优点。要使研究结果有更高的可信性,理想的做法是在不同的环境下,使用多种研究方法进行重复研究。
二、随机试验
实验通常指实验者在一定的背景影响下使用一些变量观察其对研究对象的影响,而随机实验是指将受试对象个体在自变量的不同层次上随机分配。其设计特点是观察研究对象被随机地给定了自变量后的反应。
随机分配是指将受试对象随机地分配到各个试验组和对照组中,每个受试对象都有同样的可能性被分配到每个组中,因而各组之间在实验开始时就具有充分的可比性,这样才能将事后测试发现的因变量之间的差异归因于实验的结果,而不是各组间先前就存在的某些其它差异因素。
从平均的意义上,随机分配最大程度地保证了各组间的可比性,因而实验设计具有最大的内部有效性。
随机分配与随机抽样
随机分配与随机抽样不同。随机抽样是指从总体中随机选择受试对象样本,目的在于以尽可能少的样本代表一组特性,而随机分配则是选定样本后的一种实验程序,随机分配的目的在于研究变量间的关系。
例如,要测定噪音是否影响工作效率。可以通过随机抽样选择30名员工,然后,将30名员工随机分成两组,一组人在有噪音的情形下工作,另一组人在无噪音的情形下工作,分别测试两组人的工作效率。
如果样本足够大,试验次数足够多,通过随机分配,两组员工的基础背景就非常接近,影响工作效率的就只剩下噪音这一变量,这样,就可以找出两者之间的关系。
研究中的变量及其控制
所有研究都涉及变量的操作与测量,变量代表着研究者在理论上感兴趣的构思,它们意味着研究者要描绘或得出结论的东西。
在多数研究中,至少会有两个变量,而且必须考察它们之间的关系。一类称作因变量,另一类则称为自变量。如果你仅想考察单个变量的影响,则必须控制所有其它变量,控制非自变量是实验研究的一个原则。
实验自变量与固有变量
实验研究与调查研究的主要区别在于实验研究者通过控制某些变量研究这些变量的影响。
研究不同肥料对植物生长的效果
土质、气候、品种、季节等都会影响植物生长,在实验中要使这些变量相同。可将一块地分为四块,种上相同的植物,仅仅改变施肥量和施肥方法,研究肥料对植物生长的影响。
研究电视广告对消费者购买意向的影响
研究者可以操纵的变量称作实验自变量,如广告的时间、内容及频度等,研究者不可能操纵的变量称为属性变量或固有变量。它们是人们已经具有的属性,如收入、教育、家庭影响等。可选择两组固有变量相同的人进行调查,以考察电视广告对消费者购买意向的影响。
随机实验的作用
在行为科学研究中控制某些固有变量往往行不通。几乎有无限的变量影响着人们的选择。即使考虑了受教育程度和看电视的频度,依然有许多其它的固有变量影响着消费者的偏好,例如,两组人在年龄、就寝时间、家庭中孩子数目,乃至爱吃什么等方面都可能有所不同,这当中的任何一项差异对消费倾向的影响都有可能超过是否看电视广告的影响。
随机实验可以摆脱这一困境。把研究对象个体随机分配到不同的自变量水平,才能保证试验组和对照组的固有变量完全一致,这种一致是由于随机实验的方法决定的。要进行这种随机实验,必须能操纵独立变量。
随机实验方法的优点和局限性
随机实验方法的最大好处在于研究者可以通过在实验设计过程中对某些非自变量加以控制,从而使实验具有内部有效性。也就是说,在运用随机实验方法过程中,研究人员必须决定哪些项目以及它们在何种程度上与可能干扰实验结果的非自变量有关系。这样做的主要目的是尽可能地提高内部有效性,通常也会提高概念建构有效性。
随机实验所必需的控制许多情况下在实验室环境下最易满足。而实验室环境在许多方面不同于现实环境,从而限制了研究人员将他们的结论推广到其它环境的能力。随机实验的高内部有效性有时可能要以牺牲外部有效性为代价。
随机分配相对于匹配的优点
随机分配不同于按某种条件匹配。与匹配的方法相比,随机分配的优点是:
其一,匹配虽然能够做到试验组和对照组的事前测验值相等,但两者仍可能具有不同的发展变化趋势和速度。
其二,匹配受到统计回归现象的影响,属于两组不同总体的实验对象虽然经过匹配而具有相同的前测值,但由于各自向其平均值回归的趋势,即使没有实验刺激的影响仍会使其后测值出现差异。
随机分配相对于匹配的优点
其三,匹配过程必须充分考虑各种对因变量可能的影响因素。这些因素既不能穷尽,而且,在因素比较多时,匹配也是一个很困难的过程。使用随机分配可以不考虑具体的可能影响因素,经过随机分配后各试验组和对照组之间在平均意义上被认为在各个方面充分可比。
随机实验可以最大限度地保证内部有效性。再也没有一种科学调查方法,能使研究人员充分自信地说:是这个因素引起那个事件发生。
对同一对象的多次测试
测定噪音是否影响工作效率,也可以是对全部样本员工测试两次,一天在有噪音的环境下工作,另一天则在无噪音环境下工作。然后比较得出结论。
在不同测试对象间取不同变量值与对同一测试对象取不同变量值,在内部有效性方面存在差异。对全部样本员工测试两次,很可能有其它因素影响测试结果,可能由于测试时间的不同,温度、天气、生活条件等因素对测试结果产生影响。要解决这一问题,可以将测试对象随机分为两组,分别置于不同环境中测试,第二天再互换环境测试,以排除其它因素的影响。
影响实验研究有效性的因素
有许多因素会影响实验的内部有效性,尤其是受试对象的选择偏差和受试对象成熟过程的干扰,
随机实验设计中要考虑每一种可能影响实验内部有效性的因素。
除了内部有效性的问题之外,实验研究的概念建构有效性和外部有效性也可能存在问题。检验外部有效性的最好办法是在不同的研究环境中对不同的研究对象重复进行实验研究,看是否能产生相同的结果。
实验设计
用随机分配的方法可以消除由于研究开始时各组间先已存在的各种差异而对研究结论带来的影响。但在实验过程中仍会有某些因素或发生某些非期望事件干扰因变量,为此需要经过精心的实验设计,以便识别和控制这些因素和事件的干扰。
为了便于表述复杂的实验设计,规定:
R表示随机设置研究对象;
x 表示处理、自变量、原因;
O表示观察、因变量、结果。
设计1:随机两组设计
:试验组 treatment
:对照组 control
这种设计的变化形式是有两个或更多的试验组。
设计2:前后两组设计
在试验组实验前,有一个预测试(pretest),或称前测,不仅仅比较两个组的情况,还要比较每个研究对象的前测和后测的情况。
预测试也可能因受试对象对实验的敏感而导致预测试结果产生偏差。如果这种影响对试验组和对照组是相同的,则不会影响的间的差别。如果两组受预测试的影响不同则会影响实验的内部有效性。
前后两组设计的扩展
前后两组设计也可以扩展为:
设计3:所罗门(Solomon)四组设计
所罗门四组设计是设计1和设计2的组合。
所罗门四组设计
O3与O4相同,说明没有受到历史事件、成熟过程、实验本身、度量工具变化、统计回归和实验退出等的影响。
如果O2与O5相同,说明前测没有对后测产生影响。
比较O6与O1、O3,可以考察是否受到历史事件和研究对象成熟等的组合影响。
所罗门四组设计实验结果判断
实验结果可由以下各式判断:
E1=(O2-O1);
E2=(O2-O4);
E3=(O5-O6)
E4=(O5-O3);
E5=[(O2-O1)-(O4-O3)]
如果所有的E都相似,所得出的因果关系结论有效性较高。
设计4: 多因素设计
图中,x是一个自变量,y是另一个自变量。含有一个以上自变量的实验既提供了各个变量的影响,又提供了它们之间相互作用的影响。
2×2因素设计
如果有两种自变量相结合,称2×2因素设计。这种设计有2个影响因素,每一个影响因素又对应两个属性。下表以演员行为和性别为例说明两种自变量相结合的情况。
2×2×3因素设计
如果增加一个影响因素,则有2×2×3=12种组合情形。
两种因素结合对演员声望的影响
两种因素结合对演员声望的影响
设计5:重复测量设计
随机实验可以对不同的受试对象施加不同的自变量值,也可以对同一受试对象施加不同的自变量值。前者是测量不同受试对象在不同自变量值的作用下状态的变化(vary between subjects),后者是测量同一受试对象在不同自变量值的作用下自身状态的变化(vary within subjects)。重复测量就是将同一受试对象置于不同的条件下进行“重复”实验,测量其自身状态的变化。
重复测量设计中变量的选择很重要,并非所有的变量都适合重复测量,比如受试对象固有的变量就不适于重复测量。重复测量的好处是要求受试对象的数量比较少的。采用重复测量设计的实验研究要求在执行第二次实验时要完全排除第一次实验结果对受试者的影响。
关于随机实验局限性的说明
当实验在实验室环境中进行,实验样本具有选择性时,随机实验的外部有效性可能较低。对这种局限性有两点须说明:
第一,这种局限性并非随机实验设计的必然结果。随机实验可以在现场进行并使用有代表性的样本。
第二,进行实验研究的目标并非要使外部有效性最大化,而是要使内部有效性最大化。应该采用不同的研究设计,去达到不同的难以兼容的目标。随机实验适用于检验因果关系的研究。
霍桑实验
霍桑实验是管理科学研究历史上一次著名的实验。该实验是在美国芝加哥郊外的西方电气公司的霍桑工厂进行的。霍桑工厂具有较完善娱乐设施、医疗制度和养老金制度,但是工人们仍然有强烈的不满情绪,生产效率很低。为了探究原因,1924年11月,美国国家研究委员会组织了一个包括多方面专家的研究小组进驻霍桑工厂进行研究。研究历时8年,分四个阶段:照明实验、继电器装配工人小组实验、大规模访问交谈和对接线板接线工作室的研究。
照明实验
照明实验的目的是要研究照明情况对生产效率的影响。在开始实验前,专家小组根据泰勒的科学管理理论,提出一种假设:工作的物理环境是影响工作效率的主要因素之一。为了验证这一假设,他们决定进行实验研究,研究者希望发现某些工作条件的改善,如增加照明是否可以提高工人的劳动生产率,即照明度和劳动生产率之间是否存在因果关系。这里自变量为照明度,因变量为劳动生产率。
照明实验的实验设计
专家们选择了两个工作小组,一个为试验组,一个为控制组,设置控制组的目的是为了排除研究本身对研究对象可能造成的影响(如劳动生产率的变化可能仅仅是由于工人知道实验的存在)所导致的偏差。先测试接受实验的工人(研究对象)的其劳动生产率(称为事前测验或前测),然后增加试验组工作场地的照明度,控制组工作场地照明度始终不变,再重新测试工人的劳动生产率(称为事后测验或后测),结果发现当时试验组的照明度增加时,该组的产量如预期的那样开始增加。
照明实验的结果及其分析
这一实验结果能否证明照明度与工人劳动生产率这两个变量间存在着因果关系呢?还不能,因为实际上可能还有其它因素会导致劳动生产率提高。
实验继续进行,当工人继续要求更换灯泡时,研究人员答应更换而实际上只是换了一个同样照度的灯泡,但产量继续增加。与此同时,控制组的产量也在不断提高。通过这个实验,专家们发现照明度改变不是效率变化的决定性因素,另有未被掌握的因素在起作用。于是他们决定继续进行研究。
继电器装配工人小组实验
为了有效地控制影响生产效率的因素,研究小组决定单独分出一组工人进行研究。他们选择了五位女装配工和一位画线工,把他们安置在单独一件工作室内工作。另外,研究小组还专门指派了一位观察员加入这个工作小组,他专门负责记录工作室内发生的一切。研究小组告诉这些女工,这项实验并不是为了提高产量,而是研究各种不同的工作环节,以便找出最合适的工作环境。研究小组要求这些女工一切工作照平时那样进行。
继电器装配工人小组实验
实验过程中,研究小组分期为这个小组改善工作条件,改变管理方式。比如,增加工间休息,公司负责供应午餐和茶点,缩短工作时间,实行每周工作五天制,实行团体计件工资制等等。这个装配小组的女工们在工作时间可以自由交谈,观察人员对他们的态度也非常和蔼。这些条件的变化使产量不断上升。在实行了这些措施的一年半以后,研究小组决定取消工间休息,取消公司供应午餐和茶点,每周仍然工作六天,结果产量仍然维持在高水平上。
继电器装配工人小组实验提出的假设
究竟是什么原因使这些女工提高了生产效率呢?研究人员把可能影响生产效率的因素一一罗列出来,他们提出了五种假设:
① 改进了材料供应情况和工作方法;
② 增加了休息时间,减少了工作天数,从而减
轻了工人疲劳;
③ 增加了休息时间从而缓和了工作的单调性;
④ 增加产量后每个人所得的奖金增加了;
⑤ 改善了监督和指导方式,从而使工人的工作
态度有所改善。
假设的验证
此后,研究小组对上述五项假设一一进行了实验验证。最后推翻了前四项假设而把注意力集中于第五项假设,即监督和指导方式的改善能促使工人改变工作态度、提高产量。研究小组为了在这方面收集更多的资料,决定通过大规模访谈进一步研究监督和指导方式与工人的工作态度的关系及可能影响工人工作态度的其他因素。
研究小组花了两年时间对公司两万名职工进行访谈。通过访谈了解工人对工作、工作环境、监工、公司和使他们烦恼的其它问题的看法以及这些看法如何影响生产效率。经过数次面谈,研究小组发现按事先设计好的问卷访谈并不能获得他们所需要的材料,工人们更愿意自由地谈那些他们认为最重要的事。后来,访谈主要采用自由交谈的方式。
研究发现
通过这些研究发现,影响生产率的最重要的因素是工作中发展起来的人际关系,而不是待遇及工作环境。研究小组还了解到,一个工人的工作效率的高低,不仅取决于他自身的状态,还受他所在小组中的同事们的影响。这个结论非常重要。为了进一步作系统地研究,研究小组决定进行第四阶段的实验。
对接线板接线工作室的观察研究
第四阶段实验中,研究小组决定选择接线板接线工作室作为观察对象。这个工作室有九位接线工、三位焊接工和两位检查员。研究小组持续观察他们的工作效率和行为达六个月之久,结果许多重要发现:
第一,大部分成员都故意自行限制产量。公司根据动作研究确定的工作定额是每天焊接7312个接点,但工人们仅完成6000~6600个接点,这是他们自己确定的非正式标准。一旦完成这个数量,即使还有许多时间,他们也自动停工,不再多干。工人们说:“假如我们的产量提高,公司就会提高工作定额,或者造成一部分人失业。”还有的工人说:“工作不要太快,才能保护那些工作速度较慢的同事,免得他们受到管理阶层的斥责。”
对接线板接线工作室的观察研究
第二,工人对不同层级的上级持不同态度。对于小组长,大部分工人都认为它是小组的成员之一,因此没有反对小组长的表现。而对领班,态度就有明显的不同。每当领班出现时,大家都规规矩矩,表现良好。这说明,一个人在组织中职位越高,就越受尊敬,大家对他的顾忌心理也就越强。
第三,工作室成员中存在的一些小派系。这种派系是非正式组织,每一个派系都有自己的一套行为规范,只要加入这个派系,就必须遵循这些规范。派系内成员如果违反这些规范,就要受到惩罚。这种非正式组织中也有领袖人物。他们对内控制其成员的行为,对外保护自己派系的成员。并且注意不受管理阶层的干预。
霍桑实验的启示
霍桑实验为人际关系理论的形成以及后来行为科学的发展打下了基础。
霍桑实验中采用的实验、访谈和现场观察等研究方法是以后的管理研究中普遍采用的研究方法。
从霍桑实验的研究实例中可以发现,在研究设计、研究过程和结果分析中,必须始终注意识别各种可能的竞争变量的影响,并采用科学的方法尽量排除这些影响对因果关系推断的干扰。经过审慎的研究设计与分析,确实可以提高做出因果关系判断的内部有效性。
四、准实验研究
在不可能做到完全随机化的情况下。权宜办法是“准实验研究”(Quasi-Experimental Research)。
准实验与随机实验的根本区别在于准实验未将受试对象随机分配,因而内部有效性比随机实验差。准实验在实际中应用很广。
在实际的管理研究中,随机分配往往无法实现,或对自变量不能进行操作控制,有时是由于道德方面的原因不能对自变量进行操作控制。比如,要研究人们的自信程度与工作成就之间的关系,作为自变量的自信水平就很难加以操作控制。在这种情况下,往往采用准实验研究。
准实验研究
准实验研究因为不能通过随机分配最大程度地保证各试验组与对照组之间的可比性,因而更易受到其它因素的干扰,但通过周密设计,通过精心的实验设计和对实施方案与结果的细致分析,尽量发现和排除各种可能的干扰因素,减少对准实验研究内部有效性的不良影响,也能够使研究具有较高的内部有效性。
准实验研究举例
一家儿童电视节目制作公司制作了一个以开发儿童智力为目标系列儿童电视节目。公司想研究这个节目是否能起到开发儿童智力的作用。一开始,研究被设计成随机实验,来自不同地区的近千名儿童被随机分成试验组(观看节目)和对照组(不观看节目),试验组的儿童每周至少有3天看这个节目,6个月后,将收集有关受试儿童智力发展状况的数据。然而,由于该节目广泛流行,对照组的许多孩子已经看过这个节目。于是,随机实验被改为准实验,具体做法是将受试儿童按实际观看节目的次数分为4组,6个月后检验看节目多的孩子是否比看节目少的孩子智力成长速度更快。
准实验研究设计
准实验研究有多种设计方法,不同设计方法之间的基本区别主要涉及到自变量的变化。
自变量的变化可以体现为不同受试对象之间的差异,也可以体现为同一受试对象自身状态的变化。
对准实验研究内部有效性的主要威胁在于自变量是否真正在不同受试对象之间或对同一受试对象发生了变化。
1. 静态组比较设计
X为体现自变量的某种自然发生属性。如果自然发生的X有多个层次,该设计可改为:
静态组比较设计的局限性
由于自变量不是随机地分配到各组,选择偏差明显地威胁内部有效性。例如,数据显示,大学毕业、高中毕业、初中毕业这三个组的人们的收入不同,在随机实验中,我们可以据此推断教育水平对收入的影响,但在准实验中这种推断可能有问题,因为还有其它组与组之间的差异可能是收入差别的另一种合理解释。
2.前测-后测非平衡组设计
前测-后测非平衡组设计是对静态组比较设计的扩展,它在多个时间点上进行观察。
如果自变量X有多个层次,该设计可扩展为:
前测-后测非平衡组设计的优点
其一,一次前测试加一次后测试可以保证自变量在因变量之前发生,这样就可以说因变量的变化是由自变量导致的;
其二,可以预先测量出各组之间的因变量原来就有的差异,从而排除了对象选择偏差对内部有效性的威胁。
例如,比较使用太阳能装置与不使用太阳能装置对家庭耗电量的影响,如果没有前测,就无法判断是否原先就有差别,是否还有其它解释。可能是使用太阳能的家庭节约能源的意识较强,因而家庭耗电量较低。
3.回归-中断设计
回归-中断设计与前两种设计的差别在于,研究者知道对个体进行分组的基础,知道谁应该在哪一组是由什么决定的。这种设计的自变量仅在不同受试对象之间变化,而对同一受试对象是不变的。
虽然这种方法的数据分析比较复杂,但在消除对内部有效性的威胁方面十分有用。事实上这是一种很少采用研究设计,因为很少会遇到那种经过预测试可以确定如何分组的情况。
回归-中断设计举例
例如,要研究学校的表彰是否会对学生的学习表现产生影响。学校只能表彰学习优秀的学生,因此,对受试对象不能随机分组。假定第一组是在一年级取得高分并受到表彰的学生,第二组是一年级分数未达到一定标准没有受到表彰的学生。根据受试学生一年级和二年级的学习成绩,可以得出一条回归曲线,一般来说,我们会假设二年级成绩和一年级成绩正相关。如果在预先假设的回归曲线上发生了突然的变化,出现了不连续的情况,就可以认为自变量对结果发生了作用。
回归-中断设计示例
4.单组前测与后测设计
前三种设计都是自变量在不同受试对象之间变化,试验组与对照组的比较是对各组中个体因变量的平均值进行比较。
单组前测与后测设计只使用一个组,测试结果的估计是对同一组受试对象自身状态的两次观察值的平均值进行比较。
单组前测与后测设计
单组前测与后测设计避免了对象选择偏差对内部有效性的威胁。但又会受到历史事件、成熟过程、实验手段变化等因素的影响。
5.单组时间序列中断设计
单组时间序列中断设计是对单组前测与后测设计的扩展。它在试验处理之前和之后增加了多次预测试和后测试,目的是增强研究的内部有效性。
按照单组时间序列中断设计,研究者可以通过对各次观测结果的比较分析,判断并采取措施消除成熟过程、预测试和历史事件的影响。
单组时间序列中断设计
通过比较O1与O2、O3与O4、O5与O6、O7与O8的差异,看这几组观测值的差异是否相同,可以判断是否存在成熟过程对研究内部有效性的影响。
通过对多个观测点数据的比较,可以判断预测试是否对研究的内部有效性有影响,比如:如果怀疑O4与O5之间的差别是由受试对象对预测试O4敏感造成的,可以将O4与O3作比较,O5与O6作比较。
单组时间序列中断设计
单组时间序列中断设计对内部有效性的威胁主要来自历史事件。历史事件的影响可能是陡峭的而不是平滑或连续的,但也有许多历史事件虽然只发生一次但其影响是持续的,这时有可能通过下面的经过改进的时间序列中断设计加以排除。
比较O5、O6、O7与O8,有助于判断是否存在历史事件的持续性影响。
实验结果的解释
(a)实验结果容易解释,没有成熟过程的影响。但如果历史事件与实验同时发生,就不能排除历史事件的影响。
(b)实验结果比较难解释,有些自变量的影响可能会有一段时间的滞后,比如,当存在某种石油储存机制时,世界石油价格对国内石油价格的影响可能会时间滞后。
(c)实验结果表明自变量没有产生作用,对观测结构变化的合理解释是发展趋势使然,能够这种解释作出判断是时间序列中断设计的一个优点。
能否排除实验结果的其它解释,也也要看实验结果的形式。
6.复组时间序列中断设计
复组时间序列中断设计有几种不同的形式。
设计Ⅰ
设计Ⅱ:
设计Ⅲ:
复组时间序列中断设计
复组时间序列中断设计有两组观测对象。
设计Ⅰ中,对第一组在O4后有有一个实验处理,对第二组不进行处理。
设计Ⅱ中,两个组在不同的时间进行处理,这样做有助于判断历史事件对观测对象的影响。
设计Ⅲ中,对第一组在O4后有一个实验处理,对第二组分别在O12、O13、O14 和O15后进行多次处理。
这种设计既可以比较同一组不同时点的观测值,也可以比较不同组同一时点的观测值。这样做综合了前面几种实验设计的优点,有助于改善内部有效性。
统计回归现象对准实验的影响
在准实验设计中,由于不能随机地将观察对象个体分配到试验组和对照组,我们实际上是根据预测试的数据进行分组的。如果我们试图减少两个组的差别,而在分组时有意使两个组的预测试数据相配,这种做法是错误的。因为即使两个组的预测试数据看起来相配,实际存在的差别在后测试中还是会表现出来。只要两组数据不完全相关,向均值回归的现象就会出现。这会对内部有效性产生威胁。
统计回归现象对准实验的影响
例如,我们想研究学习“研究方法论”这一课程对研究生科研能力的作用,由于不能强迫学生选课,只能采用准实验的方法。如果我们试图减少试验组和对照组之间的差别,在选“研究方法论”和不选“研究方法论”的学生中按其它课程的分数搭配试验组和对照组,就会犯上面所说的错误。
向均值回归的现象
准实验小结
由于不能随机地将观察对象个体分配到试验组和对照组,准实验的内部有效性受到选择偏差、成熟过程、历史事件、向均值回归等的威胁。不同的研究设计对这些威胁的敏感程度不同,通过合理地选择研究设计,并对观测数据进行正确的分析和适当的处理,可以排除一些对内部有效性的威胁。对准实验数据进行分析的核心是考察变量间的相关关系以及排除其它变量影响。
准实验易于操作,通常成本较低。只要我们根据实际研究的要求,采用合适的研究方案,准实验是一种非常有用的研究工具。
准实验研究案例
CIMS项目效益的评价研究
我们曾对中国两个实施计算机集成制造系统项目的企业进行考察,研究实施CIMS项目的效益评价问题。
评价CIMS项目效益是要确定实施CIMS项目是否能够给企业带来效益,即CIMS项目实施与企业效益提高之间是否存在因果关系,因此,内部有效性是评价此项研究质量的重要指标。
CIMS项目效益度量指标的选择
CIMS项目效益的度量指标要能全面反映CIMS项目实施的效果,而且指标应具有可比性,易于获得和推算。这主要是概念建构有效性的问题,对推断因果关系也会产生影响。
息前资金利税率(不考虑借款利息支出)指标可以反映企业资源的利用效率,而资源利用效率的提高恰恰体现了CIMS项目的实施效益,同时便于推算和比较。
试验组和对照组的选择
将实施了CIMS项目的沈阳鼓风机厂和北京第一机床厂作为试验组。
选择鼓风机制造业中除沈鼓之外的最大四家企业作为沈鼓的对照组企业。选择铣床制造业中除北京一机床之外的最大四家企业作为北京一机床的对照组企业。以对照组企业资金利税率的平均值与试验组企业进行比较。
由于是否实行CIMS项目不是随机分配的,这项研究是具有准实验性质的研究。
研究设计模式
实行CIMS项目就相当于实验刺激,实行CIMS项目前后的资金利税率分别作为前测值和后测值。研究设计模式可视为如下图:
沈鼓和对照企业息前资金利税率历史数据
沈鼓与对照企业的息前资金利税率变化情况
北一和对照企业息前资金利税率历史数据
北一与对照企业的息前资金利税率变化情况
对资金利税率变化的分析
北京第一机床厂从1991年开始实施CIMS项目,沈鼓从1993年开始实施CIMS项目。企业财务指标的变化可以给出对CIMS项目实施效果的初步印象。但仅看实施CIMS项目前后的资金利税率并不能认定CIMS项目的实施效果。因为还有许多因素在影响企业的资金利税率。与对照组企业的对比也不能完全说明问题,因为两者之间原来就存在差异。
影响因果关系干扰因素的识别和排除
在以上实验设计中发现的后测值与前测值之间的差别和试验组与对照组之间的差别都不能直接归因于实验刺激,这是因为,一方面由于不能随机分配,试验组与对照组之间本来存在的差异;另一方面是因为在此其间发生的历史事件等的影响。
以北京第一机床厂为例,北京一机床和对比企业同受到宏观经济环境和行业市场变化等的影响。但北京一机床和对比企业间对于宏观经济环境和行业市场变化等历史事件的响应方式和反应能力原本就存在差异,因此,只要识别出实施CIMS项目前后,两者对于宏观经济环境和行业市场变化等的反应差异的变化,就能识别出CIMS项目实施的影响。
影响因果关系干扰因素的识别和排除
1988~1991年的数据反映了北一CIMS项目发挥作用之前的情况,1992~1997年的数据反映了北一CIMS项目部分发挥作用以后的情况。
以北京第一机床厂的资金利税率为因变量y,以对照企业的平均资金利税率为自变量x,对1988~1991年北一和对照企业的历史数据作回归分析。拟合得回归方程为:
影响因果关系干扰因素的识别和排除
对1992年到1997年的北一和对照企业的历史数据祚回归分析。拟合得回归方程为:
假定对照企业的历史数据反映了宏观经济形势和行业市场变化,△y 就反映了CIMS项目实施所带来的经济效益。
对准实验案例的讨论
在本案例中,由于数据样本的数目较少,对结论还不能完全认定。但上面的分析说明,由于准实验无法用随机分配尽可能排除其它因素的干扰,必须在实验设计中考虑如何加强对可能因素影响的识别和计量,并在结果分析中尽量排除这些影响对因果关系推断的干扰。虽然这一过程不能保证排除所有的可能因素,但经过这一过程,特别是审慎的研究设计与分析,确实可以提高做出因果关系判断的内部有效性。
本章结语
证明变量间的因果关系是很困难的。实验研究主要优越性是它通过随机分组最大限度地排除了其他可能解释,因而具有最高的内部有效性。
准实验研究虽然不能做到随机分组,但如果设计周密,也可以排除大部分干扰因素,具有较高的内部有效性。
科学研究是一个旨在理解各种客观现象的永无止境的事业,为达到此目的,需要对现象之间的相关关系进行不断地度量和检验,在研究设计和分析中要采取有效措施尽可能排除其它可能因素的影响。还需要发挥科学共同体的作用,接受同行的评议和检验,提高研究的内部有效性。
思考题
公司拟新推出一种供大学生消费的方便食品。起来两个品牌名称,准备通过实验研究了解大学生喜欢哪个名称,你如何设计这个实验。
如何控制性别变量?
如何控制年龄变量?(21岁以下;21-25岁,25岁以上)
设计一个准实验,研究影响新创业高技术公司成败的因素。
一个例子是关于成见对群体之间行为影响的研究。要找到相互对立群体之间互相作用的真实生活情景是非常容易的,但是很难在理论上进行解释,因为有多种现实的和历史的因素在共同起作用。为了去除历史、文化、经济报酬上的具体冲突等因素在群体间相互对立方面的影响、我们可以把个人带进实验室并按照某些细小特征(如艺术爱好)分成两个群体。这种分组甚至可以是随机的。就可以对在这样高度简化的情景状态下(在那里唯一的要素是社会分类),就可以对成见对群体之间的行为的影响进行研究。
有些研究是为了调查在某种特殊的状态下实际上发生了什么。例如,要研究人们“从陌生到熟悉”的交谈是一种什么结构?人们在什么时候以及怎样进行自我表现?要回答这样的问题,我们必须寻找和建立相应的情景,这种研究在实验室中可能适合也可能不适合。一对互相陌生的大学生可以在实验室里进行一场“从陌生到熟悉”的交谈,但是其它情形(例如一个组织环境或者一个家庭)则难于调查。显然,关键在于保留针对特定研究目标的理论上的重要因素,而实验室对这样的目的常常不适合。
例如,要求不同的参与者都读一篇易识别的文章(作者是男的或者女的),让他们从几个角度评价这篇文章。结果表明,这种判断与作者的性别有关,而且对女作者的评价不好。评判研究与影响研究的区别是很清楚的:没有什么影响参与者行为的事件发生,参与者只是就某些问题给研究人员提供判断和评价。
例如,研究“陌生人初次交谈一般过程的研究”:实验过程为:以几组互不相识的大学生为实验对象,把他们带到实验室的接待室后离开,并且不能告诉他们实验的主题,通过录相机观察等待通过实验的几分钟内这些学生的行为(例如焦急或厌烦)。
有一项研究的做法是给参加实验的人看一系列照片,每次一张,然后要求参加实验的人判断每张脸上反映了多少成功和失败。研究的组织者事先告诉实验人员正确的判断是什么,同时告诉实验人员,人们对这些照片的判断一般是很成功的。这项研究发现,实现人员有关典型反应的期望会影响参与者的实际反应。
例如,一项关于求助行为的研究需要观察研究对象在某种突发事件出现时产生的求助行为反应。研究人员告诉研究对象他们的任务是要填一份调查问卷,这个“借口”事实上是欺骗性的。当他们在填表时,烟可能开始渗入屋子。又如,研究人员告诉参加实验的人员他们将要看一个某人发表演讲的录像带,要他们对演讲人的技巧和口才作出判断。而实际上研究人员的目的是研究劝说性沟通对改变听众某些方面的态度的影响。再如,研究人员要求参加实验的人员对一些商品的有关信息加以研究,并对商品作出评价。实际上研究人员的目的可能是研究不同的人的偏好。
例如,要研究性别对在某个行业就业的机会的影响,可以让受试者阅读一些人的简历,然后评判他或她是否适合某项工作。给受试者看的个人简历材料是否由真正的工作应聘者提供,这并不重要,只要材料表面上讲得通,受试者一般都能作出判断和评估。但性别这一操作变量之外的其它变量的影响应尽量避免在材料中体现。比如说,在简历上贴上照片,对性别的操作控制就可能会被照片上的其他独特属性所干扰,如长相、表情等。当然,受试人员的性别可能也是一个影响变量,在实验设计中也要考虑尽量排除这种影响。
例如,要研究就业状况与家庭稳定性之间的关系,我们可以提出一个假设,当家庭成员失业时,家庭经济压力和精神压力增大,容易导致离婚和家庭解体。显然,由于我们不能控制就业状态,也就不可能设计一个随机实验来检验这一假设。但我们可以通过对随机抽样的一组家庭进行若干年的跟踪调查,了解这些家庭的就业状况、家庭收入、家庭结构等的变化。根据这些调查,我们既可以通过分析截面数据研究就业状况与家庭结构之间的相关性,也可以通过分析时间序列数据研究就业状况与家庭稳定性之间的因果关系。