管理研究的有效性
管理研究中，有效性（Validity）是被普遍接受的评价研究的指标。这种评价与其说是对方法本身的优劣进行评价，不如说是对研究方法选择与应用是否适当进行评价。
任何理论都是由对有关概念、概念间关系的描述组成，并有其特定的理论背景和应用范围。因此对管理研究的评价，就集中在对有关概念及概念间关系研究的评价上，同时考察理论的背景和应用范围。
研究有效性的类别
研究的有效性（Validity）主要分为三种：
概念建构有效性
（Construct Validity，简称.）；
内部有效性
（Internal Validity，简称.）
外部有效性
（External Validity，简称.）
各种有效性的定义
概念建构有效性是指理论中的抽象概念在多大程度上在实际研究中成功地进行了操作化，即操作变量在何种程度上体现了它想要体现的理论概念的真正含义。
内部有效性是指在多大程度上研究允许得出两个变量之间是因果关系的推断。
外部有效性是指在多大程度上可以将对特定研究样本和在特定研究环境下所得到的研究结果推广到理论假设中所明确的总体和环境中去，因而又可称为可推广性（generalibility）。
三种有效性之间的关系
统计结论有效性
还有一种分类法是把有效性分为四种，即：概念建构有效性；统计结论有效性（Statistical Conclusion Validity,简称.）；内部有效性和外部有效性。
统计结论有效性是指关于变量之间相关变化的统计推论在何种程度上得到证实。对内部有效性则定义为：观察到的相关变化在何种程度上可被认为是因果关系。
概念之间的关系可以表现为相关关系和因果关系，相关关系是因果关系的必要条件。这种分类方法是把前一种分类法中内部有效性的内容分成统计结论有效性和内部有效性两个层次。
一、概念建构有效性
概念建构有效性指的是一种操作化方案在何种程度上反映而且只反映希望度量的概念，而不受其他概念的系统影响。它反映了理论层次的抽象概念与度量抽象概念的操作变量之间的符合程度。
对概念的度量应该是能够量度绝大多数希望反映的概念，而最大程度地避免不希望反映的概念和随机误差的影响。
考察概念建构有效性的必要性
概念建构有效性是理论发展与检验的必要条件。如果抽象概念与它的操作变量之间缺乏一致性，理论也就难以成立和发展。研究如果缺乏概念建构有效性，无论随后的数据分析多么复杂精细，研究的结论也是没有意义的。
概念的操作化过程不可避免地会包括一些不应包括的内容，同时又没有把一部分应包括的内容包括进来，因而管理研究在不同程度上都存在概念建构有效性问题。
概念度量误差的基本来源
概念度量误差的一个基本来源是观测变量对概念内涵反映的不充分和不准确。
操作层次的可观测变量是对理论层次的抽象概念的一种表示。实际上，变量不可能只反映它感兴趣的理论概念，也不可能完全体现理论概念。
对一个变量的度量即使高度可靠，即度量的随机误差很小（实际上，任何度量都不可避免会有随机误差），也可能不具有高的概念建构有效性。因为可能是可靠地度量了其它概念，而不是原来希望度量的概念 。
概念的多操作化定义
度量误差来源举例
如果要研究采用多媒体手段教学与学生学习效果的关系，可以设计一种实验，通过考试测度采用多媒体手段与不采用多媒体手段学生学习成绩的差别，以检验所提出的假设。
学生的学习成绩作为一种操作变量既反映我们希望反映的概念“学习效果”，也会反映不希望反映的概念，如：考试测试了与学习成绩无关的内容：学习兴趣、考试引起的紧张、学生的语言能力和应试经验等，这些都会给测试带来系统误差。
另外，度量中还会有随机误差，如阅卷错误、记录错误等。
组成概念度量值的成份
在概念域界定清楚的前提下，用操作变量对概念进行度量的结果一般由三部分组成：
（1）希望反映的目标概念的内容（真实值）；
（2）不希望反映的非目标概念的内容（系统误差）；
（3）随机误差。
即： X0＝XT＋XS＋XR
其中， X0为度量值；
XT为真实值；
XS为系统误差；
XR为随机误差。
有效性与可靠性的关系
对概念度量有效性的评价包括了两个部分：XR和XS。与XR有关的部分称为可靠性（Reliability，又称信度），指在何种程度上度量避免了随机误差。
广义的有效性是指操作化定义或测试的结果多大程度上能代表要研究的复合概念。本身包括可靠性。
狭义的有效性是指测试结果多大程度上能避免系统误差。此时不包括可靠性。
有效性以可靠性为前提，没有可靠性就没有有效性。在假定度量具有高可靠性的前提下，概念建构有效性主要取取决于系统误差XS 。
概念建构有效性的层次
按照理论在概念建构有效性验证过程中的作用，可以将概念建构有效性区分为：
属性有效性
指在概念建构有效性验证过程中，不考虑理论的作用（理论只用于最初定义概念），在理论的真空中考察概念与其度量变量之间是否一致，属性有效性是内部的。
基于预期的概念建构有效性。
指对概念的度量是否与根据理论推演出的预期结果一致。基于预期的概念建构有效性可看作是外部的。
属性有效性
属性有效性包括：
表面有效性（Face Validity）；
内容有效性（Content Validity）：
会聚有效性（Convergent Validity） ；
差别有效性（Discriminant Validity）
广义的属性有效性还包括 可靠性（Reliability），可靠性指度量在何种程度上避免了随机误差，可靠性是有效性的必要条件。
表面有效性和内容有效性
表面有效性是指由一组专家做出判断，确定一种度量方法是否确实度量了它名义上要度量的概念。表面有效性评估是个主观过程，但它通常是有效性评价的先决条件，观念度量多数情况下必须首先通过表面有效性检验。
内容有效性指度量是否包括了足够有代表性的项目集来度量基准概念。度量方案中的项目越充分地代表了待测概念的概念域，就越具有内容有效性。
会聚有效性
度量同一概念的不同方法之间的重合程度用会聚有效性（Convergent Validity）表示。
会聚有效性表明用不同方法度量同一概念所得出的度量结果的相关程度。反映使用不同方法度量同一概念所得出的度量结果之间的一致性。
不同度量方法有着互不相关的不同的误差来源（理想状态下，不同度量方法之间应不具有共同的干扰因素），但度量同一概念的不同变量应高度相关。
差别有效性
度量不同概念的不同方法之间的差异程度用差别有效性（Discriminant Validity）表示。
差别有效性反映拟度量不同概念的变量之间不相关的程度，表明了拟度量不同概念的变量在何种程度上度量了相异部分。
度量某个概念的变量不应与度量不同概念的其它变量相关，否则可能说明该变量和其他变量度量了共同的其他内容而非该变量希望度量的概念。
基于预期的概念建构有效性
基于预期的概念建构有效性包括：
维度有效性（Dimension Validity）
理论有效性（Nomological Validity）
相关标准有效性（Criteria-Related Validity）
维度有效性和理论有效性
维度有效性指度量结果显示的维度是否与理论对概念界定的维度认识一致。
概念作为理论的构件，根据理论的定义和推演，与理论中的其他概念形成一系列的相互关系。理论有效性是指用于度量的操作变量之间的关系是否与理论中描述的相应概念之间的相互关系符合。
相关标准有效性
某些度量能够（或者其目的就是）对某些相关变量（称为标准变量）做出推断和预测，相关标准有效性指度量结果是否有助于推断或预测其它的相关变量。
例如，对新员工考试是为了预测该员工未来的工作绩效。如果发现在考试成绩与工作绩效之间确实存在较高的相关关系，则该度量具有相关标准的有效性。
对应于相关标准变量发生时间在过去、现在和将来，相关标准有效性又分别称为：
历史有效性（Postdictive Validity）；
并行有效性（Concurrent Validity）；
预测有效性（Predictive Validity）。
评价概念建构有效性的思路
度量同一概念的不同变量间应具有高相关性。
所有操作变量与概念有关的部分称为公共核。如果所有变量都来自同一个概念域，则这些变量的度量结果应该高度相关。当随机误差为零时，它们应完全相关。
度量不同概念的不同变量间应缺乏相关性
度量某个特定概念的变量不应与度量不同概念的其他变量相关，否则可能说明该变量和其他变量都具有共同的系统误差。
如果度量同一概念的变量中有某些变量不是来自正确的概念域。不同变量的度量结果之间相关性必然低。如果某变量完全不能度量目标概念，假定不同变量包含的系统误差来源不同，该变量与其它变量的度量结果应完全不相关。
评价概念建构有效性的要点
（1）明确目标概念的外延及维度，明确与概念有关的可观察变量的范围，哪些变量可以度量目标概念，各个变量分别可以度量目标概念的哪些方面，以及各个变量可能反映哪些目标概念之外的内容；
（2）通过经验研究和统计分析，确定不同度量方法在多大程度上度量的是同一抽象概念，或者在多大程度上度量的是不同概念。
（3）通过控制性实验和调查研究等方法，确定与概念对应的变量产生的结果在何种程度上与和该概念有关的、并与得到广泛认可的理论结论相一致，度量是否与预期的结果相符。
会聚有效性评价
科学研究的一个基本原则是任何特定概念应该可以用多种不同方法分别度量。否则研究者无法知道测得的结果是基准概念还是度量过程本身的产物。
度量的会聚有效性说明用不同度量方法度量同一概念的度量结果在何种程度上共同变化（Conmon Variance），
会聚有效性要通过判断不同度量方法的度量结果之间是否具有高相关性来评价。
差别有效性评价
差别有效性表示对一个新概念的测度在多大程度不是由测度变量与别的变量的相关性导致的。
差别有效性要通过判断该度量方法与用来测度不同概念的其它方法之间是否缺乏相关性来评价。
用来评价会聚有效性和差别有效性的常用方法是多属性－多方法矩阵。该矩阵的元素表示分别用不同的方法对不同的属性进行度量的结果相互之间的相关系数。产生多属性多方法矩阵的方法和属性应该尽可能独立。
会聚有效性和差别有效性评价举例
为了测度学校教师对MBA教育的看法，设计一种书面问卷进行抽样调查，问卷的项目是向被访问者提问对开展MBA教育所带来的各种影响的态度，如MBA教育的社会影响、开展MBA教育对学校地位的影响、MBA教育对学术研究的影响等，用1分到7分别表示从不满意到满意，各项得分加总作为受试者对MBA教育的测量值。为了评价该度量的会聚有效性和差别有效性，引入另外两个概念：对学校住房制度的态度和对校园环境的满意程度，同时采用不同的度量方法（如访谈或电话采访）。
多属性－多方法矩阵
多属性－多方法矩阵说明
矩阵元素表示分别用不同的方法对不同的属性进行度量的结果之间的相关系数。矩阵由4种元素分块组成，分别在分块左上角用数字标识：
① 可靠性对角；
③ 有效性对角；
② 异属性－同方法三角形；
④ 异方法三角形。
通过分析各分块中的数据可以对度量的可靠性、会聚有效性和差别有效性进行评价。
多属性－多方法矩阵说明
可靠性对角①中的数据反映了用方法1对三种态度分别度量的可靠性。它表示用同种方法对同一属性进行多次度量时，测度结果间的相关程度，也可以用显著性水平参数α代替。
有效性对角③描述了度量的会聚有效性，即：使用不同方法度量同一概念所得出的度量结果之间的一致程度。相关系数显著地区别于零并且足够大表明度量有较高的会聚有效性。图中的有效性系数分别为，和，显著性水平。
多属性－多方法矩阵说明
评价差别有效性需要进行三种比较：
（1）有效性对角③中的相关系数应该大于异方法三角形④中处于同行或同列的相关系数。它表明对同一属性用不同方法进行的度量结果间的相关关系应该高于属性和方法都不相同的两个度量之间的相关关系。这是最起码的要求，图中的数据满足了这个条件。
（2）有效性对角③中的相关系数应该高于异属性－同方法三角形②中的相关系数，这表明用不同方法对同一属性的度量间的相关程度必须高于用同种方法对不同属性的度量间的相关程度。这是一个更加严格的要求，图中数据满足这个要求。
（3）所有的异属性－同方法三角形②和异方法三角形④中的相关关系模式应该相同。这可以通过在每个异属性三角形中对相关系数进行排序检查。图中的数据基本满足这个要求。每个异属性三角形中，相关系数的符号模式一致，相关系数的大小顺序也基本一致。
基于预期的概念建构有效性评价
概念建构有效性也可以通过判断度量的结果是否与根据有关理论等对概念所做出的预期之间的一致性来评价。
概念建构的维度有效性评价
可以使用因子分析（因子分析是用少数几个可观测随机变量描述不可观测的假设变量之间的协方差关系的数学方法）等方法对度量结果进行分析，如果发现由可观测变量度量的维度与理论上概念的维度一致，则说明度量具有维度有效性。
维度有效性评价举例
为了考察学生在阅读理解、数学抽象思维和艺术形象思维等方面的能力，给出一份包括50道题的试卷。阅读理解、数学抽象思维和艺术形象思维能力是不能直接观测的，而对试卷中每道题回答的成绩是可观测的。将对每道题回答的成绩作为一个可观测变量，如果分析表明这些成绩能够反映想要测度的阅读理解、数学抽象思维和艺术形象思维能力，则认为这种考试具有维度有效性。
概念建构的相关标准有效性评价
分析度量中使用的可观测变量与要预测的标准变量之间的关系，如果发现在度量变量与要预测的标准变量之间存在较高的相关关系，则该度量具有相关标准有效性。
例如，研究生入学考试是为了选拔培养具有创新能力的研究人才，设置了数学、英语、专业基础和专业课程等考试科目。如果分析表明某科目的入学成绩与学生入学后的学习能力、研究能力或毕业后的开拓创新能力之间有较高的相关关系，可以证明该科目考试具有较高的相关标准有效性。
概念建构的理论有效性评价
会聚有效性和差别有效性只能说明不同方法测量的是同一或不同概念，不能保证这个概念就是希望测量的概念。度量同一概念且具有高相关性的不同方法所度量的可能不是所希望度量的概念，而是另一个无关概念。
概念建构涉及问题的界定、概念定义和概念域界定等理论层次，一种理论的建构通常需要其它理论的支持。我们可以把希望度量的概念与其它多个概念相联系，并且引入已被仔细考察的理论和假设推演出概念之间的相互关系，通过比较理论层次和经验层次的关系模式，考察度量结果与理论推演结果的一致性来检验概念建构有效性。
理论有效性
理论有效性评价的逻辑结构
概念建构理论有效性检验在逻辑上是基于以下四个独立假设：
① 概念A与概念B具有相关关系；
② 变量a是对概念A的有效度量；
③ 变量b是对概念B的有效度量；
④ 变量a与变量b相关；
其中只有假设④是能直接被经验数据所证明的。要论证变量a是否是对概念A的有效度量，就必须假定假设①与假设③是正确的，即变量b是对概念B的有效度量，而且概念A与概念B之间的相关关系是真实存在的。这种检验方法将对概念建构有效性的验证与整个理论的发展和证明结合了起来。
影响概念建构有效性的因素
影响概念建构有效性的主要因素有：
操作化前对概念的不适当界定；
操作化过程中操作变量选择的不适当；
单一操作方法（或变量）的偏差；
单一度量项目的偏差；
对概念之间的非线性关系缺乏认识或处理不当而作不适当的线性外推；
调查过程中被调查者对问题的错误理解；
要提高概念建构有效性，需要对整个研究进行过程控制，在每一个环节注意避免和减少系统误差和随机误差。
提高概念建构有效性的过程控制方法
提高概念建构有效性的要点
在操作化之前对概念的界定要清楚，这是进行有效研究的前提。
采用多项目度量方法，即采用多个变量度量同一概念，这种方法也称为操作多元化。操作多元化有助于克服单项目度量存在的度量项目与被测概念之间相关度可能较低而与其它概念则可能会有一定的相关性的弱点，并且能更精细地划分待测概念的属性，提高度量精度和度量的可靠性。
重视统计口径的统一、数据的可比性、数据收集方法设计和具体实施过程的科学性和严格性，以保证获得高质量的信息。
二、内部有效性
因果关系
因果关系是指一个概念的变化引起另一个概念的变化，作为原因的变量称为自变量（independent variable），作为结果的变量称为因变量（dependent variable）。
管理研究假设的多数命题是因果关系命题，这是由认识因果关系在理论推演和实际应用中所具有的特殊作用决定的。对因果关系的研究是研究概念间关系的核心。
相关关系是因果关系成立的必要条件，对相关关系的研究可以归入因果关系研究中去。为推断因果关系成立必须尽可能避免假因果关系的干扰。
因果关系推断方法
因果关系的推断，可以采用理论演绎的方法，但必须依靠一定的公理和假设，而公理和假设同样需要经验的验证。
推断因果关系的常用方法有：求同法、求异法、求同求异并用法、共变法和剩余法。
（1）求同法
一些现象在几个场合出现，而且这些场合中只有一个唯一的共同情况，那么这个唯一共同的情况与这些现象之间就有因果关系。
因果关系推断方法
（2）求异法
考察两个场合，被研究现象在一个场合出现，在另一个场合未出现，而这两个场合中又只有一个不同的情况，那么，这个唯一不同的情况与被研究现象之间有因果关系。
（3）求同求异并用法
观察两类场合，在被研究现象出现的一些场合里存在某个共同情况，在被研究现象未出现的一些场合里，没有这个共同情况，那么这个共同情况同被研究对象有因果联系。
因果关系推断方法
（4）共变法
考察的几个场合中，有关的几种情况中有一种情况不断变化进而引起被研究对象不断变化，那么这个唯一变化的情况与被研究现象有因果联系。
（5）剩余法
几种情况出现导致几种被研究现象出现，断定某些情况与某些现象有因果联系，那么剩余的情况与剩余的现象也有因果联系。
因果关系的经验验证
在管理研究中，要确认概念间的因果关系推断，一要通过理论本身的内部一致性检验，这是依靠逻辑和数学论证的严密性和完备性来保证的，二要通过经验层次的验证，这要依靠对数据的客观分析来证实。
经验验证是用变量作为理论概念的近似指标通过对变量间关系的度量与分析去发现概念间的相关关系的。
因果关系的经验验证
因果关系存在的第一个标准是自变量在时间上要先于因变量。实践中这通常并不会给确定因果关系造成困难。
因果关系存在的第二个标准是两个变量之间存在着相关关系。判断经验数据相关关系的数理统计方法已经比较成熟，但在实际研究工作中，几乎所有的变量之间都有某种程度的相关，确定在何种程度上可以接受或拒绝假设是一种人为的规定。一般来说，只有具有显著的相关关系，统计结论才是有效的。
变量间相关系数对研究的意义
变量间相关相关程度越高统计结论越有效。然而，这并不表示在具体应用时就没有其他因素来决定度量的有用性。
有时尽管相关程度较低，但在实际应用中的效果也可能是巨大的。
例如：一家公司对推销人员进行业务培训，他们发现推销人员年销售额与培训的相关系数为，从这两个变量的分布看，如果对全体推销人员进行业务培训，可以使产品的年销售额增加10％。这个差异可能使濒临倒闭的公司变成赢利较高的企业。
变量间相关关系经验验证的四种情况
从经验数据得到的有关变量间是否存在相关关系的结论有时可能与事实不一致，因而是错误的。
从经验数据得到的结论与事实之间的关系通常有四种情况：
（1）经验数据与事实都支持变量间的相关关系；
（2）经验数据与事实都反对变量间的相关关系；
（3）经验数据支持而事实反对变量间的相关关系；
（4）经验数据反对而事实支持变量间的相关关系。
变量间相关关系经验验证的四种情况
导致经验验证错误的可能因素
经验数据的统计有效性差，相关程度低，这容易引起第二类错误，把真实存在的相关关系否定掉；
取得经验数据的方法违背统计测试的假设；
研究者主观因素的影响，研究者往往带有不自觉的主观性，一般都希望假定的相关关系是存在的。研究表明，研究者容易犯偏向支持假定的相关关系的错误，这就增加了发生第一类错误的可能性。
测量的可靠性差，即测量过程中未能有效地消除随机误差。例如，在调查研究中。缺乏统一标准，每次调查的方法或项目不完全一样。
因果关系的经验验证
变量间存在因果关系的第三个标准是变量之间的相关关系不是由于其它因素导致的。
在实际研究工作中，这一条件较难满足。这是因为，人们常常会受到假因果关系的迷惑，曾有人用中国的消费资金作为被解释变量，用苏联人口作为解释变量建立起拟合优度为的方程。
要证明变量之间某种因果关系的存在，需要排除各种可能的其它解释，而要排除所有其它可能解释是很困难的。
影响内部有效性的因素
要保证研究的内部有效性，关键是在研究设计和分析中要尽可能排除其它可能因素的影响。
影响内部有效性的因素主要有：
（1）选择偏差
（2）研究对象的成熟过程
（3）研究对象对研究本身的反应
（4）研究对象状况的变化
（4）历史事件
（5）度量工具的变化
（6）统计回归
（7）研究者自身的原因
选择偏差
选择偏差是指用以比较的研究对象在一开始可能就是有差别的，因而观测结果的差异并不一定是假设的原因导致的。这种由研究对象选择偏差导致研究结果不可靠，叫作内部有效性的选择误区。
避开选择误区的关键是使研究对象初始状态一致。排除一切可能造成研究结果差别的原因。为达到这个目的，通常采用“随机设置” 的方法。
研究对象对内部有效性的影响
研究对象的成熟过程：
人在不断变化，研究对象会逐渐熟悉研究内容，这些变化会影响时段较长的研究的结果。
研究对象对研究本身的反应
如：迎合研究者；刻意表现；相互模仿；竞争；放弃等。。
研究者对内部有效性的影响
研究者自身的一些原因也会导致研究的内部有效性降低。这些原因主要包括：
观察不准确；以偏概全，把少数情况当成普遍模式；
观察片面，一旦人们认为某种模式存在，就会特别注意那些与此模式相符的事实而忽视不符的事实；
信息推理，当科学观察与原先假设有出入时，人们往往寻找理由来解释；
非逻辑推理，如“赌徒幻觉”，假定长时间输后必赢；在对现象的理解中自我介入；
过早结束研究；将难以解释的因素神秘化等等。
研究过程中的变化对内部有效性的影响
历史事件
在研究前或研究过程中发生的其他事件可能影响研究结果。
度量工具的变化
如果前后两次测验的度量方法或度量指标不同，也会影响研究结果。
研究对象在研究完成之前因故退出
三、外部有效性
管理研究的根本目的是为了解决人们在经济和社会活动中遇到的管理问题。管理研究面向实践的特点要求研究者尽可能地将其研究结果推广到更加广泛的应用范围。
任何理论假设都有其一定的理论背景和前提假定，管理研究中对理论假设的经验研究又都是在一定的研究条件和背景下进行的。因此，管理研究面临着是否可推广（generalizability）、可在多大范围推广的问题。即：能否将在特定研究环境下针对特定研究样本的研究结果推广到理论假设中所确定的主体和环境中去，研究结果所支持的理论可以在多大范围内应用。
外部有效性
评价研究结论可推广度的标准称为外部有效性（External Validity）。
一般来说，研究者在进行研究时，总是希望研究最终的结果能够超越具体的研究背景，而能在更广泛的背景条件下成立，即具有最大的外部有效性。外部有效性直接影响到社会关系理论的普遍意义和应用范围。
影响外部有效性的主要因素
研究对象的因素
所选取的研究样本人群与理论要推广到的整个人群相比所具有的特殊性。
背景因素
研究背景与理论假设中要推广到的环境之间的差别。
时间因素
研究时间段与理论要推广到的时间段之间的差别。
研究结论可推广的必要条件
理论的初始假设和初始条件应具有合理性，越接近现实，理论才越能具有广泛的应用范围。
研究设计应保证研究结论能从具体的研究样本、研究背景推广到理论中的总体和其它背景。
通过对不同对象，在不同时间、背景下由不同研究者进行的重复研究，可以验证理论的外部有效性。如果不同的重复研究结论具有一致性，将提高人们对研究外部有效性的信心，这样的研究也就具有更大的可应用性。
研究成果推广的形式
研究成果的推广有两种形式：
效果推广（effects generalization）
指把经验研究得到的结论直接应用到其它背景下的事件中去，把从样本中得到的结论推广到样本所在的总体中去。
理论推广（theory generalization）
指的是用研究得到的科学理论来解释在其它背景下发生的事件，与理论推广有关的外部有效性涉及到研究理论的应用范围。
效果推广的外部有效性
与效果推广有关的外部有效性涉及研究设计中的抽样方案及其实施。
在研究设计中确定抽样方案时，应该明确研究希望推广到的范围，即：理论假设中所涵盖的人群范围和环境。
为了提高样本对总体的代表性从而增强研究的外部有效性，管理研究必须特别注意抽样方案的设计和实施，特别是抽样方法的选择与样本容量的保证。
对于效果推广来说，提高外部有效性最有效的方法是随机抽样。
随机抽样及其优点
随机抽样的基本原理是：如果总体中的每一个成员及其组合都有同样的机会被选入样本，从这一总体中抽取的样本就能够代表总体。
随机抽样包括简单随机抽样和分层随机抽样，但为降低研究成本，也可采用分群抽样。
随机抽样有两个优点：
第一，随机抽样得来的样本虽然不能完全精确地代表总体，但由于避免了偏差，随机抽样的样本比其它类型的样本对总体更具代表性。
第二，采用概率论方法可以对样本的精确性和代表性做出估计。
相关关系推广的有效性
相关关系推广的有效性是指在样本数据中发现的两个变量之间的相关关系是否可以推广到总体中，即两个变量相关与否的结论与真实世界在何种程度上一致。
从经验数据得到的有关变量间是否存在相关关系的结论有时可能与真实世界的事实不一致，因而是错误的。通常用显著性水平来衡量犯错误的可能。
对效果推广的评价，主要是用数理统计理论评价抽样设计和相关关系，并通过改进抽样方案，提高置信水平，来增强研究的外部有效性。
研究成果的理论推广
由于定性研究不使用随机抽样方法，不能像定量研究那样将从样本中得到的结果推广到从中抽样的人群，定性研究不能使用定量意义上的推广有效性的概念。
定性研究的目的不是期望通过对样本的研究找到一种可以推广的普遍规律，而是通过对现象进行深入细致的研究，再现其本质。对现象的研究越是深入到本质层面，就越有可能对处于类似情形的人和事起到一种解释的作用。这种解释在定性研究中被称为理论推广。
理论推广的有效性
由于理论具有一定的抽象性和概括性，从研究结果中提升出来的理论可以对同类具体事物具有一定的解释和论证力。
对于理论推广来说，提高外部有效性的方法是在不同的时间、背景下对不同的对象群体重复实验和研究。这样的研究可能不是由一个研究者（或研究小组）完成的，而可能是由许多科学家对同一研究课题在不同背景下进行多项重复研究，从而逐步提高研究结果的外部有效性。
内部有效性与外部有效性的权衡
管理研究中常会遇到内部有效性和外部有效性难以兼顾的矛盾。
解决上述矛盾的关键在于明确研究的目的，即研究是侧重于发现变量间的因果关系，还是更注重研究结论在现实世界的推广。
如果对内部有效性的要求高，可以考虑采用人造环境的实验研究，以尽可能地控制对因果关系推断的干扰因素。
内部有效性与外部有效性的权衡
如果更注重研究结果在现实环境的应用，应该选择现场研究。
如果要研究的是现实环境中因果关系的应用，可以先进行实验室研究，在确信具有满意的内部有效性后，再进一步通过现场研究检验自然环境下的因果关系，这样可以达到相对较高的外部有效性。
要说明的是，自然背景下的研究的外部有效性并不一定大于实验背景下的研究，外部有效性的大小要视进行研究时的具体情况而定。
有效性概念的扩展应用
有效性的概念也可以进一步推广到纯理论研究中去作为理论研究评价的标准。
这里的纯理论研究主要是指以从现实中概括抽象或创造想象出来的基本关系、基本假设为基础，进行逻辑演绎的过程。
纯理论研究所得到的结论，仍然是一种假说，最终需要得到经验数据的检验。
在纯理论研究中，由于假设不依赖经验数据证实，因而有效性概念需做一些修正。
纯理论研究的有效性
纯理论研究的概念建构有效性要通过理论体系的证明而获得检验。
纯理论研究的内部有效性取决于初始假设的真实性和逻辑、数学论证的严密性。
纯理论研究的外部有效性指用研究得到的理论来解释在具体背景下发生的事件的能力。决定外部有效性的是理论研究的初始假设、初始约束、边界条件与真实世界的符合程度。
可以看出，纯研究的关键在于初始假设、初始条件的设置合理与否，作为论证基础的初始假说的真实程度和逻辑、数学论证的严密性。
纯理论研究中概念测试有效性的评价
如果所研究的概念A与另一概念B存在一种理论上的相关性，则可将概念A的测试结果与假设有效的概念B的测试结果进行比较，从而评估概念A测试结果的有效性。
例如，“企业绩效”这一概念包括利润率，销售增长率，资产增长率等。如果有一种理论认为企业绩效是 “企业竞争力”的构成因素之一，那么 “企业绩效”的测试结果与“企业竞争力”的测试结果之间应该具有一致性。这种评价方式类似于会聚有效性评价。但这里的“企业竞争力” 测试结果已知且假定是有效的。
参数受控研究
在许多研究工作中，研究人员对某些参数往往不进行测定而是进行设定。即：事先控制某些参数使之处于某种状态，然后在此基础上研究问题。我们称受到控制的参数为受控参数。
比如，要对某人进行数学能力测试，控制有效性对考试的态度显然是一个参数，如果采取某些方法和手段使控制有效性严肃认真地对待考试，则考试态度这一参数就成为受控参数。
参数控制有效性评价
要保证参数受控研究测试结果的可靠性及有效性，前提是要确保受控参数的值符合预先的设想。也就是说，要保证参数控制的有效性。没有控制有效性的保证，测试结果可能没有任何意义。
参数控制有效性的评价可以采用会聚有效性及差别有效性评价的原理。实际运用中的一般作法是只进行会聚有效性的审核。差别有效性的审核在操作上有一定的困难。
对管理研究评价标准的认识
有效性可以作为评价管理研究科学性的标准。必须注意，有效性通常是一个度的问题，而不是非有即无的问题。
在管理研究中保证研究的有效性是一个不断完善的过程。新的证据可能会引起对原有研究方法的修正，或需要开发出一种新的方法来满足研究的要求。研究就是在这种方法的修正与开发过程中逐步完善，并获得更高的有效性的。
对管理研究评价标准的认识
不要只把有效性看作评价研究工作的标准，更重要的是有效性应该成为指导和进行研究工作的观念和思想，这样才能充分发挥包括可靠性理论在内的有效性理论的作用，进行更加科学有效的研究工作。
除了评价研究的科学性外，还应重视其它一些指标，包括研究的实际应用价值，研究的资源投入、资源利用的效率等，要重视研究的简单性原则。
管理研究中存在的伦理道德问题、研究可能产生的社会影响等，也应该成为研究评价的内容。
控制方法的基本内容包括：进行概念定义，参考有关文献明确概念域中包括什么和不包括什么；在文献研究和经验调查等的基础上生成用来度量概念的项目（变量），产生一个度量设计；试收集数据，测算各度量项目度量结果之间的相关系数，以判断测量项目间是否具有内部一致性，测算度量结果的显著水平参数α，判断度量是否具有满意的内容有效性，通过因子分析等方法确定度量的维度与概念维度是否一致，在此基础上对度量项目作进一步筛选；再收集数据，测试度量结果的α参数，评价度量的可靠性；在具有满意的可靠性的情况下，用多属性多方法矩阵评价会聚有效性和差异有效性；根据有关理论和预期，评价相关标准有效性和理论有效性；确信度量具有较高的有效性后，再对度量结果作统计描述，计算其均值、方差等参数。这些步骤中每一步都需达到满意的指标，若不能达到要求则需要返回到以前的步骤进行必要的修正，直到达到满意的标准再进入到下一步。这样，一个抽象概念就通过有效的度量表现为经验变量，并且可以进一步考察变量之间的相互关系了。
例如，要研究工作环境改变对工人的劳动生产率的影响，可选取一个试验组与一个控制组进行比较，改变试验组的工作环境，观察工人的劳动生产率是否发生变化。这样做的前提是，试验组与控制组之间必须是可比的，否则比较将没有任何意义。进入试验组的工人，可能最初的劳动生产率就高于在控制组的工人，这样实验后发现的劳动生产率差异可能早已存在，而不是由工作环境改变导致的。即使两组工人最初的劳动生产率相同，也可能正以不同的趋势和速度变化。如果试验组工人的劳动生产率本来就增长的更快，即使工作环境没有改善，在最初与控制组劳动生产率相同的情况下，经过一段时间后也会表现出更高的劳动生产率。
