调查研究中的非抽样误差
——抽样框误差和无回答误差研究综述
柯惠新 郑丽 陈洲 南隽 马广斌 北京广播学院 点击数: 184
内容摘要:抽样调查的质量一直是调查研究者和从业人员非常关注的问题。而调查误差是影响调查质量的主要因素,它包括抽样误差和非抽样误差。国内外对于抽样误差的研究比较成熟,相比较而言,对于非抽样误差的研究还很不够,所以深入研究非抽样误差具有重大的学术意义和实际价值。本文回顾总结了国内外非抽样误差的研究情况,指出了研究的不足,提出进一步研究的方向和建议,希望能对致力于调查研究的专业人士和广大从业人员有所帮助。
关键词:非抽样误差,抽样框误差,无回答误差,计量误差
随着调查应用的日益广泛,它的质量问题越来越受到调查统计的专家、学者和从业人员的重视。学界和业界普遍认识到调查误差是影响调查质量的最主要因素,并且对此做了很多研究。调查误差主要包括抽样误差(Sampling Error)和非抽样误差(Nonsampling Error),抽样误差是由于调查设计时有意识地只研究总体中的一部分,由部分推断总体,从而产生的误差;非抽样误差包括了除抽样误差以外的其它所有调查误差(Judith T. Lessler& William D. Kalsbeek, 1992:6)。由于抽样误差是可以事先计算并加以控制的,国内外对于它的研究已经比较成熟。相对而言,非抽样误差的研究工作还不够充分,主要是因为它十分复杂并且不易被测量。因此,深入研究非抽样误差具有重大的学术意义和现实意义。
一、非抽样误差的分类、来源及其研究历程
非抽样误差在各种调查中普遍存在,例如抽样调查、重点调查、典型调查和普查等。它可能发生在调查的从计划、实施和数据处理的每一个环节(吴国培,1993:123-124;金勇进,1996:1;冯士雍,1998:301-302;柯惠新,2003:104-105;胡健颖、孙山泽,2000)。具体而言,在研究设计过程中,非抽样误差主要来源于:问卷设计的缺陷、抽样设计缺陷(主要是抽样框问题)以及数据分析计划的设计不当。在数据收集过程中,它主要来源于:样本抽取过程中的问题(没有按计划抽样等)、调研工作人员的失误(或记录失误或有意诱导引起调查数据失实,也包括被访者拒绝或提供虚假的数据)和计量工具或测试方法本身的缺陷而引起的误差。在数据汇总和处理过程中,它主要来源于:数据审核、编码和录入,某些数据的换算、数据资料在使用时的误差等(柯惠新,2003:105;吴国培,1993:124)。
非抽样误差的概念是由国外学者在20世纪初提出的。K. 皮尔逊于1902年首次讨论了非抽样误差这个概念(卢宗辉,1998:143)。然而,大多数的学者(Judith T. Lessler& William D. Kalsbeek, 1997:4;金勇进,1996:1;杨宝慧,2000:4)认为,Bowley是较早提出非抽样误差问题的代表人物。因为他在1915年作的关于就业和贫困问题的报告中,首次提到了影响调查质量的四个误差来源,其中包括了非抽样误差因素。在1926年的ISI会议上,Bowley再次强调了控制多种误差来源的必要性。此外,学者们还提到了Deming,肯定了他在1944年提出的“影响一次调查最终有用性的因素”的分类,认为他的分类虽然不完全,其各部分也并不互斥,但是这一分类比近20年前Bowley提出的分类广泛得多,而且很好地阐明了当试图估计和控制调查误差时应考虑的因素。
但是,在概念提出后的近四十年时间里,国外学者们对非抽样误差问题的研究一直处在探讨和概念宣传阶段;40年代以后,才逐渐展开具体的专题性研究。从80年代,特别是90年代至今,学者们加快了非抽样误差研究的步伐,并已取得较多的成果,在这一领域,国外学者一直居于领先的水平。国内学者,在八十年代末九十年代初,把非抽样误差的理论和方法介绍到国内,九十年代中期较多的研究者加入到了研究和应用的行列,取得了一定的学术成果。
现有研究表明,非抽样误差可以归为三种类型:抽样框误差(Frame Error)、无回答误差(Nonresponse Error)和计量误差(Measurement Error) (Judith T. Lessler& William D. Kalsbeek, 1992;金勇进,1996;冯士雍,1998;柯惠新,2003等)。它又可以进一步分为随机误差和系统误差,其中主要是系统误差,即系统偏差(柯惠新,2003;冯士雍等,1998;卢宗辉,1998等)。
由于篇幅所限,本文将集中介绍国内外对于前两种类型的非抽样误差:抽样框误差和无回答误差的研究现状,而对于计量误差的研究综述将另行发表。
二、抽样框误差(Frame Error)的研究现状
“抽样框误差”是非抽样误差的一个重要的部分。而目标总体中的单元与抽样总体中的单元如果不一致,就会产生抽样框误差(冯士雍等人,1998:303;金勇进,1996:10)。
(一) 国外的研究情况
国外关于抽样框误差的研究是比较早的和系统化的。
1、抽样框的相关概念
学者们在不同时期对抽样框的定义有不同的侧重点,有的侧重强调抽样框是一个可识别元素的有限的集合,这个概念构成了总体并被用于抽选样本(Zarkovich,1966:97);也有研究者们则提出抽样框为抽样单位的名单,至于抽样单位则认为是总体中元素没有交叉重叠的集合(Scheaffer,1979);还有研究者的定义比前两种定义增加了“联系规则”这一概念,他们认为抽样框为通过抽样单位的名单、报告单位的目标总体、以及联接这两个集合的联系规则。而且这种联系规则允许在具有已知概率的一组列举的抽样单位的抽选和具有已知概率的报告单位的抽选之间建立一种联系。值得注意的是他们并没有直接使用“抽样框”这个词,虽然他们表达的是同样的意思(Hansen,1963)。
Lessler和Kalsbeek(1992)对抽样框所下的定义是比较被人们所认可的,他们认为,抽样框是由识别、区分和接近目标总体元素的材料、程序和方法所构成。抽样框是由有限个单位的集合所组成,对此可以进行概率抽样。
对抽样框如何进行分类方面,Essen(1978) 提出了“可混合的客体抽样框”和“计数抽样框”这两个概念。这两个概念都表现了抽样单位和目标单位简单的一对一联接,前者是指抽样框由一组有形的抽样单元组成,其中每个抽样单元都与一个目标元素相联接,把这些抽样单位混合在一起,用以模拟随机化过程。后者是指由一组按一定的顺序排列,但未编号的有形单位组成,通过计数可以识别一个具体的单位。Essen同时指出,如果一个序列名单抽样框包括了一组有编号的目标总体元素的名单,那么这样的抽样框通常被认为是理想的类型,因为所有的目标元素都在框中,总体元素个数是已知的,因而可以采用随机数字表,方便地抽出随机样本。而完整地对抽样框进行分类研究的是Lessler和Kalsbeek(1992)。他们提出根据抽样框单位与目标元素之间的联系,每一种抽样框都可被归入以下四种类型:⑴一对一的结构;⑵一对多的结构;⑶多对一的结构;⑷多对多的结构。他们指出很多的时候进行一项调查上面所列的几种抽样框会同时存在。在一对一和多对一的连接中,某个总体元素的入选概率与和它相联系的抽样框单位有相同的入选概率;但在多对一和多对多的情况则是比较复杂,后者被称为复合联接。
2、抽样框误差的来源
抽样设计、抽样框本身的缺陷和错误,以及错误地使用抽样框都会造成抽样框对估计量的误差影响。Lessler与Kalsbeek(1992)考察了非抽样误差中抽样框误差所造成的巨大的影响,认为调查中的抽样框的任何类型以及其中的任何缺陷都会影响调查的总误差。他们指出,如同调查设计中其它因素一样,对抽样框的选择必须建立在这样的基础上,即应该评价构造和使用该抽样框的费用,以及采用该具体抽样框时调查估计量的总误差。
以下的分析综合了现有文献中所能查到的专家们对抽样框误差的主要七种来源的研究情况。
(1)丢失目标总体单元
丢失目标总体单元是抽样框误差中最严重的问题,因为无法从样本或抽样框中发现丢失目标总体元素所造成的误差。丢失目标总体单元也被称为“涵盖不足”。
Eckler和Pritzker(1951:31)使用“覆盖检查”这个词来表示对调查中漏计和重复计算的情况进行的检查;Zarkovich(1966)则将普查中丢失的人数称为“净漏查”。“净涵量不足”则被他们类似地认为是指抽样框中丢失的总体单位的数量。丢失的总体单位可以是人,也可以是其他类型的被调查单位。不过这种不同的用语在文献中并不总是一致的,涵盖不足也可以指普查中的漏查。系统地对何谓丢失目标总体单元进行定义则是由Lessler和Kalsbeek(1992:54)完成的。他们认为,抽样框可能因为不完全而小于目标总体从而产生了偏差,造成偏差的原因,即抽样框小于目标总体就被称为丢失目标总体单元。这样的话抽样框就没有穷尽目标总体,一些单元从而成为遗漏单元或缺失单元(missing elements)。
(2)不可达的元素
Lessler和Kalsbeek(1992:86)指出,很多情况下我们知道某些目标元素确实存在,但根据抽样框的信息无法找到它们,这就是不可达的元素。这和丢失单位的情形很像,区别在于这里的丢失的目标元素是已知的。
(3)包含非目标总体单元
包含非目标总体单元也可称为“过涵盖”。这时抽样框不是小于目标总体,而是包含与目标总体有不相同的部分。这种偏差的影响很大,但是潜在威胁却通常会小一些。因为可以在调查中辨认出非目标元素并把它们剔除。
Hansen等人认为过涵盖这种情况常常发生在现场调查中,因为包括在样本中的元素并不能被确切地识别而需要依据材料描述的规则来识别从而进入样本,这样如果规则运用得不正确,就可能产生过涵盖(Hansen,1963:497-517)。Hansen提出产生过涵盖的一类具体的原因是“边界问题”。即是指位于区域样本边界附近的总体元素按规则有些本不属于样本地域内,但却被计入样本地域中。完整地对包含非目标总体单元进行考察的依然是Lessler和Kalsbeek(1992:55)。他们提出抽样框因为偏离目标总体从而产生了偏差,这时目标总体是被抽样总体的一个子集。该研究指出,有时抽样框中的名单或单位与目标总体的成员并不存在任何关系,比如入户调查中的空房。对此可被称为“空白”或“空名单”;而有时,一些单位与抽样框联接,他们与目标元素相像,但不属于目标总体,这种单位被称为“异质元素”,即指与抽样框联接的元素不属于目标总体的一部分,也可用“范围外的单位”来描述这种现象。
(4)复合联接造成的错误
提出,目标总体元素可能联接着多个抽样框单位。为了正确地确定样本元素被抽中的概率,就需要知道每个样本元素与抽样框联接的次数,或在抽取样本之前消除复合联接的现象。这个问题在文献中被称作“重复名单”和错误包含。某个总体元素与抽样框单位联接的次数被称为“元素多重性”(Lessler & Kalsbeek,1992:56)。
(5)整群抽样框不恰当地使用
如果研究人员不了解群的大小,从整群抽样框中抽选出住户后,再简单地从中选户中抽选个人,而进行估计时采用抽选住户时的概率,尽管具有完善的抽样框,也会产生误差。
有研究者认为,一般情况下,整群抽样框中的抽样单位是目标总体元素的群。误差的产生通常是因为人们把在这种情况下选入样本各单位的概率假设等于抽样框单位被选中的概率,而这些抽样框单位是元素的群(Lessler & Kalsbeek,1992:56)。
(6)不正确的辅助信息
这方面研究较早的是Szameitat和Schaffer(1963),把这种类型的误差称为“内容上的偏差”,同时指出这种偏差的主要影响是降低估计的精度。后来的研究者对此方面进行了系统的研究,认为许多抽样框中包含了辅助信息,可用于特殊的抽样设计和估计技术。可用这些辅助信息来进行分层抽样,对规模大小的测度用于与规模成比例的概率抽样。如果辅助信息的特征与研究的调查变量的特征高度相关,还可以用于比率估计和回归估计。但是这些辅助信息可能有错误,或者是一些抽样单位不具备辅助信息,那么就会对抽样精度产生巨大的影响(Lessler & Kalsbeek,1992:57)。
(7)抽样框陈旧
抽样框陈旧又可被称为“抽样框过时”或“不准确的抽样框”(Lessler & Kalsbeek,1992:57)。在这种情况下,有关的信息找不到。Lessler和Kalsbeek强调这种情况虽然与丢失单位或无法联接的问题很相似,但两者之间还是有差别的,其主要区别是:在这里可以从抽样框本身发现丢失单位。研究还指出抽样框陈旧造成丢失单位的一个重要原因是无法查找样本单位。
3、抽样框误差预防方法的研究情况
目前,国外有关计量误差处理和预防的研究更多地集中在计量误差的事后处理上,而具体的预防方法的研究还不够系统,只是零散地分布在一些有关计量误差来源研究的调查报告和文献中。
Lessler和Kalsbeek(1992)认为可以借鉴以往的经验对之后的操作进行预防,比如就抽样框陈旧而言,在使用抽样框之前需要考虑是否已经有更有时效性的抽样框;而对辅助信息而言,需要关注辅助信息的时效。
4、抽样框误差的处理方法
对抽样框误差处理方法的研究是抽样框误差研究中的重头戏。国外许多学者都进行了深入而系统的研究。主要的研究有以下七个方面:
(1)对丢失单元抽样框的补救
Lessler和Kalsbeek(1992)认为可以用净偏差、相对偏差、均方误、偏差平方以及均方误比率等指标对涵盖不足的程度进行测量,而对丢失元素进行补救则可以使用外部数据或是在调查过程中使用某些采集数据的特殊方法。具体有以下四种对丢失单元抽样框进行补救的方法:
①逆记录检查法
Sekar和Deming(1949)曾介绍过一种用来估计出生率、死亡率和其他与生命有关事件的方法。而这种方法也可以被用来估计抽样框中涵盖不足的程度;Well(1971)将这种用来估计抽样框中涵盖不足程度的方法称为“双记录系统”;这种方法被Marks称为“总体增长估计”方法(Marks,1974);之后Wolter(1983)将此种方法称为“获取一再获取方法”。这是一种特别适合于名录抽样框的调查的方法。Lessler和Kalsbeek对这种方法进行系统考察后将其命名为“逆记录检查法”,指出该方法是根据一系列的记录材料将应包括在抽样框中的目标元素确认下来,然后检查抽样框,看这些目标元素是否包括在抽样框内的一种方法(Lessler & Kalsbeek,1992)。
②质量检查方法
Dalenius(1974)提出了针对丢失单元抽样框补救的一种方法:“现场勘查法”。这种方法后被Lessler和Kalsbeek(1992:71)发展为“质量检查法”。具体方法是在临近调查之前,重新独立地构造抽样框的某些部分。该程序常用于多阶段调查的区域的一个子集,在多阶段抽样中需要按阶段分别构造抽样框。在这一方法中,要采用更准确的步骤重新建立抽样框。他们指出这两种方法很类似,而区别只在于现场勘查法不必建立独立的抽样框,当一个地区的样本在现场被抽选出来以后,就可以知道样本中的元素名单。
③与外部数据进行比较
建立在实际调查分析基础之上的对比研究也是处理抽样框低覆盖的一种重要的方法。Lessler和Kalsbeek(1992:69)指出对付丢失单元框还可以使用与另一项调查或者普查进行比较的方法。这种比较仅仅是初步的工作。如果两个数值并非近似相等,那么其中一个或两个都有可能有误差。即使是它们相等,也不能肯定作为对比物的资料中没有与目前调查相类似的涵盖问题,然后,如果它们之间的差别较大,却可以明确表明至少其中有一个数据出现了问题。这就有必要进行分析,以决定哪个数字更加准确,进而查明在目前调查的估计量中,是否存在由于丢失元素所造成的严重影响。
④流入,流出量测定技术
Lessler和Kalsbeek(1992:69)认为对于一些类型的估计值来说,总量应等于某些数值之和或差,比较的结论取决于两个对比数字的相对准确程度。
另外,他们还将流入、流出量测定技术与外部数据比较方法进行了比较。他们认为这两种方法都可用于总体的合计水平或子总体的合计水平。通过将调查时得到的分布与前期调查所推算出的总体期望分布相比,能够发现某些组中的丢失的总体元素,一般说来,这些方法可以检查调查数据是否与其他渠道的数据结果相一致,或可以表现存在于子群之间某些已知的联系。
(2)与抽样框相联系的非总体元素
Marks等人(1953)描述了三种方法:①直接法;②间接法;③抽样法,用于查找在多阶段地域样本的交界处可能包含的非目标单位。可以说,每种方法都是质量检查方法的变形。
Lessler和Kalsbeek(1992:76)则指出,边界问题并不是产生过涵盖的唯一原因。本质上说,任何联系规则的失败均会造成目标元素与上一个阶段被抽中的抽样单位之间的不正确联接,从而导致过覆盖。他们强调在许多调查中,样本中的非目标元素可以通过样本本身的数据被查觉,然而在多阶段抽样中,在高阶段的样本单位的不正确联接就不能从数据中反映出来。调查中使用包含非目标元素的抽样框是可能的,如果能够发现样本中的非目标总体元素,就可以运用域估计的理论得到无偏估计。在这种场合下,目标总体是抽样框总体中的一个子总体或域。
(3)对丢失和非目标单位联合检查
由于通常人们希望对抽样框中是否有丢失单位和非目标单位的情况一起检查,于是,Zarkovich(1966)描述了用紧密群抽样方法检查抽样框质量,他称这种程序为列名检查,并定义了列名质量的三个测定尺度,同时建议可用抽样检查对净误差的总量进行估计,并对其是否等于零做显著性检验。
(4)对分群抽样框的不恰当使用的补救
Hansen等人(1953)曾建议,如果对群中的某个元素进行调查,并且各群的容量是可以确定的,则可以采用随机的办法抽选元素,或者是事后推断时以群为规模进行加权。虽然这一估计量不是严格无偏的,然而与不加权相比,加权估计更接近于无偏。Hansen同时提出另一种自然的加权程序是PPS抽样,这是根据与群的规模成正比例的概率抽取群,然后从中选群中随机抽取一个单位组成样本的一种方法。
(5)对不正确的辅助信息的补救
Szameitat和Schaffer(1963)推导了由于分层错误所导致的误差影响;Lessler和Kalsbeek(1992:57)则提出,辅助信息常被用于分层抽样、与规模大小成比例的概率抽样、比率估计或回归估计,所以抽样框中不正确的辅助信息会降低调查估计的精确度。因此,应该尽量选择最新的资料作为辅助信息以及利用事后的调查结果对辅助信息的准确情况进行检查。比如可以增大样本的容量或者改选其他标志的辅助信息。
(6)用不完善的抽样框进行调查的补救
不完善抽样框是指,依照联接的规则,没有把一些目标总体成员包含在抽样框中。不完善的抽样框主要有两种:丢失元素的抽样框和具有复合联接的抽样框。这些方法的目标是获得对目标总体特征进行有效的(无偏的)估计。利用不完善抽样框进行调查的三种方法是:重新定义目标总体,使用联接程序和多重抽样框的使用(Lessler & Kalsbeek,1992)。
①重新定义目标总体
在这种情况下,目标总体被简单地视为由抽样框所能提供的总体。这可能是解决不完整抽样框最经济的方法。因为其方法简便而又费用低廉。虽然有些不负责任的感觉,但是并不总是一个坏方法。(Lessler,1992;Kalsbeek,1992:89-97)
②联接程序
在进行选择和采集数据的过程中,有一种方法可以弥补不完整的抽样框。这种方法称为联接程序,他们指出它与前面在测定涵盖不足的范围和影响时所讨论的先——后补充法基本相同,而两者之间的区别仅是在于用前者并不是去评价一个完整的调查。使用这种方法需要建立一些计数规则或联接规则。
③多重抽样框的使用
早先Hartley(1962)提出了解决抽样框中丢失单位的另一种方法是利用多重抽样框,Lessler和Kalsbeek(1992)有时候称其为“辅助抽样框”或“互补抽样框”。多重抽样框允许抽样框重叠,不必刻意地消除抽样框中的重叠部分,从每个抽样框中抽选样本。Kish(1965)则讨论了从一个或更多有重叠的名单中构造唯一名单的几种方式。
Lessler和Kalsbeek指出,当构造了辅助抽样框或互补抽样框后,包含在原抽样框中的重叠元素被消除了,这时每个抽样框可以被看作是一个合并抽样框中的层。在合并抽样框中,每个元素与某一层且仅仅与某一层相联系,这时不需要特殊的估计程序。总量估计简单地称为层估计之和,方差为各层方差之和,合并的比率估计可以用于估计均值或比例。因为有可能在两个抽样框中采用不同的抽样计划,所以在建立数据文件和数据处理过程时必须小心,以确保对方差进行适当的估计。
(7)复合联接抽样框的使用
复合联接抽样框是指,在目标单位与抽样单位的对应关系中,违背了一对一的联接。一些目标单位分别与一个以上的抽样单位联接(即多对一联接);或者一些抽样单位分别与一个以上的目标单位联接(即一对多联接)。
Lessler和Kalsbeek认为对于没有复合联接干扰的抽样框,不论是一对一联接,或是群抽样框,每个具体元素被选入样本的概率是与它联系的抽样框单位相同的,这是它的优点。而复合联接抽样框没有这个长处,就必须进行某些调整以便进行无偏估计(Lessler & Kalsbeek,1992:98-112)。
1)消除复合抽样框
有些情况下,复合抽样框具有损害作用,另一些情况下只有考虑周全时才可采用。当需要研究的总体非常稀少地分布于更大的总体之中时就会发生这种情况。在这种情况下,研究人员经过精心设计,可以使这些稀有总体的元素与多个抽样框单位联接,这种联系的规则通常被称为“计数规则”或“复合规则”。
消除复合联接有四种方法:
①通过分类整理消除
抽样前对抽样框单位进行分类有助于消除复合联接(Hansen等人,1953、1963;Kish,1965)。当抽样单位与目标单位一一对应,并且按照字母或其它确认标志分类排列时,这是一个特别有用的技术。这种方法可以发现多次联接。一旦完成了分类排列,每个目标单位就仅能在抽样框中出现一次(Lessler & Kalsbeek,1992)。
②确定唯一的联接规则
一些学者(Hansen等人,1953;Kish,1965;Sirkin,1970)指出,重新确定联接规则可以使每个目标单位仅与抽样单位唯一地联接。
③对目标总体重新定义
Kish(1965)认为,对有些包含复合联接的抽样框来说,重新定义目标总体是可能的。
④引入另外的抽样阶段
Kish(1965)也讨论了另外一种解决抽样框复合联接的方法。Kish假设当元素从抽样框中被抽取时,利用抽样框的辅助信息确认该元素的复合联接是可能的。
2)对复合联接调整
Lessler和Kalsbeek(1992)提出了以下四种方法对复合联接进行调整:
①复合逆加权
这是使用复合次数的倒数加权从而产生无偏估计进行调整的一种方法。
②完全成套倒数复合估计量
完全成套倒数复合估计量技术是利用每个目标总体成员的信息进行加权的估计的一种方法,权数是多阶段抽样框结构中每个阶段联接次数的倒数。
③段倒数复合估计
在抽样结构中,对于计量的抽样框中不同水平与一个元素的复合而言,任何两个或多个毗连的阶段或许能被认为是一个单独的“超阶段”,而计量了每个元素总复合次数的传统估计量等于考虑了单个超阶段抽样框结构的所有部分。
④计数规则权数的使用
计数规则是目标元素与抽样框单位联接的机制,可以利用计数规则权数进行超阶段或套复合估计。
(二)国内的研究情况
国内也进行了一定的研究,不少国内学者在参考国外的做法的时候也提出了自己的看法。
1、抽样框误差的相关概念
金勇进(1995)在他的博士论文中提出抽样框的三种常见的具体表现形式。这三种具体表现形式分别为:①名录框;②区域框;③时间框。金勇进认为名录框的抽样框单位与总体元素一对一联系,而后两种抽样框中,每一抽样框单位都可能和几个总体元素联系。
2、抽样框误差的来源
(1)丢失目标总体单元
金勇进(1996:11)和庞智强(2000:265)先后指出,如果抽样框没有覆盖全部目标总体单位,有些目标单位没有在抽样框中出现,因而也就没有机会被选入样本,这些单位成为丢失单位。他们两人认为在这种情况下,对总量的估计总是偏低,而其他统计量是否有偏差,则要视情况而定,主要取决于丢失的单位与抽样框中包括的单位是否存在误差。它是一种威胁性较大的抽样框误差,因为在抽样调查的过程中不易被查觉和发现,具有较强的隐蔽性。
(2)包含非目标总体单元
有时,抽样框中也可能包含了一些不属于研究对象总体即非目标总体的单元,由此容易导致总体总和的估计偏高。但这类型的抽样框误差一般要比丢失单元的威胁性小,因为在调查中,非目标总体单元往往更容易被发现,并予以剔除。(金勇进,1996:12;庞智强,2000:265)
(3)复合联接造成的错误
金勇进(1996:12)和庞智强(2000:266)认为复合联接是指一个目标总体单位联接着一个以上的抽样单位,另一种情况是一个抽样单位联接着一个以上的目标总体单位。两人认为在这种情况下,目标总体中各个单元的入样概率可能会受到相应的影响,从而导致非抽样误差的扩大。庞智强(2000)指出这种复合联接对估计量的影响要小些,因为每个总体单位被抽中的概率是相同的。但是,如果这些复合联接单位的数量特征与其他单位有差异,比如他们是一些低收入者,这种复合联接对估计量的影响就仍然存在。但是,有时候采用经过精心设计的有复合联接的抽样框可以提高稀有元素被抽中的概率。
(4)不正确的辅助信息
一般将不包含辅助信息的抽样框称之为简单抽样框,而将包含辅助信息的抽样框称为复杂抽样框。
金勇进(1996:13)认为如果辅助资料不完整,或是不准确,起了错误的导向,不但不能提高估计的效率,反而会降低估计的准确性。庞智强(2000:266)也指出复杂抽样框中的辅助信息可以用于分层抽样、不等概率抽样、以及使用比估计和回归估计等等。但是他同时强调如果辅助资料不完全或不正确,则不但不能提高抽样估计的效率,反而会降低估计的准确性。
(5)抽样框陈旧
金勇进(1996:13)和庞智强(2000:266)先后指出抽样框老化带来的明显问题是一些目标单位变成丢失单位,同时会有多余单位出现,同时也难以保证辅助资料的质量。庞智强(2000)强调这类误差也可能进一步引起前面四类抽样框误差中的一种或几种同时发生。
3、抽样框误差的预防方法
国内学者中金勇进又作出一定的研究。金勇进(1996)指出有些误差可以在调查前察觉,因此对抽样框的使用进行不断的总结是十分必要的,从而可以对抽样框误差进行预防。
4、抽样框误差的处理方法
(1)丢失单元抽样框的补救
将低覆盖的处理方法大体分为两类,一类的目的在于提高抽样框的覆盖率,另一类的目的在于对来源于低覆盖的抽样框的数据进行调整(金勇进,1996:41;杨宝慧,2000:24)。具体方法为:
① 对丢失单位实行联接
这是一种在进行选择和调查的过程中,按照事先确定的规则,将发现的丢失单位与原抽样框中的单位相联接的方法。(金勇进,1996;杨宝慧,2000)
金勇进(1996)提出了实行联接方法的一个应用条件。即对于抽样框中的丢失单位,在调查过程中必须能够发现他们。如果无法发现丢失单位,也就谈不上联接的问题。
杨宝慧(2000)则认为当原抽样框中的一个单位被选入样本时,它和它联接的所有单位均被纳入样本。这在本质上是在原抽样框的基础上重新建立了一个抽样框,这个新建的抽样框的一些单位联接着一个目标总体的群(这个群由原抽样单位和与之联接的丢失单位组成)。杨宝慧认为这个新建的抽样框比原抽样框有更高的覆盖率。这种方法是常被用于区域抽样的一种有效的方法。应用于区域抽样的这种联接规则常被称为“半开区间”。他提出这种方法的一个缺点是当丢失单位较多,而事先又未知的情况下,最终的样本量很难控制,可能会抽到比设计样本量多得多的样本。
②采用辅助抽样框
与前面Lessler和Kalsbeek提出的使用多重抽样框的方法相同,金勇进(1996)也建议采用辅助抽样框,即将查明的丢失单元单独编制成一个辅助的抽样框,并同原抽样框一起使用。金勇进指出,利用辅助抽样框的问题是容易产生重迭现象,即不同抽样框之间的部分重复的出现会对估计产生影响。解决的办法是剔除重复,以实现抽样单元与目标单位的一对一的联接。这实际上就是利用辅助抽样框的信息重新构造出一个完善的抽样框。
杨宝慧(2000)则指出出多重抽样框的方法经常用于以下几种情况:①方便得到的费用低的抽样框不能完全覆盖所需要的总体,而采用完全覆盖研究总体的抽样框费用高;②没有一个抽样框能够覆盖要调查的总体,只有通过两个或多个抽样框组合起来才能覆盖总体。杨宝慧认为第一种情况抽样框费用低,但数据质量往往较差,拒访率高;而第二种情况抽样框费用高,但数据质量高,拒访率低。
冯士雍(1998:306)指出使用多重抽样框的方法主要用于丢失单元的情况。他指出使用多重抽样框的另一个背景是因为这些抽样框通常都是现成的,不需要专门加工,或对某个抽样框可采用效率更高的抽样和估计方法。
③利用有关资料进行推算
金勇进(1996)认为通过分析丢失单元的特征,将丢失单元同抽样总体单元进行比较,结合其它的一些资料,则可以大致对丢失单元的统计特征性作出一个估计或者判断,并以其对实际调查的结果进行调整的基础上做出估计。
他还提出“平衡推算的方法”也可以用于检查丢失单位的情况。对某些类型的估计值来说,总量应等于各个变量之和。这种方法的实质是利用其他的渠道来源的数据,与调查数据进行对比,看它们的结果是否一致。如果出现不一致,虽并不能肯定这是由于遗漏单位造成的,但如果差距较大,就有必要进行深入的分析,看两个数据的相对准确程度,以便决定是否可能存在丢失单位,以及丢失单位对目前的估计可能造成的影响。
④用复查结果进行调整
此种方法是采用核查和质量检查的方式,查明丢失单元的影响程度,并作为对原调查结果调整的依据(金勇进,1996)。
⑤重新定义目标总体
此种方法与Lessler和Kalsbeek(1992)提出的利用不完善抽样框进行调查时的补救方法相同,杨宝慧指出这种方法是将目标总体缩小的一种被动的方法,当缩小的目标总体与初始的研究总体有不可忽视的差别时,这种方法是不可取的(杨宝慧,2000)。
⑥低覆盖的测定与调整
此种方法用于不能提高抽样框的覆盖率之时。在这种情况下需要对低覆盖的影响进行测定,并对来源于低覆盖的抽样框的调查数据进行调整(杨宝慧,2000)。
(2)与抽样框相联系的非总体元素
金勇进(1996:47)提出如果抽样框中加进不属于调查范围的非目标单位,在估计总量时会产生高估,除非将这些非目标单位剔除。与丢失目标单位相比,非目标单位对估计量构成的潜在威胁相对小些,因为在调查过程中对非目标单位比较容易发现。一旦发现非目标单位,用于估计由于非目标单位造成偏差的数据也就获得了。一般而言,用于查明丢失单位的方法同样适用于查明非目标单位。它包括利用有关信息对抽样框进行调整和对抽样框进行质量检查两个主要方面。
(3)对抽样框中的复合联接的处理
金勇进(1996:49)认为对于一对多的联接,如果这种现象比较多,就可以看作是一种整群抽样,按整群抽样的方法处理。但如果这种现象比较少,当有复合联接的抽样单位被选中后,与它联接的那些目标单位就会全部接受调查。这样虽然是增加了一些调查的工作量,但是每个目标单位被选中的概率是相同的。然而多对一却是另一种情况,在多对一的条件下,每个目标单位被选中样本的概率是不同的。这样,就会对估计量产生较大的影响。
金勇进指出处理多对一的复合联接可以根据不同情况采用以下方法:①定义唯一的联接规则,使每个目标单位与抽样框单位唯一地联接;②估计复合联接数据,即对目标总体单位数,以及目标总体总量和均值进行估计。
(4)对不正确的辅助信息的补救
金勇进(1996:48)认为抽样框中的辅助信息不正确,其主要原因是抽样框资料的老化,没有能够反映出已经变化的情况。它会起到一种错误导向的作用,如使分层发生错误,从而降低估计的效率等等。
补救的方法除了进行正确的经济关系分析之外,要特别注意辅助信息时间范围的有效性,尽量选择最新的资料作为辅助信息。他同时指出可以利用事后的调查结果对辅助信息的准确情况进行检查。如果调查的结果与原来的资料有很大的出入,辅助资料被证明没有起到本应该起到的作用,从而使估计的置信区间突破了原来的预定范围,就需要采取一些补救措施。
(三)抽样框误差研究小结
有些抽样框误差来自于构成抽样框的资料本身、而另一些误差源于抽样框的错误使用;有些误差可以在调查前察觉,有些误差可以在调查进行过程中发现,而有些误差则可能在调查结束后仍没有意识到,因此对抽样框的使用进行不断的总结是十分必要的。
三、无回答误差(Nonresponse Error)的研究现状
无回答误差是非抽样误差的重要组成部分。实地调查中,最明显的问题之一是不能从所有的样本单位及问卷中的所有问题获得有用的数据,我们称这类问题为“无回答”(金勇进译,1997:118;金勇进,1996;蒋妍,2001)。1915年,Bowley首先提出了无回答的命题(金勇进译,1997)。自此,国内外学者展开了广泛研究,对无回答误差进行了大量系统的研究工作,在文献中有数百篇文章讨论了防止、测定或消除无回答产生影响的方法。无回答问题研究的广度几乎涉及到把调查研究作为重要工作的每个职业领域,围绕这一主题,已发表的研究报告涉及了无回答的影响,从一般描述到基本理论的进一步发展。包括根据无回答的范围从各种角度界定相关概念、加以量度,探讨产生的原因和提出解决的办法等,其中不乏实证研究的例子。具体归纳如下:
(一)国外的研究情况
1、无回答误差的相关概念
国外众多学者将其分类,并分别给出定义:一些学者称之为“无回答”(Nonresponse),另外一些学者和学术组织则有不同的称法,如Zarkovich(1966)、Ford(1983)称之为“缺失数据”(Missing Data),隶属于全国研究委员会(美)的不完全数据研究小组(以上称不完全数据研究小组)(1983)称之为“不完全数据”(Incomplete Data),Sudman(1976)称之为“不合作”,Warwick和Linginger(1975)、Deighton等人(1978)称之为“无访问”(Noninterview)。
有关无回答的分类通常从如下不同的角度出发:
(1)根据调查类型的不同,无回答的研究在一次性调查和连续性调查的两个领域内展开:
连续性调查的复杂性,使得其中的无回答形式多样化,可分为如下几类:
①单元无回答
Kendall和Buckland(1960)称其为“在抽样调查中,由于某种原因(死亡、缺席、拒访
等)而无法从指定的个体处获得信息”;Kish(1965)称其为“……有许多原因导致的无
法从选定和指定的样本元素处获得观察值(回答、计量值)”。其他研究者使用的定义
也非常接近这两种。
②期单元无回答
同一样本单元在调查时间内合格期数为两期以上(含两期)时,样本单元在某些合格期未参
与调查,而至少在一个合格期参与调查,造成部分合格期没有提供任何有价值的信息,称为
期单元无回答。
③项目无回答
对于项目无回答,美国普查局(1976)称之为“……无回答的一种,在这种情况下,某个特定的单位只回答了某些而非全部的问题”; Madow等(1983)称之为“……选定样本中合格的单位仅提供了某些而非全部的信息,或者对某些项目提供的信息是无用的”。
④期项目无回答
样本单元在参与调查部分调查期未回答某一调查项目的信息,但至少在一个调查期回答了这一调查项目,则称为期项目无回答。期单元无回答可分为“间歇式”和“掉队式” 期单元无回答。所谓“掉队式” 期单元无回答是指合格样本单元一旦在某一期无回答,则在以后各期都无回答,否则就成为 “间歇式”期单元无回答(杨宝慧,2002)。
(2)在无回答的随机论的前提下,可采用Little和Rubin(1987)从数据缺失机制上对缺失数据类型进行的划分,将无回答造成的数据缺失分为完全随机缺失(MCAR)、随机缺失(MAR)和有信息缺失(IM)(Little. & .,1987)。
2、影响无回答因素的研究情况
对于无回答产生的原因 ,曾有不少国内外学者加以研究 ,其中有些国外学者的研究十分深入。Madow等人组成的不完全数据研究小组(1983)勾画了一个说明表,可以根据调查中出现的情况把每个样本单位归入到相应的类别中。Bourieu(1984),Feick(1989)则指出,影响问卷中出现无回答的因素大致有两个来源:一是问卷题目的特性;二是受访者的特性。具体到问卷设计方面,也有诸多可能的影响因素,如Schuman and Presser(1982)指出,问题是否提供“不知道“之类的选项,也会影响无回答出现的比例。还有研究者归纳说:通常受访者会出现无回答的原因主要包括:
(1)举棋不定,难以立即下判断;
(2)不明白题意;
(3)缺乏相关知识、没有什么兴趣、无意愿或无能力表达意见等等(Coombs and Coombs 1976;Feick 1989)。
此外,对受访者特性的探究,一向是相关研究中最常被分析的议题,Ferber和Robert(1966)发现被访者的年龄、性别、职业和文化程度是与项目无回答相联系的重要因素。大多数的研究都指出,低教育程度、女性、老年、有色人种、低收入、居住于低都市化地区的受访者,出现无回答的比例明显较高。(Francis and Busch 1975;Converse 1976;Faulkenberry 1978;Smith 1982;Rapport 1982; Feick 1989)
Warwick和Lininger(1975)也细致地分析了在市场调查征寻阶段(指调查人员与样本单位取得联系并要求他们参与调查的阶段)中调查者与被调查者参与调查的积极因素与消极因素。他们认为参与调查的积极因素是:
(1)表现观点的愿望;
(2)对调查内容感兴趣;
(3)希望与同情者分享信息;
(4)参与调查被看成是受过良好教育或有思想的人;等等。
而影响样本单位接受调查的消极因素是:
Sudman,Seymour,Norman ,Ed Blair,and Carol Stocking(1966), Blair,Barbra Bailey,and Stevens(1977)的研究涉及到非常细致的方面,例如他们都得到这样的结论:如果调查员认为某个问题敏感或很难回答,则在他的调查对象中,这个项目会有较高的无回答率;而如果调查员充满信心,则无回答率就会显著地降低。
3、无回答的计量:回答率、无回答率
通常采用无回答率来度量无回答,一般而言它表示没有回答的样本占总样本的比例,是评价调查数据质量的主要参数之一。因为尚未有对无回答一致公认的定义,因此对无回答率的研究也是从不同角度进行的,以反映不同的无回答情况以及人们对无回答理解上的差异。
无回答率是相对的,由其自身的分子和分母决定。分子的情况决定了无回答率是单位无回答率还是项目无回答率。分母的情况(例如是否包括了原样本中所有的单位,是否仅以样本中合格的单位个数计算等),决定了无回答率的具体值的大小。
4、降低无回答情况的方法和措施的研究
要减少调查中的无回答,主要应从事前预防和事后补救两方面入手。事后补救特别是调整技术是许多研究的关注焦点,成果也极为丰硕,所以后面会单独列出讨论。
(1)对事前预防方法和措施的研究
早期学者较多的是关注其事前预防的方法和措施。Kish(1965)、Warwick-Lininger(1975)、Mosteller(1978)等都对降低无回答率的措施进行过广泛的讨论。Deming(1953),Dubin(1954)以及后来的Thomsen和Siring(1983)采用不同的方法来决定访问调查中理想的尝试次数。Dohrenwend(1970),Ferber和Sudman(1974),Chromy和Horvitz(1978),Gunn和Rhodes(1981)都曾研究过激励方法对改善无回答情况的效果。
Kernan(1971)和Dillman(1978)通过实证分析,得出了利用特殊邮寄(如挂号、快递)的方式可以减少无回答发生的结论。
学者们对于非强制性的调查中提高物质奖励的效果进行了研究,其中Hidiroglou等(1993)认为物质奖励没有明显的效果,而Doherenwend(1981)则指出有明显的效果。
学者们关于调查时间对无回答的可能影响也进行了研究,例如:根据Bilocq和Fontaine(1988)对加拿大的年度制造业普查的研究,发现若在年度结束后三个月寄问卷,则回收率最高。又如,Vigderhous(1989)和Weeksetal(1980)发现对电话调查而言,下午六到七点是最有利的时段;星期几似乎与无回答并不相关,但月份有影响,春秋调查似乎比冬夏好。
在访问员对无回答的影响的研究方面,主要的研究有: Couper和Groves(1992)的研究,他们的研究表明有经验的访员确实比新手有较高的成功率;而Singer,Frankel Glassman(1984),Schyberger(1967)、Platek(1977)、Thomsen和Siring(1983)也作了相关研究,但他们发现访员的经验并没有减少无回答率,还认为并无有力的证据显示回答率与性别的关系。
在被调查方式对无回答的影响的研究中, Hidiroglou,Drew和Gray(1993)发现,如果取消面对面的接触而全部采用电话,则某些调查的无回答率会增加68-75%。此外,关于先期通知是否必然减少无回答率这个问题,Brunner和Carroll(1967,1969), Dillman, Gallegos和Frey(1976)认为先期通知有效,但是Goves和Magilavy(1981),Sykes和Hoinville(1985)却认为先期通知无显著功效。
国外学者还对由先期的不回答者转变为回答者的被访者所提供的数据的质量进行了深入的研究,例如Sirken和Brown(1962)所进行的一项邮寄调查表明,第一次收到邮寄问卷就回答的人比在第二次又收到邮寄问卷才回答的人提供的数据更全面(项目无回答少)、也更准确(数据间矛盾少)。但是这项研究还需要进一步深入地展开。
对无回答事前预防措施的研究中,特别值得注意的是随机化回答技术的研究。
这主要是针对敏感问题引出的,所谓敏感性问题,是指与个人或单位的隐私或私人利益有关而不便向外界透露的问题。国外学者最先采用随机化回答技术(Randomized Response Technique, 简记为RRT)来处理敏感性问题的调查。
这项技术兴起于1965年沃纳(Warner)提出的沃纳模型(Warner model)。1967年,西蒙斯提出Simmons model模型对其加以改进,提出从两个不相关的问题中随机抽取一个进行回答的模型。此后,Horvitz(1969)等人又提出了改进模型,即:使用一个已知比例的红色、白色、蓝色弹球的盒子让被调查者任选一球并作如下回答:当选中白球时回答敏感问题,选中蓝球时回答“是”,选中红球时回答“不是”。1973年,格林伯格等人针对西蒙斯模型改造,提出了双无关问题模型。1977年,和提出了隐含的随机化回答模型。以上模型不仅适用于简单随机抽样,在分层与整群抽样下也适用。
Smith(1974)、Raghavarao和Federer(1979)提出了区组化总计回答技术,首先出两份问卷,一份包含敏感性问题和几个非敏感性问题,另一份仅包含非敏感性问题。在调查中只要求受访者提供问卷中所提问题的答案之和,从而既可以对敏感问题的回答保密,又可以根据两类问卷平均总量的差异进行估计(金勇进译,1997;解燕、顾震环,2003;孙山泽、孙明举,2000;孔圣元、孟生旺,1998)。
(2)对无回答进行事后补救的调整技术的研究
① 二重抽样法(Method of Double Sampling)
Hansen和Hurwitz(1946)提出了以传统的统计推论为基础的二重抽样法:对最初的无回答进行再一次的随机抽样,对无回答子样本采用更细致、更艰巨的努力去获得其数据,用最初样本的回答数据和子样本数据进行估计,以消除无回答的偏差影响。该研究引起后来广泛的讨论,以Rao和Singh(1978)等人为代表,在70年代开始出现大量文献探讨这种方法在无回答处理中的应用(张松岭,2000)。
② 估算法(Imputation Methods)
主要通过对被调查者其他资料的分析,并结合该项目的已回答数据,来对项目无回答的数据进行估计或替代。可直接用现有的回答数据,也可用回归估计值估算无回答的缺失项目的对应数值,例如热层复制方法、冷层复制方法、距离函数匹配复制法、类均值复制方法、回归复制方法、演绎估计复制法、完全匹配方法等,都可以用于连续调查的项目无回答和期项目无回答的调整或补救。对于连续调查,Lepkowski(1989)还具体介绍了三种常用的方法:“照搬”期复制法、“热层”复制法和“回归”复制法。
A)“照搬”期复制法:一个单元某一期的缺失由同一单元在其它期的回答数据来复制(替代)。如果期间的变化已知,则可以对“照搬”期复制作进一步的演绎调整。这种复制方法适用于调查变量期间一致或高度相关的项目。如Lepkowski给出的例子,ISDP 1979(Income Survey Development Program 1979 Research Panel)的前两期调查,在对是否得到社会保障金这一问题上,有%的样本在两期给出相同的答案。则“照搬”复制会有相当高的正确率。但这种确定性的复制方法有其弊端,特别是可能低估两调查期指标的变化量,对“照搬”法进行进一步随机调整会使情况得到改善。对于两值分类项目,如有高度的一致,则可以对缺失期的值的复制以较大的概率“照搬”回答期的值。否则以回答期的否定值复制。对于期间高度相关的连续变量,则在“照搬”基础上,再以随机残差项调整。这属于冷层替代法。
B)“热层”复制法:一个单元的缺失用与这个单元的其他特征基本类似的单元的同期回答数据直接来复制(替代)。例如某位被访者有关消费方面的缺失数据,可用与此被访者有着相似的人口背景资料的另一位被访者的回答数据来代替。
C)“回归”复制法:对于单元无回答的项目 ,设第一期项目指标有观测,第二期相同指标有缺失。设模型,如果回归模型成立,则第二期的缺失值可用复制,其中a、b可通过两期均回答的观测通过最小二乘法来估计,而可能来自于“热层”法或产生于一个假定已知的分布。这类复制法的质量取决于期间指标的相关程度。
③ 加权调整法(Method of Weighted Adjustment)
调查中缺失数据有可能产生估计偏差,补救措施之一便是利用加权调整法,通过赋以回答数据不同的权数,然后再进行数据处理,达到调整数据、减小由于缺失数据造成的估计偏差的目的,以此减小无回答偏差。
为进行调整,需要掌握样本单位的回答概率 ,对的不同估计就形成了不同的调整方法。因此,加权调整法是一个概括的说法,它包括了一些不同的调整方法。
早期关于无回答加权调整法的具有里程碑意义的文献作者和观点主要有:
Deming和Stephan(1940)提出事后分层重复多变量逐一加权(Raking)的方式;
Hansen和Hurwitz(1943)、Horvitz和Thompson(1952)均提到了一种加权调整的取径,提出按照样本抽取概率的倒数加权,其主要做法是假设表示第I个样本的抽取概率,则第I个样本的权数即为。该方法的思路几乎是后来研究抽样加权理论的基础,他们认为:“该方法的思路是后来研究抽样加权理论的基础,但是要计算权数,必须先明确每个样本的抽取率,而总体的抽取率往往很难获得,因此,在实务中很少使用这种方法。”
经典的调整方法主要有:
A) Politz和Simmons(1949)提出的经典的Politz-Simmons调整法:按照回答者在相同时间内在家并可接受调查的天数进行加权,目标是对由于被调查者不在家造成无回答的数据进行调整,他们开拓了对无回答缺失数据进行调整的一个研究领域。
B) 加权组调整法:把容量为n的样本划分为H个互不重叠的子集,通过划分使得组内各单位的目标量值尽可能相近,并假设组内所有单位的回答概率都相同。这个过程类似于对样本进行分层,需要足够的进行分层的辅助信息。
C) 事后分层调整法:基本原理与加权组调整相似,它也是通过分层使层(组)内单位目标量尽可能地相似。
期单元无回答误差是固定样组纵向调查中经常出现的一类非抽样误差,如果不对之进行调整,则往往造成估计量的偏差。主要有两种加权调整方法:
A) 一种是Lepkowski(1989) 提出的方法,即利用各期都回答的数据,其他的数据都弃之不用,然后将不利用的样本的权数分配给这些每一期都回答的样本单元,这种方法有可能会因为弃掉太多的数据而浪费了大量信息。此外,Little和David(1983)给出了一种对掉队型数据(“掉队型数据”指的是合格样本单元一旦在某一期无回答,则在以后各期都无回答,所形成的数据)进行加权补救的方法。思想是将单元I的第一期的回答标识变量 对z(注:z是辅助变量)进行线性回归、Probit回归或Logistic回归,计算出第一期的回答概率 ,单元I的第一期数据调整权数 为回答概率 的倒数。对于第1期的回答者,第2期的回答标识变量 对辅助变量z和第1期回答指标值 回归,从而得到从第1期到第2期的回答概率 ,并进而得到从第1期到第2期的调整权数 为 的倒数,第2期的最终的调整权数为,单元I的第t期的回答标识变量 对辅助变量z和前t-1期的指标 回归,以估计从第t-1期到第t期的调整权数 ,则第t期的调整权数为 ,当用这种方法处理“间歇式”无回答数据时,需对各种回答模式分别建立回归方程,所需建立的回归方程数量随调查期的增多呈几何级数增长,这一方法变得复杂。
B) Little和Su(1989)提出的对期项目无回答调整的纵横复制方法,是一种基于对回答机制的假定的调整方法,可以同时满足横向分析与纵向分析的需要,与Lepkowski的加权组方法相比,只需保存一组参数就可以得到满足横向分析及任意两期分析比较的权数。
④ 插补法(Interpolation/Imputation Methodes)
对于单元无回答的补救处理主要采用加权法,而对于项目无回答的补救处理则多采用插补法。传统的加权方法是先确定初始权数,然后用回答概率修正初始权数。但回答概率受多种因素的影响,有些因素的影响难以量化,所以其应用也有局限。因此,对无回答进行处理的另一种重要思路是插补(imputation),并由此形成了一系列不同的插补方法,不同的插补方法各有特点,各有不同的应用场合。
最早提出的方法主要有均值插补、热卡插补、冷卡插补、回归插补和模型插补等方法。许多学者对这些方法进行了广泛的讨论和改进。Nordbotten(1963)和Chapman(1976)探讨了冷卡法在周期性调查中的作用。Sonquist(1971)、Chapman(1976)、Oh和Scheuren(1980)、Ford(1983)、Rizvi(1983)、Sande(1979,1982)等都对热卡插补法进行过讨论和改进。Kalton和Kish(1984)、Sande(1979,1982)在热卡法的基础上提出了数值分类的距离函数匹配法,以避免回归插补和热卡插补法的困境。
多重插补法提出了处理缺失数据的一个新思路。美国哈佛大学统计学系的Rubin教授70年代末首先提出多重插补的思想,80年代中与其它学者一起进一步扩展,充实了多重插补的理论与方法。90年代许多学者对这种方法继续研讨,该方向上的研究目前仍在继续。多重插补法的证明来源于贝叶斯理论,它由Rubin在80年代初期以一系列的论文提出,其基本的理论构架被整理在Rubin的著作“Multiple Imputation for Nonresponse in Surveys”中。
近20年来对无回答调查数据进行调整的统计方法取得了重大突破。20世纪70年代末,Dempster、Laird和Rubin(1977)提出一种有效估计不完全数据的算法——EM算法。这一算法不仅是一种有效的计算工具,它还根本性地改变了统计学家对无回答的看法。基于这一算法,Donald 在80年代初期的一系列论文中提出了多重插补法,其基本理论架构整理在《调查中的多重插补法》中(1987)。以后在此基础上又不断出现关于该方法的改进和应用文献,将多重插补法处理缺失数据的技术应用到了各行各业。
此外,对多重插补的理论研究也有所深入。1996年Rubin在美国统计协会上发表论文Multiple imputation after 18 years(with discussion),澄清了人们对多重插补法的一些错误认识,并将多重插补法与其它一些处理缺失数据的手段如加权法等作比较,论证了多重插补法的优越性。
关于多重插补法在计算机上实现的研究则只是近几年的事情。由于计算机工具的不发达,多重插补虽然在1977年就由Rubin提出,但由于其计算过程极为复杂,因此并没有在当时就得到广泛的应用。相反,在整个80年代,插补缺失数据的方法还只是限于极大似然估计和EM算法。直到90年代计算机高度发达后,多重插补才成为处理缺失数据的主要工具。这一时期关于多重插补在计算机上的研究包括:1997年Statistical Solutions Ltd.出版了SOLAS软件包,专门用于处理含有缺失值的数据库,也可以实现对缺失数据的多重插补。Schafer(1997)设计了NORM、CAT、MIX和PAN等多重插补专业软件,并出版了相关的著作(missing data in multivariate analysis).Yang,C.、Yuan和Rockville,(2000)探讨了多重插补在大型统计分析软件SAS上的实现。
⑤ 方差估计(Variance Estimation)
W. Yung和 J. N. K. Rao在2000年的一篇论文中详细介绍了刀切法方差估计在利用事后分层信息进行替代估计时的运用。对于全部回答(full response)的情况,他们证明了在分层多阶段抽样下,利用关于“残差”的适度正则性条件(using mild regularity conditions on “residuals”)进行刀切法方差估计的渐近一致性(asymptotic consistency of the Jackknife variance estimator)。他们还提出了一种刀切法线性方差估计量(a jackknife linearization variance estimator)。针对单位无回答,他们考虑了一般的事后分层方差估计、刀切法方差估计以及相应的刀切法线性方差估计。针对项目无回答,他们分析了加权均值估算(Weighted Mean Imputation)、加权热层估算(Weighted Hot Deck Imputation)以及加权热层随机估算(Weighted Hot Deck Stochastic Imputation)(W. Yung and J. N. K. Rao, 2000,Jackknife Variance Estimation Under Imputation for Estimators Using Poststratification Information, Journal of the American Statistical Association, September, 2000, Vol. 95., P903)
⑥ 其他方法
Jun Shao 和Hansheng Wang研究了关于项目无回答的一种处理方法——联合回归估算法(Joint Regression Imputation)及其抽样相关系数(sample correlation coefficients)的方差估计等(Jun Shao&Hansheng Wang,2001: 544)。
Balgobin Nandram和 Jai Won Choi讨论了三种贝叶斯分层模型来研究二元的无回答数据(Bayesian Hierarchical Modles for binary nonresponse data),分别是“可忽略的模型”(Ignorable Model)、“不可忽略的模型”(Nonignorable Model)和“扩展模型”(Expansion Model)。 他们认为“扩展模型”是首选,因为它提供了对参数的推断;它的参数为研究忽略的不确定性和无回答偏差的调整提供了有用的方法;等等(Balgobin Nandram,2002:381-388)。
Paola Sebastiani 和Maico Ramoni描述了一种处理不完全数据的可分解的贝叶斯新方法(a new approach to Bayesian selection of decomposable models with incomplete data)。这个新方法要求描述(产生)缺失数据机制的新的忽略条件以及发展新的计算方法(This approach requires the characterization of new ignorability conditions for the missing-data mechanism and the development of new computational methods) (Paola Sebastiani,2001: 1375-1386)。
Joseph L. Schafer and Nathaniel Schenker 提出了从数据集中进行推断的解析技术。该数据集中的缺失值已被估算模型(imputation models)中产生的预测均值所替代。(We present anylytic techniques for inference from a dataset in which missing values have been replaced by predictive means derived from an imputation model)(Joseph L. Schafer,2000:144-154)。
Jiahua Chen and Jun Shao研究了“最近邻居替代方法”的刀切法方差估计(Jackknife Variance Estimation for Nearest-Neighbor Imputation)。从中,他们指出用多元替代法(multivariate imputation)来消除偏差是一个复杂的问题,需要进一步的研究(Jiahua Chen and Jun Shao,2001:260-269)。
Jing Qin, Denis Leung, and Jun Shao研究了对不可忽略的无回答的似然解估计方法(a likelihood-based estimation method for data with nonignorable nonresponse)(Jing Qin,2002:193-200)。
C. Hendricks Brown, Alka Indurkhya, and Sheppard G. Kellam设计了在部分完全的连续性研究中的三种缺失值情况:完全随机的缺失值、随机的缺失值和无意识的缺失值(C. Hendricks Brown,2000:383-395)。
Forster和Smith(1998)提出了对定类调查数据中不可忽略的无回答做模型推断法(Model-based Inference for Categorical Survey Data Subject to Non-Ignorable Nonresponse)。Ghosh-Dastidar和Madhumita(1999)对多重替代法进行了扩展,提出了MEMI法(Multiple edit/multiple imputation),在该方法中既能反映无回答,也能计算其误差。Maren (1998)在《Multiple Imputation for Multivariate Missing-data Problems》中提出了多变量缺失值的多重替代法,并进行了实际应用。Montaquila,Jill Marie(1998)提出方差估计的新方法,并利用模拟数据对其方法进行了验证。Heeringa和Steven George(2000)探讨了EM算法(Expectation-Maximization)和Gibbs sampler算法的应用,并对其特性和研究方法进行了比较。Scharfstein、Rotnitzky和Robins(1999)利用半参数回归模型对不可忽略的无回答进行了调整。
目前,关于辅助信息的应用也是一个讨论焦点的研究前沿。Thomsen和Ann Marit,Kleive Holmoy(1998)根据挪威统计局的经验,提出利用管理档案系统的信息可以提高调查数据的质量。、和(1992)提出在存在缺失值的情况下对二手数据进行分析的方法。此外,Rubin(1991)还使用贝叶斯LOGISTIC回归对普查样本的行业代码进行多重替代。
还有许多对各种方法进行比较研究的成果:典型的如Roderick和Little等(1986)利用美国普查局CPS(即Current Population Survey)的收入数据进行了热卡插补和回归插补的效果比较研究。Michael、Lucy Wesley(1999)利用QOL(即Quality of Life)调查数据,在不同的无回答条件下对各种插补法进行了比较。Hegmin-Younger等(1998)在分析大学生入学成绩和入学后成绩的关系时对总均值插补法(MO)、分层均值插补法(MC)、热卡法(RC)和回归插补法(RG)等进行了比较研究。
伴随着理论的发展,无回答调整方法的应用领域在不断推广,尤其最近十多年来呈现蓬勃发展的趋势。Zanutto、Elaine和Louise(1998)提出基于跟随访问(follow-up)、管理记录(administrative records)和配对替代(matched substitutes)的模型,将替代法从项目无回答推广应用到单位无回答的情况。Wang-N Robins-JM(1998)将多重替代法应用到大样本调查。Gelman-A King-G Liu-CH(1998)将多重替代法从单一调查推广到多个调查中。此外,随着调查技术应用领域的推广,讨论无回答问题的领域也越来越广泛,诸如医药、教育、生物等领域都经常能见到有关无回答的探讨。
5、无回答的处理需要的相应计算机软件
目前应用较为广泛的无回答插补软件主要有:
Stefvan Buuren和Karin Oudshoorn设计的MICE。该软件可以进行灵活的多变量插补,但它需要在S-PLUS中使用。
Jaap Brand设计的Missing Data Machine,与MICE的插补方法比较相似。SAS中包含两个程序PROC MI 和PROC MI和PROC MIANALYZE。
Frank Harrell设计的S-Plus Hmisc library,包括插补数据、分析以及合并功能。但是它需要在以上版本的S-Plus中使用。
James Honaker,Anne Joseph,Gary King,Kenneth Scheve and Naunihal Singh设计的DOS版AMELIA软件,可以对无回答数据进行EM计算,其速度较快,并且擅长时间序列的处理。
Raghunathan,Solenberger以及John Van Hoewyk设计的IVEWARE要求在SAS环境下进行多重插补法。
John 和Scott 设计的EMCOV也对不完全数据可以运行EM算法,还可以对无回答数据进行插补。
Joseph 设计的NORM、CAT、MIX和PAN都是多变量插补软件。其中,NORM针对正态分布的数据,CAT则使用定序数据的对数线性模型,MIX是使用包括定序数据和连续数据的混合模型,PAN则是针对连续调查数据。这套软件有S-PLUS 版、S-PLUS 版以及Windows独立版。
此外,ABF Onderzoek的SURFOX是荷兰的一套进行插补的软件。Jason Bond设计的要求在X-LISP环境下对正态多变量进行插补。
1997年Statistical Solutions Ltd.出版了SOLAS for Missing Data Analysis(以下简称SOLAS)软件包,采用套装软件的标准化设计,大大节省了无回答研究及调查人员自行设计程序的困扰。SOLAS是一个专门用于无回答处理的Windows版商业软件,它以Rubin的理论为基础,适用于不同类型的资料,即可用于单一调查数据,也可处理连续性调查数据。其中包括六种插补技术,有四种单一插补方法-热卡插补法、利用最小二乘回归或判别分析的插补法、针对连续性调查数据的LVCF(Last Value Carried Forward)插补法、分层均值插补法;以及两种多重插补方法——利用最小二乘的多元回归预测法(Predictive Mode)、利用倾向得分(Propensity Score)和近似贝叶斯靴环法的一种非参数方法。此外,SOLAS还有定义变量、转换变量等数据管理功能,并能够对插补后的数据进行描述统计、回归分析、频数分析、假设检验、非参数分析和方差分析等。与其它同类软件不同的是,SOLAS可进行不完全数据集的分析。
(二) 国内的研究情况
1、大陆的研究情况
目前,国内有关无回答误差的原创性学术研究还很有限,也尚未形成体系,主要成果是对国外相关研究资料的译介和文献综述等方面。在有限的本土研究的中,较有代表性的有:
金勇进(1995)在研究非抽样误差时,介绍了无回答误差的基本理论,将单元无回答描述为“调查单位被选入样本,却没有接受调查,没有向调查人员提供资料”,将项目无回答描述为“被调查者虽然接受调查,但对其中的某些问题未予回答,使答卷中出现一些问题的空缺”,并对无回答误差及其预防和补救措施进行了考察和分析,并结合大陆统计调查的实践对中国大陆的无回答问题进行了探索性研究。金勇进(1998)探讨了处理缺失数据中对辅助信息的利用问题。金勇进和朱琳(1999)结合具体案例,对几种插补方法进行了比较研究和实证分析。此外,徐淑荣(1999)系统地归纳和分析了无回答的成因,提出控制无回答首先应是事前预防,并从单位无回答和项目无回答两个方面展开,对预防措施进行了探讨,认为从无回答产生的渠道来看, 均可被归纳为调查者和被调查者两方面的来源。李培军(1998)也对无回答误差进行了一些探讨。杨宝慧(2000)在其博士学位论文中针对连续调查中无回答的产生原因做了归纳。
在无回答的计量与预防方面,金勇进提出的无回答偏差模型揭示了导致无回答偏差的原因主要来自于两个方面:一个是回答层与无回答层单位之间的数量差异 ,一个是无回答率 ,同时结合中国本土实践,总结了若干可用的预防措施。
孙明举、孙山泽和段钢(胡健颖、孙山泽,2000)对二项选择敏感性问题调查提出了改进的随机化回答模型,克服了沃纳模型中不论抽中几号卡片都必须回答敏感性问题的缺点,消除了被调查者的顾虑,而且设计简便,利于实际操作。
针对Lepkowski、Little和David(1983)的两种方法在处理间歇式期单元无回答时权数组及需要建立的回归方程太多,不利于数据管理和数据分析的不足,杨宝慧和孙山泽提出了一种新的加权调整方法-纵横加权方法(杨宝慧,2002),并通过计算机模拟试验,与既有方法进行了对比,提高了估计量的准确度,可能会减少估计量的偏差。
蒋妍(2001)也研究了调查中无回答数据的处理方法,对多重插补法作了介绍。
2、港台的研究情况
相对于我国大陆而言,台湾学者对于统计调查中无回答处理方法的研究比较重视,相关的著作和论文也较多。
刘义周(1984)探讨了产生无回答的原因,并提出在理论及实务上应采取的对策。黄毅志(1997)在《抽样调查中访问失败的问题之探讨——以台湾地区社会变迁调查为例作说明》中对访问失败问题进行了实证研究。翁彰佑和程尔观(1991)针对不同插补法对统计量的影响等加以比较,并利用实例验证其研究结论。刘长萱和蔡政丰(1997)则利用插补法原理进行不完整取样设计,并作实例了研究,进一步拓宽了插补法的应用领域。陈信木、林佳莹(1997)在《调查资料之缺失值的处置——以热卡插补法为例》中,提到若干缺失值的处置方法,并进行了实例研究。李泰明、郑宇庭和谢邦昌(1999)采用Gibbs Sampler的随机模拟过程解决了多重插补中的抽样问题,结合蒙特卡罗EM算法提出一个一般化的解决方法,并应用实例验证其适用性。杨孟丽(2002)利用多层线性模型(HLM, Hierarchical Linear Model)来探讨问卷的题目特质、被访者特质以及访问员三者对项目无回答的影响。祝建华(1996)利用14个中国内地进行的公众调查的原始数据,运用Logistic回归模型,分析得出了可能影响中国被访者项目回答情况的若干因素(柯惠新,2003:556-566)。祝建华的研究对如何恰当收集中国调查数据提供了一些重要的启示。首先,研究表明中国被访者在调查中回答“不知道”的频率不一定高于世界其他地方,因此西方已经发展的处理缺失数据的各种统计方法都可以现成地应用在中国的调查数据中;其次,研究者发现中国的项目无回答不是随机分布的,而是与被访者的人口统计状况和政治经济地位等相关。所以,在对某个调查中所给出的实质性回答进行分析时,要注意控制这种个人特征变量;最后,研究表明,政府发起的关于敏感问题如政治的和意识形态的调查更有可能导致项目无回答,所以,不要天真地利用在这种情况下所收集数据的表面价值。不过,如果给予了特殊的小心和关注,从这些数据中还是能够推测出有用的信息的。
目前,台湾学者已将统计调查处理缺失值的方法列入基本的“抽样调查”教科书中,并不断有专文探讨理论上及实务上应注意的事项。如郑光甫及韦瑞(1998)在《抽样方法——理论与实务》中,探讨处理无回答的调整及插补法等。赵民德及谢邦昌(1999)在《探索真相——抽样理论与实务》一书中,详细介绍了无回答的调整和插补方法,尤其对多重插补法进行了重点介绍。
(三)无回答误差研究小结
对于调查中无回答的研究,已相对成熟,对理论的探讨以及对实务的处理均已初具规模。在早期对无回答概念、分类、成因、处理方式等进行的一系列理论探讨之后,渐渐有了许多新的关注点,如将无回答随机论观点与模型推断的普遍结合;对既有无回答处理方法的改进和扩展、方法的比较研究以及应用研究等。
目前,中国大陆有些学者关于调查中无回答问题的研究成果也非常值得重视,但一些研究尚不够深入和系统。笔者个人的一点感觉是,大陆的研究很多局限于对于无回答数据在数理统计层面上的分析和处理,少有深入的实证研究,缺乏与调查实际的紧密结合。其次就是创新性的研究缺乏,不少研究都是应用性的,即将国外已有的研究成果运用于国内无回答问题的分析和处理上。再次就是学术界较少把研究成果运用于调查实际,也较少在调查业界宣传和介绍无回答的预防及其处理方法。
无回答现象的种种在各个国家和地区的情况都不尽相同,因此,从我国目前调查研究的实际出发来分析无回答现象并探讨其解决方法是十分必要的,这样也有利于在统计调查中有效地防止和减少无回答,以提高调查的质量。
四、关于我国非抽样误差研究的思考
综上所述,国外学者对于非抽样误差问题的研究已经比较系统和全面,他们结合实际进行了很多基础性和应用性的研究,近年来相关的研究发展得比较快,推出了不少新的控制方法和模型等。
相比而言,国内学者对非抽样误差的研究大都是集中在纯数理的层面上展开的,他们的研究与调查的实际结合得还不够,专门针对一个具体的调查深入探讨非抽样误差及其控制的研究案例则很少见。
其次,国内学者关于非抽样误差问题的研究中,自主性、开创性研究的成分相对较少,介绍性、综述性的成果相对多一些。
而且,国内非抽样误差的研究群体也比较小,主要集中在中国人民大学和北京大学等高等学府。
总之,我国“非抽样误差情况复杂,对它的研究也不够充分”(冯士雍,2001),所以,我国非抽样误差研究的空间还是比较大的,有很多工作需要研究者去做。笔者认为,在研究路线和具体的研究方向上,都有许多问题值得我们去探讨和实践。在研究路线方面,以下各点是比较显而易见的:
第一,加大非抽样误差问题的宣传,引起更多相关专家学者和调查从业人员的关注,更多地投入到实际的研究中来。
第二,深入结合我国的调查实际,做一些扎扎实实的基础性研究工作,比如做一些实证研究,探讨各种误差的产生原因和预防方法等。
第三,认真吸收国外先进的研究成果,并积极与之交流,使我国的非抽样误差研究处于一个广阔的平台上,具有国际视野。
最后,把已有的研究成果应用于调查实际,经受得住实践检验的分析模型和处理方法才是有效的方法,同时研究者的研究能力也可望在实践中进一步提高。
在具体的研究方向上,本文不妨针对前两种类型的非抽样误差分别讨论。
1、抽样框误差
由于国外对于抽样框误差的研究已经比较全面和深入,我国学者可以在吸收国外已有研究成果的基础上,结合我国国土辽阔、地区差异显著以及处于改革转型阶段等实际,以及我国近年抽样调查逐渐得到的应用和重视的实际,做进一步深入的研究。冯士雍建议抽样框误差方面可以研究特殊总体,例如不断变化(新生或消亡,或者在不断流动)的总体的抽样方法等(冯士雍,2001);此外他还提到了应加强样本轮换方法的研究。通过结合实际的研究,我国学者有望得到具有原创性的研究成果,金勇进等学者已经做了一些努力,他提出了用于检查丢失目标单位的“平衡推算的方法”等(金勇进,1996)。
如何评估抽样框结构对调查估计总误差造成的总的影响,例如,一个反映抽样框误差的可以考察各种抽样框结构的成本效益的综合模型等,可能也是一个值得研究但是很有难度的方向。
2、无回答误差
虽然,在三种类型非抽样误差的研究中,“无回答”在我国是研究得相对最多的一种类型,但是还是有更加深入和系统研究的必要,特别是在与调查实际的结合方面还有待加强。因为无回答的种种现象和原因在各个国家和地区的情况都不尽相同,所以,从我国目前调查研究的实际出发,分析无回答现象并探讨其解决方法是十分必要的,这样也有利于在统计调查中有效地防止和减少无回答,而不只是限于事后的处理和补救。而且,鉴于许多国际上比较通行的处理无回答的技术,例如插补与加权调整,在我国抽样调查中应用得并不多(冯士雍,2001),所以,如何加强相关的处理技术的推广和应用工作,也是值得我国学者和专业工作者研究和努力的方向之一。
中文参考资料
边重(1986),《如何让人讲真话——谈敏感问题的抽样调查》,《数理统计与管理》,1986年第五期
陈膺强(1993),《应用抽样调查》,商务印书馆(台湾)
戴亦一(1998),《市场调查访问员的培训与管理》,《统计研究》,1998年第四期
杜金柱、斯琴(2002),《敏感性问题调查的几种方法与比较》,《中国统计》
樊鸿康(2000),《抽样调查》,高等教育出版社
冯士雍 倪加勋 邹国华(1998),《抽样调查理论与方法》,中国统计出版社
冯士雍(2001),《中国抽样调查应用中的若干问题》,《中国统计》2001年第11期,第7页
胡健颖、孙山泽(2000),《抽样调查的理论和方法》,北京大学出版社
蒋妍(2001),《调查数据中无回答问题处理方法研究》,中国人民大学博士论文
金勇进译 倪加勋校(1997),Judith 和William 著,《调查中的非抽样误差》,中国统计出版社,1997年
金勇进(1996),《非抽样误差分析》,中国统计出版社
金勇进(2001),《调查中的数据缺失及处理(1)——缺失数据及其影响》,《数理统计与管理》
金勇进(2001),《无回答的计量与预防(2)》,《数理统计与管理》
金勇进(2001),《缺失数据的偏差校正(3)》,《数理统计与管理》
金勇进(2001),《缺失数据的加权调整(4)》,《数理统计与管理》
金勇进(2001),《缺失数据的插补调整(5)》,《数理统计与管理》
金勇进、朱琳(2000),《不同差补发方法的比较》,《数理统计与管理》
柯惠新、丁立宏 (2000),《市场调查与分析》,中国统计出版社
柯惠新、祝建华、孙江华(2003),《传播统计学》,北京广播学院出版社
孔圣元、孟生旺(1998),《敏感性问题“随机变量和”回答模型》,《数理统计与管理》
梁小筠、祝大平(1994),《抽样调查的方法和原理》,华东师范大学出版社
李从珠、杜风超(1988),《关于大学生某些敏感性问题的调查与统计分析》,《数理统计与管理》,1988年第一期
卢宗辉(1998),《抽样方法的系统研究》,中国统计出版社
倪加勋主译、孙山泽校译(1997),著,《抽样调查》,中国统计出版社
庞智强(2000),《抽样调查》,兰州大学出版社
孙山泽、孙明举、段钢(2000),《二项选择敏感性问题调查的基本方法(1)》,《数理统计与管理》
孙山泽、孙明举、段钢(2000),《二项选择敏感性问题调查的改进方法(2)》,《数理统计与管理》
孙明举、段钢、孙山泽(2000),《多项选择随机化调查的多样本模型(3)》,《数理统计与管理》
孙明举、孙山泽(2000),《多项选择随机化调查的一样本调查方法——随机化调查方法(4)》,《数理统计与管理》第19卷2期2000年7月
孙山泽、孙明举(2000),《数量特征的随机化回答模型(上)(5)》,《数理统计与管理》
孙明举、孙山泽(2000),《数量特征的随机化回答随机变量加法、乘法模型——随机化调查方法(6)》,《数理统计与管理》
吴国培(1993),《抽样调查方法研究》,厦门大学出版社
解燕、顾震环、顾莉洁(2003),《关于Simmons模型的几点讨论》,《数理统计与管理》
杨宝慧(2000),《连续调查中非抽样误差的研究》,北京大学博士论文
杨宝慧(2002),《固定样组纵向调查“间歇式”期单元无回答的加权调整》,《应用概率统计》,第18卷第四期,2002年11月
杨孟丽(2002),《利用多层线性模式了解题目无反应》,《调查研究》(台湾)(中央研究院调查研究工作室出版),2002年第10期,PP58-89
张琅 (2002),《处理无回答的多重插补法》,中国人民大学硕士论文
张松岭、沈伟(2000),《抽样调查中无回答误差的研究》,《哈尔滨理工大学学报》,第五卷第二期,2000年4月
张雪兴(2000),《对市场调研中无回答处理方法的应用研究》,东北财经大学硕士论文
章英华、傅仰止、瞿海源(1995),《社会调查与分析》,中央研究院民族学研究所(台湾)
郑俊池、秦亦民(1991),《敏感性问题调查方法探讨》,《数理统计与管理》
英文参考文献
A
Ajit C. Tamhane (1981), Randomized Response Techniques for Multiple Sensitive Attributes, Journal of the American Statistical Association, December, 1981, Vol. 76, No. 376, Theory and Methods
Alice S. Whittemore and Joseph B. Keller (1988), Approximations for Regression with Covariate Measurement Error, Journal of the American Statistical Association, December, 1988, Vol. 83, No. 404, Theory and Methods
Andrew J. Copast and Vern T. Farewell (1998), Dealing with Non-ignorable Non-response by Using an 'Enthusiasm-to-respond' Variable, Journal of the Royal Statistical Society, Series A, 1998, Vol. 161, Part 3, PP385-396
Andrew B. Forbes and Thomas J. Santner (1995), Estimators of Odds Ratio Regression Parameters in Matched Case-Control Studies With Covariate Measurement Error, Journal of the American Statistical Association, September, 1995, Vol. 90, No. 431, Theory and Methods
Andrew Gelman, Gary King, and Chuanhai Liu (1998), Not Asked and Not Answered: Multiple Imputation for Multiple Surveys , Journal of the American Statistical Association, September, 1998, Vol. 93.
B
Balgobin Nandram and Jai Won Choi (2002), Hierarchical Bayesian Nonresponse Models for Binary Data From Small Areas With Uncertainty About Ignorability, Journal of the American Statistical Association, June, 2002, Vol. 97.
Bradley Efron(1994), Missing Data, Imputation, and the Bootstrap, Journal of the American Statistical Association, June, 1994, Vol. 89, No. 426, Theory and Methods
C
Carl N. Morris (1980), Nonresponse Issues in Public Policy Experiments, with Emphasis on the Health Insurance Study, RAND REPORT, N-1346-HEW
C. Hendricks Brown, Alka Indurkhya, and Sheppard G. Kellam (2000), Power Calculations for Data Missing by Design: Applications to a Follow-up Study of Lead Exposure and Attention, Journal of the American Statistical Association, June, 2000, Vol. 95.
Choongrak Kim, etc. (2000), Simulation-extraplation Via the Bezier Curve in Measurement Error Modles, Communications in Statistics: Simulation and Computation
Chuanhai Liu(1996), Bayesian Robust Multivariate Linear Regression With Incomplete Data, Journal of the American Statistical Association, September, 1996, Vol. 91, No. 435, Theory and Methods
C. J. Skinner, D. J. Holmes, and D. Holt(1993), Multiple Frame Sampling for Mulivariate Stratification, International Statistical Review, 1993, 61,4, PP333-347
Clifford C. Clogg, Donald B. Rubin, Nathaniel Schenker, etc.(1991), Multiple Imputation of Industry and Occupation Codes in Census Public-use Samples Using Bayesian Logistic Regression, Journal of the American Statistical Association, March, 1991, Vol. 86, No. 413, Applications and Case Studies
Colm O'Muircheartaigh and Pamela Campanelli(1999), A Multilevel Exploration of the Role of Interviewers in Survey Non-response , Journal of the Royal Statistical Society . Series A, 1999, Vol. 162, Part 3, PP437-446
Colm O'Muircheartaigh and Irini Moustaki(1999), Symmetric Pattern Models: A Latent Variable Approach to Item Non-response in Attitude Scales, Journal of the Royal Statistical Society , Series A, 1999, Vol. 162, Part 2, PP177-194
D
Dalenius (1974), The Ends and Means of Total Survey Design, Stockholm, The University of Stockholm
Dan A. Black, Mark C. Berger, and Frank A. Scott(2000), Bounding Parameter Estimates With Nonclassical Measurement Error, Journal of the American Statistical Association, September, 2000, Vol. 95.
Daniel F. Heitjan and Donald B. Rubin(1990), Inference From Coarse Data and Multiple Imputation with Application to Age Heaping, Journal of the American Statistical Association, June, 1990, Vol. 85, No. 410, Applications and Case Studies
Daniel F. Heitjan and J. Richard Landis (1994), Assessing Secular Trends in Blood Pressure: A Multiple-Imputation Approach, Journal of the American Statistical Association, September, 1994, Vol. 89, No. 427, Applications and Case Studies
Donald B. Rubin(1996), Multiple Imputation After 18+ Years, Journal of the American Statistical Association, June, 1996, Vol. 91, No. 434, Applications and Case Studies
Donald B. Rubin, Hai S. Stern, and Vasja Vehovar(1995), Handling "Don't Know" Survey Response: The Case of the Solvenian Plebiscite, Journal of the American Statistical Association, September, 1995, Vol. 90, No. 431, Applications and Case Studies
Donna Spiegelman, Bernard Rosner, and Roger Logan (2000), Estimation and Inference for Lgistic Regression With Covariate Misclassification and Measurement Error in Main Study/ Validation Study Designs, Journal of the American Statistical Association, March, 2000, Vol. 95.
Durbin(1954),Non-response and Call-Backs in Surveys, Bullitin of the International Statistical Institute,34(2),72-86
E
Elizabeth A. Stasny, Joseph B. Kadane, and Kathleen S. Fritsch(1998), On the Fairness of Death-Penalty Jurors: A Comparison of Bayesian Models With Different Levels of Hierarchy and Various Missing-Data Mechanisms, Journal of the American Statistical Association, June, 1998, Vol. 93.
Elizabeth A. Stasny (1991), Hierarchia cal Models for the Probabilities of a Survey Classification and Nonresponse: An Exampe From the National Crime Survey, Journal of the American Statistical Association, June, 1991, Vol. 86, No. 414, Applications and Case Studies
Evan P. Smouse(1982), Bayesian Estimation of A Finite Population Total Using Auxiliary Information In the Presence of Nonresponse, Journal of the American Statistical Association, March, 1982, Vol. 77, No. 377, Theory and Methods
F
Ferber,Robert(1966),Item Nonresponse in a Consumer Survey, Public Opinion Quartly,30,399-415
G
Geoffrey Woodhouse, Min Yang, Harvey Goldstein, etc.(1996), Adjusting for Measurement Error in Multilevel Analysis, Journal of the Royal Statistical Society . Series A, 1996, Vol. 159, Part 2, PP201-212
H
Hansen (1953) Sample Survey Methods and Theory, , Methods and Applications, New York: Wiley.
Hansen, Morris H (1963) , The use of imperfect lists for Probability Sampling at the . Bureau of the Census, Bulletin of the International Statistical Institute, 40(1), 497-517
Harlty (1946), Multiple Frame Surveys, Proceedings of the Social Statistics Section, American Statistical Association, 203-206
Hua Yun Chen (2002), Double Semiparametric Method for Missing Covariates in Cox Regression Models, Journal of the American Statistical Association, June, 2002, Vol. 97.
I
Irini Moustaki and Martin Knott(2000), Weighting for Item Non-response in Attitude Scales by Using Latent Variable Modles with Covariates, Journal of the Royal Statistical Society . Series A
J
Jeffrey S. Buzas and Leonard A. Sterfanski(1996), Instrumental Variable Estimation in Generalized Linear Measurement Error Models, Journal of the American Statistical Association, September, 1996, Vol. 91, No. 435, Theory and Methods
J. Gregory Robinson, Bashir Ahmed, etc.(1993), Estimation of Population Coverage in the 1990 United States Census Based on Demographic Analysis, Journal of the American Statistical Association, September, 1993, Vol. 88, No. 423, Undercount in 1990 Census
Jiahua Chen and Jun Shao(2001), Jackknife Variance Estimation for Nearest-Neighbor Imputation, Journal of the American Statistical Association, March, 2001, Vol. 96.
Jing Qin, Denis Leung, and Jun Shao(2002), Estimation With Survey Data Under Nonignorable Nonresponse or Informative Sampling, Journal of the American Statistical Association, March, 2002, Vol. 97.
J. N. Rao(1996), On Variance Estimation with Imputed Survey Data, Journal of the American Statistical Association, June, 1996, Vol. 91, No. 434, Applications and Case Studies
John P. Buonaccorsi(1996), Measurement Error in the Response in the General Linear Model, Journal of the American Statistical Association, June, 1996, Vol. 91, No. 434, Theory and Methods
John P. Buonaccorsi(1990), Double Sampling for Exact Value in Some Multivariate Measurement Error Problems, Journal of the American Statistical Association, December, 1990, Vol. 85, No. 412, Theory and Methods
John S. Greenlees, William S. Reece, etc. (1982), Imputation of Missing Values When the Probability of Response Depends on the Variable Being Imputed, Journal of the American Statistical Association, June, 1982, Vol. 77, No. 378, Applications Section
Joseph L. Schafer and Nathaniel Schenker(2000), Inference With Imputed Conditional Means, Journal of the American Statistical Association, March, 2000, Vol. 95.
J. R. Cook, and L. A. Stefanski(1994), Simulation-Extrapolation Estimation in Parametric Measurement Error Models, Journal of the American Statistical Association, December, 1994, Vol. 89, No. 428, Theory and Methods
Jun Shao and Hansheng Wang(2002), Sample Correlation Coefficients Based on Survey Data Under Regression Imputation, Journal of the American Statistical Association, June, 2002, Vol. 97.
Jun Shao and Randy R. Sitter (1996), Bootstrap for Imputed Survey Data, Journal of the American Statistical Association, September, 1996, Vol. 91, No. 435, Theory and Methods
K
Kish(1965),Survey Sampling,John Wiley and Sons,Inc.
L
L. A. Stefanski(2000), Measurement Error Models, Journal of the American Statistical Association, December, 2000, Vol. 95.
L. A. Stefanski and J. R. Cook(1995), Simulation-Extraplation: The Measurement Error Jackknife, Journal of the American Statistical Association, December, 1995, Vol. 90, No. 432, Theory and Methods
L. A. Stefanski and J. S. Buzas(1995), Instrumental Variable Estimation in Binary Regression Measurement Error Models, Journal of the American Statistical Association, June, 1995, Vol. 90, No. 430, Theory and Methods
Leonard A. Stefanski and Raymond J. Carroll(1990), Score Tests in Generalized Linear Measurement Error Models, Journal of the Royal Statistical Society . Series B, 1990, Vol. 52, No. 2, PP345-359
Lepkowski(1989), Tratement of Wave Non-response in Panel Surveys. Daniel Kasprzyk ect eds, John Wiley&Sons
Little and David(1983),Weighting adjustment for non-response in panel surveys, of the Census working paper
Little and Su(1989), Item Non-response in Panel Surveys, Daniel Kasprzyk ect eds, John Wiley&Sons,1989
Little and Su(1989), Item Non-response in Panel Surveys, Daniel Kasprzyk ect eds, John Wiley&Sons,1989
M
Madow(1983), Incomplete Data in Sample Survey, Vo1 1, Report and Case Studies, New York,Academic 3.
Mark (1953), The Postenumeration Survey of the 1950 Census: A Case History in Survey Desigh, Journal of the American Statistical Association, 48,220-243
Mark Huisman (1999), Item nonresponse :occurrence, causes, and imputation of missing answers to test items, DSWO Press
Martin Collins (1987), The Problems of Non-coverage and Unlisted Numbers in Telephone Surveys in Britain, Journal of the Royal Statistical Society . Series A, 1987, Vol. 150, Part 3, PP241-253
Michael A. Martin(1990), On Bootstrap Iteration for Coverage Correction in Confidence Intervals, Journal of the American Statistical Association, December, 1990, Vol. 85, No. 412, Theory and Methods
Michal Kulich and D. Y. Lin(2000), Additive Hazards Regression With Covriate Measurement Error, Journal of the American Statistical Association, March, 2000, Vol. 95.
Michal E. Miller, Thomas R. Ten Have, etc.(2001), A Marginal Model for Analyzing Discrete Outcomes From Longitudinal Surveys With Outcomes Subject to Multiple-Cause Nonresponse, Journal of the American Statistical Association, September, 2001, Vol. 96.: 844-856.
M. Laurentius Marais and WilliamE. Wecker(1998), Correcting for Omitted-Variables and Measurement-Error Bias in Regression With an Application to the Effect of Lead on IQ , Journal of the American Statistical Association, June, 1998, Vol. 93.
Myunghee Cho Paik(1997), The Generalized Estimating Equation Approach When Data Are Not Missing Completely at Random, Journal of the American Statistical Association, December, 1997, Vol. 92.
N
Nicholas T. Longford, etc.( 2000), Handling Missing Data in Diaries of Alcohol Consumption, Journal of the Royal Statistical Society . Series A
P
Paola Sebastiani and Maico Ramoni (2001), Bayesian Selection of Decomposable Models With Incomplete Data, Journal of the American Statistical Association, December, 2001, Vol. 96.
Paul P. Biemer and Christopher Wiesen (2002), Measurement Error Evaluation of Self-reported Drug Use: a Latent Class Analysis of the US National Household Survey on Drug Abuse, Journal of the Royal Statistical Society . Series A
Paul P. Biemer and Gosta Forsman (1992), On the Quality of Reinterview Data with Application to the Current Population Survey, Journal of the American Statistical Association, December, 1992, Vol. 87, No. 420, Applications and Case Studies
Paul S. Albert, Sally A. Hunsberger, and Frank M. Biro (1997), Modeling Repeated Measures With Monotonic Ordinal Responses and Misclassification, With Applications to Studying Maturation, Journal of the American Statistical Association, December, 1997, Vol. 92.
Peter Lynn(1997), Sample Frame Effects on the British Crime Survey, Journal of the Royal Statistical Society . Series A, 1997, Vol. 160, Part 2, PP253-269
Phyllis L. Ellickson(1989), Limiting Nonresponse in Longitudinal Research: Three Strategies for School-Based Studies, RAND REPORT, N-2912-CHF
Politz, Simmons .(1949), An attempt to get ‘not-at-homes’into the sample without call-backs, Joural of the American Statistical Association,44,9-31.
Prasad A. Naik and Chih-Ling Tsai (2000), Controlling Measurement Errors in Models of Advertising Competition, Journal of Marketing Research
P. R. Wilson and D. J. Elliot(1987), An Evaluation of the Postcode Address File as a Sampling Frame and Its Use within OPCS, Journal of the Royal Statistical Society . Series A, 1987, Vol. 150, Part 3, PP230-240
Q
Qihua Wang and J. N. K. Rao (2002), Empirical Likelihood-based Inference Under Imputation for Missing Response Data, The Annals of Statistics : An Official Journal of the Institute of Mathematical Statistics
R
Raymond J. Carroll and Helmut Kuchenhoff, etc. (1996), Asymptotics for the SIMEX Estimator in Nonlinear Measurement Error Models, Journal of the American Statistical Association, March, 1996, Vol. 91, No. 433, Theory and Methods
Raymond J. Carroll and Ker-chau Li (1992), Measurement Error Regression With Unknown Link: Dimension Reduction and Data Visualization, Journal of the American Statistical Association, December, 1992, Vol. 87, No. 420, Theory and Methods
R. Gary Bridge (1974), Nonresponse Bias in Mail Surveys: The Case of the Department of Defense Post-Service Survey, RAND REPORT, R-1501-ARPA
R. L. Chambers and A. H. Welsh (1993), Log-linear Models for Survey Data with Non-ignorable Nonresponse, Journal of the Royal Statistical Society . Series B, 1993, Vol. 55, No. 1, PP157-170
Robert E. Fay (1996), Alternative Paradigms for the Analysis of Imputed Survey Data, Journal of the American Statistical Association, June, 1996, Vol. 91, No. 434, Applications and Case Studies
Robert M. Groves (2002), Survey Nonresponse, New York: Wiley
Robert M. Groves and Mick P. Couper (1998), Nonresponse in household interview surveys, New York: Wiley
Roderick J. A. Little(1992), Regression With Missing X's: A Review, Journal of the American Statistical Association, December, 1992, Vol. 87, No. 420, Review Paper
Roderick J. A. Little(1982), Models for Nonresponse in Sample Surveys, Journal of the American Statistical Association, June, 1982, Vol. 77, No. 378, Applications Section
R. Wang, J Sedransk, and J. H. Jinn(1992), Secondary Data Analysis When There Are Missing Observations, Journal of the American Statistical Association, December, 1992, Vol. 87, No. 420, Applications and Case Studies
S
Scott M. Berry, Raymond J. Carroll, and David Ruppert(2002), Bayesian Smoothing and Regression Splines for Measurement Error Problems, Journal of the American Statistical Association, March, 2002, Vol. 97.
Sekar (1949), On a Method of Estimating Birth and Death Rates and Extent of Registration, Journal of the American Statistical Association, 44, 101-105
Sharon L. Lohr and J. N. K. Rao (2000), Inference From Dual Frame Surveys, Journal of the American Statistical Association, March, 2000, Vol. 95.
Sirken, Brown .(1962),Quality of Data Elicited by Successive Mailings in Mail Surveys, Proceedings of the Social Statistical Section, Amercian Statistical Association.,118-125.
Stuart G. Baker and Nan M. Laird (1988), Regression Analysis for Categorical Variables with Outcome Subject to Nonignorable Nonresponse, Journal of the American Statistical Association, March, 1988, Vol. 83, No. 401, Applications Section
Su-Chun Cheng and Naisyin Wang (2001), Linear Transformation Models for Failure Time Data With Covariate Measurement Error, Journal of the American Statistical Association, June, 2001, Vol. 96.
Sylvia Richardson, etc.( 2002), Mixture Models in Measurement Error Problems with Reference to Epidemiological Studies, Journal of the Royal Statistical Society . Series A
Szameitat,Schaffe (1963), Imperfect Frames in Statistics and the Consequences for Their Use in Sampling, Bulletin of the International Statistical Institute, 40,517-544
W
Wayne A. Fuller (1995), Estimation in the Presence of Measurement Error, International Statistical Review, 1995, 63, 2, 121-147
Well (1971), Dual Record Systems for Measurement of Fertility Change, Working Papers of the East-West Population Institute, . Honolulu;
Willard L. Rodgers, Charles Brown, and Greg J. Duncan (1993), Errors in Survey Reports of Earnings, Hours Worked, and Hourly Wages, Journal of the American Statistical Association, December, 1993, Vol. 88, No. 424, Applications and Case Studies
Wolter (1983) “Coverage Error Models for Census and Survey Date.” In booklet, ,Invited and Contributed Papers, Madrid, September 12-22,;International Statistical Institute,306-323.
W. Yung and J. N. K. Rao(2000), Jackknife Variance Estimation Under Imputation for Estimators Using Poststratification Information, Journal of the American Statistical Association, September, 2000, Vol. 95.
Y
Yi Li and Xihong Lin(2003), Functional Inference in Frailty Measurement Error Models for Clustered Survival Data Using the SIMEX Approach, Journal of the American Statistical Association, March, 2003, Vol. 98.
Z
(1966), Quality of Statistical Data,Rome; Food and Agricultural Organization of the United Nations.