第六章
标准参照测验的设计与编制
江西师大心理与教育统计测量中心
引子
够水平的通过，不够水平的通不过
不够水平的通过了，够水平的没过
目录
标准参照测验概述
1
标准参照测验的信、效度与误差控制
2
划界分数设置方法与被试评价
3
第六章 标准参照测验的设计与编制
标准参照测验概述
1
第一节 标准参照测验概述
定
义
编
制
用
途
一、标准参照测验的定义
戈莱塞（1971）：“所谓标准参照测验，是根据某一明确界定的内容范围而缜密编制的测验，并且，被试在测验中所得结果，也是根据某一明确界定的行为标准直接进行解释的”。
当使用的标准是用内容材料定义的，即为掌握某领域知识和技能的比例，这时测验就被称为内容参照测验（domain-referenced test）。
一、标准参照测验的定义
若已知测验分数和某个外部效标有关，则可用被试在效标上的表现直接解释测验分数，这种测验被称为结果参照测验（result-referenced test）。
二、标准参照测验的编制
三、标准参照测验的用途
广泛应用于教育教学实践，如教师自编测验、自定进度的教学系统等
各类教育水平、职业水平测试，采取了标准参照测验的编制、施测、记分和解释模式
用 途
第六章 标准参照测验的设计与编制
标准参照测验的信、效度与误差控制
2
第二节 标准参照测验的信、效度与误差控制
项
目
分
析
信
度
分
析
效
度
分
析
一、标准参照测验的项目分析
（一）测验项目的难度分析
标准参照测验对题目难度的要求则侧重题目的代表性。
如果题目对要考察的内容范围有良好的代表性，即使通过率很高或很低也应该保留下来；
如果题目相对要考察的内容范围而言，不具备很好的代表性，即使中等左右通过率的题目也应修改或删除。
一、标准参照测验的项目分析
（二）测验项目的区分度分析
一、标准参照测验的项目分析
（二）测验项目的区分度分析
一、标准参照测验的项目分析
（二）测验项目的区分度分析
二、标准参照测验的信度
分类一致性信度
荷伊特
信度
二、标准参照测验的信度
（一）分类一致性信度
二、标准参照测验的信度
（一）分类一致性信度
二、标准参照测验的信度
（二）荷伊特信度
三、标准参照测验的效度
内容
结构
绩效
从内容入手寻找效度证据，可以借助专家判断的方法，也可以通过经验规律、统计等方法进行分析。
从理论结构入手寻找效度证据有几种方法，常见的有聚合效度法、区分效度法和因素分析法，其中又以因素分析法最为常用。
相关系数大小受分数分布的影响，不适用于标准参照测验。下张介绍一下标准参照测验通过绩效或结果来验证效度的评估方法。
三、标准参照测验的效度
第六章 标准参照测验的设计与编制
划界分数设置方法与被试评价
3
第三节 划界分数设置方法与被试评价
判
断
法
实
证
法
综
合
法
一、判断法
整体
判断法
Nedelsky
方法
Angoff
方法
Ebel
方法
Angoff
修正法
判断法
一、判断法
（一）整体判断法
每位专家从整体上对测验和内容范围进行判断，提出符合标准的最低能力水平被试正确回答的项目的比例。然后将所有专家的分数平均，作为划界分数。
一、判断法
（二）Nedelsky方法
第一步由每位专家对每个题目判断临界水平考生都能够排除的反应数；
第二步，记录下剩余的反应数的倒数；
第三步，将该份测验中所有项目的倒数的和记为A，作为该专家确定的临界水平考生的可能分数；
最后一步，对所有专家的A值进行平均，即为最低通过分数。
一、判断法
（三）Angoff方法
一、判断法
（四）Ebel方法
一、判断法
（五）Angoff修正法
这种方法划分了与Ebel方法不同的两个维度，一个维度为被试完成测题所需要的能力（如记忆和理解等），另一个维度是每题的测量目标（如词汇、语法和阅读理解等）。然后计算划界分数与Ebel方法的过程就一样了。
二、实证法
Glass（1978）将9年级学生测验成绩的中位数作为一所中学毕业证书考试的最低标准；
有人采取低于团体平均水平一个标准差的方法确定截点；
Block（1972）提出一种“教育效果法”，试图建立测验分数与学习效果的函数关系，他提出存在一条S型的学习曲线，分界分数在曲线的拐点周围；
还有人提出，当通过率与达标比率一致时，可以采用通过率确定及格线的参考标准。
三、综合法
临
界
组
法
对
照
组
法
Jaeger
方
法
三、综合法
（一）临界组法
1982年，Livingston和Zeiley提出由专家判断和选择一组正处于临界水平的被试，将测验施测于该组被试，计算他们在测验上的平均成绩，以确定测验的内容范围所要求的临界水平。
三、综合法
（二）对照组法
1.选择熟悉被试的专家；
2.让专家判断一组被试为掌握组，另一组被试为非掌握组，不太容易判断的被试一概剔除；
3.对两组被试进行施测；
4.在同一坐标系上画出两个被试组的分数分布图（见图6-6）；
5.将两个组的交叉点设置为划界分数。
三、综合法
（二）对照组法
三、综合法
（三）Jaeger方法
1. 每位专家先完成这份测验。
2. 每位专家对问题“当地每个要毕业的中学生都应能正确回答这道题吗？”作“是”或“否”回答。
3. 确定每组专家所建议的通过分数分布，计算每组专家中各项目的是-否反应数目。
4. 告诉每位专家一组11年级的学生（比毕业生低一个年级）在某测验项目上的通过率和组内其他专家对某测验项目的评定。
5. 允许专家根据上面信息修改他们最初的评定。
6. 每组专家建议的通过分数的中数作为该组设置的标准。
复习与思考
1．简述标准参照测验的编制过程。
2．标准参照测验的区分度分析有几种情况，它们之间有什么关系？
3．什么是分类一致性信度，如何计算？
4．举例说明标准参照测验几种划界分数的设置方法。
5．试比较标准参照测验与常模参照测验效度分析的异同。
江西师大心理与教育统计测量中心
