(海量营销管理培训资料下载)
项目评估
Huey T. Chen, .
行为健康室
伯明翰阿拉巴马大学
美国
(海量营销管理培训资料下载)
第一单元: 基本概念和问题
(海量营销管理培训资料下载)
项目评估的定义
Rossi, et al., 2004:
利用社会学研究的程序来对社会学干预项
目进行系统的研究
Chen, 2004:
利用评估方法、技术和知识来系统评价和
改善干预项目的计划，实施及效果
(海量营销管理培训资料下载)
干预项目
通过有组织的努力来改善社会问题或增进
人群健康
卫生项目
(海量营销管理培训资料下载)
项目评估的目的
评价
项目改进
(海量营销管理培训资料下载)
基本概念和评估中的问题
利益相关者: 个人，小组或组织对项目运行
的方式具有浓厚的兴趣
(海量营销管理培训资料下载)
项目评估中利益相关者的担心
担心项目评估将消耗项目资源
担心项目将会终止
担心信息将会被滥用
担心评估的设计没有针对性或不公平
(海量营销管理培训资料下载)
有效的评估
对未来有指导作用
具有科学性，并且具有利益相关者可信性
科学上的可信度: …以科学的原则为指导
利益相关者可信性：…利益相关者认为能
够反映实际情况且公平
整体策略
(海量营销管理培训资料下载)
内部与外部评估者问题
管理者的信心
目标
对项目的理解
潜在的使用价值
自治
(海量营销管理培训资料下载)
评估者的作用和评估方法 (1)
独立评估:
评估者作为客观的评估者
参与式评估:
评估者与利益相关者合作来设计评估
(海量营销管理培训资料下载)
参与式评估的赞成与反对者
赞成:
增加了利益相关者的信任度
减少了评估者与项目管理者及工作人员之间的冲突
有利于改善项目
减少了权力的不平衡
提高了评估结果的利用率
反对:
耗费时间和资源
可能不客观
目前的趋势:
(海量营销管理培训资料下载)
第二单元: 项目评估的分类
(海量营销管理培训资料下载)
评估类型的传统分类
形成性和结论性评估
过程和结果评估
(海量营销管理培训资料下载)
形成性和结论性评估 (1)
Scriven, 1980:
评估可能向那些希望改善某些事情的人提
供反馈信息 (形成性评估);
或向决策者提供信息以便他们决定资助、
终止或购买某些东西 (结论性评估).
(海量营销管理培训资料下载)
形成性和结论性评估 (2)
举例: “当厨师品尝汤的时候，这是形成性
评估; 当客人品尝时，就是结论性评估”
问题: 形成性研究与形成性评估之间的区别
在哪里?
(海量营销管理培训资料下载)
过程和结果评估
过程评估: 评估一个项目是如何执行的
结果评估: 评估项目的结果
问题: 形成性－结论性与过程－结果评估之
间有什么联系?
(海量营销管理培训资料下载)
评估分类
评估能够满足过程和利益相关者的需求
(Chen, 2004)
(海量营销管理培训资料下载)
项目阶段
项目计划
开始实施
实施的成熟阶段
结果
(海量营销管理培训资料下载)
第三单元:
利用评估来评价和改善项目计划
(海量营销管理培训资料下载)
项目计划与评估
评估功能：提供相关信息和帮助以帮助利益相关者
制定项目的计划和理论
评估方法:
需求评估
形成性研究
制定方法（Development Facilitation）
(海量营销管理培训资料下载)
需求评估
需求的定义
实际与需求状态之间的差异?
人必须在一种有满足感的状态下生存
需求与要求
(海量营销管理培训资料下载)
高危人群
产生某种问题的几率较高的一组人群
(海量营销管理培训资料下载)
准备需求评估
要研究的人群
目标人群特殊定义
举例: 老年居民缺乏社会机遇
社区中目前的资源
(海量营销管理培训资料下载)
需求评估的信息来源
需求的社会指标
统计数字，公共材料，普查
(海量营销管理培训资料下载)
社区调查
面对面访谈
提供深入的信息
费用可能较高
电话访谈
提供一般的信息
非常难于接触到高危人群
信件调查
可灵活地接触大量人群
在长的及开放性的问题方面会受到限制
应答率通常较低
(海量营销管理培训资料下载)
关键知情人
对社区非常了解的人或社区的领导
举例：卫生需求的关键知情人?
访谈或小组访谈的方法
作为一个好的倾听者的重要性，以及准备回答项
目相关的问题
潜在的问题
过度估计
个人日程
(海量营销管理培训资料下载)
小组访谈
一个非正式的小组一起讨论需求
小组人员的构成非常重要
小组领导者不能与小组中的任何成员疏远
气氛: 轻松且自由自在
小组访谈之前应当准备特殊的问题
(海量营销管理培训资料下载)
形成性研究
有利于寻找原因（决定因素）及干预策略
以及设计项目的一些相关背景信息
帮助利益相关者发现重点关注的原因（决
定因素）
帮助利益相关者找到干预策略
有利于缩小需求与要求之间的差距
(海量营销管理培训资料下载)
第四单元
方法制定
(海量营销管理培训资料下载)
逻辑模型
项目活动与希望达到效果之间联系的图解
(海量营销管理培训资料下载)
逻辑模型的构成成分
结果产出活动投入
(海量营销管理培训资料下载)
逻辑模型的术语
投入: 执行项目所需要的资源
资金，人员，合作，设备及物资供应
活动: 执行项目所需要开展的主要活动及方式
招募及培训项目执行者，提供服务
产出: 项目活动的主要产品
培训班数量，培训学员数量
开展咨询的次数
结果:由于项目而导致明显的变化
知识、技能、态度、行为、健康状态的变化
(海量营销管理培训资料下载)
逻辑模型举例
请参见所发的单页辅助材料
(海量营销管理培训资料下载)
逻辑模型
投入
活动
产出
最初结果
中期结果
长期结果
(海量营销管理培训资料下载)
项目原理
达到预想的目标所必须开展的活动详述，还会产
生什么样其他的重要影响，目标及影响是如何产
生的
项目基本原理 (改变模式):
它促使行动开始
项目计划 (行动模式）
行动方案蓝图
(海量营销管理培训资料下载)
项目基本原理
项目将减少或解决什么问题？
什么样的目标人群将会受到项目关注？
项目将达到什么样的可测量的目标？
什么决定因素（问题的原因，平衡机制）促使变
化的发生？
什么样的干预活动可以影响这种决定因素？
(海量营销管理培训资料下载)
什么问题? 什么目标人群?
干预 决定因素 结果
(海量营销管理培训资料下载)
黑箱评估
原理驱动型评估 (行动及概念假设)
改变模型举例
大众传媒
运动
更健康的
饮食
更健康
饮食
更健康
饮食
饮食知识
及意识
大众传媒
运动
大众传媒
运动
减少
心脏病
饮食知识
及意识
(海量营销管理培训资料下载)
针对吸毒者提供艾滋病自愿咨询与检测的项目组成成分
需要减轻的问题? 目标人群?
(海量营销管理培训资料下载)
最终结果:
减少吸毒者中艾滋病病
毒的传播
近期结果
减少共用针具
实施安全性行为
决定因素
?
干预
艾滋病
自愿咨询
与检测
(海量营销管理培训资料下载)
项目计划
实施机构: 技术方面的特长，文化方面的能力，人
力资源及其他资源?
干预及服务提供的方案：由谁负责？
项目执行者: 招聘, 培训, 保持资格, 及承诺
同伴机构／社区的合作者: 建立合作关系
社会生态学背景: 寻求其支持 (微观水平上的支持
及宏观水平上的支持)
目标人群: 发现, 招聘，筛查及服务
(海量营销管理培训资料下载)
项目成功
实施成功
干预的完整性
行动原理成功
概念理论成功
决定因素实施 结果干预
项目计划
(海量营销管理培训资料下载)
形成性评估
过程评估
过程与结果评估
监督
Huey T. Chen, .
第五单元
(海量营销管理培训资料下载)
过程评估
一个评价项目是否按照最初设计思想实施
的评估过程
项目接触到预定的目标人群了吗？
目标人群中的成员了解项目吗?
(海量营销管理培训资料下载)
形成性评估与过程评估
形成性评估: 利用灵活的研究方法来评价项
目实施中的障碍和促进因素，帮助利益相
关者去克服困难
过程评估: 评价实施的质量
(海量营销管理培训资料下载)
形成性评估举例:
安全套可及性项目
社区中的中学有安全套自动售套机 (每个安全套2角5分钱
).
售套机安装在护士办公室，活动中心及走廊.
形成性评估的目的是告诉你如何增加安全套的销售
研究方法: 开展了两个小组访谈.
障碍:
售套机的安装位置
2角5分钱的费用
安全套的包装
辅导者: 青少年健康中心是一个安全获得安全套的地方
(海量营销管理培训资料下载)
过程评估举例: 孕妇吸烟复吸预防项
目
干预内容
与一个吸烟的健康教育者进行10分钟咨询
通过讨论和辅导提供并加强社会支持
产前医务人员在门诊进一步强化 (护士和医生)
研究方法
从参加人员中选择一部分代表，利用规范的调查工具
进行访谈，以了解计划的内容与学员实际获得的内容
的一致性。
(海量营销管理培训资料下载)
原理驱动过程评估 (标准化评估)
利用项目原理的概念性框架 (特别是行动模
式)来评估实施过程
评估项目在干预、目标、及实施环境方面
计划与实施之间的一致性。
(海量营销管理培训资料下载)
干预
艾滋病
自愿咨询
检测
实施 实施者 干预 同伴机构 生态学 目标人群
与服务 背景
机构 提供
方案
(海量营销管理培训资料下载)
过程监督
阶段性收集实施过程中的信息
举例
有多少人接受了服务？
谁接受了服务？
向目标人群提供了什么样的服务？
(海量营销管理培训资料下载)
过程和结果监督
过程监督
结果监督
资料收集
由评估者收集
利用现有的记录
(海量营销管理培训资料下载)
效果评估中的基本问题
Huey T. Chen, .
第六单元
(海量营销管理培训资料下载)
内部有效性及外部有效性
内部有效性: 干预工作影响到结果了吗？
外部有效性: 哪些人群、场所和测量可以推
广这些效果？
Campbell: 内部有效性是必须的
选择-成熟交互作用: 选择偏性会导致成熟率的不同
(海量营销管理培训资料下载)
试验设计
随机试验: 试验组和对照组是随机分配形成
的
准试验设计: 试验组和对照组不是按照随机
分配的原则形成的
预试验设计: 设计什么东西不会对内部有效
性产生巨大影响
(海量营销管理培训资料下载)
预实验设计
一组检测前后设计
O X O
(海量营销管理培训资料下载)
对内部有效性的影响- 1
历史: 在预试验和后验证之间发生的干预活动以
外的事件。
成熟: 随着时间的推移在一个人或系统中所产生
的变化，如成长，疲倦，社会趋势等。
检验: 一次检测后进行第二次检测得分变化的效
果
仪器精度: 测量工具的精度发生变化或观察者的
变化可能会导致观测结果的变化。
(海量营销管理培训资料下载)
对内部有效性的影响- 2
历史衰减: 根据一个人或事物的极端特性进行选
择后所产生的假性变化。
选择: 选择对照组时由于平均测量结果的不同所
带来的偏差。
损失: 由于对照组在成熟度选择方面的影响而导
致被观察个体在差异方面的丢失。选择偏性导致
成熟率不同。
选择成熟度的影响: 选择偏性所造成的成熟率的
变化。
(海量营销管理培训资料下载)
随机试验
参加者随机被分配到对照组和试验组中
利用随机原则建立可比性。
问题: 随机化不是随机抽样
问题: 附近试验: “忽视”的情况
问题: 如何测量试验中安慰剂所产生的影响。
(海量营销管理培训资料下载)
干预组 R O X O
对照组 R O X O
(海量营销管理培训资料下载)
对随机试验的批评
试验要求项目的连续性而不利于持续的改善。
(管理者与评估者之间的冲突）
由于操作性的原因，试验倾向于一次测量一个项
目变量，而实际上项目的成功取决于多项服务结
合在一起。
一项实验试图控制太多的条件，从而使项目不受
任何因素影响，但在实际中无法推广。
试验不研究效果是如何或为什么会产生，也不能
理解什么因素是项目成功的关键。
(海量营销管理培训资料下载)
开展试验最理想的时间
当引进一个新的干预措施时
当基准提高时
当对项目效果出现争论时
(海量营销管理培训资料下载)
准实验设计
Huey T. Chen, .
第七单元
(海量营销管理培训资料下载)
非对称性对照组的设计
干预组 O X O
-- - - - - - - - - - - - - - -
对照组 O O
对内部有效性的影响?
(海量营销管理培训资料下载)
提高可比性的策略
对照组匹配
个体特征，家庭特征
组织单位的特征，社区特征
对照组的统计
(海量营销管理培训资料下载)
阻断型时间序列设计
O O O O O O X O O O O O O
对内部有效性的影响?
(海量营销管理培训资料下载)
评价预定的和意外的结果
目标模型的局限性
管状视野
忽视意外的效果
无目标评估 (Scriven)
评估者事先不了解项目目标相关的知识
(海量营销管理培训资料下载)
检查预定的和意外的结果
检查实施的活动
举例: 对失职者的管教机构
正式目标: 恢复
操作性目标: 监管
使用现有的原理和／或知识
(海量营销管理培训资料下载)
原理驱动型结果评估
Huey T. Chen, .
第八单元
(海量营销管理培训资料下载)
实施机构
实施者
同伴机构／社区合作者
干预及提供服务的方案
生态学背景
目标人群
实施 干预 决定因素 结果
(海量营销管理培训资料下载)
应用举例 原理驱动型评估
控烟项目
干预: 连环画
目标人群: 初中学生
评估的设计: 非对称性对照组设计
结果的测量: 吸烟相关的信念, 态度,行为
设计利益相关者项目原理反应问题的策略
(海量营销管理培训资料下载)
对吸烟的态度、信念
及行为改变
阅读连环画的次数
有关连环画故事
和特征的知识水平
干预
(海量营销管理培训资料下载)
Huey T. Chen 2004 实用性项目评估: 评估和改善项目的设计、实施及效果.
Thousand Oaks, CA: Sage
