Embed Size (px)
Citation preview
提纲
• 贫困的多元本质及其影响评估的方法论
• 前几讲讨论引入定量研究方法
• 介绍定性研究方法
• “为什么”及”什么”• “怎么”问题:评价方法及资料要求
• 利与弊
• 举例：运用世行评估局的数据，说明人力资本的发展对项目业绩的影响
3
影响评估方法论
• 贫困及不均是多角度的: 收入贫困,收入不均, 基本需求得不到满足如食物,营养,住房,服装,也得不到医疗保健和教育这些基本的社会服务
• MDG有11个目标,其中大多数是可计量的,还有一部分是难以量化的
• 这就决定了在影响评估时,既要用定量方法,也要用定性方法
• 定量方法在上届会议上已讨论过• 这个模块重点讨论定性研究
4
定性方法是什么
• 定性方法通过建立反事实的方法确定因果关系
• 它们依靠个体或群体观察到理解过程,行为和条件
• 例如: 怎样观察一个项目影响了人们的生活,怎样观察一个培训方案促进了学习
5
定性方法需要回答的问题
• 怎样观察项目/方案是否影响个体/群体? • 个体/群体是否有机会参加到该项目中来?• 能否看到个体/群体得到社会服务?• 能否看到个体/群体得到信息?• 能否让预期的目标群体得到实惠?
6
怎样使用结果: 敬请注意….
• 定性资料也可以用定量方法进行量化和分析(如对元,回归,概率单位回归)
• 对于影响的评估,建立反事实是必不可少的,因此,定性方法常常作为一种定量分析的补充方式.
• 例如:对农村快速评估法:它依赖于参与者对被评估
项目的环境条件的了解
• 参与式评估:在这种评估中,利益相关者参与到评估的所有阶段.参阅1996世界银行<世界银行参与式手册>
7
定性方法的优点
• 优点:这种方法灵活,可满足使用开放性措施的需要,
• 可使用快捷的方法迅速执行
• 可使人们更好的理解那些可能影响项目效果的利益相关者的权衡,优先考虑,条件
和过程
8
定性方法的缺陷
• 资料收集中的主观性
• 缺乏比较组,不可能建立反事实,因此也就不能建立因果关系.
• 由于样本量小,缺乏充足的统计支撑
• 这样其结果并不一定使用于数目更大的总体
• 其有效性及可靠性取决于评估者/访谈者的技巧
和能力
9
第一部分 摘要• IE的目标是确定项目/工程和收益者生活水平的提高
之间的因果关系
• 关键的问题是要建立周密的反事实,以排除像发展之
类其它因素的干扰
• 定性方法并不是完美的-由于建立反事实有很多困难,这种方法难免有诸多问题
• 这种方法可经常和定量方法配合使用. 我们将在10至12页举一些例子.
• 接下来我们就转向第二部分,该部分主要讨论使用定性方法的分析工具和方法论的问题.
10
教育和项目完成的满意度用WB项目评估数据呈现的一种关系
高增长
正常增长
低增长
低教育水平,低生活水平
高教育水平,高生活水平
74.6
57.3
50.2
67.4
49.6
39.8
0
10
20
30
40
50
60
70
80
高度满意或满意比例
来源:IFG”更多更好的发展”预测
11
在法制完善/健全的国家,政府对人力资本的
投资和项目成功之间的联系
完善的法律,制度
不完善的法律制度
公共福利少
公共福利多
61.559.7
51.1 53.9
0
10
20
30
40
50
60
70
高度
满意
或满
意比
例
来源:IEG”更多更好的发展”预测
12
Logit回归分析 项目的数目=1432项目Prob > chi2 = 0.0000逻辑可能 = -737.28003
因变量= 项目满意/成功的概率------------------------------------------------------------------------------独立 变量| 系数 标准误差 z P>|z| -------------+----------------------------------------------------------------社会_和~y 1.693773 .7803399 2.17 0.030 保健_和~n .954222 .2805141 3.40 0.001 基础设施~e .6327003 .2483197 2.55 0.011 城市_农村~t .3708713 .2461714 1.51 0.132 经济_a~e 1.037912 .3610067 2.88 0.004 政策变量:用于提供公共服务的开支所占比重 9.839474 2.316261 4.25 0.000
均通货膨胀 -.0004668 .0003183 -1.47 0.143 均失业 -.0594618 .0209657 -2.84 0.005
均赤字/GDP .0005079 .0005474 0.93 0.353 平均制动压力 -.0000954 .0012476 -0.08 0.939
均增长 .1395262 .0437912 3.19 0.001 均-c-风险 .0168096 .0124857 1.35 0.178
13
Part II. 定性研究的步骤
• 确定研究问题：现实生活，文献综述，
自我经验
• 选择研究对象－抽样
• 收集资料的方法
– 访谈法
– 专题小组讨论
– 案例研究
– 观察法
• 分析资料，建构理论，写作研究报告
• 质量检测（效度、信度、推广度、伦理
问题）
14
定性研究与定量研究的区别
•• 定性研究定性研究主要采用非概率抽样方法，根据某一研究目的，寻找具有某种特征的小样本人群进行调查。常常用于制定假设或是确定研究中应包括的变量，对潜在的理由和动机求得一个定性的理解。
•• 定性调查定性调查可以指明事物发展的方向及其趋势，但却不能表明事物发展的广度和深度；可以得到有关新事物的概念，但却无法得到事物的规模的量的认识。
•• 定量研究定量研究是将数据定量表示，并通过统计分析，将结果从样本推广到所研究的总体 。
•• 定量调查定量调查恰好弥补了定性分析这一缺陷，它可以深入细致地研究事物内部的构成比例，研究事物规模大小，以及水平的高低。
15
定性研究与定量研究的联系定性研究是产生新想法的工具
定性研究可以通过对目标人群的观察和倾听以获取第一手资料，给研究者提供产生新想法的信息。通过通过定性研究，研究者可以了解自己不知道或不了解的有关目标人群的语言和行为范围，了解目标人群在受到语言或非语言的刺激后产生的想法和反应，为更好地交流提供信息。
定性研究是收集原始资料的一种方法
通过开放式问题或访谈提纲的形式来收集资料，所收集的资料较为全面，可以客观、准确地反映被研究者的情感、思想、行为等方面的问题，是一种较好的、有时甚至是唯一可以应用的收集资料的方法。
16
定性研究与定量研究的联系定性研究是定量研究的先前步骤
定性研究可以探讨人们的行为、情感、思想等领域里的一系列问题，了解这些问题的变化范围，为定量研究的问卷设计提供必要的信息，同时也是进行定量研究前的必要步骤。
定性研究可以帮助理解和解释定量研究的结果，使研究者对所研究的问题有较为客观、全面的解释。
17
Part III 项目影响评估
• 项目对个人、家庭或机构产生影响，以及该影响是否可以归因于项目干预。
• 经济影响－与效益评估不同，主要包括对社会分配、就业、国内资源成本、技术进步等。一般定性分析，较少作定量分析。
• 环境影响－污染控制、环境质量、自然资源利用和保护、生态平衡和环境管理等。
• 社会影响－有形和无形，包括解决就业、发展当地经济、填补国家相关技术空白及对当地居民生活的影响等。
18
影响评估设计和实施步骤
• 确定评估需求
• 澄清评估目标和问题
• 分析数据的可采集性
• 设计评估
• 组建评估团队
• 开发评估工具：设计问卷、个人或小组访谈提纲、抽样、试测、培训等
• 收集资料、数据
• 分析资料、数据
• 写评估报告
19
定性方法的作用
• 从影响评估的步骤看定性方法的作用– 帮助寻找评估指标：寻找因果关系的线索以及可能起作用的因素（利益相关者、相关因素）
– 定量评估的补充：数字不是万能的（问卷中的开放式问题：社会影响），验证定量分析结果。
– 定性解释Why（贫困县人均收入提高，为什么？）
– 定性解释how
20
与影响评估相关的定性研究方法
• 个人访谈（interview）
• 专题小组讨论（focus group）• 案例研究（case study）• 观察（observations）
21
访谈法(interview)
• 访问者通过口头交谈等方式向被访问者了解社会实际情况的方法．
• 应用范围：
调查的主题较复杂或很敏感；
被访者的居住地点很分散；
存在“伙伴压力”（peer pressure）
22
访谈法的种类
• 非结构式访谈（unstructured interviews）• 半结构式访问（semi-structured
interviews）• 全结构式访问（structutal interviews）
23
如何访谈法收集资料（1）
• 1、问题构成：
• 开放式与封闭式
• 具体型与抽象型：行为、事实胜于态度、评价
• 清晰型与含混型：
• 例：这个扶贫项目对您个人有哪些影响？
24
如何访谈法收集资料（2）• 2、访谈过程
• 访谈顺序：非指导问题开始，开放式过渡到半开放式，聚焦，增加难度。从大到小，由易而难。
• 围绕中心：一旦出现无关话题，把跑题拉回来
• 追问：被访者主动提及的话题，顺藤摸瓜
• 提纲的作用：要有准备，但不依赖
• 倾听的艺术：项目评估访谈－积极关注式
• 例一： “某农村贫困地区学生辍学的现状如何？”• 例二：“扶贫项目对农村贫困地区辍学现象的影响”
25
例一：探索型问题
1） 某农村贫困地区学生辍学的现状如何？（“是什么”的问题）
2） 农村贫困地区学生为什么辍学？（“为什么”的问题）哪些因素与农村贫困现象有关？（相关因素分析）
3） 这些农村学生是如何辍学的？（“如何发生”的过程性问题）
4） 这些辍学生是如何看待辍学问题的？辍学对他们意味着什么？（“意义解释”问题）
26
例一：探索型问题（续）研究问题：“某农村贫困地区学生辍学的现状如何？”
（探索型）
1）这些学生是如何辍学的？（过程、事件、原因）
2）他们是如何看待辍学的？（对辍学本身的评价，辍学对自我概念、人际关系、个人前途的影响等）？
3）其他人（父母、同学、教师、校长、邻居等）是如何看待这些学生的辍学的？对他们来说，辍学具有什么教育意义、发展意义，社会意义和经济意义？
4）辍学造成了什么后果？（对辍学生本人，对家庭，对社区，对学校，对当地社会经济发展）
27
例二：因果型问题
研究问题： “扶贫项目对农村贫困地区辍学现象的影响”（因果型）
1）该农村贫困地区学生辍学现象在扶贫项目开展前后有无变化？有哪些变化？（有无分析；因变量）
2）该扶贫项目对哪些相关因素产生影响？（相关因素分析；自变量）
3）对照组：排除其他因素
4）变化的原因解释（来源于项目）
• 样本选择：辍学生？重回学校的学生？
28
影响评估访谈注意点
• 样本的选择（受益人、相关者、对照组）
• 赢得信任
• 口语化
• 避免过于投入
• 不轻易打断对方
• 不为对方作结论
• “对方在谈的是我的研究对象吗？”• “对方回答了我的问题吗？”• “这个答案是对方真正想的吗？”
29
专题小组讨论（focus group discussion）• 专题小组调查法是由一个经过训练的主持人以一种无结构的自然的形式与一个小组的被访问者交谈，主持人负责组织讨论，从而获取对一些有关问题的深入了解 。
• 利用群体成员之间的互动，相互补充、相互纠正，使讨论更具有广度和深度。
30
专题小组讨论
• 目的：探索对项目有用的，但研究者并不了解的经验、情感和信念等方面的问题。
• 用途：– 帮助寻找研究问题
– 确定定量研究指标（问卷开发）
– 观察参与者的互动
– 对初步研究结论进行效度检验
– 集体构建知识
31
研究者的角色
• 研究者是辅助者、协调人（moderator），不是提问者
• 将谈话的主动权交给参加者
• 营造轻松、安全、自由的气氛
• 保证每个人都发言（排除领导效应）
• 当谈话偏离主题时，适当加以控制、引导
32
主持人的特点
• 主持人特点
– 耐心、友好、有亲和力
– 果断, 但不要造成胁迫感
– 好问的, 对事物好奇... 必须追问
– 围绕主题、保持中立
– 反应敏捷、体察细节
33
例：专题小组讨论的设计与抽样
• 小组大小：8～12人• 小组构成：同质性；预先筛选被调查者
• 座谈环境：放松的、非正式的气氛
• 时间长度：1～3小时
• 记录：使用录音带和录像带
• 观察：主持人可以观察、可相互接触，主持人有熟练的交流技术
• 是否正确？
34
专题小组讨论设计与抽样
• 对社会影响进行追踪（探询变化或因果关系）
• 同一人群，不同时段的讨论（因果,有对比）
• 不同人群，不同时段的讨论（因果，有代表性）
• 同一人群，一次性讨论（缺乏对比，无代表性）
• 不同人群，一次性讨论（缺乏对比，有代表性）
• 注重不同人群的对比（探询差异或相关关系）
• 同一人群，相同问题
• 同一人群，不同问题
• 同一人群，不同提问方式
35
专题小组讨论的实施
• 安排空间，观察反应
• 主持人介绍主题
• 自我介绍
• 开始讨论，讨论规则：– 一次一人
– 所有人都发言
– 自己讨论
– 围绕主题
– 没有好坏之分
• 主持人适当介入，总结
36
专题小组讨论中的问题
• 过分一致– 参加者同质性高
– 群体思维
– 同伴压力
• 过分对抗– 偏见
– 权威/长者效应
– 敏感话题
– 防御心理
– 竞争心理
37
案例研究(case study)
• 案例是一个包含了一个或多个真实疑难问题之复杂情境的描述。
• 叙述一个从开始到结束的完整情节；
• 包含问题的困境；
• 要能反映出事件发生的特定背景；
• 反映现实生活场景；
• 需要有已有决策的评价；
• ……
38
何时使用案例研究
• 案例包含了要研究的所有或大多数内容及相关因素
• 从案例中能发掘出差异、变化、相关或因果关系，与定量研究相互印证
• 案例有示范作用
• 案例有普遍意义
39
观察法(observation)
• 是指研究者通过对事件和观察对象行为的直接察看，收集和记录研究对象日常生活信息的一种方法。
• 观察法有别于日常生活中的一般观察，具有特定的研究目的、假设和观察标准，事先有严密、系统的设计和记录。但是观察法所用的时间较长，对研究人员有严格的条件要求，需有良好的素质，丰富的调查经验等，因此，开展观察法研究往往是困难的。
40
场地/情境 (Setting/ context)人物 (Who)时间 (When)事件 (What)事情的经过 (How)为什么 (Why)
观察的内容
41
定性研究资料分析方法
• 定性研究者本人就是基本的分析工具，关心的是收集到的资料所产生的概念和解释。
• 在分析过程中，研究者利用已有的经验和对研究目标的理解，以求回答研究问题。
42
资料的整理和分析
• 1）阅读原始资料
• 2）找出重要主题（思考单位，关键词）
• 3）列出原始“主题目录”（分析框架）
• 4）根据主题目录，对原始资料进行编码（“本土概念”）
• 5）根据主题或次主题安排和组织各种资料（归类）– 先后顺序
– 关键事件
– 人物
– 过程
– 主题
• 类属分析；情境分析
43
资料的整理和分析
• 6）解释资料– 因果分析；
– 阐释循环；
– 直觉
• 7）详细记载研究内容– 要从评价问题开始，而不是急于寻求因果关系
– 用有说服力的文字和详细描写
44
定性分析的偏差
• 很难认出预料之外的事
• 数据需要核实
– 考虑不同解释
– 对比结果
– 处理好不同意见
• 多角度分析可提高分析结果的可信性
– 多种数据收集方法，多人收集，多角度分析
45
定性研究报告写作方式
• 主题化
• 分析法（故事重构，描述并揭示关系）
• 例证法（通过各种形式呈现本质的不同变式）
• 注解法（与现有理论进行对话）
• 存在论方法（时间性、空间性、实体性、相关性等）
• 创造文本
46
报告格式
• 题目
• 摘要：定式摘要（目的、方法、结果、结论）
• 关键词
• 前言部分（背景）
• 方法
• 结果
• 讨论和推论
• 结论
• 建议
47
定性研究质量检测
1、效度问题（可靠性、可信度）
2、信度问题（可重复性）
3、推广度问题（可推广度）
4、伦理道德问题（自愿原则、保密原则、 回报原则、保持关
系原则）
