
三 研究方法
本书主要运用实证分析的研究方法,并且基于以随机干预实验为主的规范分析方法进行理论方面的研究,分析激励与学生教育成果的关系,以及激励对校长和教师行为的影响机理。
在统计分析的过程中,建立模型,运用统计软件进行数据处理,从而验证理论研究中提出的假设。在研究具体问题时拟采用以下研究方法。
(1)随机干预实验方法(Randomized Controlled Trial,简称RCT)。采用随机干预实验方法分析、评估对校长的不同干预措施对西部贫困农村小学生健康和成绩的影响、对教师的不同激励方式对学生学业表现的影响。这是国内首次采用这种方法系统评估校长激励对农村学生身体健康和学业表现的影响、教师激励对学生学业表现的影响。虽然在农村教育中很多想法和办法似乎都符合逻辑,且有一定的合理性,但是其具体作用尚不明确,实际作用结果也不确定。因此我们“像自然科学家一样进行实验,实验的地点不在实验室,而是现实社会”。
(2)问卷调查和测试的方法。校长激励项目涉及的问卷调查包括:学生膳食情况、学生基本情况调查表、学生家庭情况调查表、老师调查表、学校调查表、校长调查表。相关的测试工具包括:学生成绩的测试(标准化数学和语文考试)、学生身体健康检测。教师激励项目涉及的问卷调查包括:学生的基本情况、标准化数学考试成绩和数学学习的兴趣及态度等信息;数学老师的基本信息、老师的绩效工资情况以及老师对绩效工资的态度等。
(3)定性与定量分析相结合的方法。运用计量经济学模型和数据统计分析(STATA)软件进行定量研究,以验证不同测评指标的有效性,并在此基础上结合定性访谈研究的结果。
(4)比较分析的方法。比较分析的方法是本书的研究视角,也是本书的研究方法。设计和安排基于比较分析的方法,部分结论也是通过比较分析的方法获得。通过比较分析测试哪种干预措施能够最有效地激励校长改善学生健康和学习成绩状况、激励老师提高学生的学业表现。
随机干预实验方法是在医学、心理学、教育学、社会学和经济学中针对某种实验干预的效果进行检验的被广泛使用的手段(Freiman et al.,1978;Concato,2000)。该方法早期在医学、药学和护理学的研究中使用较多,主要用于对药物或者某种疗法的效果进行评测(Auvert,2005;Bartelink,2007)。近年来,随机干预实验已经成为发展经济学研究中的重要工具,比如劳动力经济学和健康经济学(Robertson,2001;Morrell,2000)。为了分析实验效果,随机干预实验通常在某一个时间改变一个因素,最终验证和评价实验中的因果效用。随机干预实验的一个最基本特征是将研究对象随机分组,对不同的组实施不同的干预措施或者不实施任何干预而形成控制组,最终通过对比不同组别的特性差异验证分析干预手段的效果。在经济研究中,随机干预实验法是度量因果关系的有效方法。按照该方法的原理,处理水平是随机分配的,独立分布于残差项中的遗漏因素,可以克服内生性的问题,实现因果效应的测度(詹姆斯·H.斯托克等,2005)。
尽管目前已有多种针对干预效果评估的方法,但是随机干预实验法被认为具有其他干预效果评估方法不具备的多项优势,是进行影响评估的“黄金准则”。现今已有的经济学评估方法包括传统经济学研究中使用的非实验或拟实验的评估方法,比如事前事后评估比较法(Wagner,2007)、倾向得分匹配法(Fu,2008)、倍差分析法(赵峦等,2010)和断点回归法(武增海等,2013)等。事前事后评估比较方法假设项目干预因素是影响被试实验前后变化的唯一因素。该方法通过测量参与个体在参与项目前后的指标变化评估干预效果。该方法实施简单,但是前提假设要求太高,无法评估实验过程中其他因素的影响。比如无法排除对儿童进行贫血研究中自然因素的影响。倍差分析方法引入了控制组。该方法假设如果不进行干预,干预组和控制组的个体具有相同的变化。通过测量干预组和控制组指标的前后变化,将两者进行比较,从而去除两者间共性因素的影响,比如自然增长。项目需要测量干预组和控制组的前后两期数据。倾向得分匹配方法假设没有用作匹配的变量(因为不可观测或不可测量)不会造成结果有所偏差。通过在控制组中找到一个或多个与干预组个体具有相似特征的个体,然后对比参与项目的个体同没有参与项目但具有相似特征的被试个体。需要测量的数据包括参与个体和非参与个体的“匹配变量”和最终结果变量。该方法可以保证干预组和控制组之间具有较高的统计特性。断点回归方法假设在执行准入标准的前提下,接近准入标准但又不满足要求的个体同那些刚好达到标准的个体之间没有显著差异。项目实施过程中,将全体被试个体依据特定的变量和可测量的标准进行排序,按照设定的个体参与项目的准入条件,将参与项目的被试个体与没有参与项目的个体进行比较。项目实施需要获得最终结果变量,设定准入标准与其他控制变量。上述方法具有不同的优点和应用场合,但是在具体实施中如何保证干预组和控制组的统计特性一致,并避免外界因素的影响,从而更加真实地反映干预因素的效果均是项目设计的关键和核心问题。而随机干预实验法通过随机安排干预组和控制组,实现干预组和控制组在统计意义上的同质,以解决干预组和控制组的选择问题,该方法可以保证明确是不是干预本身导致观测到的结果,而排除其他因素的作用。但是该方法需要获得干预组和控制组在干预前后的数据。同时要求有足够的样本量,从而保证对干预效应的检测。
事实上,要获得干预组和控制组样本的平均差异,需要研究四个部分的数据:对干预组进行干预的数据、未对干预组进行干预的数据、控制组的数据和如果对控制组进行干预的数据。但是在实际研究中,只能获得两部分的数据,即对干预组进行干预的数据和控制组的数据。无法同时观测到对干预组进行干预和未对干预组进行干预(反事实)的数据。因此,如图1-1所示,假设干预组和控制组分别为T和C,首先对干预组和控制组进行基线调查,在干预实施之前对干预组和控制组进行评价,使T和C成为具有统计意义的“双胞胎”,具有可比性,从而构建反事实的样本。对T实施干预,增加了I1,I1既包括干预的影响,也涵盖自然增长的部分。与此同时,虽然未对C进行干预,但是C有自然增长的成分I2。就统计意义来讲,I2对应于T自然变化的部分。因此,I1与I2的差异才是干预的净影响,也就是干预的效果(Kenneth et al.,2009;Peduzzi et al., 2002; Schulz et al., 2002; Duflo et al., 2007)。
图1-1 随机干预实验原理
在随机干预实验的实施中也存在一些问题。第一,实验对外部环境的依赖,外界因素的改变,比如政策的改变,导致样本被外界环境变化所影响,需要在干预过程中进行监测和记录。但是Rodrik(2008)认为对于在较大范围内进行的实验,外部环境的影响相对较低。第二,干预者的干预措施可能对控制组形成交叉感染,比如对干预组进行营养知识的信息干预,相关营养知识扩散到控制组;或者控制组模仿干预组的行为。这点需要在实验设计中予以充分考虑。第三,干预对象对干预措施的落实程度,部分干预对象可能由于知识不足或者环境因素限制对干预措施的落实不充分,这会直接影响干预的效果评估,而这些只有在评估调查中才能发现。因此,需要在基线调查和评估调查中间,采取一定措施增强干预效果。比如,定期发短信提醒被干预对象注意干预措施。第四,在干预过程中,部分样本可能离开实施干预的地区,从而造成实验样本的流失。因此,在实验设计时,应该考虑到这一点,增加干预样本的数量,预留部分样本余量。
鉴于上述问题,基于随机干预实验法的干预效果研究通常包含以下步骤。(1)设计合理的指标以建立干预与结果变量之间的因果联系,寻找合适的干预措施。项目设计者要确认干预措施与结果变量之间存在明确的因果关系。例如,一个项目研究目的是改善儿童的营养健康状态,那么结果变量可以选用体重身高指数等指标。(2)明确干预实施的单位。干预可以针对个体,如学生、农户等,也可以针对一个团体进行,如学校和社区等。比如进行营养知识信息干预以学生为干预单位,同一所学校干预组的学生和控制组的学生可能存在交叉感染。但是选择以学校为干预单位,只要学校之间的距离足够大,那么可能产生的交叉感染程度较小。(3)对样本采取随机选择的方法。包括摇奖抽取法、轮流干预法和逐步推进法等。摇奖抽取法只对部分参与者进行干预;逐步推进法在一开始只对干预组进行干预,过一段时间后再对控制组进行干预。(4)确定可能的影响因素。比如项目是否存在溢出效应和交叉效应,干预组与控制组是否存在交叉感染等。(5)确定项目样本对象和样本数目。明确随机干预实验的规模,保证随机干预效应检测的统计力度。