高教国培(北京)教育科技研究院
Higher education the culture (Beijing) education technology research institute

教育评估中的数据汇总合成

摘   要

为使教育评估结果更具科学性、准确性,文章探讨了教育评估过程中数据汇总合成的处理方法,包含指标群体评判结果的汇总处理、评估指标属性值的规范化处理和多指标数据的合成处理等方面,并结合实例具体介绍了合成的具体做法。

关键词:教育评估;群体评判;规范化处理;汇总合成


目前,常用的教育评估工作中数据汇总合成的处理方法涉及以下问题。首先,当一些评估指标的内涵较为模糊抽象、缺乏精度度量标准时,往往采用主观评判方式,凭借专家的知识和经验,对评估对象进行评判,如何将专家的群体评判结果有效地汇总为评估对象在该指标上的价值。[1]其次,对多个评估对象采取相对评估方式时,如何有效地将群体评判结果进行汇总。再次,评估指标涉及评估对象的各个方面,对不同的指标有不同的赋值方式,不同物理含义、不同量纲、不同类型的数据无法直接进行数据汇总合成,如何对各项指标的属性进行规范化处理,是进行有效数据汇总合成的先决条件。最后,如何根据多指标数据汇总合成的要求,选取合适的评估模型,将所有指标数据汇总合成为评估对象的整体价值,从而得到科学的、准确的教育评估结果是目前教育评估亟待解决的重要问题。

针对以上问题,本文探讨了教育评估过程中数据汇总合成的主要处理方法,包含指标群体评判结果的汇总处理、评估指标属性值的规范化处理和多指标数据的合成处理等方面,并进行了实例介绍。希望能规范化教育评估工作的数据汇总合成,提高评估结果的公正性和科学性。











一、群体评判结果的汇总处理











在教育评估工作中,主观指标的属性值通常凭借专家的知识和经验对评估对象进行价值评判,或者通过广泛的社会调查得到,然后将群体评判结果汇总为评估对象在该指标上的价值。[2]在汇总群体评判结果时,受专家的知识与经验、对标准的理解和认知等的影响,每位专家的评判结果存在个体偏差和不确定性。为了集中不同领域专家的智慧,集成更多的知识优势,同时避免个人评判产生的随机性和偶然性,教育评估中通常采用群体评判。将各专家的评估结果采用数学计算方法进行汇总合成,使评估对象具有可比性。


在教育评估中,对多个评估对象采取绝对评估方式,常采用算术平均法、中间平均法和加权平均法,对多个评估对象采取相对评估方式时,常采用票选法和排序法,能有效地将群体评判结果进行汇总。考虑到群体评判中可能出现专家对评估对象给出的评判结果相差甚远的现象,需要分析群体评判结果的一致性,从而进一步保证和提高评估结果的科学性和准确性。[3]

(一)群体评判结果汇总合成方法


01

群体评判结果汇总合成常用方法


在教育评估中,对于绝对评估方式,常用的群体评判结果汇总合成方法包含算术平均法、中间平均法和加权平均法,这三种方法比较简单。此外常用的群体评判结果汇总合成方法还有票选法和排序法。


(1)票选法




票选法是指按照一定标准和要求,对n个评估对象做出“赞成”“弃权”“反对”的三选一式评判,评判人选择“赞成”的票数不得超过给定的限额m(1≤m≤n)。当m=n时为等额票选;当m<n时为差额票选。[3]首先,进行有效性核定。若不符合要求,则该评判人的票选结果无效,例如赞成票数超过了给定的限额m。接着,对票选统计结果的汇总合成方法有得票数优先法和得票比例法。


得票数优先法根据得票数多少确定评估对象的胜出,分为赞成票多者优先和净胜票(赞成票与反对票之差)多者优先。得票比例法根据赞成票与反对票的占比来确定评估对象的胜出。例如,在某次教育评估实践中,对于赞成票达到实到人数的三分之二及以上,并且反对票未满三分之一的评估对象予以直接通过,对于其他评估对象进行现场答辩,进一步进行评估。


(2)排序法




排序法是指根据一定的标准和要求,对n个评估对象按照从强到弱的顺序进行标记,若评判人认为若干评估对象强弱程度相当,可给予并列名次。例如,在某次学校内涵建设绩效评估中,邀请10位专家作为评判人对某项主观指标采用排序法进行评估,规范化处理后,评估次序如表1所示,进行数据汇总合成后,得到Rj,则评估对象的排列次序如排名列所示。


微信图片_20200609082128.png


02

群体评判结果汇总合成的数据过滤


应用以上方法进行群体评判结果汇总合成时,为有效获得评估对象的价值,需要对评估数据进行过滤处理,如过滤同一指标的最大值和最小值。但是,这样的处理还不够完善,过滤数据的标准可进一步考虑误差大小,而非数据自身大小。根据评判人给出的评判结果xij相应的标准化值Zij的误差进行数据过滤。Zij如式(1)所示进行计算。Zij是评判人给出的评判结果xij的标准化值,反映了各评判人给出的评判结果与群体评判均值的相对偏离程度。

微信图片_20200609082134.png


设定参数t,如果∣Zij∣>t,则认为相应的xij误差过大而作为无效数据予以剔除;否则,认为xij的误差在允许的范围之内得以保留。在教育评估实践中,可根据实际情况适当简化误差大小的计算。Sj称为标准差,意义与Zij类似。


03

基于评判准确性的数据汇总合成方法


为进一步提高数据汇总合成的准确性,借鉴数据过滤的方法,将所有评判结果的准确性逐一量化。如图1所示,数据过滤处理过程中随着参数t的缩小,逐步增大保留下来的数据的权重。评判准确性高的评判结果赋予较大权重,将评判准确性低的评判结果赋予较小权重。


权重wij的呈阶梯型模型。根据设定的权重wij和原始评判结果xij代入加权平均模型,即可得第j个评估对象群体评判结果的汇总合成。评判结果标准化值Zij的绝对值与权重wij成反比,两者基本符合标准正态分布。采用标准正态分布模型代替阶梯模型,则权重wij如式(3)~(4)所示。


微信图片_20200609082137.png


权重wij的取值范围为[0,1]。当评判结果xij与群体评判结果的平均值一致时,标准化值Zij为0,则权重wij为1;当评判结果xij与群体评判结果的平均值相差越大时,权重wij越接近于0。因此,权重wij反映了评判结果xij的准确性程度。


微信图片_20200609082140.png


(二)群体评判结果一致性分析


对于各评估对象,多位评判人给出的评判结果是一组数据。当评判人数足够多时,评判结果趋于正态分布。根据正态分布的特征,理想的群体评判结果呈现一定的分布规律和集中趋势,以此检验群体评判结果的一致性程度。例如,m位评判人对某一评估对象j给出的评判结果为x1jx2j,…,xmj,以群体评判结果的均值为参考基准,可以用平均差MD、标准差S和差异系数V等参数分析群体评判结果的一致性程度,如式(5)~(8)所示。

微信图片_20200609082143.png

平均差MD、标准差S和差异系数V均反映了群体评判结果的离散程度。平均差、标准差和差异系数越小,表示各位评判人给出的评判结果越趋近于群体评判结果的均值,该评估对象的群体评判结果一致性程度越高;反之,说明此群体评判的一致性越差,存在意见分歧,需进一步进行评估处理。[4]

在某次学科评估中,各专家对6门学科进行评估,各门学科群体评判结果的平均差、标准差和差异系数,如表2所示。各门学科群体评判结果的平均差在2-4之间,说明各评判人给出的评判结果平均偏离均值2-4分,其中学科5的平均差相对较大一些,各学科群体评判结果的差异系数均较小,说明其群体评判结果较一致,其中学科5的差异系数较大一些。


微信图片_20200609082146.png











二、指标属性的规范化处理











评估指标涉及评估对象的各个方面,对不同的指标有不同的数据采集方式、赋值方式,不同物理含义、不同量纲、不同类型、不同赋值标准的数据无法直接进行数据汇总合成。[3]因此,将指标体系的各项指标数据合成为评估对象的总价值前,通常需要对各项指标的属性值进行规范化处理。如何对各项指标的属性进行有效的规范化处理,是进行有效数据汇总合成的先决条件。

考虑将指标的原始属性值x通过函数变换y=f(x),转换为某一个区间内的相对数据y,相对数据无量纲、各数据的特性和类型一致。转换函数f(x)称为效用函数,取值范围为[0,1],y=fx)越接近于1表示该项指标表现得越强,对评估对象总价值的贡献越大;反之,越接近于0则表现越弱,对评估对象总价值的贡献越小。按照效用函数的性质和特征,可分为线性效用函数和非线性效用函数。本文主要讨论线性效用函数。常用的线性效用函数有直线型、折线型和阶梯型。


01

指标属性的直线型规范化处理


直线型效用函数一般形式如式(9)所示。其中b和a为相应指标属性值的上、下阈值,分别表示指标属性值的满意界限和达标界限。当指标属性值小于达标界限a时,效用函数为0;当指标属性值大于满意界限b时,效用函数为1。

在式(9)中,当x=a时f(x)=20。有时为了给最低者一个基础分即f(a)=h,则可以有下列计算式(10)


微信图片_20200609082149.png


02

指标属性的折线型规范化处理


折线型效用函数的一般形式如(11)所示。折线型效用函数是直线型效用函数的变形,在直线型效用函数的[a,b]区间范围内设置某个分界点c,将[a,b]区间划分为[a,c]和[c,b]两个子区间,在[a,c]子区间和[c,b]子区间内各自是一个直线型效用函数。

微信图片_20200609082152.png


在教育评估实践中,由于难以精确地确定分界点c及其函数值d,一般情况下不太使用折线型效用函数。


03

指标属性的阶梯型规范化处理


阶梯型效用函数的一般形式如(12)所示,将指标属性值分为若干个子区间,当指标属性值处于某子区间时,效用函数为某一常数,其中0<k1k2…<ki+1=1


微信图片_20200609082155.png











三、多指标数据的合成处理











多指标数据的属性值经过规范化处理转换为没有量纲的规范化值以后,可以通过一定的模型或合成函数将多指标数据汇总合成为评估对象的总价值。采用不同的模型将影响评估对象的评估结果,因此,可采用多种模型对比分析后,进行综合评估。

教育评估中常用的多指标数据合成处理方法包含主成分分析法、投入产出比法、数据包络法、聚类分析法、模糊综合评估法、人工神经网络等。本文通过某次学校内涵建设绩效评估的实践,对主成分分析法、投入产出比法进行详细说明。


01

主成分分析法


主成分分析法(Principal Component Analysis)简称PCA,是一种通过数学变换将一组可能存在相关性的变量转换为一组线性不相关的变量来代替原来的变量的方法,在数学上常用来处理降维。[5]在教育评估中,应用主成分分析法能将原先存在相关性的指标,重新组合成互相无关的综合指标。

例如,某次学校内涵建设绩效评估的实践涉及29所学校,初步设计的指标体系包含81个指标,23个投入指标,58个产出指标。使用SPSS软件对指标体系进行主成分分析法,对指标进行精简。首先,对指标属性值进行群体评判结果汇总合成、规范化处理;其次,构建产出指标的相关系数矩阵,如表3所示;再次,计算产出指标的相关系数矩阵的特征根与特征向量,如表4所示;随后,确定产出指标可综合为21个主成分指标,累计贡献率达92.981%;最后,得到各学校产出主成分指标的得分,如表5所示。投入指标亦可用此法进行分析精简。

微信图片_20200609082218.png


在评估指标较多的情况下,主成分分析法可以在保证精度的前提下降低指标空间的维数,并尽量消除指标间的关联性。


02

投入产出比法


投入产出比法是衡量评价活动效益的基本方法,是教育领域中进行教育评价的经典方法之一。[6]学校绩效同样注重办学效益、资源利用率等。因此,某次学校内涵建设绩效评估的实践采用投入产出比模型,即以学校的产出指标价值与投入指标价值的比率作为度量其绩效的结果,如式(13)所示。

微信图片_20200609082222.png

采用投入产出比模型,有利于既注重产出成果的数量和质量等绝对成绩,更注重办学效益,提高资源利用率。


参考文献

[1] 张伟江 .上海教育评估工作规程(2008年版)[M].北京:高等教育出版社,2009.

Zhang Weijiang. Regulations of Shanghai Education Evaluation(2008 version)[M]. Beijing: Higher Education Press,2009.
[2] 冯晖,王奇 .专家评判准确性分析及专家星级评定方法[J].复旦教育论坛,2012,10(6):59-63.
Feng Hui,Wang Qi. Analysis of the Accuracy of Expert Judgement and Method to Identify the Star-level of Expert[J]. Fudan Education Forum,2012,10(6): 59-63.
[3] 冯晖 .教育评估计算学[M].北京:高等教育出版社出版,2012.

Feng Hui. Education Evaluation Computing[M]. Beijing: Higher Education Press,2012.
[4] 冯晖 .教育评价中的敏感性问题研究[J].华东师范大学学报(教育科学版),2007,25(2):37-41.
Feng Hui. Research on Sensitivity Problems in Education Evaluation[J]. Journal of East China Normal University(Educational Sciences),2007,25(2): 37-41.
[5] 林海明,杜子芳 .主成分分析综合评价应该注意的问题[J].统计研究,2013,30(8):25-31.
Lin Haiming,Du Zifang. Some Problems in Comprehensive Evaluation in the Principal Component Analysis[J]. Statistical Research,2013,30(8): 25-31.
[6] 杨雪,冯晖 .基于主成分分析的高校投入产出绩效评价[J].上海管理科学,2012,34(5):107-109.
Yang Xue,Feng Hui. An Evaluation on the Input-Output Performance of Universities Based on Principal Component[J]. Shanghai Management Science,2012,34(5): 107-109.


分享到:
电话咨询客服:周一至周日9:00-22:00
010-56137990
联系邮箱:gaojiao@teacher-edu.cn
关于我们
联系我们
拿起手机扫一扫
关注公众号
客服广告
 
 
——————
热线电话
010-56137990
13141069037