基于德尔菲法和层次分析法的研究生学习成果评价研究——以教育经济与管理专业为例 作者：张万朋 柯乐乐
来源：《现代大学教育》 2018年第1期
研究生培养质量问题一直以来都是社会关注的热点。根本上来讲，高等教育的本质是培养人的活动，高等教育质量到底如何，最终应由学生的学习成果来决定［１］。教育部、国务院学位委员会《学位与研究生教育“十三五” 规划》提出要努力实现研究生教育向服务需求、提高质量的内涵式发展转型。［２］因此，通过学生学习成果的测量和评定对培养质量进行内部保障成为了一个重要研究领域。［３］但以研究生为测量和评价对象的研究相对于本科生而言，目前尚在起步阶段。如何量化评估研究生培养单位的人才培养成效，成为本研究的关键问题。
为此，本研究力图突破以往以宏观层面分析研究生培养质量的视角，聚焦于微观的学生学习成果，从教育经济与管理这一多学科交叉专业出发，借鉴国内外有关学习成果指标以及教育经济与管理专业培养方案的基础上，运用德尔菲法从通用学习成果和专业学习成果两个维度初步构建了教育经济与管理专业研究生学习成果指标体系，进而通过层次分析法，确定指标体系各项指标权重，最后通过实证分析进行合理性验证。我们试图通过本项研究来拓展研究生培养质量的评价维度，构建我国硕士研究生学习成果的全新评价体系，为相关学习质量评价的指标选取提供参考。
一、研究设计
（一）研究对象
德尔菲法（又称专家意见法） 所选取的专家以教育经济与管理专业的大学教授为主，从专家数量上，利萨（Ｋ�Ｒｅｚａ）和瓦西里斯（Ｓ�Ｍ�Ｖａｓｓｉｌｉｓ）提出德尔菲法样本数以１０－１５个意见参与者已足够。［４］每位专家我们严格按照以下要求进行选取：对完成所要调查的问题具有充分的经验和理解；在教育经济与管理研究领域十分活跃且具有一定的学术影响；教育经济与管理学科带头人；对学生学习成果的研究有所建树，同时具有应答的时间和责任感［５］３９。根据这些要求并秉着不集中于一所高校的原则，我们确定了来自中国人民大学、北京大学、北京理工大学、首都师范大学、华东师范大学、上海师范大学、湖南农业大学、西北师范大学和河南大学共９所高校的１１位专家。为了验证指标构建的合理性，选取了１０所来自不同地域和类型的教育经济与管理专业研究生培养单位，共１４３位研究生三年级学生作为实证研究的调查对象。邓相超事件
（二）研究方法
德尔菲法是介于一次性问卷调查与其他非介入性研究（ｎｏｎ�ｒｅａｃｔｉｖｅｒｅｓｅａｒｃｈ） 之间的调查方法，以反馈匿名的形式与专家进行多轮问卷和访谈，向各个专家征询意见，以便使其能相互交流，并修正以前的意见。［６］层次分析法（ＡｎａｌｙｔｉｃＨｉｅｒａｒｃｈｙＰｒ
ｏ�ｃｅｓｓｉｎｇ）因较为简便地将人主观臆断定量化，成为目前常用的测算权重法。主要原理在于：分解决策问题，将分解出的各元素排成有序递阶，然后两两比较同一阶层元素的相对重要性，最终确定总排序。［７］本研究首先通过文献梳理，筛选修订涉及专业学习成果的指标，通过德尔菲法，确定评价体系的各项指标，然后利用层次分析法得出各项指标的权重，最后，为了验证指标合理性，将指标体系形成有效问卷进行实证研究，选取１０所样本学校共１４３位教育经济与管理专业研究生三年级的学生进行学习成果调查。
（三）调查过程
本次专家咨询分为三轮，分别在２０１６年９月、２０１６年１１月和２０１７年１月进行。在问卷设计方面，我们梳理了近年来学习成果评价研究的背景材料，并参考我国硕士学位授予标准（１９８１版）［８］、一流大学《教育经济与管理专业硕士研究生培养方案》、高等教育学习成果评价项目（Ａｓｓｅｓｓｍｅｎｔｏｆ Ｈｉｇｈｅｒ Ｅｄｕｃａｔｉｏｎ Ｌｅａｒｎｉｎｇ Ｏｕｔｃｏｍｅｓ， ＡＨＥ�ＬＯ）［９］、研究生学习投入调查（ＰｏｓｔｇｒａｄｕａｔｅＳｕｒｖｅｙｏｆＳｔｕｄｅｎｔＥｎｇａｇｅｍｅｎｔ，ＰＯＳＳＥ）［１０］，研究型大学学生就学经验调查（ＳｔｕｄｅｎｔＥｘｐｅｒｉｅｎｃｅｉｎｔｈｅＲｅ�ｓｅａｒｃｈＵｎｉｖｅｒｓｉｔｙ，ＳＥＲＵ）［１１］、中国大学生学习投入问卷（ＮＳＳＥ�Ｃｈｉｎａ）［１２］、全国研究生学习体验调查（ＮａｔｉｏｎａｌＳｕｒｖｅｙｏｆＧｒａｄｕａｔｅＥｘｐｅｒｉｅｎｃｅ，ＮＳＧＥ）［
１３］、欧盟高等教育资格框架（２００５）［１４］、英国高等教育资格框架［１５］等十方面的评价指标，确定了研究生学习成果初步指标。通过三轮德尔菲法形成最终指标体系，之后权重的设计主要采用层次分析法，依次通过构造递阶层次结构、构造比较判断矩阵、层次单排序、一致性检验以及层次总排序等步骤最终形成研究生学习成果评价指标权重。
本次实证研究于２０１７年２月进行，对１４３位教育经济与管理专业研究生三年级学生进行问卷调查，来验证所构建指标体系的合理性，并且了解目前教育经济与管理专业学生学习成果的现状。
二、指标体系构建结果
（一）研究生学习成果评价指标构建结果
经过三轮的专家咨询，结合教育经济与管理领域专家的意见和访谈内容，增加、删除和修改指标项目，最终确定了包含２项一级指标，６项二级指标和２７项三级指标的研究生学习成果指标体系。
（二）研究生学习成果评价指标权重构建结果
指标的权重是各项指标相对于研究生学习成果重要性的一种度量，对评价结果具有重要意义。本研究依据层次分析法，计算出评价体系中８个判断矩阵的权重值及一致性检验。结果均通过了一致性检验。经过统计，教育经济与管理专业研究生学习成果各指标对于目标层的总体权重。
（三）结果分析
从层次分析法的权重结果中，我们可以看出，教育经济与管理专业研究生学习成果中的专业学习成果的权重最高，达到６６�６７％，通用学习成果的权重为３３�３％。这反映了作为学术型硕士研究生，更重要的学习任务应是提高专业学习成果。
第一，通用学习成果指标。
在通用学习成果指标维度中，其子指标通用技能的权重值最高达５５％，说明培养分析与批判性思维能力、心理调适能力以及信息检索能力等运用于生活实际的技能是研究生学习专业知识，培养专业技能的基础。从通用技能的三级指标中，可以发现各级能力的权重差距不大，其中独立学习能力（１６％）的权重最高，独立学习能力即养成自我指导或自主方式来独立学习的能力［１６］，能力的独立完整程度也是欧盟学位层次间的水平差异主要体现所在。在通用学习成果维度中，通用知识占据２４％的权重，同样对目标因子通用学习成果具有重要的影响。其中，社会科学素养知识所占比重最高（４４％），社会科学素养知识是指掌握马克思主义的基本理论、哲学、经济学、社会学、文化学、法学、数学的基本知识［１７］，而教育经济与管理作为一个多学科交叉的专业，所培养的学生必须要具有知识的广度来支撑学生的学习。
最后，通用态度占据２１％的权重，它也是通用学习成果至关重要的一部分。立德树人是教育的根中国慈善总会
本任务［１８］，对于研究生而言必须要加强自身建设，树立道德自律意识和诚信意识。
第二，专业学习成果指标。
专业学习成果维度占比６６�７％之高，这说明专业学习成果对于学生学习成果的重要性。在这一维度中，其子指标专业技能权重值最高（５４％），说明专业技能是研究生专业学习成果的基础。其中教育行政管理能力（９％） 和教育政策分析能力（１３％）是教育经济与管理专业区别于其他专业的本质所在，该专业毕业的研究生不仅要熟悉中小学／高校教育发展战略、行政管理模式、财力资源利用等内容，也应学会初步撰写中小学／高校教育发展规划等教育政策文件，并且具备运用经济理论等相关知识对教育经费、教育资源配置、毕业生就业等领域进行解释的能力。［１９］另外，在专业技能维度下，专业研究能力和专业创新能力的权重最高，均占１９％，该学习成果权重结果也是区别于本科生的本质，即注重提升研究生的专业研究能力和创新能力。在专业学习成果维度中，专业知识权重为３０％。我们发现掌握科学研究方法这一指标的权重最高，为５５％。因为教育经济与管理专业的硕士研究生其本科专业跨度比较大，因此在研究生期间，必须扎实掌握科学研究方法，对运用于教育经济管理研究领域的研究方法有综合性认识，包括提出问题、做出假设、研究综述、研究设计、进行验证等方面。另外还要具有扎实的专业理论与知识（２１％），包括教育经济学、教育财政学、教育管理学、公共管理、教育学等系统理论与专门知识。此外，还应有对议题的批判性认识（２４％），即能够批判性评估教育经济管理研究领域的当前研究、高水平知识以及方法论［２０］。最
平台期后，专业态度占据１６％的比重，随着学术界对学术道德规范行为的不断重视，学术道德和学术素养也占据着一定的比重。作为研究生自身必须杜绝剽窃、抄袭别人的学术成果，不虚构学术研究数据，要依靠自己的刻苦与努力，提高自己的学术研究水平。
约束机制 三、指标体系的实证应用
电脑知识与技术
本研究将指标体系转换为《教育经济与管理专业研究生学习成果调查问卷》，采用因子分析进行信效度检验，得出通用知识、通用技能、通用态度以及专业知识、专业技能以及专业态度的方差解释率均大于６０％，克朗巴哈信度系数（Ｃｒｏｎｂａｃｈα）系数也都大于０�７，说明问卷的信效度良好。填答方式参考研究型大学学生就学经验调查项目（ＳｔｕｄｅｎｔＥｘｐｅｒｉｅｎｃｅｉｎｔｈｅＲｅｓｅａｒｃｈＵｎｉｖｅｒｓｉｔｙ，ＳＥ�ＲＵ）［１１］，采用的是六点量表，依次为“非常差”、“差”、“一般”、“好”、“很好”、“优秀”，分别计为１、２、３、４、５、６分，评价主体为研究生本人，评价方法为增值性评价这一主流方法，即由研究生三年级的学生对自己刚入学时，和目前的学习成果进行自评，两者的差值构造一个新变量，也就是研究生三年的培养产生的学习成果，这种方法也解决了自评结果普遍较高的弊端。
（一）学习成果均为正向，各学校无显著差异
地震的模拟实验 我国教育经济与管理专业研究生学习成果均为正向，说明经过２－３年的学习，学生的学习成果均
有所提升，其中，专业学习成果提升的幅度（０�６２）比通用学习成果的幅度（０�４６） 大，知识和技能的提升均比情感态度提升的幅度大。这也符合作为学术型研究生，其主要任务就是努力学习专业知识，进行科学研究，从而专注于专业学习成果的提升的事实。［２１］另外，情感态度的提升并非一日而就，因此其提升的幅度低于知识和技能的提升幅度。从总体上来看，不同学校学生的学习成果均值有所不同。其中均值最高的为华东师范大学，从入学水平（３�１６）增长到目前水平（３�９６），增幅最大。本研究认为造成这一结果的主要原因可能是华东师范大学学生的生源质量与一些样本学校相比有一些差距，学生学习成果的入学水平较低，而入学后，在学部“研究生培养质量提升工程” 大力倡导下，学生学习成果有所提升。但是，要指出的是，虽然不同学校的学习成果均值有所不同，但经单因素方差分析，Ｐ＞０�０５，说明不同学校的学习成果没有显著差异。与此同时，在入学和目前水平的比较上，各学校各有优势，清华大学和北京师范大学教育经济与管理专业学生的入学水平较高，在目前水平上，东北师范大学和湖南大学表现优异。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议