郑和下西洋的资料
摘要：在评价学术水平时，与占主导地位的一级学科评估相比，论文所代表的客观指标有效吗？研究产出在多大程度上影响了一级学科评估结果？现有文献对二者在评价学术水平时的关系尚无实证研究。以CSSCI论文数、引用数、顶级期刊论文数和人均论文数为解释变量，以一级学科评估分数为因变量，运用主成分回归分析方法，对研究产出与一级学科评估结果进行比较。研究发现，基于论文指标的客观评价与一级学科评估结果高度正相关，由规模因子和质量因子构成的综合指标能解释83%的学科评估结果。研究产出很大程度上决定了学科排序结果，基于论文的综合指标是学科评估的一种可行的替代方法。
关键词：论文指标，论文引用率，一级学科，学科评估，学科排序
对高等教育机构的学术评价，经历了从早期主观指标到更重视综合指标的变化。据美国的有关研究，自20世纪70年代以来，在人文、社科、生物和工程等36个学科的评价都是采取主观调查的方式。这类采用声誉等主观指标的研究方法，其引发的持续争议在于测度实际生产率时是否可靠[1-2]。随着各类大学排行榜的兴起，为避免指标的非均衡化，人们越来越多地采用主观和客观相结合的方式评价机构学术水平。评估指标的综合化和复杂化趋势更加明显，根据杨天平等人的文章，在12个各类大学排行榜中，平均指标数达到22个[3]。研究产出作为衡量高校特别是研究型大学学科建设水平的重要指标，在研究领域和大学实践中得到重视。
宝马850rt>扇形统计图教学设计尽管基于研究产出的客观方法和市场导向的排行榜评估目的不尽相同，但现有文献对二者在评价学术绩效时的关系尚无有力的实证研究。鉴于一级学科评估的重要性，评估结果会影响资源配置，并对高校学科建设具有导向作用，其作为研究的比较对象是有意义的。本研究的主要问题是：基于论文指标的客观方法在评估学科水平时有效吗？一级学科评估结果在多大程度上体现了研究产出的贡献？二者之间是否存在可替代性？
一、文献综述
1.关于研究产出指标的选取
采用同行评议期刊的文章数量来评价研究产出是近几十年来国外较普遍的做法[4-6]。尽管书籍和专著等也属于研究产出，但由于信息获取较难，且不易确定不同形式产出的权重，Morgan建议采用期刊发表作为研究产出的客观测度指标，认为学术期刊重视原创性和同行评议，可能是最适合学科范围的评价工具。作者选取10种专业领域期刊，不做权重区别，对教师研究产出进行测度。这类分析通常是基于文章数量，计数作为一个合理的替代，用来表明某一学院通过专业媒介所产生的理论与实践贡献[7]537。
Bloom等认为，学术产出依靠大量教师的参与，机构产出的一个重要因素是大量关键学者的加总的贡献[8]377。但是，学术产出的计量易受到规模影响，简单的加总可能对小的院系不利。Jordan等认为院系的规模和发表论文之间存在积极的关系[9]。根据Ferris等的研究，教师产出通常是用某一领域核心期刊的产出率来测度的，并建议使用人均产出概念[10]309中央一号文件2018全文。林梦泉等也建议在学科评估中应增加“人均指标”[11]。
当然，仅仅采用论文数量作为指标难以恰当评价学术影响力。Farber等认为引用情况是衡量学术产出影响力的更好的分析单位，并通过SSCI检索工具获取引用数据来分析学院的学术产出[12]。
也有学者对采用论文数量或引用率等单一指标提出批评，建议对研究绩效的评价要考虑不同因素的权重[13]。除了引用情况作为质量指标外，研究人员还建议考虑期刊性质，最好的杂志倾向于发表对该领域核心发展最重要的文章[14]。
2.关于指标间的关系
在生产率所代表的客观指标和反映主观指标的声誉变量之间，研究发现，二者存在积极的关系[15]。然而，一项早期对生物化学学者的研究有相反的发现，即二者之间不存在显著关系[16]。尽管不同研究结果有差异，更多的研究表明，主、客观指标之间存在一致性，二者具有中等程度的关系[10]325。
中国学者也发现，上海交通大学世界大学学术综合排名和论文数之间的相关性为0.563(P＜0.001)[17]。另一项对中国50所重点大学论文产出的研究表明，综合引用和数量因素的h指
数与载文量、总被引之间的相关系数分别为0.81和0.93[18]。总体看，机构的论文产出与引用数之间存在较强的相关性(r=0.829)[8]387。
3.研究方法
早期有关论文产出研究以描述性统计为主，近来主成分分析等多元统计方法陆续被用于论文产出研究。古继宝等基于SCI收录的25个国家19个学科领域的论文统计数据，运用主成分和因子分析得出反映论文产出差距的3个独立因子，进而从科研实力和科研质量等角度对各个科技主体的科研水平进行新的排名和诠释[19]107。
另有一篇文章对36所“985工程”高校的ESI科技论文进行综合评价排名，在论文总数、被引频次、篇均被引及顶级论文数等原始指标的基础上，合成反映论文总体实力的第一主因子和反映单篇论文的学术影响力的第二主因子[20]106。
俄亥俄州国外有学者建议，对于计数资料，原则上可以使用多元线性回归分析[21]。这无疑有助于更好地解释变量之间的关系。
二、数据与方法
1.数据来源
研究样本为公共管理学科，这是基于作者对学科熟悉程度和数据采集复杂度的权衡。考虑到公共管理学包含政治学、经济学、管理学、社会学和法学等多学科特点，在一定程度上能缓和样本学科的局限性。为便于比较，本研究样本从参与2012年全国公共管理一级学科评估的60所院校中选取，不考虑在该评估期没有独立的公共管理学院或以公共管理学科为主体的办学实体的院校，最后确定38所学院作为评价对象。
本研究认为，在人文社科领域，入选CSSCI的刊物基本能反映当前中国人文社会科学界各个学科的最新研究成果，且学术水平较高、影响较大、编辑出版较为规范，因此已被多篇研究用于高等院校社会科学领域的论文产出分析[22-23]。本研究利用中国知网(CNKI)，检索38所学院作为第一作者机构在2009-2013年间发表的CSSCI论文，检索核查截止时间为2014年12月30日。作者标注多个单位的，只计算第一单位。其中，对机构名称发生变化或采用简称的，在甄别后也一并计入。在剔除书评类、会议综述类、访谈类及一稿多投文章后，最后得到7 840篇文献。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议