■ 梅 慧 徐术坤 韩阳昱 刘成之
（湖北省标准化与质量研究院）
摘 要：标准实施是标准化闭环管理的重要环节。构建评价指标体系是现阶段标准实施效果评价摆脱盲区的有效途径。本文基于标准化工作的实践需求，探索了标准实施效果基础评价指标体系的构建原则、总体框架、共性指标、数据采集与分析方法，拟为标准化相关机构开展评价工作提供参考。
关键词：标准实施效果，基础评价指标体系，共性指标
DOI编码：10.3969/j.issn.1002-5944.2021.03.008
Study on the Evaluation Indicator System for Implementation Effect of
Standards
MEI Hui XU Shu-kun HAN Yang-yu LIU Cheng-zhi
（Hubei Standardization and Quality Institution）
Abstract: Standard implementation is an important part of standardization closed-loop management. The construction of an evaluation indicator system is an efficient path to go beyond the blind qualitative analysis of evaluation of standard implementation effect. Based on the practical needs of standardization work, this paper explores the construction principles, overall framework, common indicators, data collection and analysis methods of the basic evaluation indicator system of standard implementation effect, so as to provide reference for standardization related institutions to carry out evaluation work.
Keywords: implementation effect of standards, evaluation indicator system, common indicators
学术研讨
1 引 言
标准的真正价值在于实施。强化标准实施是标准化战略的重要组成部分，也是实现标准化全周期管理的必然要求。开展标准实施效果评价是强化标准实施监督的有效手段，通过对标准的技术水平、实施过程以及实施效益进行科学客观的评估，可以实现标准“制定-反馈-修订”的闭环管理，为标准复审、标准体系完善、标准化战略提升、标准化相关公共政策制定提供数据支撑[1-2]。
近年来，我国逐步加快标准实施和监督的步伐。2015年3月，国务院印发的《深化标准化工作改革方案》（国发〔2015〕13号）中提出要“开展标准实施效果评价”[3]。2015年12月，国务院办公厅印发《国家标准化体系建设发展规划（2016-2020）》（国办发〔2015〕89号）也指出要“建立标准实施的监督和评估制度”[4]。2018年1月，新修订的《标准化法》明确规定“应当建立标准实施信息反馈和评估机制”。2020年1月，全国标准化工作会议上的报告中明确要求“研究制定国家标准实施效果评价方法标准”。
梅慧，徐术坤，韩阳昱等：标准实施效果基础评价指标体系
苏锡常尽管如此，现存问题对标准实施效果评价的研究和实践仍显不足，基本处于广泛探索的初级阶段，至今尚未形成思想一致、逻辑严密的理论体系，也没有形成较为成熟统一的评价指标体系和评价方法标准，极大阻碍了标准有效实施[5-6]。在此背景下，本文积极探索了利用层次分析法构建标准实施效果的基础评价指标体系，提出了评价指标设定要求以及数据采集和分析方法，以期为标准化相关机构和组织开展标准实施效果评价提供参考。
2 基础评价指标体系构建原则
标准实施效果基础评价指标体系是由一系列反映标准实施效果基本特征，并相互关联、相互协调的共性指标组成的整体系统，体系的构建遵循如下原则：
（1）系统性：各评价指标之间应具有逻辑关系，能够反映标准实施效果内在联系。每一个指标类由具体的一组指标构成，各指标间既相互独立又彼此联系，共同构成面向标准实施效果评价的有机整体；
（2）引导性：应突出标准的本质和特征，反映标准实施的水平和成效，可充分发挥对标准实施的引导和促进作用；
（3）代表性：应体现评价标准的层级、类别、属性的特点，准确把握标准实施效果的评价要素，满足实际应用的需求；
（4）动态性：应充分考虑数据生命周期特点，确定指标的时间尺度，根据评价目的、计算方法和实际情况特点，对指标体系能够进行适当的修改和完善，以满足评价需求。
3 指标体系总体框架与共性指标
3.1 总体框架
标准实施效果基础评价指标体系总体框架如图1所示。总体框架共包含9个一级指标，32个二级指标评价要素。
图1 评价指标体系总体框架
指标体系总体框架涉及标准技术水平、标准实施过程、标准实施效益3种类型的指标。3种类型所涉及的各个方面均作为一级指标。每个一级指标包含若干个二级指标评价要素，每个二级评价指标要素代表对一级指标某个侧重面的考量依据。结合具体评价目的、标准类型、标准领域等特点，以确定二级评价指标。
3.2 一级指标
3.2.1 标准技术水平指标
标准技术水平指标是指对标准技术内容进行评价的一系列定性或定量的指标。该类指标包括标准适用性、标准协调性、标准先进性三个方面，可用
梅慧，徐术坤，韩阳昱等：标准实施效果基础评价指标体系
于对标准自身技术水平进行评价，基本可以体现标准制定目的的实现程度，与国家技术经济政策，法律法规的符合程度，满足规定用途和市场发展需求的适用程度，与国际标准、国内标准的一致程度，以及采用先进技术或科技成果的技术水平。
3.2.2 标准实施过程指标
标准实施过程指标是指对标准实施过程进行评价的一系列定性或定量的指标。该类型指标包括标准推广、标准执行和标准引用三个方面，可用于评价标准使用各方（产品生产方/服务提供方、产品使用方/服务对象、产品质量/服务监管方、评价方等）对标准的应用推广情况、对标准的认知程度和执行情况，以及标准被政策、法规、其他标准、合同、文献等的引用情况。
3.2.3 标准实施效益指标
标准实施效益指标是对标准实施成效进行评价的一系列定性或定量的指标。该类型指标包括经济效益、社会效益和生态效益三个方面，可用于评价标准实施后给地区、行业、企业及消费者带来的积极作用或有益效果。包括贯穿价值链各个环节的基于成本节约和效益提升所带来的经济收益，如产品产量的提高、采购/生产和交易成本的降低、市场规模的扩大、生产和工程效率的提升等；对社会发展的影响，如保障健康安全、提高企业竞争力、调整行业产业结构、规范市场竞争行为、增加用户满意度、支撑现代化经济体系高质量发展以及推动地区治理体系与治理能力现代化等；对生态环境的影响，如保护环境、节约资源、减少污染和排放、提高环境质量、促进可持续发展等。
3.3 二级指标评价要素
二级指标评价要素及其说明如表1所示。
3.4 二级指标设定要求
二级指标作为具体操作中相关定性或定量的指标项，用于数据采集和开展评价工作。设定二级指标时，除应遵循前述的指标设立原则，还应参考指标体系总体框架中的二级指标评价要素及说明，结合评价目的、标准层级、标准类型和应用领域等特征，选择设立若干个二级指标。二级指标设定还应满足以下四点要求：
（1）具有明确的数据来源。选取二级指标时，应以定量为主，定性定量相结合，应充分考虑资料来源和数据支持的可获得性，选择指标的历史数据、最新数据应便于采集和计算。还应同时给出每个二级指标所能采用的数据来源。可能的数据来源包括权威的统计数据、调查问卷、实地考察、委托第三方采集等。
（2）确保指标之间相互独立。选取二级指标时，要尽量避免指标相互之间具有可重复性或其他关联。对于具有重复性、关联性的多个指标，应进行适当筛选或合并。如果确实需要同时存在两个以上具有关联性的指标，相关指标的说明中应对这种关联进行说明。
（3）明确指标权重。权重大小代表某个二级指标对于评价整体的影响度大小。选取二级评价指标时，要确定每个二级指标在整个评价指标体系中所占权重。
（4）开展指标的验证和意见征集工作。选取二级指标时，应开展调研与意见征集工作。选择不同类型的标准使用方对指标进行验证，并向该标准涉及相关领域的专家征求意见和建议，对选取的指标逐
步进行补充和优化，最终形成一套完整的评价指标体系。
4 数据采集与分析
4.1 数据采集
通过统计部门、相关行业主管部门、标准使用相关方等正规、官方、权威的渠道获取相关数据资料。不能直接获取的数据，可采用问卷调查、实地访谈等形式获取，但应组织业内专家对相关数据进行论证，经判定真实有效后方可使用。具体应用时，宜根据评价对象的特点针对性选择，可选用的方法包括：
梅慧，徐术坤，韩阳昱等：标准实施效果基础评价指标体系
表1 二级指标评价要素及其说明
二级指标要素二级指标要素说明
规范性标准与国家法律、法规、规章、基础标准等规范性文件的符合一致
有效性标准的结构、要素、指标的科学合理，标准条文的严谨、准确、容易把握
实用性标准满足市场发展需求的程度，能在实际应用中为标准实施者提供具体的操作指导
统一性标准与国家标准、行业标准、地方标准的协调一致、避免重复和不必要的差异
兼容性相关标准各自满足响应要求，彼此间不引起不可接受的相互干扰的适应能力
一致性每个标准内或分为部分的系列标准之间，其结构和要素在表述方面的一致
徐媛引领性标准采用符合国家最新的技术经济政策
创新性标准采用创造性的先进技术或科研成果
国际性标准采用国际标准、国外先进标准的一致性程度
标准传播各级标准出版发行机构、公共服务平台、权威门户网站统计标准传播情况，包括标准累计发行量、查询（点击）量、下载量等
标准宣贯标准发布单位、归口单位、起草单位、相关社会机构组织开展标准技术交流与宣传的情况，包括宣贯形式、范围、规模、频次、参与人员数量等
衍生材料与标准实施相关的标准解读、释义、指南、手册、图集等衍生材料的发行量、销售量等
政府部门应用政府相关管理部门应用标准开展监督检查情况；政府相关政策文件、制度、规划等采用标准的情况；政府主管部门出台配套政策文件标准的情况；开展试点示范的项目和采用标准的情况；投入标准实施经费的情况；行业协会下发文件推动标准实施的情况
检测机构应用检测机构具有按照标准进行检测能力的情况；检测机构采用评价标准开展检测的项目情况
生产企业应用企业对标准的认知和掌握情况；企业在采购、生产、销售、管理等价值链各环节中执行标准的情况；企业应用标准开展产品/服务/管理体系认证的情况
对外贸易应用WTO/TBT-SPS通报咨询服务平台上对外通报的标准信息情况
消费者认知消费者对于标准的认知及参考情况，包括标准标注、标准层级、标准关键性技术指标等被法律法规引用被法律法规、政策性文件的引用情况
DIGITALIMAGERECOVERY被其他标准引用被国家标准、行业标准、地方标准、团体标准、企业标准引用情况
被科技文献引用被科技图书、期刊文献、专利、科技报告、会议文献、学位论文等引用情况
被合同文件引用被政府或企业在招标、采购、合同等文件、管理制度文件、国际贸易协定等引用的情况
湛江师范学院图书馆节约成本价值链各环节的成本缩减，包括时间缩短、工序简化、费用降低、耗损减少、周期缩短、人员数量精简、设施设备故障率下降等
宁夏师范学院学报提升效益价值链各环节的效益提升，包括劳动生产率提高、产品/服务/工程质量提高、合格率提高、销售额/销售量增加、外贸出口增加等
产业发展对企业综合竞争力、市场规范化程度、产业规模变化等的影响
科学技术对标准、专利、自主创新能力等的影响
文化教育对教育水平、道德素质、文化程度等的影响
社会保障对人口、收入、健康、就业等的影响
公共利益对促进公平正义、维护公共秩序、保障公共安全、防范治理灾害等的影响
服务水平对提高非营利性组织的服务效率、服务质量、服务成本、顾客满意度等的影响资源环境对有效利用水资源、土地资源、森林资源、矿产资源、能源等的影响
生态环境对改善气候、大气质量、土壤质量、物种多样性、湿地、自然栖息地等的影响污染防治对控制温室气体、减少污染物排放、治理固废垃圾等的影响
（1）意见调查法。以意见征集（邮件、电话、实地调研、调查问卷等）形式收集行业专家、组织和对象对所评价标准指标的评价，借以了解所评价标准与实际应用和市场需求的一致性程度。
（2）对比分析法。对比所评价标准与选择的对比标准在指标内容上的差异，借以了解所评价标准的优势和问题，形成规范的标准比对列表。
（3）网络采集法。通过相关标准信息服务平台，收集统计所评价标准的引用数据、点击查询量等数据信息。此类数据受限于信息平台用户辐射范围，可扩大检索信息服务平台的范围以提高评价数据置信水平。
4.2 数据分析
4.2.1 分析方法
标准实施效果评价数据分析可采用基于层次分析的模糊综合评价法。模糊综合评价法是一种基于模糊数学理论的综合评价方法，该方法根据模糊数学的隶属度理论将定性评价转化为定量评价。在建立评价指标体系基础上，利用层次分析法确定的权重，结合调查问卷所得到的数据进行模糊评价数据分析。
4.2.2 指标权重的确定
指标权重应具有合理性和科学性，可反映不同指标对标准实施效果评价中的影响水平。推荐采用层次分析法确定指标权重。邀请评价标准使用的相关方和行业专家用1-9标度法逐层对各个指标打分，确定指标间两两相对重要性的比值，建立比较判断矩阵，通过矩阵运算和一致性检验，得到指标大类间相对重要性的权数、各个指标相对于上一层次指标大类相对重要性的权数，按照层次结构自上而下逐层对两级指标权数进行加权，进而得出各个指标的权数。对计算所得的权重还应开展相关方的征求意见工作，并根据意见修改后最终确定。4.2.3 标准实施效果评价值的确定
标准实施效果评价指标的数据分析可分为定性指标和定量指标。定性指标是指无法直接通过数据分析评价的内容，可通过客观描述和分析来反映评价结果的指标；定量指标是指可以准确进行数量定义、精确衡量并能设定绩效目标的指标。
对定性指标，按照模糊理论的分档，将每个定性指标的评价拆分成5个档位，1-3分为低水平；3-5分为较低水平；5-7分为中等水平；7-9分为较高水平；9-10分为高水平。依据评价对象在该指标的实际情况对照评价等级赋值。
对定量指标，可采用实际值与基准值相比较，计算得出评价指标的指标变动率。按照模糊理论的分档，可将变动率分为相应的五个区域，每个区域分别对应五级评价中的一个等级，对照指标变动率对指标赋值。
基于层次分析的模糊综合评价法确定标准实施效果评价值。按照模糊理论的分档，构建模糊评价矩阵。从最细分的指标层开始，在每一层上根据权重加权得到每一指标层的模糊评价分数，自下而上得到基于层次权重的模糊评价分数。将模糊评价分数按照模糊理论的分档进行还原，得到最终的标准实施效果评价值。
4.2.4 评价等级的确定
依据标准实施效果评价值，按照五级评价方式，用“显著”“较显著”“一般”“不显著”“非常不显著”五个等级评定标准实施效果评价等级。评价等级参照表2所示。
5 结 语
构建指标体系是科学统计和分析评价的基础。本文从我国标准化工作实践出发，探索了标准实施
梅慧，徐术坤，韩阳昱等：标准实施效果基础评价指标体系
并联电容补偿装置表2 标准实施效果评价等级判定依据示例
标准实施效果评价值[0,2)[2,4)[4,6)[6,8)[8,10)标准实施效果评价等级非常不显著不显著一般较显著显著
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议