收稿日期:2006)03)02
作者简介：于秀艳(1976))，女，毕业于吉林大学，山东理工大学管理学院讲师，现为同济大学博士研究生，研究方向：信息系统 信息系统绩效评价研究综述
于秀艳
(山东理工大学管理学院，淄博255049)
1摘 要2 从研究层次、研究方法、评价指标、评价方法的特性、具体评价方法五个方面对信息系统绩效评价研究进行综述，并对研究结论进行总结，并对可能产生此结论的原因简单分析。最后总结现有研究中存在的不足以及今后的改进方向。 1关键词2 信息系统；绩效评价；研究综述
1Abstract 2 Performance evaluation of information system was reviewed from five aspects,including re
search level,method,evaluation index ,the characteristics of evaluation method and the detailed evaluation method.And it simply concludes and analyzes the research result.At last,it put forward the disaduantages of the existing research and the direction of the future research.
1Key words 2 information sys tem;performance evaluati on;research review
1中图分类号2G20 1文献标识码2A 1文章编号21008-0821(2006)08-0090-03
1 信息系统绩效评价研究综述
信息系统是涉及到技术、组织和管理等多种要素组成的社会技术系统，对信息系统的评价也不再是单纯的技术评估问题，而是一个复杂的社会过程。尽管如此，上世纪80年代就有大量的学者从事这方面的研究。信息系统绩效评价研究者吸取了经济学、计算机科学、心理学和管理学等理论，为绩效评价领域奠定了大量的理论和概念基础。本文在参考大量文献的基础上，对这一领域的研究进行总结概括。
信息系统绩效评价可以按照不同的标准进行分类。按
照研究层次，分为宏观和微观评价；按照研究方法，可以分为结果分析和过程分析；按照指标选取的种类，分为财务指标和综合指标；按照评价方法的组合与否，可以分为独立方法和机理互补方法；按
照具体的评价方法可以分为系统工程方法、实验方法、信息经济方法等。本文从这5个方面进行阐述。
111 宏观评价和微观评价
学者对IS 绩效评价开始于经济和行业水平，关注的焦点也集中在信息系统对GDP 和生产率的影响上。Roach 通过研究IS 投资和生产率的关系，得出IS 投资并没有引起生产率的提高，相反生产率却下降的结论;Loveman 于1988年通过对大量的IT 投资跟踪，发现企业1978-1984年间的生产率并没有受到IT 投资的影响，因此他建议把多余的资本投入到非IT 资源上;Morrison 也通过对行业数据的检查，发现高技术投资也没有导致相应的产出增加。学者对于这种理论与实际的不符现象进行研究，发现绩效的获得与管理有很大的关系，有的企业因为有效管理IS 提高了生产率，而有的由于利用的不善导致生产率下降，导致了整个行业的生产率不确定，所以绩效评价研究转入企业层次的 研究。
企业层次的研究主要考察了IT 投资和企业的财务绩效(例如ROA,ROE 和ROI)之间的关系。Lucas 发现IT 投资没有导致财务绩效的升高;Turner 也没有发现IT 投资、使用和企业绩效之间有必然的联系。相反，有一些学者发现IT 投资和企业绩效之间是一种正向关系。Bender 检查了信息处理成本和整个企业运行成本的比例，发现IT 投资存在最优水平;Harris 和Katz 通过对40个企业的数据跟踪发现绩效提
高最大的企业对IT 所配置的运行成本也较高;B ryn -jolfsson 和Hitt 通过对380个大企业的1987-1991年期间的数据考察，发现IT 投资和企业的产量有很大的贡献，他们随后又研究发现IT 投资不但导致企业的产出生产率提高，也提高消费者价值，但没有提高企业绩效。 研究结论的不一致，使学者认识到单单利用财务指标来评价IS 绩效是不恰当的，所以学者又开始关注于IT 投资对企业绩效的过程绩效测度上。Banker 等学者研究IT 对Hardees 快餐店的销售和订购的影响，发现IT 通过减少原材料成本显著地提高工作效率。
Mukopadhyay 建立了一个两阶段的模型(IT 对过程绩效的影响和过程绩效对企业绩效的影响模型)，但是结论是有些过程绩效和企业绩效存在负相关关系。
最近也有些学者开始关注于活动和个人影响上。例如Eileen Peacock 学者把会计理论引进IS 领域，用ABC 成本法对IT 投资进行判断，学者Gloria E 1Phillips -Wren 通过利用西蒙的决策理论，分析了DSS 对个人的影响。可以看出，信息系统绩效评价从研究层次上从行业/经济层面转入企业内部研究，即使在企业内部，也是逐渐深化的。
112 结果分析和过程分析
纵观国内外文献，可以看出大多数的研究属于结果分
现代情报
2006年8月第8期August 12006
No.8
u
信息化与网络建设
析研究，既把研究焦点放在了投资和价值产出结果和生产率的评价上，关注的层面是整个行业和经济层面，也有的评价关注的是企业层面。研究结果主要有三个结论:IS投资和企业的价值具有正相关、负相关和没有多大的关系，于是引发了所谓/生产率悖论0之争。
传统评价方法的失败，使学者和管理者不得不要思考以下几个问题:
11211IS对企业的价值单单表现在企业的产出财务结果上吗?
11212从投入到产出价值的表现不是一蹴而就的动作，而是一个漫长的过程。这个漫长的过程中，如果IS投资对企业有价值的话，价值通过什么机制转化而来(HOW)这个价值又去向哪里(WHERE)?
按照学者Weill的观点,IT投资和企业绩效之间是有转化因素的，在评价IS绩效上，必须考虑这些因素。正如学者Barua所说，试图把IS投资直接和企业产出水平变量联系起来忽略了许多间接的企业过程，而这正是信息系统直接价值存在的地方。于是评价工作从关注产出到过程的转变也就顺理成章了，于是学者John Mooney等3人于1995年提出了评价IS企业价值的过程框架，把IS对企业的价值定位于对企业过程的影响上，通过这些影响来定量化IS价值。后来Tallon等学者用结构方程建模(SE M)证明了IS对企业价值的评价可以通过对企业过程的影响来进行。Crow-ston和Treacy等学者做过此类研究，也使管理者对IS的企业价值有了更深入的认识。可以看出：因素研究把企业当成/黑箱0，而过程研究要打开这个/黑箱0的工作原理。
113财务指标和综合指标
指标的设计是IS评价的重要活动。没有一套科学合理的指标体系是不可能完善有效的IS绩效评价。企业投资IS 的最终目的是追求经济利益，所以大多数学者最初是把财务指标作为IS绩效指标，例如ROA、ROE等，但是由于生产率悖论的产生，许多学者指出传统的基于生产率的评价是不合适的。Brynjolfsson认为IS所产生的绩效应该是多方面的，包括产品质量、产品种类、客户服务等等，单单依靠财务指标降低了IS的价值。所以学者又逐渐开始关注IS 对企业的竞争优势、战略目标以及企业文化、工作条件等方面来评价IS对企业的价值体现，逐渐设立一些定量的、非定量的、财务的、非财务的综合指标来衡量其价值。例如Indranil bardhan通过考察IT对项目的周期、成本、质量和及时完成率
的影响来评价信息系统的绩效;Tallon等学者在这方面也做了深入的研究。综合指标的利用，不但能全面评价IS的价值，同时也为企业利用IS提供有意义的启示。114独立方法和机理互补
独立方法是指不考虑企业的特定环境，采用单独一类方法对所有的IS进行评价，具体可以分为技术/功能类、经济/财务类、多指标类等。由于此方法容易应用，绩效评价领域的文献大多数都是属于此类型，如A1RAI等学者用数理统计中的回归分析方法对信息系统绩效产生的位置(where)和绩效如何实现(how)两方面进行研究，指出了对信息系统绩效评价时要注意指标的全面性以及提高信息系统部门效率时应该注意的问题;John mooney用SE M方法分析信息系统对业务流程所产生的影响来评价信息系统的绩效;Wim Van Grembergen用Kaplan提出的平衡记分卡(BSC,Balanced scorecard)，从财务、内部流程、顾客、创
新和学习四个方面来评价IS项目的绩效，国内学者曲波和
郝晓玲也在这方面做了有意义的尝试。
但随着研究的深入和实践的检验，人们发现信息系统
价值的实现和企业的管理体制、用户的接受程度、市场环
境和竞争者有很大的关系,IS绩效评价不可能脱离企业的
特定环境，另一方面，信息系统种类繁多，在企业内承担
的角(Role)不同，企业对其期望也不一样，所以很难
有一个独立的评价方法能够涵盖所有相关因素，关于评价
的研究也就逐渐转入机理互补方法。其思想是放弃寻一
个大而全的理论来解决所有问题，而是通过一系列最合适
的方法的权变组合，覆盖整个IS项目的评价过程。相对于
独立的方法，机理互补方法研究的比较少，主要代表是对
IS项目的评价，例如Willcocks等学者于1994年在对信息系
统进行分类的基础上，提出/成本-收益图0来选择最适
合的评价方法，又于1997年提出了IS生命周期评价法，主
要是把IS的建设过程分为不同的阶段，针对各个阶段分别
采用不同的评价方法;Farbey等又提出了矩阵评价法，在
对影响IS项目建设的因素进行分类的基础上，建立一系列
相关矩阵，为每一个单元寻相应的评价方法。
115评价方法
陈衍泰等人把评价方法分为9大类。定性评价方法、
技术经济分析方法、多属性决策方法、运筹学方法、统计
分析方法、系统工程方法、模糊数学方法、对话式评价方
法和智能化评价方法。信息系统的绩效评价方法在每个领
域都有所涉及，具体来说主要有:
11511经济分析法：经济分析法是以效益为价值目标的一
种研究方法，主要包括指数法、inpu-t output分析、cos-t ben-
efit分析、经济临界点分析法等。
11512数理统计法：在评价中，需要处理很多社会经济现
象和自然现象，而它们有不少是比较复杂的、在目前还没
有到一定的规律性，因此，必须利用概率论和数理统计
方法在处理这些现象，解决技术经济问题提供科学依据。
数理统计法主要包括：期望值法、决策树法、多元统计分
析、回归分析等。例如A RAIR和Hannu Kivijarvi都是用数
理统计方法来研究IS绩效问题的。
11513模糊数学:IS绩效指标大多数是非定量的，模糊数
学在评价过程中能起到很大的作用。主要包括模糊评判、
模糊序、模糊聚类、模糊距离模型等。我国学者徐维祥用
此方法对信息系统进行评价。
11514运筹学方法：运筹学方法主要包括：层次分析法、
多目标决策方法、数据包络分析方法等。
11515多指标综合评价方法：主要包括多因素加权法、DELPHI方法，综合评价法等等。
2评价结论及分析
尽管大量的学者对IS绩效做了深入的研究，但是对于
IS投资和企业绩效的关系仍然没有得到一致的结论，大致
有三种结论，无关系、正相关、负相关。产生结论不一致
的原因是多方面的。其一:IS对各个行业的绩效可能是不
一样的。行业不同,IS绩效不同。现有的大量研究集中在
保险业、批发零售业和银行业等。所以对于IS投资与绩效
2006年8月第8期
August12006No.8
现代情报
u
信
息
化
与
网
络
建
设
的关系大小不可一致而论；其二：研究方法不一样，特别是IS投资的成本的不可获得性、IS绩效指标的争议性以及IS对企业的影响无法从其他因素中分离出来，影响了结论的一致性；其三：管理的原因。对于同样的IS投资，不同的企业获得的收益不一样。管理起了决定性的作用，因为IS不会自己产生价值，必须有一种组织能力来有效利用它，才能对企业绩效产生影响。
3当前研究不足及改进的方向
311过多的注重结果分析，忽视了过程分析基于IS的产出结果评价，适用于分析投入和产出之间的正负关系，但不能解释因素与结果之间如何相关，对于我们理解IS对于企业的价值影响提供的信息不大，而基于过程的分析可以为学者和管理者对IS如何为企业创造价值提供了新的视角，不但可以分析出IS在何处产生价值，如何产生价值，产生价值的大小，而且可以分析出价值的表现结果和过程之间的关系，增加了价值评价的有效性。过程分析方法，有助于我们理解IS对组织过程和结构影响的理解，顺利实现IS的价值最大化。在IS的企业价值评价过程中，有太多的因素影响信息系统的表现价值，例如竞争环境、组织环境和价值管理等，从结果变量中很难分离出IS的价值所在。所以在价值评价过程中，越来越需要考虑组织环境和竞争的地位，这就需要把评价IS价值的方式从关注产出的结果转向关注价值生成过程。当然IS的价值转化机制是有待于深入研究的。
312评价没有明确项目目标且方法单一
每个企业引进IS的目的是不一样的，各个类型的IS所承担的角(role)也是不一样的。有些项目是以获得经济效益为主要目的，但实际上很多项目最主要的目的是获取或者保持竞争优势，经济因素并非第一位，所以要根据企业的项目目的来评价。相应地，仅仅使用单个方法进行评价是不够的，应该根据企业的环境，选择一系列的合适方法，达到机理互补的效果，完成绩效的评价。
313评价过程的支持比较少见
评价过程的支持指标评价方法如何在评价实践中进行应用。信息系统的绩效指标大多是隐性的，鉴别其绩效数据的方式是非常重要的，所以在介绍评价方法的同时，也要对获得绩效数据的方式加以阐述。除此之外，评价过程中所涉及到的相关人员以及他们所承担的责任、评价的频率等都应该加以确定。在现有的研究中，很少有方法对这些问题加以阐述，这妨碍了使用者的应用。
314研究范围比较狭窄
大多数现有的研究都把焦点关注在单个企业级IS绩效，针对集团级或者跨企业战略联盟型的IS绩效研究则非常少见，随着技术的发展和经济一体化的趋势，共享的IS 会是今后发展的一个主要方向，所以集团级和战略联盟型的IS绩效研究势在必行。
4结论
本文从五个方面对信息系统绩效评价研究进行综述，确定了现有文献的研究框架，并分析现有研究的不足，提出学者应该注意的研究方法和领域，为进一步研究确定方向。
参考文献
[1]Loveman GW.An assessment of the productivity impact of in-formation technologies[A].in informati on technology and the cor-poration of the1990s:research studies[C].MIT Press,Cam-bridge,MA,1994:84-110.
[2]Morrson CJ,Brendt ER.assessing the productivity of infor-mation technology equipmen t in U1S Manufacturing industries[N]. Worki ng paper#3582,National B ureau of Economic Research, 1990.
[3]Lucas HC.performance and use of an information sys tem [J].Mgmt.Sci,1975,21:908-919.
[4]T anizational performance,size and the use of data processing resources[A].proceedi ngs of the in ternational confer-ence on information systems.Ann Arbor,MI,1985.
[5]Bender DH.Financial impact of information processing[J]. MIS.1986,(3):22-32.
[6]Harris SE and Katz J L.Profi tability and information technolo-gy,capital in tensity in the insurance industry[A].Proceedings of the21st annual Hawaii international conference on system sciences. 1988:124-130.论革命
[7]Brynuolfsson E and Hitt L.IS in formation systems spending productive?New evidence and new results[A].Proceedings of the Fourteenth Internatioanal conference on information systems, 1993:47-64.
[8]Banker RD,Kauffman RJ,Morey RC.M easuring gains in operational efficiency from information technology:a study of pos-i tran deployment at Hardees Inc[J].M IS,1990,7:29-54. [9]Mukhopad hyat T,Kekre s and Kalathur S Business value of informati on technologies:a study of electronic data interchange [J].MISQ,1995,19:137-156.
[10]Eileen Peacock,Mohan Tanniru.Acti vity-based justification of IT ivestment[J].Information&management.2005,42:415 -424.
[11]Gloria E,Phillips-Wren,Eugune D Hahn etc.A multiple-criteria framework for evaluation of decision supp ort systems[J]. the international journal of management sciencer,2004,32:323 -332.
正交试验
[12]Weill P.the relationship between investment in information technology and firm performance:a s tudy of the valve manufactur-ing sector[J].i nfo.sys.Res.1992,3:307-333.
[13]Barus A C,H kriebel.Etc.information technolog ies and business value:an analytic and empirical investigantion[J].in-formation sys tems research,1995,6(1):3-23.析氢腐蚀
[14]John mooney,Vijay Gurbax ani,Kenneth l Kraemer.A pro-cess oriented frame for assessing the business value of information technology[A].forthcoming in the proceeding of si xteenth annual international conference on information system,1995.
[15]T allon p p.a process-oriented assessment of the align ment of informati on systems and business strategy,i mplications for IT bus-i ness value[D],unpublished PH. d.Disseriation,Uni versity of California Irvine,2000.
(下转第94页)
u
信息化与网络建设
引擎又不加以处理，所以常常可以在检索结果中发现大量重复信息，它们的网址虽不同，但是却链接在同一个页面上，用户费时费力打开后却发现是同样的内容，这给用户检索带来很大不便。
31114死链
有些搜索引擎提供的检索结果中有许多的链接不可用。这些不可用的链接一般被人称为死链、断链。
31115不能自动识别错别字葛洪升
8毛门由于用户对某一概念、名人的名字的正确书写不了解，出现笔误等情况时有发生，如果用户误输入错别字，而搜索引擎不能自动给出正确关键词提示，就可能在检索结果中不到所需信息。
31116覆盖面有限
5科学杂志6最近一份研究报告表明，即使功能最完善的搜索引擎，也只能到Web上大约2/3的网页。
312发展趋势
31211本地化服务
只有在不同地区采用不同语言，完全按照不同国家的文化传统、思维语文式、语言特点检索信息，实
现检索服务本地化，增加服务器，分流用户，提高上网查询速度，才会满足不同区域用户的需求，检索结果才会符合用户要求，进而搜索引擎才会发展。
31212商业化
网络检索系统拥有世界数量众多的用户，吸引了大量的广告，为电子信息的增值服务提供了广阔的空间。在这里汇集了最新的思想、最先进的技术和最大的潜在市场。网络检索系统已成为新的投资热点。
31213智能化
一是搜索引擎检索技术的智能化；二是指搜索引擎面向检索者的智能化。
31214功能多样化，服务个性化
多样化首先表现在可以检索的信息形态多样化，如文本、声音、图像、动画。而且搜索引擎已不仅仅是单纯的检索工具，正在向其他服务范畴扩展，提供站点评论、天气预报、新闻报道、股票点评、各种黄页(如电话号码、航班和列车时刻表、地图等)、免费，以多种形式满足读者的需要。
31215数据库的专业化、时效性
花木兰袁咏仪下载
数据库的专业化、时效性的发展趋势能针对用户的特定需求来提供信息，特定用户只要利用专业搜索引擎就可在迅速、准确地获取所需的信息。
31216最新网络检索技术的应用
未来的搜索引擎应以用户导向为依据，开发并应用各种新的检索技术，用户可以用自然语句提问，强化全文搜索(Full Text Search)功能，采用对网站信息内容进行全面检索的技术，直接根据网络信息内容进行检索，通过交互式提问帮助用户选择检索表达式，对检索结果作进一步的综合处理，同时采用多种方法对检索结果进行相关性排序，对信息内容的过滤、筛选；集多种搜索引擎体的集成搜索引擎的研制与应用。
4结论
对搜索引擎来说，它们都有各自的优缺点，在检索功能的设置、检索结果的排序以及显示、检索效果等方面各有所长，而最好的办法是根据它们的特点，结合检索的需求，学会以有效地使用它们。不同的搜索引擎指令可能是不同的，只有熟悉了它的机理才可以起到事半功倍的效果。而同时搜索引擎只有根据目前的发展趋势，满足用户的检索需求，不断的改进，弥补自身的不足，才会发展。
参考文献
[1]张秋霞，刘壮生.试论网络检索工具检索性能的置信区间[J].现代图书情报技术,2005,(6).
[2]谢琳惠.网络信息检索的效率研究[J].现代图书情报技术,2004,(年刊).
[3]唐艺.网络信息检索工具的类型及发展趋势[J].理论新探,2005,(11).
[4]丁明，祝博，李龙森.网络信息检索发展趋势展望[J].科技资讯,2006,(4).
(上接第92页)
[16]Brynjol fsson E.the productivity paradox of information tech-nology[J]munications of th e AC M,1993,35(12):66 -77.
[17]Tallon p p,Kraemer k l.the development and application of
a process-oriented thermometer of IT business value[N].Worki ng paper,cen ter for research on information technology and orgaiza-tions,Universi ty of California,Irvine,CA,2004.
[18]卢向华.企业信息系统项目的评价研究[J].科学学与科学技术管理,2003,2:28-32.
[19]A Rai R,Patnayakuni N.Refocusing where and how IT value is realized:an empirical investigation
[J].Mgmt Sci. 1996,24(4):399-412.
[20]Wim Van Grembergen,Ronale Saull etc.Linking the IT balanced scorecard to the business objectives at a major Canadian f-i nancial group[J].Journal of information technology cases and ap-plications.2003,5:23-45.
[21]曲波，田传浩.基于平衡记分卡的战略联盟绩效评价框架[J].技术经济与管理研究,2005,1:56-57. [22]郝晓玲.基于平衡记分卡的企业信息系统全过程评价体系研究[D].上海：同济大学,2004.
[23]Willcocks L,Lester S.Evaluating the feasibility of informa-tion systems investments recent UK evidence and new approaches [A].In information management.The evaluation of information systems investment[C].Chapmen&Hall,London,1994:49-75.
[24]Willcocks L,Lester S.Investing i n information systems:E-valuation and managemen t[M].Chapman&Hall.London,1997.
[25]Farbey B,Land F,etc.Maching an IT project with an ap-propriate method of evaluation a research note on Evaluating invest-ments in IT[J].Journal of information technology.1994,9. [26]陈衍泰，陈国宏，等.综合评价方法分类及研究进展[J].管理科学学报,2004,7(2):69-79.
[27]Hannu Kivijarvi,T i mo Saarinen.Investment in information systems and the financial performance[J].information &management,1995,28:143-163.
[28]徐维祥，张全寿.基于WSR方法论的信息系统项目评价研究[J].系统工程与电子技术,2000,22(10):4-7.
u
信息化与网络建设
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议