信息系统审计 课件 【ch08】信息系统绩效审计

信息系统绩效审计第八章高等院校公共课系列精品教材信息系统审计信息系统绩效评价指标设计0101信息系统绩效评价指标设计信息系统绩效评价指标的设计原则在设计信息系统绩效评价指标时，应考虑以下原则。(1)实用性原则。各项指标要能够被明确衡量，且衡量所用的计算方法应尽可能简便，以便于绩效评价工作的开展(2)广泛性原则。绩效评价框架和指标的设计必须得到实践者广泛的认可和接受，管理者的认可是评价指标得以实施的前提，而审计人员的接受是评价体系具体实施的基础。(3)结合IT治理的目标。IT治理最重要的任务是保证信息技术与各种业务的有效结合，使其与被审计单位战略保持一致，促进组织利益最大化，实现信息化风险的最有效控制。(4)体现信息系统审计的独特价值。全面性和系统性是设计绩效评价指标的目的之一。同时，信息系统审计的绩效难以量化，这是指标设计的难点。在设计评价指标时，需要充分考虑信息系统审计的业务流程，使评价指标能够反映信息系统审计的战略价值。01信息系统绩效评价指标设计信息系统绩效评价指标设计(1)量化与非量化指标。量化指标就是将所要评价的目标予以数量化，通常用货币、产销量、百分比、完成阶段、处理件数等来表示。但并非所有评价对象均能很容易地予以数量化。例如，信息系统增进部门间的沟通、促进组织结构重组等方面的评价就难以用数字来表达，因此通常将难以量化的指标称为非量化指标。(2)财务与非财务指标。对于量化指标而言，如果能以金额表示的即为财务性指标，反之为非财务性指标。(3)衡量过程与衡量结果指标。衡量结果的指标体现战略执行的结果(如营业收入的增长、质量改善等),这些指标是典型的事后指标，它告诉管理者过去行动的结果。相对的，衡量过程的指标是事中指标，显示在执行某一策略时的关键因素。衡量结果的指标仅能指出最终结果，而衡量过程的指标能够指出实现最终结果的变化过程。01信息系统绩效评价指标设计信息系统绩效评价指标对于信息系统的绩效评价研究是从对企业制造资源计划(ManufucturingResourcePlanning,MRP)项目的绩效评价体系研究开始的。1976年，MRPⅡ的创始人怀特(OliveWight)提出，把实施MRP系统的企业分别评为A、B、C、D四个等级。1992年，Delone和Mclean提出了关于信息系统成功的六种主要的因变量：系统质量(SystemQuality)、信息质量(InformationQuality)、系统使用(InformationSystemUse)、用户满意度(UserSatisfaction)、个人影响(IndividualImpact)和组织影响(OrganizationalImpact)。根据“3E”的国际审计评价标准，信息系统绩效评价主要分析信息系统建设资金使用的经济性(Economy)、效益性(Efficiency)和效果性(Effectiveness)。信息系统的性能、成本、效益的综合比是综合衡量系统质量的指标。评价信息系统成功的最重要指标是信息系统给企业带来的利益，而这些利益又包括运作利益、管理利益、战略利益、组织利益和IT基础利益等五大类。网络安全控制审计0201经济维度下的绩效评价经济性即以最低的资源耗费获得一定数量和质量的产出，即节省的程度。库存管理系统将使原材料和在制品的库存量得到压缩，减少流动资金的占用。生产管理系统将实现均衡生产，提高劳动生产率，减少产品工时成本，按期交货，减少非正常支出(如延期罚金等)。财务管理系统将加速资金周转，提高准确率，避免不必要的经济损失。各类信息系统能及时、准确地提供对决策有重要影响的信息，从而提高决策的科学性和可行性，节省投资，避免不必要的开支。效益性指以最小的投入获得一定的产出，或者以一定的投入获得最大的产出。也就是说，投入了信息化建设项目的资源，应努力实现产出最大化，或者确保以最少的资源投入获得一定数量的产出。01经济维度下的绩效评价控制维度下的绩效评价0301控制维度下的绩效评价信息系统运行过程中需通过一系列的内部控制和维护措施来为信息系统正常运行提供支持，这些措施包括组织和制度设计、岗位设置、人员管理、信息系统安全管理、信息技术咨询、招标与采购管理、开发与实施、运行维护和运营服务，以及与其他系统的数据共享与通信等。信息系统的内部控制对于信息系统的正常运行和组织目标的达成至关重要。可以说，没有内部控制就没有信息系统。从信息系统上线运行开始，就与组织的制度、文化、目标和行为规则等紧密结合。决定信息化建设成败的关键除了系统本身，还有信息系统的管理控制环境，二者同等重要。信息系统绩效评价在控制维度下应主要考虑控制对于信息系统达成组织目标的保障功能，具体包括：信息系统建设过程(生命周期)评价、一般控制评价、应用控制评价、信息系统安全管理评价。01控制维度下的绩效评价01控制维度下的绩效评价服务维度下的绩效评价0401服务维度下的绩效评价对信息系统服务效果的评价可以从用户满意度的评价着手，用户又包括内部用户与公众用户。对于内部用户来说，可操作、高容错、易掌握是多数人的基本要求，而要达到内部用户的业务需求则是其根本目标。公众用户的需求要复杂得多，不仅包括内部用户的基本需求，还反映了公众用户的期望，即信息系统服务的形式期望、结果期望和心理期望。形式期望是目标用户对信息系统界面、功能、色彩等直观内容的心理感受；结果期望是目标用户对信息系统提供的结果内容的深层心理感受；心理期望是指目标用户对信息系统的功能和用途的更深层次的心理感受。在用户满意度评价的审计实践中，问卷调查、访谈和实地观察是解决这一问题的比较好的方法，统计分析是重要手段。01服务维度下的绩效评价信息系统绩效审计的方法与技术0501成本一效益分析法成本的构成收益的构成根据信息系统的特点，信息化项目建设的成本构成涵盖了信息系统的整个生命周期，包括有形成本和无形成本，具体成本构成项目见表8-1。与成本相对应，信息系统的收益用可量化或定性的标准来衡量，主要包括直接收益和间接收益，具体收益构成项目见表8-1。01成本一效益分析法成本一收益分析的量化方法01成本一效益分析法成本一收益增量法02系统运行前后对比法成本一效益分析法的另一种扩展应用是系统运行前后对比法。即根据信息系统项目建设前后的情况，比较项目的效益和成本。具体而言，通过对项目实施前后两个不同历史时期相关特征量的变化进行比较，从而确定项目直接经济效益的方法。该方法适用于信息化建设项目后评价或项目实际效益估算。系统运行前后对比法基于价值工程原理，侧重于系统的功能与所需成本的比较。系统的功能是指信息系统提供给用户的生产力工具，成本是指信息系统在其生命周期中的生产成本、运行成本和维护成本。根据价值工程原理，价值=功能/成本。为了获得最佳的经济效益，系统必须使价值方程式中的功能和成本达到最佳比例。而最佳比例的达成不仅需要系统提供必要的功能，而且成本最低，因此存在权衡和合理选择的问题。03平衡计分卡内容框架和指标体系的建立由于平衡计分卡的四个方面都是围绕企业的战略目标展开的，所以有必要首先明确企业当前的战略目标。根据平衡计分卡的基本模板，评价指标应从四个方面进行选择。指标可以通过问卷的方式初步建立，问卷可以分发给各个部门，最好是部门领导。各部门的调查结果按照财务、客户满意度、内部流程及成长与学习四个方面进行分类，根据企业的战略目标筛选出一些相对重要的指标，得到初始指标组。同时必须指出，由于信息系统应用的成本效益的复杂性，在选择指标时必须充分考虑其隐性成本效益的重要性。03平衡计分卡指标权重的建立平衡计分卡不仅是一种管理手段，也体现了一种管理思想，即只有量化的指标才是可以考核的，必须将要考核的指标进行量化。对于信息系统绩效评价而言，它也是较为切实可行的方法，其优点具体表现在以下几个方面：(1)克服了其他评估方法的短期行为，其评价指标具有长期性；(2)通过指标的全面化综合衡量信息系统的显性和隐性效益；(3)评价的同时，对信息系统的建设和改进也有一定的指导作用。平衡计分卡的缺点表现在以下几个方面：(1)从指标的建立到指标数据的获取，管理者评估信息系统的应用要花费大量的时间和资金；(2)定性指标很难产生定量结果。04层次分析法层次分析法的基本步骤收益的构成(1)建立问题的层次结构；(2)形成成对比较判断矩阵；(3)分层单项排序；(4)分层综合总排序；层次分析方法有以下几种计算方法：第一种是乘幂法，通过计算机可以得到任意精度的数值；第二种方法是一种近似方法——和积法可以使计算变得简单，并保证足够的精度。还有一种近似方法——平方根法；第三种方法是最小二乘法或对数最小二乘法，这种方法使用较少。为了评价分层总排序计算结果的一致性，还需要计算出与单项排序相似的检验量。04层次分析法层次分析法的优点(1)系统性的分析方法：层次分析法把研究对象作为一个系统，按照分解、比较判断、综合的思维方式进行决策，成为继机理分析、统计分析之后发展起来的系统分析的重要工具。(2)简洁实用的决策方法：这种方法既不单纯追求高深数学，也不片面地注重行为、逻辑、推理，而是把定性方法与定量方法有机地结合起来。(3)所需定量数据信息较少：层次分析法主要是从评价者对评价问题的本质、要素的理解出发，比一般的定量方法更讲求定性的分析和判断。04层次分析法层次分析法的缺点(1)不能为决策提供新方案：层次分析法的作用是从备选方案中选择较优者。这个作用正好说明了层次分析法只能从原有方案中进行选取，而不能为决策者提供解决问题的新方案。(2)定量数据较少，定性成分多，不易令人信服：在如今对科学的方法的评价中，一般都认为一门科学需要比较严格的数学论证和完善的定量分析。但现实世界的问题和人脑考虑问题的过程很多时候并不能简单地用数字来说明。(3)指标过多时数据统计量大，且权重难以确定：当期望能解决较普遍的问题时，指标的选取数量很可能也就随之增加。(4)特征值和特征向量的精确求法比较复杂：在求判断矩阵的特征值和特征向量时，所用的方法和多元统计所用的方法是一样的。05模糊综合法模糊综合法的步骤(1)确定对象集、因子集：确定评估对象，准备从几个方面考虑，评估具体评估的评分。(2)确定权重分布：权重的确定必须审慎、科学、可靠，并尽可能符合或接近实际。一般对评价目标影响较大的因素(评价指标)权重较大；对评价目标影响不大的因素，权重相对较小。(3)建立各因素(评价指标)的评分隶属函数和综合评价矩阵：为了得到模糊矩阵，需要根据被评价对象的指标数据，为每一个评价指标分别构造出一系列评价等级的隶属函数。(4)计算各对象的综合评价结果。(5)向量的归一化处理：归一化即向量的单位化，可以让人直观地对最终的评价结果有更深入的了解。(6)模糊分析结果：如果想要得到更直观的评价分数，还可以根据相应的等级设置分数重心，从而计算出被评价对象的绩效综合评价分数，这样就可以根据最终分数的大小来评价事物或对象。05模糊综合法模糊综合法的优点模糊综合法的缺点(1)模糊综合评判理论模型考虑了分级模糊性，用隶属度来描述分级界限，还考虑了各参数指标的作用而给予不同的权重，从而使评价结果更加客观。(2)模糊评价通过精确的数字手段处理模糊的评价对象，能对蕴藏信息呈现模糊性的资料做出比较科学、合理、贴近实际的量化评价。(3)评价结果是一个矢量，而不是一个点值，包含的信息比较丰富，既可以比较准确地刻画被评价对象，又可以进一步加工，得到参考信息。(4)由于模糊综合法是一种全面评价法，可以选择出最好的运算模型，使运算结果能尽可能科学地体现产品的质量状况。(1)计算复杂，对指标权重的确定主观性较强。(2)模糊综合法在模糊矩阵复合运算中取大取小运算的结果，没有充分考虑中间项，从而会影响评价结果的精度，而且有的评价结果常常趋于均化。06Delphi法Delphi法的步骤(1)确定专家组成员：按照课题所需要的知识范围，确定专家。专家人数的多少，可根据预测课题的大小和涉及面的宽窄而定，一般不超过20人。(2)向所有专家提出所要预测的问题及有关要求，并附上有关问题的所有背景材料，同时请专家提出还需要什么材料。然后，由专家做书面答复。(3)各位专家根据他们所收到的材料，提出自己的预测意见，并说明自己是怎么利用这些材料得出预测值的。(4)将各位专家的第一次判断意见汇总，列成图表，进行对比，再分发给各位专家，让专家比较自己同他人的不同意见，再修改自己的意见和判断。(5)将所有专家的修改意见收集起来，汇总，再次分发给各位专家，以便做第二次修改。收集意见和信息反馈一般要经过三四轮。这一过程反复进行，直到每一位