江苏省智慧旅游公共服务平台评价研究

江苏省智慧旅游公共服务平台评价研究从全国范围来看，各地各级政府都在加速推动智慧旅游公共服务的建设，但到目前为止，国内针对智慧旅游公共服务能力评价体系的研究尚不多见。在建立智慧旅游公共服务平台的基础上，通过有效、准确的评价方法和合理的评价指标对公共服务平台绩效进行科学的综合评价，不仅可以保证江苏省智慧旅游公共服务平台得以顺利运营，同时能够促进政府和旅游企业改进其服务质量，不断完善平台的运作管理，推动公共服务平台运营水平向更好、更快的方向发展。因此，构建一个适合江苏省智慧旅游公共服务平台的绩效评价指标体系具有重大意义。1.1评价指标体系的选取原则建立健全的智慧旅游公共服务平台绩效评价指标体系，可为智慧旅游公共服务平台绩效的评价提供可度量考核的体系，不仅可以督促政府完善其自身的服务，并能够促进政府对旅游企业的监管职能，为平台的可持续运营提供了保障，同时为不断完善智慧旅游公共服务平台提供了参考依据，构建公共服务平台绩效评价指标体系，应遵循以下基本原则：1.1.1指标的全面性智慧旅游公共服务平台的运营涉及到政府、游客、旅游企业等多方参与主体，平台建设功能涉及服务、营销、管理和政务等诸多方面，公共服务平台评价是综合全面的评价，内容应涉及智慧服务、智慧商务、智慧政务和智慧管理等较为全面的评估内容。同时，平台的健康运营离不开强大的硬件支撑和完善的管理水平，应避免遗漏相关指标。在指标选取过程中，要注意指标的独立性，避免交叉，以保证平台的健康运营，积极推进平台的建设，提升平台服务能力。1.1.2指标的科学性智慧旅游公共服务平台绩效指标体系必须建立在科学、有效、客观的基础上，如果评价指标体系不科学，就不能实现促进旅游业更好、更快的发展，甚至有可能导致智慧旅游发展偏离正确的方向。同时，评价方法的选取要科学、客观，以促进平台科学、健康发展为出发点，经由科学的分析和判断，形成完善的评价指标体系，来指导实际应用发展。1.1.3指标的可比性明确智慧旅游公共服务平台绩效评价指标体系中的每一个指标的内涵、口径、范围和时间，以便对评价结果进行横向与纵向的比较，更好的掌握公共服务平台在不同运营阶段、不同服务功能等方面的发展情况和问题，同时，评价指标要能反映出公共服务平台发展的动态趋势，达到可以比较和衡量的目的。1.1.4评价的可行性对于评价指标的遴选，要具有足够的可操作性，必须充分考虑指标数据的采集是否可实现，设定能够触及问题实质而又通过信息源和调查渠道能够获得的指标，使评价结果更为科学可行[86]。1.2评价指标体系的组成在查阅相关文献的基础上，借鉴旅游公共服务评价和公共服务平台绩效评价经验，并结合江苏省智慧旅游公共服务平台建设的功能和目标，通过专家访谈法选取关键评价指标，定性与定量结合，构成能够科学有效地反映公共服务平台绩效评价指标体系，对公共服务平台的服务能力、服务内容、管理水平、服务效果等多个方面进行全面系统的评价，以不断提升完善公共服务平台应用服务能力。本文遵循上述指标选取原则，结合公共服务平台的核心内容的分析，提出了由服务能力、服务内容、管理水平和服务效果四个模块构成的智慧旅游公共服务平台绩效评价体系，其逻辑框架如图1.1所示。图1.1智慧旅游公共服务平台绩效评价指标体系逻辑框架图本文所建立的指标体系战略目标层为智慧旅游公共服务平台绩效评价体系一级指标，中间准则层为服务内容、服务能力、管理水平和服务效果4个二级指标，评价方案层为智慧旅游公共服务平台综合评价体系中对应的14个三级指标，由此构成智慧旅游公共服务平台综合评价指标体系，基本框架如表1.1所示。表1.1智慧旅游公共服务平台绩效评价指标体系一级指标二级指标三级指标内蒙古智慧旅游公共服务平台绩效（A）服务能力（B1）平台容量平台运行质量平台安全性与相关平台的衔接服务内容（B2）信息服务智慧营销服务智慧管理服务管理水平（B3）基础设施组织管理资金运作服务效果（B4）服务效益平台访问量相关利益主体满意度1.3指标体系的内涵按照智慧旅游公共服务平台的逻辑架构、公共服务平台的功能和建设目标，设计了由4个子系统下辖的14个分系统构成的“智慧旅游公共服务平台绩效评价指标”，下面将对各指标的理论内涵进行阐述。（1）服务能力平台服务能力的高低直接影响平台的运营效果，服务能力指标主要针对平台性能进行评价，主要包括平台容量、平台运行质量、平台安全性以及与相关平台的衔接。其中平台容量是针对平台允许同时接入的用户量进行评价；平台运行质量主要是衡量平台运行的稳定性、顺畅度以及界面设计是否合理；平台安全性旨在衡量平台是否具有完善的安全保障措施，能否为用户提供可靠的服务。与相关平台的衔接是衡量平台是否提供与其他平台的对接功能。（2）服务内容公共服务平台的核心功能就是为用户提供服务，因此，按照智慧旅游公共服务平台的功能将服务内容指标分为信息服务、智慧营销服务、智慧管理服务、智慧政务服务等四个三级指标。其中信息服务主要是衡量信息质量，包括信息的全面性、及时性、正确性、权威性以及获取便捷性；智慧营销指标主要包含虚拟旅游体验质量、电子商务质量和线下服务质量；智慧管理指标主要是指目的地景区智慧管理、旅游企业智慧管理、旅游监督服务、旅游投诉受理水平等；智慧政务指标主要衡量政府智能化办公程度，包含政务管理水平、在线应急指挥水平等。（3）管理水平管理水平的高低直接影响平台功能定位的实现，良好的管理是平台持续发展的后勤保障[87]。因此本文将管理水平设置为二级指标，即准则层，并将其分解为基础设施、组织管理和资金运转等三个三级指标。其中基础设施主要包括平台的硬件资源和网络资源；组织管理则是衡量平台能否正常有序运营的重要保证，主要包括平台的组织架构、职责和管理制度，衡量组织结构是否合理、运行机制是否完善以及内部监督考核机制是否有效等一些系列指标。资金运转用来衡量平台资金来源渠道的多样性和充足性，多样性即指平台建设资金不仅靠政府支持，还应积极争取旅游企业、其他单位的资金，充足性即衡量平台建设和运营资金是否充足。（4）服务效果平台建设具有公共性、基础性和战略性的特点，是面向广大用户提供服务，评价平台的服务效果是重中之重，因此本文将服务效果设置为二级指标，具体包括服务效益、平台访问量和相关利益主体满意度，其中服务效益包括社会效益和经济效益，平台所带来的服务效益不可低估，不仅带动了相关旅游企业的发展，并促进江苏省旅游产业的整体发展；平台访问量主要用来衡量平台知名度，平台是否成功的推广应用，访问量是一个重要的衡量指标；相关利益主体满意度主要针对平台的使用者的满意度进行评价，包括游客满意度、旅游企业满意度和政府用户满意度。1.4江苏省智慧旅游公共服务平台绩效评价对江苏省智慧旅游公共服务平台绩效进行评估，首先要确定各指标权重，其次建立模糊评价模型，对其进行综合评价。1.4.1运用层次分析法确定指标权重的步骤（1）构造判断矩阵在建立智慧旅游公共服务平台绩效评价指标体系的层次模型后，将各层因素进行两两比较，给出相对重要性的定量结果，构造判断矩阵，计算权重。美国运筹学家Saaty提出使用数字1～9及其倒数来作为评判两个指标相对重要性的标度，如表1.2所示，表中αij表示在同一层指标中，第i个指标和第j个指标相对上一层指标的影响程度之比[88]。n个因素两两比较，便构成一个判断矩阵A=(αij)n×n，并满足αij>0、αij=1/αij、αij=1。表1.2Satty层次分析法1-9标度表标度含义1表示两个因素相比同样重要3表示两个因素相比前者比后者显著重要5表示两个因素相比前者比后者明显重要7表示两个因素相比前者比后者非常重要9表示两个因素相比前者比后者极端重要2,4,6,8表示上述两相邻等级的中间值倒数表示相应两个因素交换次序比较的重要性（2）确定指标权重的特征向量和最大特征值在计算权重之前，首先要求出特征向量和最大特征值。先将判断矩阵每一行元素逐一相乘，乘积为对乘积进行开n次方处理对得出的向量进行归一化处理则即为指标权重的特征向量。由此，计算最大特征值（3）一致性检验在算出特征向量和最大特征根之后，要对所有判断矩阵进行一致性检验，以此来确保指标权重的正确性和有效性，通过计算随机一致性率CR来进行检验，若一致性比率CR<0.1，则可认为判断矩阵不一致程度是在容许范围内的，即可用其归一化特征向量作为权重向量；若不在可容许范围内，就应重新构造比较矩阵，直至具有满意的一致性。CR计算公式为：CR=CI/RI，式中RI为平均随机一致性指标，可依据矩阵阶数n的值从表1.3中可以查得。CI为一致性指标，计算公式为。n1234567891011RI000.580.9021.411.451.491.51表1.3随机一致性指标RI取值1.4.2计算评价指标权重（1）建立层次结构模型决策目标为江苏省智慧旅游公共服务平台绩效评价，中间要素层为服务能力、服务内容、管理水平和服务效果，备选方案为江苏省智慧旅游公共服务平台绩效评价指标体系中的三级指标，层次结构模型如图1.2所示。图1.2层次结构模型图（2）构造判断矩阵基于上述构建的层次结构模型，采用Saaty标度法，通过咨询江苏省旅游局智慧旅游专家组相关专家、调查问卷统计，得到江苏省智慧旅游公共服务平台绩效评价指标的判断矩阵，录入如下：江苏省智慧旅游公共服务平台的判断矩阵为：服务能力的判断矩阵为：服务内容的判断矩阵为：管理水平的判断矩阵为：服务效果的判断矩阵为：（3）计算权重向量，并做一致性检验对上述所有判断矩阵进行一致性检验，并全部通过一致性检验后，得出如下结果：江苏省智慧旅游公共服务平台判断矩阵一致性比例：0.0265<0.1；其对总目标权重为1.0000，计算结果如表1.4所示。表1.4智慧旅游公共服务平台评价计算结果智慧旅游公共服务平台绩效服务能力服务内容管理水平服务效果wi服务能力1.00002.00003.00000.50000.2848服务内容0.50001.00002.00000.33330.1644管理水平0.33330.50001.00000.33330.1051服务效果2.00003.00003.00001.00000.4457服务能力计算结果如表1.5所示：总目标权重为0.2848，判断矩阵一致性比例为0.0054<0.1。服务能力平台容量平台运行质量平台安全性与相关平台的衔接wi平台容量1.00000.33330.20000.50000.0882平台运行质量3.00001.00000.50002.00000.2717平台安全性1.00002.00001.00003.00000.4832与相关平台的衔接2.00000.50000.33331.00000.1569表1.5服务能力指标计算结果服务内容计算结果如表1.6所示：总目标权重为0.1644，判断矩阵一致性比例为0.0265<0.1。表1.6服务内容指标计算结果服务内容信息服务智慧营销服务智慧管理服务智慧政务服务wi信息服务1.00002.00003.00003.00000.4531智慧营销服务0.50001.00002.00002.00000.2616智慧管理服务0.33330.50001.00002.00000.1671智慧政务服务0.33330.50000.50001.00000.1182管理水平计算结果如表1.7所示：总目标权重为0.1051，判断矩阵一致性比例为0.0000<0.1。表1.7管理水平指标计算结果管理水平基础设施组织管理资金运作wi基础设施1.00000.33331.00000.2000组织管理3.00001.00003.00000.6000资金运作1.00000.33331.00000.2000服务效果计算结果如表1.8所示：总目标权重为0.4457，判断矩阵一致性比例为0.0036<0.1。表1.8服务效果指标计算结果服务效果服务效益平台访问量相关利益主体满意度wi服务效益1.00003.00000.50000.3090平台访问量0.33331.00000.20000.1095相关利益主体满意度2.00001.00001.00000.5815三级指标权重汇总后如表1.9所示：表1.9三级指标权重三级指标权重平台容量0.0882平台运行质量0.2717平台安全性0.4832与相关平台的衔接0.1569信息服务0.4531智慧营销服务0.2616智慧管理服务0.1671智慧政务服务0.1182基础设施0.2000组织管理0.6000资金运作0.2000服务效益0.3090平台访问量0.1095相关利益主体满意度0.58151.4.3建立模糊评价模型在构建上述绩效评价指标，并计算出指标权重之后，即需要选择合适的评价方法对智慧旅游公共服务平台进行评价。模糊综合评价法是一种基于模糊数学的综合评价方法，其根据模糊数学的隶属度理论把定性评价转化为定量评价，即运用模糊数学对受到多种因素制约的事物或对象做出一个总体评价，具有结果清晰、系统性强等特点，能较好地解决模糊的、难以量化的问题[89]。由于江苏省智慧旅游公共服务平台的建设和发展具有阶段性和模糊性的特征，综合这些因素来看，应选取模糊综合评价法进行评估。其步骤如下：（1）确定因素集根据公共服务平台服务能力评价体系，可以得出准则层的因素集为：U（服务能力，服务内容，管理水平，服务效果）={U1,U2,…,Ui}，其中i=1,2,3,4；定义指标层的因素集为Uj={Uj1,Uj2,Uj3,…,Ujn}，其中j=1,2,3,4，即子因素集U1={U11,U12,U13,U14}，U2={U21,U22,U23,U24}，U3={U31,U32,U33}，U4={U41,U42,U43}。（2）确定评价集根据公共服务平台绩效评价的实际情况，将评语集设定为五个等级，即V={V1,V2,V3,V4,V5}={不合格，差，一般，良好，优秀}。（3）建立模糊评价矩阵求出隶属度矩阵Ri，，其中，是指评价因素集中第i个指标对于评语集中的每个V1,V2,V3,V4,V5的隶属度，本文采用比值法确定每个单因素的隶属度，即通过专家打分统计，将第i个指标选择某一等级的人数与参与评价的总人数之比作为该指标的隶属度。建立公共服务平台评价的单因素评断矩阵如下所示：同理，可分别求得U2,U3,U4的评判矩阵R2，R3，R4。（4）综合分析评价根据上述结果，对矩阵进行复合运算：Bi=Wi×Ri，对Bi进行归一化处理，得到模糊综合评价向量B1，B2，B3，B4。根据江苏省智慧旅游公共服务平台以及指标集的计算结果，建立模糊评价矩阵：R=（B1，B2，B3，B4）T，最后根据公式求出评价向量B=W×R=（b1，b2，b3，b4，b5），按照最大隶属度原则，取bj=max（b1，b2，b3，b4，b5），则综合评价结果为bj。（5）计算综合评价值，得出评价结果运用公式E=B×C，在比照已定的评语集等级标准，得出公共服务平台评价的各级指标最终得分：E（江苏省智慧旅游公共服务平台评价），E1（服务能力），E2（服务内容），E3（管理水平），E4（服务效果）。1.5江苏省旅游信息平台模糊评价由于江苏省智慧旅游公共服务平台还在分析和设计阶段，暂不能对其进行实证评估，本文选取江苏省旅游信息平台（）作为评估对象，有三方面的原因，一是江苏省旅游信息平台和江苏省旅游政务平台是江苏省与游客、旅游企业进行交互的两个重要平台，而江苏省旅游信息平台从平台服务内容和平台信息的全面性、整体性来看，更符合江苏省智慧旅游公共服务平台的发展目标，对其进行评价更能说明问题；二是在智慧旅游时代，江苏省旅游信息平台作为对外展示的重要窗口，其在公共服务方面还存在诸多的问题，也亟须用智慧旅游背景下的公共服务平台评价标准对其进行科学的评价，以便对江苏省智慧旅游公共服务平台的建设和运营提供意见和指导；三是通过采用模糊综合评价法对江苏省旅游信息平台进行评价，验证该体系的可操作性。1.1.1指标的处理和规范化本课题所构建的公共服务平台评价指标体系中，既有定量指标也有定性指标，无论是定性还是定量指标，最后都是通过专家打分法对其进行评价，所以，为避免主观判断引起的偏差，提升指标的准确性，本课题采用比值法确定每个单因素的隶属度，即通过专家打分统计，将第i个指标选择某一等级的人数与参与评价的总人数之比作为该指标的隶属度。确定方法如下：设有H位评价者进行评价，评价因素中元素有m个，评价者k对评价对象i的评价果分别是，，，，，这五个结果中只有一个分量为1，其余分量都为0，计算出，其中，表示评价者k对评价对象i的评价结果。1.1.2调查问卷结果统计本文根据公共服务平台的评价指标体系，结合上述模糊综合评价方法步骤，针对江苏省旅游信息平台进行了评价，发放了60份问卷，收回56份，剔除不合要求的6份，评价者涉及政府人员、管理人员、技术人员、研究学者和普通用户。按照上述计算方法，汇总评价结果，得出模糊综合评价矩阵，如表1.10所示。表1.10模糊综合评价矩阵二级指标三级指标不合格差一般良好优秀服务能力（B1）平台容量0.10平台运行质量0.20平台安全性0.20与相关平台的衔接0.30.1服务内容（B2）信息服务0.10智慧营销服务0.80.2000智慧管理服务00智慧政务服务00管理水平（B3）基础设施0.30组织管理0.10资金运作0.10服务效果（B4）服务效益00平台访问量00相关利益主体满意度