08.旅游调查资料的评价

08.旅游调查资料的评价LtDPAGE3-征”，是指被测度的事物在其被测度的前后并不发生变化；但是，对于前后发生变化的事物的测度，测度的信度是指该测度及时反映出该事物这种变化的程度。其二，根据测度手段能否减少测度误差对测度结果的影响，进而使该测度能提供反映某事物的某项特征及个别差异程度的真实数据，以此来判断该测度结果的准确性。在此，我们所介绍的信度，也就是要探究调查的可靠性，就是指被调查者表达其意见的准确性，换一种说法就是在一次调研中被调查者对相同或相近的问题采用的相同或相近的答案。实际上，利用度量表，通过访问、调查取得调查对象特征的真实值是有困难的。2.信度的估计方法在进行测量时，误差是难免的，这就使得真实值和测量值之间不可能完全一致。我们可以这样来表示真实值和测量值之间的关系(详见公式7.2-1)：（公式7.2-1)表示真实值，表示偏差即系统误差，表示测量误差即随机误差。由于系统误差很难分解，因而有些书中的分解式将系统误差包括在真实值之中，因而可以简单地概括为(详见公式7.2-2)：（公式7.2-2)对于测量误差，一般假定它的期望值是0，与真实值相独立，在此假定下，可以证明(详见公式7.2-3)：（公式7.2-3)实得分数和真分数的总体均值相等。实得分数的方差等于真分数的方差与误差方差之和(详见公式7.2-4)。（公式7.2-4)对于上述误差，调研人员应运用所掌握的统计知识，分析它属于系统性误差还是属于随机误差。对于系统性误差，应尽量避免，因为它会使调查结果有误；对于随机误差，可以通过提高样本代表性，增大样本量来减少。信度一般规定是：真分数的方差在总体方差中所占的比重，即信度系数(详见公式7.2-5)：（公式7.2-5)信度系数越大，表明测量的可信程度越大。信度的估计方法有许多，比较易于使用的是相关系数的方法。即通过对同一被调查群体采用同一份调查问卷前后进行两次调查，然后再根据被调查者两次填写所得分数计算其相关系数而得。也就是两次问卷的协方差与第一次、第二次问卷标准差乘积之比，详见7.3。3.信度的类型在实际应用中，信度主要有以下几种类型：(1)再测信度这种方法通常是重复同样的测量来检验信度系数可以用相关系数来表示。假如我们第一次测量时的观测值是，第二次的观测值是，那么再测信度就等于与的相关系数。但重复测量时，我们要注意两次测量的时间间隔要恰当。如果时间间隔太久，可能会发生一些变故，影响到被调查者的态度，那么前后的测量就会有很大的差异。(2)复本信度复本是针对原本而言的，如果一套间卷有两个以上复本，则可以交替使用，根据一组被调查者接受两个复本测量的数值来计算相关系数。(3)折半信度通常是在无复本且不准备重测的情况下，我们就用折半信度来计算信度系数。将被调查者的测量结果，按题目的单、双号分成两部分记录，再根据每个人的这两部分的测量数值计算相关系数。4.信度的影响与运用对于信度--可靠性检验的运用，首先，在正式开展大规模调查前可以根据检验结果对度量表、问卷做进一步完善，使之更加科学，特别是问卷的长度一定要有所控制；其次，在不影响代表性的情况下把不可信的被访者的调查结果排除在最终分析之外；再次，还要注意两次问卷测量之间的时间间隔要适当。另外，也可以借助这些检验方法检验调研结果的可靠性。二、旅游调查信息的有效性1.有效性—效度效度是指对所要测度的对象测度到什么程度的一种估计。测度的效度具有两方面的含义：第一，本测验是测度什么的?即测度所要研究目标的概念；第二，对所要研究的概念测度到什么程度?准确地测度这一概念。在实际测度过程中，往往只有第一层含义，而没有第二层含义。因为对所要研究的概念进行测度，是能够做到的；但是要准确地测度这一概念，却又较难做到。有效性与可靠性是不同的，有效性是指度量的精确性与事物的实际值相比，对精确性的评价，是我们试图要测量到的事物的真实指标状况。比如，当调查某入境旅游者的旅游花费时，他此次的花费也许低于1000美元，但他有可能说他花了2000～2500美元，或许是碍于面子，或许是与其他同行者攀比心理等。当然，撒谎并不是产生无效结果的惟一原因，被访者可能有系统性记忆错误，导致概念不清，思维混乱，使其答案的系统性脱离现实。效度就是正确性程度，即测量工具在多大程度上反映了我们想要测量的概念的真实含义，效度越高，即表示测量结果越能显示出所要测量的对象的真正特征。如果一个测度的效度越高，说明该测度的结果越能反映测度对象的真实特性，也就越有效；反之，如果一种测度的效度很低，则说明该测度未能准确反映测度对象的真实特性，有效性也就越差。2.效度的类型(1)内容效度考察内容效度旨在系统地检查测量内容的适当性，并根据我们对所研究概念的了解去鉴别测量内容是否反映了这一概念的基本内容。检验内容效度就是检验由概念到指标的经验推演是否符合逻辑，是指问卷中的某些答案与问卷中另一些答案的逻辑相关程度是否有效。(2)准则效度准则效度是指被假设或定义为有效的测量标准，是指被访者的答案看起来是否在设计时所考虑的度量范围之内。对每一个问题，根据它的表面因素，都应该规定一个“大致”的范围。调研人员对问卷一般都可以客观地判断它的表面有效性。因此，设计每一个问题时都应该有表面有效性的假定。符合这种标准的测量工具是可以作为测量某一特定现象或概念的效标。当我们对同一现象或概念进行测量时，我们可以使用多种的测量工具，每种测量方式与效标的一致性就成为准则效度。(3)概念效度若测量在理论上相关的两个概念、，在经验层面上对的测量与对的测量亦相关；若有多于一个的对的测量，亦应当与对的测量相关。为此，可以采用一些方法来检验度量的有效性。3.效度的判定见P135。4.度量有效性的检验(1)表面有效性表面有效性是指被访者的答案看起来是否在设计时所考虑的度量范围之内。对每一个问题，根据它的表面因素，都应该规定一个“大致”的范围。调研人员对问卷一般都可以客观地判断它的表面有效性。因此，设计每一个问题时都应该有表面有效性的假定。假如，A先生在回答他是否每年都出境旅游时，答：是；但问到他的月收入时，他却回答仅有600元，这显然不对。问卷的表面有效性必须经过调研人员的客观评价，让别的调研人员重新审查会更有助于提高其有效性。(2)预示有效性预示有效性是指问卷中的某些答案与问卷中另一些答案的逻辑相关程度，如上例两个问题“是否每年出境游”和“个人月收入”就是有逻辑相关性的。如果你运用了逻辑关系来判断，那么，你就对一些度量做了预示有效性检验。为了运用预示有效性进行检验，在设计问卷时应专门设计一些问题。(3)收敛有效性当调研人员用两种不同的方法或不同的数据来源比较同一个问题时，他就运用了收敛有效性检验。如调研人员在组织现场调查的同时还要用电话调查来验证其得到的答案的客观性。例如，在对154位参观故宫的中外游客进行现场调查中，55.84％的人对“票价物有所值”表示赞同。如果再抽取50份进行电话调查，调查结果为49.96％的人对“票价物有所值”表示赞同，则说明两个平均值很接近。如果我们运用假设检验证明55.84％与49.96％无显著差异，就表明调查具有收敛有效性。(4)区别有效性区别有效性是指不同的结构应产生不同的结果。换句话说，调查不同主题的问题应产生不同的答案。当调研人员确知存在差异时，他们就可以在答案中找到不同点，否则该度量的有效性就应该受到质疑。例如，154位参观故宫的中外游客对“票价物有所值”、“您不喜欢在排队买票时等太长时间”两观点表示赞同的程度，详见表7.2-1。5.效度的估算测量的效度通常以测量数值与其所要测量的特性之间的相关系数来表示。效度系数一般规定为与测量目的相关的分数方差在总方差中所占的比重(详见公式7.2-6)。（公式7.2-6)其中，为个体在与某属性有关的共同特性上所造成的变异量，为在某测量上所得数值的总变异量。6.影响效度的因素①调查提纲的科学性与否。②调查程序选择得是否得当。③调查项目的设计是否合理。④调查方法的选择是否得当。其中，调查项目的设计最为重要。7.信度与效度的关系若信度低，则效度也低。因为如果测量的数据不准确，就不能有效地说明所研究的对象。但是，若信度高，效度则不一定就高。因为如果测量的数据是准确的，信度就高。然而可信的测量数据并不一定就是有用的、有效的，也并不一定就能说明所研究的对象的特性。效度低，信度可能高。但效度高，信度也必然会高。§3对引导案例的分析从上述案例问卷中，我们选取了第9题的第一问，即在购票方面，“票价是否物有所值”。为了计算简单，我们在两次调查中分别随机抽选了10份问卷，目的仅限于对信度的计算方法加以说明，而不在于评价本次调查活动(表7.3-1、表7.3-2)。（公式7.3-1)（公式7.3-2)通过对信度相关系数的计算，，表明相关程度极高，即对此问题的设计与提问是非常可信和适宜的。§4利用EXCEL计算信度相关系数对引导案例中有关信度相关系数的计算可以用EXCEL来进行，具体的步骤如下：第一步，打开EXCEL软件，输入原始数据，如图7.4-1所示。第二步，计算，在A5单元格中输入“”，然后在B5单元格中输入“=((B2-(SUMPRODUCT($B2：$F2，$B3：$F3)／SUM($B3：$F3)))`2)*B3”，其余的C5到F5可利用自动填充的方式快速完成，其结果如图7.4-2所示。第三步，计算，在A6单元格中输入“”，然后在B6单元格中输入“=((B2-(SUMPRODUCT($B2：$F2，$B4：$P4)／SUM($B4：$F4)))^2)*B4”，其余的C6到F6可利用自动填充的方式快速完成，其结果如图7.4-2所示。第四步，计算，在C1单元格中输入“”，然后在G5单元格中输入“=SQRT(SUM(B5：F5)／SUM(B3：F3))”，G6单元格可利用自动填充的方式快速完成，其结果如图7.4-2所示。第五步，计算，在A8单元格中输入“”，然后在A9单元格中输入“=COVAR(B3：F3，B4：F4)”，其结果如图7.4-3所示。第六步，计算，在B8单元格中输入“”，然后在B9单元格中输入“=A9/(G5*G6)”，其结果如图7.4-3所示。第七步，分析结果，信度相关系数，说明相关程度很高。因此，对这个问题的设计与提问是可信的和合适的。§5旅游调查成果的评价一、什么是旅游调查成果评价旅游市场调查成果评价，是指由市场调查的组织者、委托者或其他社会组织和个人按照一定的标准，对市场调查的结果所做的评价。从评价的主体来看，市场调查成果评价可以由市场调查成果的用户，即项目的委托者进行，也可以由市场调查组织者自身进行，还可以由其他组织或个人进行。从评价的范围来看，可以是对整个项目的评价，也可以就调查项目的某些方面进行评价。从评价的内容来看，可以对市场调查的成果进行评价，也可以对调查的过程进行评价，还可以对从过程到结果的全系统进行评价。二、怎样评价旅游调查成果从本质上看，市场调查成果评价属于一种检验工作，其目的是对市场调查工作及其成果的优劣进行判断和鉴定。市场调查工作作为一种复杂的社会活动，其工作过程及其结果必然有优劣之分。通过评价，可以对市场调查活动本身做出客观的鉴定，有利于总结好的经验，发现不足和问题，及时采取补救措施，更好地为用户服务，也可以为以后的市场调查工作积累经验。更为重要的是，通过评价，能对调查成果的客观性、正确性、适用性等做出鉴定，为使用者对市场调查成果的使用提供依据。对市场调查成果的评价方法应视评价的主体、范围和内容的不同而有所区别。比如，对市场调查过程中的定量分析和结果进行评价，可以通过统计检验方法进行。对整个市场调查项目进行总体评价，通常可以通过提出一系列的问题来进行。§6旅游调查活动的评价一、关于旅游调查活动评价对旅游调查活动进行总结和评价，就是要总结成绩和经验，发现不足和问题，吸取教训，这是十分必要的。它既可以及时采取补救措施，避免结论和建议的错误或偏差给使用单位带来的损失，也可以为以后的调研活动积累经验。二、进行旅游调查活动评价对旅游调查活动的评价，可以由使用者即委托方进行，也可以由调研人员自行进行。无论是由谁进行，评价工作都要围绕“怎样可以使旅游调查活动做得更好?”这一主题展开。(1)旅游调查项目的调研设计上是否做得完美?(2)在调研方法的选择上是否做得最恰当?(3)在调研经费和调研成本上是否最节约?(4)在市场信息资料的收集方法上是否最合适?(5)在样本的规划和选择方式上是否最有利?(6)在对有可能出现的调查误差的有效控制上是否做得最好?(7)在参与调研工作的人员选择、培训和监督上是否做得最好?(8)在资料的分析、处理技术上是否能有效地保证结论的准确性?(9)所做出的结论和建议是否对用户最有用?(10)旅游调查活动是否在预定的时间和预算内完成?(11)整个项目的实施过程中还存在哪些问题?(12)结合评价还应评选与奖励在此次调研活动中的工作突出者。这同样是旅游调查活动评价的重要组成部分——人员的评价。得出对旅游调查活动的评价结果之后，要及时反馈。这种反馈应该是多元化的，既要反馈成绩，也要反馈问