统计学-学习笔记

第一章导论一、统计及其应用领域统计学（statistics）：是收集、处理、分析、解释数据并从数据中得出结论的科学。数据分析所用的方法可分为描述统计方法和推断统计方法。按统计方法分：描述统计（descriptivestatistics）研究的是数据收集、处理、分析、汇总、图表描述、概括与分析等统计方法。推断统计（inferentialstatistics）研究如何利用样本数据来推断总体特征的统计方法。按统计方法研究与应用分：理论统计学、应用统计学。统计学的主要特点：数量性、社会性、总体性。统计的应用领域：1、企业发展战略2、产品质量管理3、市场研究4、财务分析5、经济预测6、人力资源管理二、统计数据的类型按计量层次分类：分类数据（categoricaldata）是只能归于某一类别的非数字型数据。顺序数据（rankdata）是只能归于某一有序类别的非数字型数据。数值型数据（metricdata）是按数字尺度测量的观察值，其结果表现为具体的数值。定性数据（qualitativedata）即品质数据，分类数据和顺序数据。定量数据（quantitativedata）即数量数据，数值型数据。按收集方法分类：观测数据（observationaldata）是通过调查（调查数据）或观测而收集到的数据。【社会现象】实验数据（experimentaldata）是在实验中控制实验对象而收集到的数据。【自然现象】按时间状况分类：截面数据（cross-sectionaldata）是在相同或近似相同的时间点上收集的数据，这类数据通常是在不同的空间上获得的，用于描述现象在某一时刻的变化情况。时间序列数据（timeseriesdata）是在不同时间收集到的数据，这类数据是按时间顺序收集到的，用于描述现象随时间变化的情况。三、统计中的几个基本概念总体（population）：包含所研究的全部个体（数据）的集合。总体通常由所研究的一些个体组成，组成总体的每个元素称为个体。根据总体包含的单位数目是否可数分：有限总体：总体的范围能够确定，而且元素的数目是有限可数的。（抽取一个单位后，总体元素就会减少一个，前一次抽样会影响第二次抽样的结果。）无限总体：总体所包括的元素是无限的、不可数的。（每次抽取一个单位，并不影响下一次的抽样结果。）【抽样中每次抽取是否独立。】样本（sample）：从总体中抽取一部分元素的集合。样本量（samplesize）：构成样本元素的数目。抽样的目的是根据样本提供的信息推断总体的特征，根据样本统计量去估计总体参数。参数（parameter）：用来描述总体特征的概括性数字度量，是研究者想要了解的总体的某种特征值。（总体平均数μ、总体标准差σ、总体比例π等。）统计量（statistic）：用来描述样本特征的概括性数字度量，是根据样本数据计算出来的一个量，是样本的函数。（样本平均数x-bar、样本标准差s、样本比例p等。）变量（variable）：说明现象某种特征的概念，其特点是从一次观察到下一次观察结果会呈现出差别或变化。（变量的具体取值称为变量值。）1、分类变量（categoricalvariable）是说明事物类别的一个名称，其取值是分类数据。2、顺序变量（rankvariable）是说明事物有序类别的一个名称，其取值是顺序数据。3、数值型变量（metricvariable）是说明事物数字特征的一个名称，其取值是数值型数据。数值型变量根据其取值不同分：离散型变量（discretevariable）是只能取可数值的变量，只能取有限个值，且取值都以整位数断开，可以一一列举。连续型变量（continuousvariable）是可以在一个或多个区间中取任何值的变量，其取值是连续不断的，不能一一列举。其他分类：随机变量和非随机变量、经验变量（empiricalvariable）、理论变量（theoreticalvariable）。第二章数据的收集一、数据的来源数据的间接来源，即二手资料，搜集方便、数据采集快、采集成本低，但局限性很大，针对性不够。对二手资料评估需考虑：资料是谁搜集的？为什么目的而搜集？数据是怎样搜集的？什么时候搜集的？数据的直接来源。二、调查数据什么是好的样本？一是针对研究问题而言的，二是具有最好的性能价格比，即针对调查费用与估计精度的关系而言的。使用抽样采集数据的具体方式：概率抽样和非概率抽样概率抽样（probabilitysampling）：也称随机抽样，是指遵循随机原则进行的抽样，总体中每个单位都有一定的机会被选入样本。随机原则：在抽取样本时排除主观上有意识的抽取调查单位，是每一个单位都有一定的机会被抽中。特点：1、抽样时是按一定的概率以随机原则抽取样本。2、每个单位被抽中的概率是已知的，或是可以计算出来的。3、当用样本对总体目标量进行估计时，要考虑到每个样本单位被抽中的概率。概率抽样方式：1、简单随机抽样（simplerandomsampling）就是从包括总体N个单位的抽样框（samplingframe）中随机地、一个个的抽取n个单位作为样本，每个单位的入样概率上相等的。特点：简单、直观、计量方便。局限性：a、要求将包含所有总体单位的名单作为抽样框，当N很大时，构造这样的抽样框并不容易。b、抽出的单位很分散，给实施调查增加了困难。c、没有利用其它辅助信息以提高估计的效率。2、分层抽样（stratifiedsampling）是将抽样单位按某种特征或某种规则划分为不同的层，然后从不同的层中独立、随机地抽取样本。优点：a、保证了样本中包含有各种特征的抽样单位，样本结构与总体结构比较相近，有效地提高估计的精度。b、在一定条件下为组织实施调查提供了方便。c、既可以对总体参数进行估计，也可以对各层的目标量进行估计。3、整群抽样（clustersampling）即将总体中若干个单位合并为组，这样的组称为群，抽样时直接抽取群，然后对中选群中的所有单位全部实施调查。特点：a、简化了编制抽样框的工作量。b、调查地点相对集中，节省调查费用，方便调查实施。弱点：估计的精度较差，要得到与简单随机抽样相同的精度，需要增加基本调查单位。4、系统抽样（systematicsampling）将总体中的所有单位（抽样单位）按一定顺序排列，在规定的范围内随机地抽取一个单位作为初始单位，然后按事先规定好的规则确定其他样本单位。优点：操作简单，若有辅助信息，对总体内的单位进行有组织的排列，可以有效地提高估计的精度。缺点：对估计量方差的估计比较困难。5、多阶段抽样（multi-stagesampling）首先抽取群，然后再进一步抽样，从选中的群中抽取若干个单位进行调查，即二阶段抽样，群是初级抽样单位，第二阶段抽取的是最终抽样单位。优点：a、保证样本相对集中，节约调查费用。b、不需要包含所有底阶段抽样单位的抽样框。c、由于实行了再抽样，使调查单位在更广的范围内展开。非概率抽样（non-probabilitysampling）：是相对于概率抽样而言的，指抽取样本时不是依据随机原则，二是根据研究目的对数据的要求，采用某种方式从总体中抽取部分单位对其实施调查。非概率抽样的类型：1、方便抽样调查过程中由调查员依据方便原则，自行确定入抽样本的单位。最大特点是容易实施，调查成本低；弱点是样本单位的确定带有随意性。2、判断抽样研究人员根据经验、判断和对研究对象的了解，有目的地选择一些单位作为样本，实施时根据不同的目的有重点抽样、典型抽样、代表抽样等方式。优点是成本较低，容易操作；弱点是主观性强，样本选择的好坏取决于调研者的判断、经验、专业程度和创造性，且调查结果不能用于对总体有关参数进行估计。3、自愿抽样被调查者自愿参加，成为样本中的一份子，向调查人员提供有关信息，可反映某类人群的一般看法。4、滚雪球抽样往往用于对稀少群体的调查，适合对特定群体进行研究的资料搜集。优点是容易找到那些属于特定群体的被调查者，调查的成本也比较低。5、配额抽样首先将总体中的所有单位按一定的标志（变量）分为若干类，然后在每个类中采用方便抽样或判断抽样的方式选取样本单位。可以按单一变量控制，也可以按交叉变量控制（保证样本的分布更为均匀）。搜集数据的基本方法：1、自填式弱点是问卷的回收率比较低，不适合结构复杂的问卷。2、面访式弱点是调查的成本较高，在对调查过程的质量控制方面有一定难度。3、电话式特点是速度快，能够在很短的时间内完成调查。4、观察式数据搜集方法的选择：1、抽样框中的有关信息。2、目标总体的特征。3、调查问题的内容。4、有形辅助物的使用。5、实施调查的资源。6、管理与控制。7、质量要求。三、实验数据实验组（experimentgroup）：指随机抽选的实验对象的子集，每个单位接受某种特别的处理。对照组（controlgroup）：每个单位不接收实验组成员所接受的某种特别的处理。【双盲法】对照组和实验组是匹配的。实验中的若干问题：1、人的意愿。2、心理问题。3、道德问题。实验中的统计作用：1、确定实验所需要的单位的个数，以保证实验可以达到统计显著的结果。2、将统计思想融入实验设计，使实验设计符合统计分析的标准。3、提供尽可能有效的同时研究几个变量影响的方法。什么是好的实验？一方面是内部的有效性，即实验测量的准确性；另一方面是外部的有效性，外部的有效性决定是否可以将实验中发现的因果关系进行推广，即能否将结果推广到实验环境以外的情况。实验数据可以作为研究者判断假设的依据。四、数据的误差数据的误差：指通过调查搜集到的数据与研究对象真实结果之间的差异。抽样误差（samplingerror）：由抽样的随机性引起的样本与总体真值之间的误差。抽样误差描述的是所有样本可能的结果与总体真值之间的平均差异。影响抽样误差大小的因素：1、样本量的大小。样本量越大，抽样误差越小；样本量大到等于总体单位时，抽样调查变为普查，抽样误差为零。2、总体的变异性。总体的变异性越大，即各单位之间的差异越大，抽样误差也就越大，因为可能抽到特别大或特别小的样本单位，从而使样本结果偏大或偏小；反之总体的变异性越小，各单位之间越相似，抽样误差也就越小；如果所有的单位完全一样，调查一个就可以精确无误的推断总体，抽样误差就不存在。非抽样误差（non-samplingerror）：相对于抽样误差而言，是除抽样误差之外的，由于其他原因引起的样本观察结果与总体真值之间的差异。非抽样误差的类型：1、抽样框误差2、回答误差（a、理解误差b、记忆误差c、有意识误差）3、无回答误差4、调查员误差5、测量误差误差的控制：抽样误差是由抽样的随机性带来的，只要采用概率抽样，抽样误差就不可避免，但抽样误差是可以计算的。样本量和抽样误差的关系：一旦误差确定下来，就可以采用相应的措施进行控制，进行控制的一个主要方法是改变样本量，要求的抽样误差越小，所需要的样本量就越大。第三章数据的图表展示一、数据的预处理数据的预处理：在对数据分类或分组之前所做的必要处理，内容包括数据的审核、筛选、排序等。A、数据审核：检查数据中是否有错误。对于通过调查取得的原始数，主要从完整性和准确性两个方面去审核。完整性审核：主要是检查应调查的单位或个体是否有遗漏，所有的调查项目是否填写齐全等。准确性审核：主要是检查数据是否有错误，是否存在异常值等。对于二手数据，应着重审核数据的适用性和时效性。B、数据筛选（datafilter）：根据需要找出符合特定条件的某类数据。C、数据排序：按一定顺序将数据排列，以便研究者通过浏览数据发现一些明显的特征或趋势，找到解决问题的线索。排序还有助于对数据检查纠错，以及为重新归类或分组提供方便。分类数据——字母型数据[升序、降序]汉字型数据[按汉字首位拼音字母排列、按姓氏笔画排序]（交替运用不同方式排序，在汉字型数据的检查纠错过程中十分有用。）数值型数据[递增、递减]顺序统计量（orderstatistics）：排序后的数据。D、数据透视表（pivottable）二、品质数据的整理与展示A、分类数据的整理与图示频数（frequency）：落在某一特定类别或组中的数据个数。频数分布（frequencydistribution）：把各类别及落在其中的相应频数全部列出，并用表格的形式表现出来。列联表（contingencytable）：由两个或两个以上的变量交叉分类的频数分布表。交叉表（crosstable）：二维的列联表（两个变量交叉分类）。对于定型数据除了用频数分布表进行描述外，还可用比例、百分比、比率等统计计量来描述。比例（proportion）：也称构成比，它是一个样本或总体中各个部分的数据与全部数据之比，通常用于反应样本或总体的构成或结构。百分比（percentage）：将比例乘以100得到的数值，用%表示。比率（ratio）：样本或总体中不同类别数据之间的比值，由于比率不是部分与整体之间的对比关系，因此比值可能大于1。分类数据的图示——条形图（barchart）：用宽度相同的条形的高度或长短来表示数据多少的图形，纵置时称也为柱形图（columnchart），此外，又分为简单条形图、复式条形图等。帕累托图（paretochart）：按各类别数据出现的频数多少排序后绘制的条形图，左侧纵轴给出计数值（count），即频数，右侧的纵轴给出累积百分比（cumulativepercent）。饼图（piechart）：用圆形及园内扇形的角度来表示数值大小的图形，它主要用于表示一个样本或总体中各组成部分的数据占全部数据的比例，对于研究结构性问题十分有用。环形图（doughnutchart）：把饼图叠在一起，挖取中间部分即可。B、顺序数据的整理与图示累积频数（cumulativefrequencies）：将各有序类别或组的频数逐级累加起来得到的频数。累积方法—向上累积：从类别顺序的开始一方向类别顺序的最后一方累加频数；数值型分组数据则是从变量值小的一方向变量值大的一方累加频数。向下累积：从类别顺序最后的一方向类别顺序开始的一方累加频数；数值型分组数据则是从变量值大的一方向变量值小的一方累加频数。累积频率或累积百分比（cumulativepercentages）：将各有序类别或组的百分比逐级累加起来，也有向上累积和向下累积两种方法。累积频数分布或频率图。三、数值型数据的整理与展示A、数据分组数据分组：根据统计研究的需要，将原始数据按照某种标准分成不同的组别。分组数据（groupeddata）：根据统计研究的需要，将原始数据按照某种标准分成不同的组别，分组后的数据。数据分组的方法—1）按照一个标志进行的分组是简单分组，按照多个标志进行的分组是复合分组。2）单变量值分组：把每一个变量值作为一组；适用于变量值较少的离散型变量。3）组距分组：将全部变量值一次划分为若干区间，将一个区间的变量值作为一组；适用于变量值较多或连续型变量。在组距（classwidth）分组中，一个组的最小值称为下限（lowerlimit），最大值称为上限（upperlimit），并遵循不重不漏的原则；组距相等称为等距分组，组距不等称为不等距分组。组中值（classmidpoint）：每一组中下限值与上限值中间的值，即组中值=（下限值+上限值）÷2，反映各组数据的一般水平。（必要假定条件：各组数据在本组内呈均匀分布或在组中值两侧呈对称分布。）B、数值型数据的图示a、分组数据：直方图显示分组数据频数分布特征的图形有直方图、折线图和曲线图等。直方图（histogram）：用矩形的宽度和高度（即面积）来表示频数分布的。b、未分组数据：茎叶图和箱线图茎叶图（stem-and-leafdisplay）：反应原始数据分布的图形，首先把一个数字分成两部分，通常是以该组数据的高位数值作为树茎，而且叶上只保留该数值的最后一个数字。通过茎叶图，可以看出数据分布的形状及数据的离散状况，比如，分布是否对称，数据是否集中，是否有离群点等。箱线图（boxplot）：由一组数据的最大值（maximum）、最小值（minimum）、中位数（median）、两个四分位数（quartiles）这五个特征值绘制而成，它主要用于反映原始数据分布的特征，还可以进行多组数据分布特征的比较。箱线图的绘制方法：先找出一组数据的最大值、最小值、中位数、两个四分位数；然后连接两个四分位数画出箱子；再将最大值和最小值与箱子相连接，中位数在箱子中间。箱线图的分布类型有：对称分布、左偏分布、右偏分布、U形分布。c、时间序列数据：线图时间序列数据：在不同时间上获得的数值型数据。线图（lineplot）：主要用于反映现象随时间变化的特征。d、多变量数据的图示散点图（scatterdiagram）：用二维坐标展示两个变量之间关系的一种图形，由坐标及其散点形成的二维数据图。气泡图（bubblechart）：用于展示三个变量之间的关系，将一个变量放在横轴，另一个变量放在纵轴，第三个变量用气泡大小来表示。雷达图（radarchart）：显示多个变量的常用图示方法，也称为蜘蛛图（spiderchart），在显示或对比各变量的数值总和时十分有用。雷达图的具体做法：先画一个圆，然后将圆P等分，得到P个点，另这P个点分别对应P个变量，再将这P个点与圆心连线，得到P个辐射状的半径，这P个半径分别作为P个变量的坐标轴，每个变量值的大小由半径上的点到圆心的距离表示，再将同一样本的值在P个坐标上的点连线。四、合理使用图表A、鉴别图形优劣的准则图优性（graphicalexcellency）一张好的图形应具有以下基本特征：1、显示数据；2、让读者把注意力集中在图形的内容上，而不是制作图形的程序上；3、避免歪曲；4、强调数据之间的比较；5、服务于一个明确的目的；6、有对图形的统计描述和文字说明。鉴别图形优劣的准则：1、一张好图应当精心设计，有助于洞察问题的实质；2、一张好图应当使复杂的观点得到简明、确切、高效的阐述；3、一张好图应当能在最短的时间内以最少的笔墨给读者提供最大量的信息；4、一张好图应当是多维的；5、一张好图应当表述数据的真实情况。B、统计表的设计统计表一般有四个主要部分组成，即表头（包括表号、总标题和表中数据的单位等）、行标题、列标题和数据资料，此外，必要时可以在统计报表的下方加上表外附加（包括数据来源、变量的注释和必要的说明等）。注：标题内容应满足3W要求，即时间（when）、地点（where）以及何种数据（what）。第四章数据的概括性度量一、集中趋势的度量集中趋势（centraltendency）：指一组数据向某一中心值靠拢的程度，它反映了一组数据中心点的位置所在。A、分类数据：众数众数（mode）：一组数据中出现次数最多的变量值，用M0众数是一个位置代表值，它不受数据中极端值的影响，是具有明显集中趋势点的数值，是一组数据分布的最高峰点所对应的数值；众数可能不存在，也可能有两个（双众数）或多个众数。B、顺序数据：中位数和分位数中位数（median）：一组数据排序后处于中间位置上的变量值，用Me表示；主要用于测度顺序数据的集中趋势，也适用于数值型数据，但不适用于分类数据；它是一个位置代表值，不受数据中极端值的影响中位数位置的确定公式：中位数位置=（n+1）/2，n为数据个数。中位数为：M四分位数（quartile）：也称四分位点，是一组数据排序后处于25%和75%位置上的值。设下四分位数为QL，上四分位数为QU，1、一种较为准确的算法是按下列公式确定位置：Q2、以中位数为中心，从两端再计算出中位数，确定位置的公式为：Q位置3、Excel给出的四分位数位置的确定方法为：Q类似还有十分位数（decile）和百分位数（percentile）等。C、数值型数据：平均数均值（mean）：也称为平均数，是一组数据相加后除以数据的个数得到的结果，是集中趋势的最主要测度值，主要适用于数值型数据，不适用于分类数据和顺序数据；反映事物必然性的数量特征。简单平均数（samplemean）：根据未经分组数据计算的平均数，即x=加权平均数（weightedmean）：根据分组数据计算的平均数，即x=几何平均数（geometricmean）：n个变量值乘积的n次方根，用G表示，即G=D、众数、中位数和平均数之间的关系如果数据的分布是对称的，众数=中位数=平均数；如果数据是左偏分布，说明数据存在极小值，必然拉动平均值向极小值一方靠，平均值<中位数<众数；如果数据是右偏分布，说明数据存在极大值，必然拉动平均值向极大值一方靠，众数<中位数<平均值。E、众数、中位数和平均数的特点与应用场合众数是一组数据分布的峰值，不受极端值的影响。其缺点是具有不唯一性，一组数据可能有一个众数，也可能有两个或多个众数，也可能没有众数。众数只有在数据较多的时才有意义，当数据量较少时，不宜使用众数。众数主要适合作为分类数据的集中趋势测度值。中位数是一组数据中间位置上的代表值，不受数据极端值的影响。当一组数据的分布偏斜程度较大时，使用中位数也许是一个好的选择。中位数主要适合作为顺序数据的集中趋势测度值。平均数是针对数值型数据计算的，而且利用了全部数据信息，它是实际应用中最广泛的集中趋势测度值。当数据是对称分布或接近对称分布时，3个代表值相等或接近相等，这时则应选择平均数作为集中趋势的代表值。但平均数的主要缺点是易受数据极端值影响，对于偏态分布的数据，平均数的代表性较差。因此，当数据为偏态分布，特别是偏斜程度较大时，可以考虑选择中位数或众数。二、离散程度的度量离散程度：反映的是各变量值远离其中心值的程度。A、分类数据：异众比率异众比率（variationratio）：指非众数组的频数占总频数的比例，用Vr表示，即Vr异众比率越大，说明非众数组的频数占总频数的比重越大，众数的代表性越差；异众比率越小，说明非众数组的频数占总频数的比重越小，众数的代表性越好。B、顺序数据：四分位差四分位差（quartiledeviation）：也称为内距或四分间距（inter-quartilerange），是上四分位数与下四分位数之差，用Qd表示，即Q四分位差反映了中间50%数据的离散程度，其数据越小，说明中间的数据越集中；其数据越大，说明中间的数据越分散；四分位差不受极值影响。C、数值型数据：方差和标准差（反映数据离散程度的绝对值）极差（range）：也称全距，一组数据的最大值与最小值之差，用R表示，即R=max(xi)平均差（meandeviation）：也称平均绝对离差（meanabsolutedeviation），是各变量值与其平均数离差绝对值的平均数，用Md表示，即根据未分组数据计算—Md=平均差以平均数为中心，反映了每个数据与平均数的平均差异程度，能全面准确地反映一组数据的离散状况；平均差越大，说明数据的离散程度越大；反之，则说明数据的离散程度越小。方差（variance）：各变量值与其平均数离差平方的平均数，即未分组数据—s2=i=1标准差（standarddeviation）：方差的平方根，未分组数据—s=i=1n（样本方差是用样本数据个数减1后除离差平方和。自由度（degreeoffreedom）：样本数据个数减1即n-1。【相对位置的度量】：标准分数（standardscore）：变量值与其平均数的离差除以标准差后的值，也称标准化值或z分数，即zi标准分数具有平均数为0，标准差为1的特性。经验法则—当一组数据对称分布时，经验法则表明：1、约有68%的数据在平均数±1个标准差的范围之内；2、约有95%的数据在平均数±2个标准差的范围之内；3、约有99%的数据在平均数±3个标准差的范围之内。离群点（outlier）：在平均数±3个标准差的范围之外的数据。切比雪夫不等式（Chebyshev’sinequality）：对任何分布形状的数据都适用，它提供的是“下界”，也就是“所占比例至少是多少”。对于任意分布形状的数据，根据切比雪夫不等式，至少有(1-1/k2)的数据落在±1、至少有75%的数据在平均数±2个标准差的范围之内；2、至少有89%的数据在平均数±3个标准差的范围之内；3、至少有94%的数据在平均数±4个标准差的范围之内。D、相对离散程度：离散系数离散系数（coefficientofvariation）：也称为变异系数，是一组数据的标准差与其相应的平均数之比，即vs离散系数越大，说明数据的离散程度也大；离散系数越小，说明数据的离散程度也小。三、偏态与峰度的测量A、偏态及其测量偏态（skewness）：对数据分布对称性的测度，测度偏态的统计量是偏态系数（coefficientofskewness），记作SK。1、未分组的原始数据：SK2、分组数据：SK=如果一组数据的分布是对称的，则偏态系数等于0；如果偏态系数明显不等于0，表明分布是非对称的。若偏态系数大于1或小于-1，称为高度偏态分布；若偏态系数在0.5~1或-1~-0.5之间，称为中等偏态分布；偏态系数越接近0，偏斜程度就越低。分布对称时，SK=0；当SK为正值时，表示正离差值较大，可判断为正偏或右偏；当SK为负值时，表示负离差值较大，可判断为负偏或左偏；SK的数值越大，表示偏斜的程度越大。B、峰态及其测量峰态（kurtosis）：对数据分布平峰或尖峰程度的测度，测度峰态的统计量是峰态系数（coefficientofkurtosis），记作K。1、未分组数据：K2、分组数据：K=如果一组数据服从标准正态分布，则峰态系数等于0；如果峰态系数明显不等于0，表明分布比正态分布更平或更尖，通常称为平峰分布或尖峰分布。由于正态分布的峰态系数为0，当K>0时为尖峰分布，数据的分布更集中；当K<0时为扁平分布，数据的分布越分散。第五章概率与概率分布一、随机事件及其概率试验：在同一组条件下，对某物或现象所进行的观察或实验。事件：观察或试验的结果。随机事件（randomevent）：也叫偶然事件，简称“事件”，记作A、B、C等。必然事件（certainevent）：Ω不可能事件（impossibleevent）：Φ基本事件（elementaryevent）：又叫简单事件，即一个不能分解成两个或更多个事件的事件。在一次试验中，只能观察到一个且仅有一个简单事件。样本空间：又叫基本空间，一个试验中所有的简单事件的全体，记为Ω。事件A的概率（probability）：描述的是事件A在试验中出现的可能性大小的一种度量，可能性数值记为P(A)。A、概率的古典定义：1、结果有限，即基本空间中只含有限个元素；2、各个结果出现的可能性被认为是相同的。具有这种特点的随机试验称为古典概型或等可能概型。计算古典概型概率的方法称为概率的古典定义或古典概率。P局限性：随机试验只有有限个可能结果的范围，B、概率的统计定义：在相同条件下随机试验n次，某事件A出现m次（m≤n），则比值m/n称为事件A发生的频率。随n的增大，该频率围绕某一常数P上下波动，且波动的幅度逐渐减小，趋于稳定，这个频率的稳定值即为该事件的概率，记为P(A)=m/n=p。C、概率的主观定义:主观概率：对一些无法重复的试验，只能根据以往的经验，人为确定这个事件的概率；定义是，一个决策者根据本人掌握的信息对某事件发生可能性的判断。二、概率的性质与运算法则A、概率的基本性质（概率的公理化定义）1、对任一随机事件A，有0≤P(A)≤12、必然事件的概率为1，而不可能事件的概率为0，即P(Ω)＝1，P(Φ)＝03、若A与B互斥，则P(A∪B)=P(A)+P(B)由此可推广到多个两两互斥的随机事件，即PB、概率的加法法则1、两个互斥事件之和的概率，等于两个事件概率之和；设A和B为两个互斥事件，则P(A∪B)=P(A)+P(B)。A∪A`=Ω，则A与A`互斥，P(Ω)=1，所以P(A∪A`)=P(Ω)=1，即P(A)+P(A`)=1，从而P(A`)＝1－P(A)或P(A)＝1－P(A`)。2、对于任意两个随机事件，它们和的概率为两个事件分别的概率之和减去两事件相交的概率，即P(A∪B)=P(A)＋P(B)－P(A∩B)。C、条件概率与独立事件1.条件概率（conditionalprobability）：当某一事件B已经发生时，求事件A发生的概率，称这种概率为事件B发生条件下事件A发生的条件概率，记为P(A|B)，一般来说，P(A|B)≠P(A)。2、乘法公式P(A|B)=3、独立性（independence）：一般认为，两个事件中不论哪一个事件发生与否并不影响另一事件发生的概率，则称这两个事件相互独立。相依事件：一个事件发生与否会影响另一个事件的发生。当两个事件相互独立时【P(A|B)=P(A)，P(B|A)=P(B)】⇔P(AB)＝P(A)P(B)P互斥事件一定是相互依赖（不独立）的，但相互依赖的事件不一定是互斥的；不互斥事件可能是独立的，也可能是不独立的，然而独立事件不可能是互斥的。D、全概率公式及贝叶斯公式1、全概率公式：P(B)2、贝叶斯公式（逆概率公式）：P(贝叶斯公式是在观察到事件B已发生的条件下，寻找导致A发生的每个原因Ai的概率；P(Ai)称为原因Ai的验前概率（priorprobability）或先验概率；P(B|Ai)一般来自样本所提供的信息；P(Ai|B)称为原因Ai的后验概率（posteriorprobability）。三、离散型随机变量及其分布概率函数（probabilityfunction）：在同一组条件下，如果每次试验可能出现这样或那样的结果，并且把所有的结果都能列举出来，即把X的所有可能值x1,x2,…,xn都列举出来，而X的x1,x2,…xn可能值，具有确定概率P(x1),P(x2),…P(xn)，其中P(xi)=P(X=xi)，称为概率函数，则X称为P(X)的随机变量，P(X)称为随机变量X的概率函数。两种类型的随机变量：1、离散型（discrete）随机变量：随机变量X的所有取值都可以逐个列举出来。2、连续型（continuous）随机变量：随机变量X的所有取值无法逐个列举出来，而是取数轴上某一区间内的任一点。A、离散型随机变量的概率分布（probabilitydistribution）P(1、0—1分布：离散型随机变量X只可能取0和1两个值，概率分布为⟹P(X=1)=p，P(X=0)=1-p=q或P2、均匀分布（rectangulardistribution）i=1nB、离散型随机变量的期望值和方差1、期望值（expectedvalue）：在离散型随机变量X的一切可能值的完备组中，可能值xi与其对应概率pi的乘积之和，EX2、方差与标准差方差：每一个随机变量取值与期望值的离差平方之期望值，反映随机变量取值的离散程度，σ2若X的取值比较集中，则方差较小；若X的取值比较分散，则方差较大。如果方差为0，则意味着随机变量取值集中在期望值E(X)，即随机变量以概率1取值E(X)。标准差：随机变量方差的平方根，σ=3、离散系数⇒V=C、二项分布和泊松分布1、二项分布（binomialdistribution）：包含n个相同的试验；每次试验只有两次可能的结果；出现“成功”的概率p和“失败”的概率q对每一次试验是相同的，且p+q=1；试验是相互独立的；试验结果对应于一个离散型随机变量；符合上述特征的n次重复独立试验为n重贝努里试验，简称贝努里试验（Bernoullitrials）或贝努里概型。Px=0n二项分布的期望值和方差分别为：E(X)=np，D(X)=npq。当n=1时，二项分布化为P超几何分布：设有N件产品，其中有M件次品，现从中任取n件（n≤N），则在这n件中所含的次品件数X是一个随机变量，PX=m2、泊松分布（Poissondistribution）：用来描述在一定时间范围内或指在指定的面积或体积之内某一件事出现的次数的分布，PX泊松分布的期望值和方差分别为：E(X)=λ，D(X)=λ。在n重贝努里试验中，当成功的概率很小（即p→0），试验次数很大时，二项分布可能近似等于泊松分布，即Cn四、连续型随机变量的概率分布A、概率密度与分布函数概率密度函数（probabilitydensityfunction）：满足f(x)≥0，且-∞+∞P(X=x)再连续分布的条件下为零。分布函数：FP期望值与方差：EX=B、正态分布（normaldistribution）【对称钟形曲线】1、概率密度：f(x)=1σ2πe-1）f(x)≥0，即整个概率密度曲线都在x轴的上方。2）曲线f(x)相对于x=μ对称，并在x=μ处达到最大值，f(μ)=13）曲线的陡缓程度由σ决定，σ越大，曲线越平缓；σ越小，曲线越陡峭。4）当x趋于无穷时，曲线以x轴为其渐近线。2、标准正态分布（standardnormaldistribution）【μ=0，σ=1】1）概率密度：φ(x)=2）分布函数：Φ将一般正态分布转化为标准正态分布：设X~N(μ,σ2)，则Z=X-μσ3、正态分布表4、正态分布在质量管理中的应用1）3σ原则下，质量标准的合格率为99.73%，即P2）6σ的质量水准意味着产品合格率达到99.9999998%，即任何流程在实际运行中都会产生偏离目标值或者期望值的情况，这种偏移称为漂移。5、二项分布的正态近似第六章统计量及其抽样分布一、统计量统计量：T(x1,x2,…xn)，又称样本统计量。次序统计：由小到大排序x1,x2,…xn，x1和xn分别为最小和最大次序统计量。Rn=Xn-X1样本极差，反映样本观测值的离散程度。充分统计量：统计量加工过程中一点信息都不损失的统计量。【常用统计量】：样本均值、样本方差、样本变异系数、样本k阶矩、样本k阶中心矩、样本偏度、样本峰度。二、关于分布的几个概念抽样分布（samplingdistribution）：在总体分布X的分布类型已知时，若对任意自然数n，都能导出统计量T=T(x1,x2,…xn)的分布的数学表达式，则称为精确的抽样分布。渐进分布：统计量T(x1,x2,…xn)的极限分布。随机模拟获得的近似分布三、由正态分布导出的几个重要分布A、卡方分布（χ2B、t分布C、F分布四、样本均值的分布与中心极限定理A、总体分布为正态分布X~N(μ,σ2)时，X的抽样分布仍为正态分布，X的数学期望为μ、方差为σX的期望值与总体均值相同，而方差缩小为总体方差的1/n，说明当用样本均值去估计总体均值时，平均来说没有偏差（无偏性），当n越来越大时，χ的散布程度越来越小，即用X估计μ越来越准确。设总体均值为μ、方差为σ2EDXB、中心极限定理（centrallimittheorem）：设从均值为μ、方差为σ2（有限）的任意一个总体中抽取样本量为n的样本，当充分大时，样本均值的抽样分布近似服从均值为μ、方差为σ2/n的正态分布（n≥五、样本比例的抽样分布样本大小为n的样本中具有某一特征的个体数为X，样本比例p=Xn（来估计总体比例π）。p服从均值为π、方差为π(1-π)设EX六、两个样本平均值之差的分布E七、关于样本方差的分布1、样本方差的分布n-1S2σ2、两个样本方差比的分布设X1,X2,…,Xn1是来自正态总体N(μ1,σ12)的一个样本，Y1,Y2,…,Yn2是来自正态总体N(μ2,σ22)的一个样本，且Xi与Yi相互独立，则Sx2第七章参数估计一、参数估计的基本原理参数估计（parameterestimation）：用样本统计量去估计总体的参数。估计量（estimator）：用于估计总体参数的随机变量，参数用θ表示，估计量θ用表示。估计值（estimatedvalue）：估计参数时计算出来的统计量的具体值。

点估计（pointestimate）：用样本的估计量的某个取值直接作为总体参数的估计值。

虽然在重复抽样条件下，点估计的均值可望等于总体真值，但由于样本是随机的，抽出一个具体的样本得到的估计值很可能不同于总体真值；一个点估计量的可靠性是由它的抽样标准误差来衡量的，这表明一个具体的点估计值无法给出估计的可靠性的度量。区间估计（intervalestimate）：在点估计的基础上，给出总体参数估计的一个区间范围，该区间由样本统计量加减估计误差而得到。

根据样本统计量的抽样分布能够对样本统计量与总体参数的接近程度给出一个概率度量。置信区间（confidenceinterval）：由样本统计量所构造的总体参数的估计区间，其中区间的最小值为置信下限，最大值为置信上限。置信水平（confidencelevel）：将构造置信区间的步骤重复很多次，置信区间中包含总体参数真值的次数所占的比例，也称置信度或置信系数（confidencecoefficient），表示为1-α（α是事先确定的一个概率值，也称风险值，是总体参数未在区间内的概率）。

【常用的置信水平值有99%,95%,90%，相应的α为0.01，0.05，0.10】

样本量给定时，置信区间的宽度随着置信系数的增大而增大，区间比较宽时，才会使这一区间有更大的可能性包含参数的真值；当置信水平固定时，置信区间的宽度随样本量的增大而减小，即较大样本所提供的有关总体的信息比较小的样本多。A、评价估计量的标准

无偏性(unbiasedness)：估计量θ抽样分布的数学期望等于被估计的总体参数θ，即Eθ=θ，则称θ为θ的无偏估计量。

有效性(efficiency)：指对同一总体参数的两个无偏估计量，有更小标准差的估计量更有效，即在无偏估计的条件下，估计量的方差越小，估计越有效。

一致性(consistency)：随着样本量的增大，估计量的值越来越接近被估计的总体参数，即一个大样本的给出的估计量要比一个小样本给出的估计量更接近总体参数。

二、一个总体参数的区间估计

A、总体均值的区间估计

1、正态总体、方差已知，或非正态总体、大样本总体均值的抽样分布为正态分布，数学期望为总体均值μ，方差为σ2样本均值标准化后的随机变量服从标准正态分布，即z=总体均值μ在1-α置信水平下的置信区间为：x±zα/2σn或x总体均值的置信区间由两部分组成：点估计值和描述估计精度的±值（±值即估计误差）。

2、正态总体、方差未知、小样本样本均值标准化后的随机变量服从自由度为n-1的t分布，即z=总体均值μ在1-α置信水平下的置信区间为：x±tα/2B、总体比例的区间估计

样本比例p的数学期望为Ep=π，方差为样本比例标准化后的随机变量服从标准正态分布，即z=总体比例π在1-α置信水平下的置信区间为：p±C、总体方差的区间估计

总体方差σ2在1-α置信水平下的置信区间为：(n-1)三、两个总体参数的区间估计

A、两个总体均值之差的区间估计

1、独立样本

1）大样本的估计独立样本（independentsample）：如果两个样本是从两个总体中独立抽取的，即一个样本中的元素与另一个样本中的元素相互独立，称为独立样本。两个总体均值之差(x1-x2标准化后的随机变量服从标准正态分布，即z=在1-α置信水平下的置信区间为：x或(x1-x2)±zα/2s12n1+s22（2）两个总体方差未知但相等，即σ1总体方差的合并估计量sp2：两个样本均值之差标准化后的随机变量服从自由度为(n1+n2两个总体均值之差在1-α置信水平下的置信区间为：(x1-x2)±t两个样本均值之差标准化后的随机变量服从自由度为v的t分布。v=两个总体均值之差在1-α置信水平下的置信区间为：(x2、匹配样本匹配样本（matchedsample）：即一个样本中的数据与另一个样本中的数据相对应。两个总体各观察值的配对差服从正态分布。

1）大样本两个总体均值之差在1-α置信水平下的置信区间为：d±zα/2σdn。

2）小样本

注：d—两个匹配样本对应数据的差值；d—各差值的均值；σdB、两个总体比例之差的区间估计两个样本比例之差标准化后的随机变量服从标准正态分布，即Z=(两个总体比例之差在1-α置信水平下的置信区间为：(pC、两个总体方差比的区间估计

两个总体方差比在1-α置信水平下的置信区间为：s1四、样本量的确定

1、估计总体均值时样本量的确定

所希望达到的估计误差：E=z确定样本量：n=(样本量与置信水平成正比；与总体方差成正比；与估计误差的平方成反比；与可靠性系数成正比。

样本量的圆整法则：当计算出的样本量不是整数时，将小数点后面的数值一律进位成整数，如24.68取25，24.32也取25等等。

2、估计总体比例时样本量的确定（确定样本容量）所希望达到的估计误差：E=z确定样本量：n=(第八章假设检验统计推断由参数估计（parameterestimation）和假设检验（hypothesistesting）两部分组成，它们都是利用样本对总体进行某种推断，然而推断的角度不同。参数估计讨论的是用样本统计量估计总体参数的方法，总体参数μ在估计前是未知的。在假设检验中，则先对μ的值提出一个假设，然后利用样本信息去检验这个假设是否成立。一、假设检验的基本问题A、假设问题的提出

假设（hypothesis）：对总体参数的的数值所作的一种陈述，总体参数包括总体均值、比例、方差等（分析之前必需陈述）。

假设检验（hypothesistesting）：事先对总体参数或分布形式作出某种假设，然后利用样本信息来判断原假设是否成立；分为参数假设检验和非参数假设检验。

B、假设的表达式统计的语言是用一个等式或不等式表示问题的原假设。原假设（nullhypothesis）：待检验的假设，又称“0假设”，用H0表示（研究者想收集证据予以反对的假设）。

μ是我们要检验的参数，μ0表示感兴趣的数值，原假设的一般表达式为：H0:μ=μ0或H0:μ-μ0=0一般表达式为：H1原假设与备择假设互斥，肯定原假设，意味着放弃备择假设；否定原假设，意味着接受备择假设。

C、假设检验中的两类错误

1、第一类错误α错误（弃真错误）：原假设为真时拒绝原假设。

第一类错误的概率为α；原假设为真时接受原假设，概率为1-α。

2、第二类错误β错误（取伪错误）：原假设为假时接受原假设。

第二类错误的概率为β；原假设为假时拒绝原假设，概率为1-β。

D、假设检验的流程

在参数的假设检验中，如同在参数估计中一样，要借助样本统计量进行统计推断，这个统计量称为检验统计量。小概率原理是指发生概率很小的随机事件在一次试验中是几乎不可能发生的。

1、计算检验的统计量

总体σ已知，且样本量大，采用z统计量：z=若|z|<|zα/2|，不拒绝H0；若E、利用P值进行决策

P值（P-value）：当原假设为真时所得到的样本观察结果或更极端结果出现的频率。1、P值的大小取决于三个因素：1）样本数据与原假设之间的差异。2）样本量。3）被假设参数的总体分布。

2、双侧检验和单侧检验1）双侧检验：原假设的命题为μ=两个拒绝域，两个临界值，每个拒绝域的面积为α/2。μ>2）左单侧检验：下限检验所考察的数值越大越好3）右单侧检验：上限检验所考察的数值越小越好二、一个总体参数的检验

A、检验统计量的确定z统计量和t统计量常用于均值和比例的检验；χ21、样本量大z统计量：z2、样本量小1）总体标准差σ已知：z统计量2）总体标准差σ未知：t统计量：t=B、总体均值的检验1、样本量大显著性水平（significantlevel）：当原假设正确时却被拒绝的概率或风险，即犯弃真错误的概率，α=0.05或α=0.01，表明当做出接受原假设的决定时，其正确的概率为95%或99%。a、已知均值的检验（P值的计算与应用）：第1步：进入Excel表格界面，选择【插入】下拉菜单；第2步：选择【函数】点击；第3步：在函数分类中点击“统计”，在函数名的菜单下选择字符“NORMSDIST”，然后确定；第4步：将Z的绝对值录入，得到的函数值，若P值远远小于α，故拒绝H0。

2a、σ已知：z统计量

b、σ未知：t统计量⟹未知小样本均值的检验（P值的计算与应用）：第1步：进入Excel表格界面，选择【插入】下拉菜单；第2步：选择【函数】；第3步：在函数分类中点击“统计”，然后，在函数名的菜单中选择字符“TDIST”，确定；第4步：在弹出的X栏中，录入计算出的t值，在自由度(Deg-freedom)栏中，录入自由度值，在Tails栏中录入2，表明是双侧检验，如果是单测检验则在该栏内录入1；得出P值的结果。C、总体比例的检验

z统计量、大样本量：zD、总体方差的检验由于s2=(xi-x)2n-1，故若进行双侧检验，拒绝域分布在χ2统计量分布曲线的两边；若是单侧检验，拒绝域分布在χ2统计量分布曲线的一边。

A、检验统计量的确定1、均值之差的检验a、σ2b、σ22、比例之差的检验：z统计量

3、方差比的检验：F统计量B、两个总体均值之差的检验1、σ1标准差为σx1-x2=σ12n1+a、σ1标准差为σx1-x2=sb、σ1标准差为σx1-x23、两个总体均值之差的检验—用Excel进行检验：第1步：选择【工具】下拉菜单；第2步：选择【数据分析】选项；第3步：在分析工具中选择【t检验，双样本异方差假设】；第4步：当出现对话框时：在【变量1的区域】方框内输入数据区域A1:A15；在【变量2的区域】方框内输入数据区域B1:B20；在【假设平均差】的方框内输入0；在【α(A)】框内输入0.05；在【输出选项】中选择输出区域；选择【确定】。C、两个总体比例之差的检验1、检验总体比例相等的假设该假设表达式为：H0:π最佳的方差是：p(1-p)，p是将两个两个样本合并后得到的比例估计量，即p=x1+x2n1+大样本条件下，z统计量：z=2、检验两个总体比例之差不为零的假设，即π两个样本比例之差p1-p2，近似服从以π1-πD、两个总体方差的检验如果s12/s22接近于1，说明两个总体方差σ1在原假设σ12=σ22下，检验统计量F为：在单侧检验中，一般把较大的s2放在分子s12的位置，此时F>1，拒绝域在F分布的右侧，原假设和备择假设分别为：H在双侧检验中，拒绝域在F分布的两侧，两个临界点的位置分别为：Fα/2(n1E、检验中的匹配样本四、检验问题的进一步说明A、关于检验结果的解释如果出现拒绝H0的结果，可以说“结论H1为真出错的概率不超过α”；如果接受H0的结果解释为“没有发现充足的证据反对H0”，或更严格地解释为“在显著性水平B、单侧检验中假设的建立a、左侧检验，即H0:μ≥μ0b、右侧检验，即H0:μ≤μ0（H0:μ≥第九章分类数据分析

一、分类数据与χ2A、分类数据

分类数据的结果是频数，χ2检验是对分类数据的频数进行分析的统计B、χ2χ2若用fo表示观察值频数（observedfrequency），用fe表示期望值频数（expectedfrequency），则χ2统计量1、χ2统计量1）χ22）χ23）χ2两者越接近，即fo-fe的绝对值越小，计算出的χ2χ2检验正是通过对χ2的计算结果与自由度越小，分布就越向左边倾斜，随着自由度的增加，χ2分布的偏斜程度趋于缓解，逐渐显露出对称性，随着自由度的继续增大，χ二、拟合优度检验

拟合优度检验（goodnessoffittest）：是用χ2统计量进行统计显著性检验的重要内容之一。它是依据总体分布的状况，计算出分类变量中各类别的期望频数，与分布的观察频数进行对比，判断期望a、用Excel计算P值：第1步：将观察值输入一列，将期望值输入一列；第2步：选择【输入】下拉菜单；第3步：选择【函数】选项；第4步：在函数分类中点击“统计”，然后，在函数名称中选“CHITEST”，确定；第5步：在对话框【Actual-range】中输入观察数据；在对话框【Expected-range】中输入期望数据。若p<α，拒绝原假设。三、列联分析：独立性检验A、列联表（contingencytable）：由两个以上的变量进行交叉分类的频数分布表。B、独立性检验：分析列联表中行变量和列变量是否相互独立。

计算任何一个单元中频数的期望值：fe采用自由度=(行数-1)(列数-1)=(R-1)(C-1)四、列联表中的相关测量列联表中的变量通常是类别变量。品质相关：对品质数据（分类和顺序数据）之间相关程度的测度。品质相关系数：A、φ相关系数（φcorrelationcoefficient）：（2×2列联表）φ=χB、列联相关系数（coefficientofcontingency）：（大于2×2列联表）又称列联系数，简称c系数，c=χ当列联表中的两个变量相互独立时，系数c=0；c系数的特点是，其可能最大值依赖于列联表的行数和列数，且随着R和C增大而增大。C、V相关系数（Vcorrelationcoefficient）：V=χ2n×当两个变量相互独立时，V=0；当两个变量完全相关时，V=1；如果列联表中有一维为2，即min[(R-D、数值分析在对不同列联表变量之间的相关程度进行比较时，不同列联表中的行与行、列与列的个数要相同，并且采用同一种系数。五、列联分析中应注意的问题A、条件百分表的方向（按自变量的方向计算）B、χ21、关于小单元的频数准则：1）如果只有两个单元，每个单元的期望频数必须是5或5以上。2）若有两个以上的单元，如果20%的单元期望频数fe小于5，则不能应用χ第十章方差分析一、方差分析引论1、方差分析及其有关术语方差分析（analysisofvariance，ANOVA）：通过对数据误差来源的分析检验各总体的均值是否相等来判断分类型自变量对数值型因变量是否有显著影响。

因素（factor）：即因子，所要检验的对象。水平（treatment）：又称处理，即因素的不同表现。观测值：每个因子水平下得到的样本数据。单因素方差分析：只有一个因素的方差分析，涉及分类型自变量和数值型自变量两个变量。双因素方差分析：涉及两个分类的自变量2、方差分析的基本思想和原理1）图形描述2）误差分解组内误差：由于抽样的随机性所造成的随机误差，即来自水平内部的数据误差，反映一个样本内部数据的离散程度，只含有随机误差。

组间误差：来自不同水平之间的数据误差，是随机误差和系统误差的总和，反映不同样本之间数据的离散程度。随机误差：因素的同一水平（总体）下，样本各观察值之间的差异，由样本本身形成的。

系统误差：因素的不同水平（不同总体)之间观察值的差异，由于行业本身的系统性因素所造成的。方差分析中，数据的误差用平方和（sumofsquares）表示的。总平方和（sumofsquaresfortotal，SST）：反应全部数据误差大小的平方和，反应全部观测值的离散状况。

组内平方和（sumofsquaresforfactorA，SSE）：反应组内误差大小的平方和，也称误差平方和或残差平方和，反映每个样本内各观测值的离散状况。

组间平方和（sumofsquaresforerror，SSA）：反应组间误差大小的平方和，也称因素平方和，反映样本均值之间的差异。3）误差分析

均方（MS）：即方差，组间误差与组内误差经过平均后的数值。

若原假设成立，组间误差中只包含随机误差，组间均方与组内均方的数值就应该很接近，它们的比值就会接近1；若原假设不成立，组间误差中即包含随机误差，又包含系统误差，组间均方会大于组内均方，它们之间的比值就会大于1。

当这个比值大到某种程度时，就可以说不同水平之间存在着显著差异，即自变量对因变量有影响。

判断行业对投诉次数是否有显著影响，也就是检验被投诉次数的差异主要是由于什么原因所引起的。如果这种差异主要是系统误差，说明不同行业对投诉次数有显著影响。

3、方差分析中的基本假定

1）每个总体都应服从正态分布。

对于因素的每一个水平，其观察值是来自服从正态分布总体的简单随机样本。

2）各个总体的方差必须相同

各组观察数据是从具有相同方差的总体中抽取的。

3）观察值是独立的

比如，每个行业被投诉的次数与其他行业被投诉的次数独立。

在上述假定条件下，判断行业对投诉次数是否有显著影响，实际上也就是检验具有同方差的4个正态总体的均值是否相等。如果4个总体的均值相等，可以期望4个样本的均值也会很接近，4个样本的均值越接近，推断4个总体均值相等的证据也就越充分，样本均值越不同，推断总体均值不同的证据就越充分。

如果原假设成立，即H0:μ1=μ2=μ3=μ4（4个行业被投诉次数的均值都相等），则意味着每个样本都来自均值为μ、方差为σ2的同一正态总体。来自正态总体的一个简单随机样本的样本均值x服从均值为μ、方差为σ2/n的正态分布。

若备择假设成立，即H1:μ1、μ2、μ3H1:μ二、单因素方差分析

单因素方差分析（one-wayanalysisofvariance）：当方差分析中只涉及一个分类型自变量，研究的是一个分类型自变量对一个数值型因变量的影响。

A、分析步骤：

1、提出假设

H0H1:μ如果拒绝原假设H0，则意味着自变量对因变量有显著影响；如果不拒绝原假设H0，则没有证据表明自变量对因变量有显著影响，不能认为自变量与因变量之间有显著关系。

2、构造检验的统计量

（1）计算各样本的均值：假定从第i个总体中抽取一个容量为ni的简单随机样本，第i个总体的样本均值为该样本的全部观测值总和除以观测值的个数，xi=j=1nix全部观测值的总和除以观测值的总个数，x=i=1kj=1nixijn=全部观测值xij与总平均值x的误差平方和，SST=b、计算组间平方和：

各组平均值xi与总平均值x的误差平方和，SSA=i=1kni(xi-x)2。

c、计算组内平方和：

i=1kj=1ni(xij-x)SSA是对随机误差和系统误差大小的度量，它反映了自变量对因变量的影响，也称为自变量效应或因子效应；SSE对随机误差大小的度量，它反映了除自变量对因变量的影响之外，其他因素对因变量的总影响，也称为残差变量，它所引起的误差也称为残差效应；SST是对全部数据总误差程度的度量，它反映自变量和残差变量的共同影响，等于自变量效应+残差效应。

（4）计算统计量各误差平方和的大小与观测值的多少有关，为消除观测值多少对误差平方和大小的影响，需要将其平均，也就是用各平方和除以它们所对应的自由度，这就是均方（meansquare），也称为方差。

a、三个平方和对应的自由度分别是：

SST的自由度为n-1，其中n为全部观察值的个数；

SSA的自由度为k-1，其中k为因素水平（总体）的个数；

SSE的自由度为n-k。b、通常只计算SSA的均方和SSE的均方：

组间方差：SSA的均方，记为MSA，计算公式为MSA=SSAk-1。

组内方差将MSA和MSE进行对比，即得到所需要的检验统计量F。

当H0为真时，二者的比值服从分子自由度为k-1、分母自由度为n-k的F分布，即F=MSAMSE~F(k-1,n-k)若果原假设H0判断因素水平是否对观测值有显著影响，实际上也就是比较组间方差与组内方差之间差异的大小。

将统计量的值F与给定的显著性水平α的临界值Fα进行比较，从而作出对原假设H0根据给定的显著性水平α，在F分布表中查找与第一自由度df1＝k-1、第二自由度若F>Fα，则拒绝原假设H0，表明均值之间的差异是显著的，所检验的因素对观测若F<Fα，则不拒绝原假设H0，没有证据表明均值之间的差异是显著的，不能认为所检验的因素对观测值有显著影响。

4、5、用Excel进行方差分析第1步：选择【工具】下拉菜单，并选择【数据分析】选项；第2步：在分析工具中选择【单因素方差分析】，然后选择【确定】；第3步：当对话框出现时：

在【输入区域】方框内键入数据单元格区域；

在【α】方框内键入0.05（可根据需要确定）；

在【输出选项】中选择输出区域；第4步：单击【确定】。B、关系强度的测量只要组间平方和SSA不等于0，就表明两个变量之间有关系（只是是否显著的问题）；当组间平方和比组内平方和SSE大，而且大到一定程度时，就意味着两个变量之间的关系显著，大得越多，表明它们之间的关系就越强；反之，就意味着两个变量之间的关系不显著，小得越多，表明它们之间的关系就越弱。

变量间关系的强度用自变量平方和SSA占总平方和SST的比例大小来反映，即R2=SSASST，其平方根R就可以用来测量两个变量之间的关系强度。

C、方差分析中的多重比较

多重比较方法（multiplecomparisonprocedures）：通过对总体均值之间的配对比较来进一步检验到底哪些均值之间存在差异。

最小显著差异方法（leastsignificantdifference，LSD）：对检验两个总体均值是否相等的t检验方法的总体方差估计加以修正（用MSE来代替）而得到的。

多重比较的步骤：

1、提出假设：H0:μi=μj，H1:μi≠μj；

2、计算检验的统计量:xi-xj；

3、计算LSD=tα/2MSE(1ni+1nj)；

4、根据显著水平α决策：若|xi-xj|>LSD，拒绝H0；若|xi-xj|<LSD，不拒绝1、数据结构

2、分析步骤

1）提出假设

对行因素提出的假设为：

HH1对列因素提出的假设为：

H0H12）构造检验的统计量

a、总平方和：SST==i=1kj=1r(xSSR=i=1kj=1r(xid、第三项是除行因素和列因素之外的剩余因素所产生的误差项平方和，即随机误差项平方和：SSE=i=1kj=1r(xij-xi·-x·j+x)2

e、SST=SSR+SSC+SSE

f、三个平方和的自由度分别是：

总平方和SST的自由度为kr-1；

行因素平方和SSR的自由度为k-1；

列因素平方和SSC的自由度为r-1；

误差项平方和SSE的自由度为随机误差项的均方，记为MSE，计算公式为MSE=SSE(k-1)(r-1)。

h、计算检验统计量F

检验行因素的统计量：FR=MSRMSE~F(k-1,(k-1)(r-1))。

检验列因素的统计量：FC=MSCMSE~F(r-1,(k-1)(r-1))。

3）统计决策

将Fα3、关系强度的测量行平方和SSR度量了自变量对因变量的影响效应，列平方和SSC度量了自变量对因变量的影响效应，这两个平方和加在一起则度量了两个自变量对因变量的联合效应，联合效应与总平方和的比值定义为R2=联合效应总效应=SSR+SSC1、设：xijl为对应于行因素的第i个水平和列因素的第j个水平的第l行的观测值；

xi·为行因素的第i个水平的样本均值；

xij为列因素的第j个水平的样本均值；

x·j对应于行因素的第i个水平和列因素的第j个水平组合的样本均值；

x为全部n个观察值的总均值。

总平方和：SST=i=1kj=1rl=1m(xijl-x)2

行变量平方和：第2步：在分析工具中选择【方差分析：可重复双因素分析】，然后选择【确定】；第3步：当对话框出现时：

在【输入区域】方框内键入数据区域A1:C11；

在【α】方框内键入0.05（可根据需要确定）；

在【每一样本的行数】方框内键入重复试验次数5；

在【输出区域】中选择输出区域（这里选新工作表组）；

选择【确定】。第十一章一元线性回归

一、变量间关系的度量

A、变量间的关系

设有两个变量x和y，变量y随变量x一起变化，并完全依赖于x，当变量x取某个数时，y依确定的关系取相应的值，则称y是x的函数，记为y=f(x)，其中x称为自变量，y称为因变量。

函数关系是一一对应的确定关系。相关关系（correlation）：变量之间存在的不确定的数量关系。

B、相关关系的描述与测度

相关分析就是对两个变量之间线性关系的描述与度量，要解决的问题包括：

a、变量之间是否存在关系？b、如果存在关系，它们之间是什么样的关系？c、变量之间的关系强度如何？d、样本所反映的变量之间的关系能否代表总体变量之间的关系？

为解决这些问题，在进行相关分析时，对总体有以下两个主要假定：a、两个变量之间是线性关系。b、两个变量都是随机变量。

1、散点图（scatterdiagram）：由坐标集散点形成的二维数据图。散点图是描述变量之间关系的一种直观方法，从中可以大体看出变量之间的关系形态及关系强度。线性相关：变量之间的关系近似接近于一条直线。完全相关：一个变量的取值完全依赖于另一个变量，各观测点落在另一条直线上。正相关：两个变量的变动方向相同，一个变量的数值增加（减少），另一个变量的数值也随之增加（减少）。负相关：两个变量的变动方向相反，一个变量的数值增加（减少），另一个变量的数值随之减少（增加）。a、正线性相关b、负线性相关c、完全正线性相关d、完全负线性相关e、非线性相关：变量之间的关系近似接近于一条曲线，又称曲线相关。f、不相关：两个观测点很分散，无任何规律。2、相关系数（correlationcoefficient）：根据样本数据计算的度量变量之间线性关系强度的一个统计量。简单相关系数：对两个变量之间线性相关强度的度量。

总体相关系数：相关系数是根据总体全部数据计算的，记为ρ。

样本相关系数：根据样本数据计算的，又称为线性相关系数（linearcorrelationcoefficient）或Pearson相关系数（Pearson’scorrelationcoefficient），简称为相关系数，记为r，r=nxy-xynx2-(x)2·ny2-(y)2。

1）相关系数的性质

性质1：r的取值范围是[-1,1]。|r|=1，为完全相关；r=1，为完全正线性相关；性质2：r具有对称性。即x与y之间的相关系数和y与x之间的相关系数相等，即rxy性质3：r数值大小与x和y原点及尺度无关，即改变x和y的数据原点及计量尺度，并不改变r的数值大小。

性质4：r仅仅是x与y之间线性关系的一个度量，它不能用于描述非线性关系。这意味着，r=0只表示两个变量之间不存在线性相关关系，并不说明变量之间没有任何关系，它们之间可能存在非线性相关关系（变量之间的非线性相关程度较大时，可能会导致r=0）。性质5：r虽然是两个变量之间线性关系的一个度量，却不一定意味着x与y一定有因果关系。

2）相关系数的经验解释：|r|≥0.8时，可视为两个变量之间高度相关；0.5≤|r|<0.8时，可视为中度相关；0.3≤|r|<0.5时，视为低度相关；|r|<0.3时，说明两个变量之间的相关程度极弱，可视为不相关。注：上述解释必须建立在对相关系数的显著性进行检验的基础之上。

C、相关系数的显著性检验1、r的抽样分布当ρ为较大的正值时，r呈现左偏分布；当ρ为较大负值时，r呈现右偏分部；只有当ρ接近于0，而样本量n很大时，r是接近正态分布的随机变量。2、r的显著性检验采用R.A.Fisher提出的t检验，既可用于小样本，也可用于大样本。

检验的步骤为：

1）提出假设：H0:ρ=0；H1:ρ≠0

2）计算检验的统计量：t=rn-21-rtα2(n-2)的临界值；若|t|>二、一元线性回归A、回归分析（Regression）主要解决的问题：1）从一组样本数据出发，确定变量之间的数学关系式。2）对这些关系式的可信程度进行各种统计检验，并从影响某一特定变量的诸多变量中找出哪些变量的影响显著，哪些是不显著的。3）利用所求的关系式，根据一个或几个变量的取值来预测或估计另一个特定变量的取值，并给出这种预测或估计的可靠程度。B、一元线性回归模型因变量（dependentvariable）：被预测或被解释的变量，用y表示。自变量（independentvariable）：用来预测或用来解释因变量的一个或多个变量，用x表示。一元回归：当回归中只涉及一个自变量的回归；若因变量y与自变量x之间为线性关系时称为一元线性回归。

1、回归模型（regressionmodel）：描述因变量y如何依赖于自变量x和误差项ε的方程；一元线性回归模型可表示为y=β0+β1x+ε。

在一元