数据分析讲座

1、 数据分析数据分析讲座讲座 一、概述一、概述1、建立数据分析系统的意义建立数据分析系统的意义数据分析：数据分析： 有目的地收集各种数据、事实、通有目的地收集各种数据、事实、通过整理、归纳、分析，转化为信息的过过整理、归纳、分析，转化为信息的过程。程。信息：有意义的数据。信息：有意义的数据。 信息是组织的重要资源，开发利用信息信息是组织的重要资源，开发利用信息资源（包括适当运用统计技术）有助于：资源（包括适当运用统计技术）有助于： 科学决策；科学决策； 及时观察并分析变异，从而及时观察并分析变异，从而识别并把握改进机会；识别并把握改进机会； 改善组织绩效、提升效率。改善组织绩效、提升效率。2、数

2、据分析过程和产品实现过程的数据分析过程和产品实现过程的关系关系 数据分析过程是管理体系的支持过程，数据分析过程是管理体系的支持过程，是手段、方法、工具而不是目的；在产是手段、方法、工具而不是目的；在产品的整个寿命周期，包括从市场调研到品的整个寿命周期，包括从市场调研到顾客服务和最终处置的各个过程都需要顾客服务和最终处置的各个过程都需要适当运用。适当运用。设计和开发过程策划采购生产和服务提供验证包装和存储营销和市场调研最终处置或再生利用售后服务技术支持和服务安装和投入运行销售图图1：一般产品寿命周期内产品实现的主要过程：一般产品寿命周期内产品实现的主要过程过程：过程： 由输入、资源及活动、输出组

3、成由输入、资源及活动、输出组成输入输入资源和活动资源和活动输出输出图2：过程的概念图为确保过程的有效，对过程输入、输出进行监视、为确保过程的有效，对过程输入、输出进行监视、评审资源的合理配置，活动方式的优化和控制等，评审资源的合理配置，活动方式的优化和控制等，都可以适当运用数据分析都可以适当运用数据分析3、数据分析的作用及方法的变迁、数据分析的作用及方法的变迁管理目标的多元化，需要运用数据分析的范围越来越广，方法越来越多。管理重心管理重心检检验验生产生产设计开设计开发发市场调市场调研研目标多目标多元化元化代表性方法代表性方法抽抽样样控制图控制图试验设试验设计计预测技预测技术术图论、图论、各种计

4、各种计算技术算技术 除定量数据 以外，需要对大量的定性数据（包括事实、概念）进行分析。 为不失时机把握改进机会，需要在数据相对有限的情况下进行数据分析。4、用过程方法建立、实施、改进信息系统、用过程方法建立、实施、改进信息系统识别信息需求收集数据分析数据评价改进系统图图3：数据分析过程图：数据分析过程图二、识别信息需求二、识别信息需求 识别信息需求是确保信息系统有识别信息需求是确保信息系统有效的首要条件。效的首要条件。识别信息需求是管理者的职责。管理识别信息需求是管理者的职责。管理者应考虑决策、过程控制的需要提出者应考虑决策、过程控制的需要提出对信息的需要。为收集数据，分析数对信息的需要。为收

5、集数据，分析数据提供清晰的目标。据提供清晰的目标。1、借助、借助GB/Z19027识别识别 GB/T19001-1994的统计技术指南的统计技术指南GB/Z190272001对组织可能需要进对组织可能需要进行定量数据分析的情况做了识别。行定量数据分析的情况做了识别。 生产系统开发系统采购系统营销系统检验系统改进系统储运系统组织(略） 识别、评审设计输入评价设计输出识别关键设计特性设计验证设计确认 确保设备适应性 监控过程参数、产品特性认可过程和设备对设备的适当维护(略）(略）图图4（根据（根据GB/Z19027）统计技术需求系统图）统计技术需求系统图 (略）(略）3、GB/Z 19027的局限

6、性的局限性管理者应意识到管理者应意识到GB/Z 19027的局限性的局限性缺少缺少2000版标准新要求对信息的需求，如顾客版标准新要求对信息的需求，如顾客满意等；满意等；缺少对于业绩提高方面的需求识别；缺少对于业绩提高方面的需求识别；陷于定量数据，没有识别定性数据的需求；陷于定量数据，没有识别定性数据的需求；没有考虑其他管理体系的需求。没有考虑其他管理体系的需求。三、收集数据三、收集数据 有目的地收集数据，选择并确定合适的收有目的地收集数据，选择并确定合适的收集渠道和方法是确保信息系统有效地基础。组集渠道和方法是确保信息系统有效地基础。组织需要对收集数据进行策划，策划应考虑：织需要对收集数据进

7、行策划，策划应考虑： 1、将识别的需求转化具体的要求，如为评、将识别的需求转化具体的要求，如为评价组织的业绩，需要收集的数据可能包括：有价组织的业绩，需要收集的数据可能包括：有关顾客满意的数据、市场占有率的数据、竞争关顾客满意的数据、市场占有率的数据、竞争对手的信息、组织目标实现情况的数据等对手的信息、组织目标实现情况的数据等 2、明确由谁、何时、何处、明确由谁、何时、何处/何渠道、何种方何渠道、何种方式收集数据。如，有关竞争对手的信息，可以式收集数据。如，有关竞争对手的信息，可以由组织内部人员负责收集，也可以委托其他组由组织内部人员负责收集，也可以委托其他组织代为收集。可以从行业协会公布的信

8、息获得织代为收集。可以从行业协会公布的信息获得数据，也可以从其使用者或组织解剖其产品种数据，也可以从其使用者或组织解剖其产品种获得信息。获得信息。 3、设计好记录表式（包括调查提纲）。表、设计好记录表式（包括调查提纲）。表式设计注意事项：式设计注意事项： 便于记录；便于记录； 便于使用；便于使用； 文件数量的最小化，信息容量的最大化文件数量的最小化，信息容量的最大化 其他管理要求（如：日期、编号、数据其他管理要求（如：日期、编号、数据 提供人等）；提供人等）； 4、注意事项：、注意事项： 防止有用数据的丢失；防止有用数据的丢失； 防止假数据对系统的干扰防止假数据对系统的干扰 四、分析数据四、分

9、析数据 分析数据是将收集的数据，通过加工、整理、分析数据是将收集的数据，通过加工、整理、分析转化为信息，实现过程增值的关键活动。分析转化为信息，实现过程增值的关键活动。 1、常用的数据分析方法、常用的数据分析方法 七种工具：排列图、因果图、分层法、七种工具：排列图、因果图、分层法、调查表、散布图、直方图、控制图；调查表、散布图、直方图、控制图； 新七种工具：关联图、系统图、矩阵新七种工具：关联图、系统图、矩阵图、图、KJ法、计划评审技术、法、计划评审技术、PDPC法、矩阵数法、矩阵数据图法据图法 其他：决策树、事故树其他：决策树、事故树2、选择数据分析方法的原则：、选择数据分析方法的原则： 组

10、织选用数据分析方法应考虑以下因素：组织选用数据分析方法应考虑以下因素： 适用性原则：每一种分析方法都有一定的适用性原则：每一种分析方法都有一定的适用范围和局限性。选用时应充分考虑其适用范围和局限性。选用时应充分考虑其适用性，如适用性，如SPC图种类很多，一部分适用图种类很多，一部分适用计量值数据分析，一部分适用计数值数据计量值数据分析，一部分适用计数值数据分析，不能错用分析，不能错用 ；经济性原则：数据分析是手段不是目的。评估经济性原则：数据分析是手段不是目的。评估数据分析关注的是其增值作用，而不是分析方数据分析关注的是其增值作用，而不是分析方法的技术含量。可行时，选用的方法应该时越法的技术含

11、量。可行时，选用的方法应该时越简便越好；简便越好；风险可接收性原则：统计、分析、推断存在一风险可接收性原则：统计、分析、推断存在一定的风险。组织应考虑置信区间和可信性的关定的风险。组织应考虑置信区间和可信性的关系、灵敏度和可信度的关系。第一类风险和第系、灵敏度和可信度的关系。第一类风险和第二类风险的关系等，确保风险在可接收范围之二类风险的关系等，确保风险在可接收范围之内。内。描述性统计回归分析时间序列分析决策树过程能力分析X项目的市场分析及投资风险评价供方能力分析方法信息需求图图5：信息需求和分析方法矩阵图：信息需求和分析方法矩阵图图图6：GB/T 19027识别的统计技术矩阵图（略）识别的统

12、计技术矩阵图（略）3、提供资源、提供资源 为进行数据分析，组织应提供以下资源为进行数据分析，组织应提供以下资源培训；培训；适宜的测量设备；适宜的测量设备；计算设备；计算设备；必要时，应编制作业指导书。必要时，应编制作业指导书。岗位分析方法信息需求图图7：数据分析技术培训需求识别：数据分析技术培训需求识别 五、测量、分析改进数据分析过程五、测量、分析改进数据分析过程 数据分析是管理体系的基础。组织需要适时数据分析是管理体系的基础。组织需要适时评估信息系统的有效性，并持续改进。管理者评估信息系统的有效性，并持续改进。管理者应分析、评估以下问题：应分析、评估以下问题： 提供决策的信息是否充分、可信，

13、是提供决策的信息是否充分、可信，是否存在信息不足、信息失准、信息滞后而导致否存在信息不足、信息失准、信息滞后而导致决策失败；决策失败； 对数据分析时的作用认识上是否一致，对数据分析时的作用认识上是否一致，信息对持续改进质量管理体系、过程、产品所信息对持续改进质量管理体系、过程、产品所发挥的作用和期望是否一致；发挥的作用和期望是否一致； 对数据分析需求识别是否充分；对数据分析需求识别是否充分； 收集数据的目的是否清晰、收集的数收集数据的目的是否清晰、收集的数据是否真实、数据量是否足够，信息系统是否据是否真实、数据量是否足够，信息系统是否畅通；畅通； 分析方法是否合理，误差能否接受，分析方法是否合

14、理，误差能否接受，有更方便的方法吗；有更方便的方法吗； 数据分析所需资料是否有保障；数据分析所需资料是否有保障； 六、结束语六、结束语 用管理的系统方法、过程方法识别并管理数用管理的系统方法、过程方法识别并管理数据分析过程，有助于提升组织的绩效。良好的据分析过程，有助于提升组织的绩效。良好的数据分析系统可以为组织实现信息化改造提供数据分析系统可以为组织实现信息化改造提供平台。平台。 识别信息需求是管理者的职责，可以为收集识别信息需求是管理者的职责，可以为收集数据提供清晰的目标，正确的分析方法是数据数据提供清晰的目标，正确的分析方法是数据分析过程的关键活动，数据分析过程需要持续分析过程的关键活动

15、，数据分析过程需要持续改进。改进。第二部分第二部分一、数理统计概念一、数理统计概念二、数据分类二、数据分类计量值数据计量值数据计数值数据计数值数据总体总体样本样本数据数据统计判断抽样检测三、数据的特征值三、数据的特征值水平特征值：水平特征值：平均数平均数 中位数中位数中中 值值 众众 数数 111iixnxxminmax21xxM(1) 离散特征值：极差离散特征值：极差偏差平方和偏差平方和 无偏方差无偏方差标准偏差标准偏差minmaxxxR21niixxS212111niixxnnSS1112nxxnSSnii(2)(3)(4)四、排列图四、排列图 例：某卷烟厂外观质量不合格的排列图。例：某卷

16、烟厂外观质量不合格的排列图。1）收集数据）收集数据 项项 目目 不合格数不合格数切口切口贴口贴口空松空松短烟短烟过紧过紧钢印钢印油点油点软腰软腰表面表面 80 297 458 35 28 10 15 12 552）作不合格品统计表）作不合格品统计表 卷烟外观不合格的统计表卷烟外观不合格的统计表项目项目频数频数累计频数累计频数累计百分比累计百分比空松空松贴口贴口切口切口表面表面短烟短烟过紧过紧其他其他458297805535283745875583589092595399046.376.384.389.993.496.3100合计合计9903）绘制排列图，并标注必要的说明）绘制排列图，并标注必要

17、的说明 图图6 卷烟不合格的排列图卷烟不合格的排列图 4 4、排列图应用中的注意事项、排列图应用中的注意事项a a）关键项目占应少数项。通常为一、二）关键项目占应少数项。通常为一、二项，不宜超过三项，关键项应占累计频项，不宜超过三项，关键项应占累计频率的率的80%80%左右。当需要分析的项目很多时，左右。当需要分析的项目很多时，关键项目以不超过项目数的关键项目以不超过项目数的20%20%。如项目。如项目数为数为100100项，其项，其1515项为关键项目是可行的。项为关键项目是可行的。b b）当关键项目不明显时。应采取加权统）当关键项目不明显时。应采取加权统计，改变分层方法重新制作排列。务必计

18、，改变分层方法重新制作排列。务必使分析的结果。凸现使分析的结果。凸现“关键的少数关键的少数”。c c）其它项应放置在最后。）其它项应放置在最后。排列图的注意事项排列图的注意事项 原理：关键的少数，次要的多数原理：关键的少数，次要的多数 不同性质的问题，不宜简单排列不同性质的问题，不宜简单排列 当关键项不属少数时，应考虑：当关键项不属少数时，应考虑： 改变分层方法改变分层方法 收集数据是否足够收集数据是否足够（详见教材：（详见教材： P53）五、因果图五、因果图因果图的注意事项因果图的注意事项 集思广益，不要反驳集思广益，不要反驳 和排列图配套使用和排列图配套使用 问题要具体问题要具体 一个问题

19、作一张图一个问题作一张图 分析到可以采取措施为止分析到可以采取措施为止 可能时记上数据可能时记上数据（详见教材：（详见教材： P54）注意事项注意事项特性（结果）要具体；特性（结果）要具体；一个特性作一张图；一个特性作一张图；原因分析尽可能深入、细致、彻底、多向原因分析尽可能深入、细致、彻底、多向“其原因何在？其原因何在？”“”“进一步的原因在哪里？进一步的原因在哪里？”原因与对策且勿混淆，因果图只记原因，不原因与对策且勿混淆，因果图只记原因，不记对策；记对策；原因的表述应具体而简练；原因的表述应具体而简练；应采纳各方面的意见，尤其是当事人的意见；应采纳各方面的意见，尤其是当事人的意见；作图不

20、是目的，可尽活应用，使使用者容易作图不是目的，可尽活应用，使使用者容易接受。接受。六、调查表的注意事项六、调查表的注意事项 应用要灵活，可行时画图应用要灵活，可行时画图例：曲轴箱平面超差的调查表例：曲轴箱平面超差的调查表（详见教材：（详见教材： P52）图 曲轴箱平面超差调查表工人漏气不漏气漏气率A61332B3925C10953合计193138工厂漏气不漏气漏气率甲91439乙101737合计193138七、分层法的注意事项七、分层法的注意事项 同一层次内数据波动尽可能小，层与层之间差同一层次内数据波动尽可能小，层与层之间差别尽可能大别尽可能大 交互作用，综合分层交互作用，综合分层例：缸垫漏

21、气问题例：缸垫漏气问题表1表2B乙组合最优？ 工厂工人甲乙A漏气60不漏气211漏气率750B漏气03不漏气54漏气率043C漏气37不漏气72漏气率3078结论：A乙组合或B甲组合为最优方案八、直方图及过程能力分析八、直方图及过程能力分析（1）直方图的做法）直方图的做法例：某产品的重量标准要求在例：某产品的重量标准要求在1000克克1050克之间。试作直方克之间。试作直方图并分析过程能力图并分析过程能力1、收集数据、收集数据4328272633291824321434223029222422284812429353630341442386283222253639241828163836212

22、02620188123740282812303130262847423234202834202427242918214614102122342228282038123219302819302024352028242432402、计算极差3、适当分组，取K=104、确定组距h5、确定各组界限第一组下限为：第一组上限为：第二组下限即为第一组上限类推5 . 02112测量单位最小值5 . 555 . 0下限组距47148minmaxxxk51047Kkh6、编制频数分布表、编制频数分布表组号组界组中组fuf uf u210.55.5311-5-52525.510.581113-4-1248310.5

23、15.5131111116-3-1854415.520.5181111111111111114-2-2856520.525.523111111111111111111119-1-1919625.530.52811111111111111111111111111127000730.535.533111111111111111411414835.540.53811111111111022040940.545.543111339271045.550.548111341248100-273317、计算8、画图及图形分析（见教材 P17）14. 91002710033156 .2610027528122

24、20NfuNfuhSfuNhxx（2）过程能力分析）过程能力分析 过程能力是指生产过程处于一定条件下过程能力是指生产过程处于一定条件下（5MIE）的实际加工能力的实际加工能力 B=6 过程能力指数的分级及应用过程能力指数的分级及应用 CP对应的不合格品率如下表对应的不合格品率如下表6TPCCP1.671.3310.670.33P(%)610561030.34.5531.75 过程能力指数的分级及应用过程能力指数的分级及应用范围范围措施条理措施条理CP 1.67降低设备精度、免检等降低设备精度、免检等1.67CP 1.33简化检验简化检验1.33CP 1用控制图监控用控制图监控1CP 0.67全

25、数检验全数检验0.67 CP纠正措施纠正措施例例 计算：计算：查表（查表（P48） 853. 01496256 .2625062912. 01496506TCTCPKP%5P（3）注意事项）注意事项 过程应在受控状态过程应在受控状态 限于计量值数据限于计量值数据 数据量不宜过少数据量不宜过少 测量设备的精度测量设备的精度 应用范围：应用范围：ISO9001:2000之之6.2/6.3/7.2/7.3/7.4/7.5等等九、控制图九、控制图1、控制图的种类、控制图的种类xr 控制图控制图xr 控制图控制图x-Rs 控制图控制图p 控制图控制图Pn 控制图控制图u 控制图控制图c 控制图控制图九、

26、控制图九、控制图2、控制图的基本构成、控制图的基本构成中心线中心线CL上控制线上控制线UCL下控制线下控制线LCL3、3原则及两类风险原则及两类风险3、判断准则、判断准则（1）点子均在控制界线内；）点子均在控制界线内；（2）点子排列无异常。）点子排列无异常。以下为排列异常：以下为排列异常：链：链：连续连续7点及以上在中心线一侧；点及以上在中心线一侧； 连续连续11点中有点中有10点在一侧；点在一侧；连续连续14点中有点中有12点在一侧。点在一侧。趋势趋势连续连续7点及以上呈上升或下降趋势点及以上呈上升或下降趋势周期周期周期性排列周期性排列靠近控制界限连续靠近控制界限连续3点中点中2点；点； 连

27、续连续7点中点中3点；点； 连续连续10点中点中4点。点。例： 控制图（1）收集数据Rx时间x1x2x3x4x5xR1420419415418418418.052419424423420421421.453420420419418420419.424421421420419417419.645420423422420419420.846420420420419421420.027423423419421418420.858418417419415423418.489423420418420421420.4510416418420419417418.0411417418416420423418.

28、8712421420418413421418.68（2）计算9 . 48.55121152.4196 .418.4 .421418121111niniRnRxnx不考虑查表得LCLRDUCLRCLARAxLCLRAxUCLxCL36.109 . 4115. 29 . 4577. 069.41635.4229 . 4577. 052.41952.4194222x 图：R图：（3）画图123456UCLCLLCLCL4.910.36416.69419.52422.35UCL（4）注意事项）注意事项 在受控状态下才有意义在受控状态下才有意义 注意数据的性质，选用控制图的适用范围注意数据的性质，选用控

29、制图的适用范围 P图、图、图的图的UCL和和n有关有关 勿忘后继活动！勿忘后继活动！十、相关与回归分析十、相关与回归分析1）变量间存在相关关系，如：）变量间存在相关关系，如： 国民生产总值与轿车需求的关系；国民生产总值与轿车需求的关系； 轿车需求与钢铁工业的关系；轿车需求与钢铁工业的关系； 某种设备台数与其维修备件的关系；某种设备台数与其维修备件的关系； 钢铁热处理温度与硬度的关系。钢铁热处理温度与硬度的关系。 组织可以通过相关系数分析和建立数学组织可以通过相关系数分析和建立数学模型，从而实现根据一个或几个变量预模型，从而实现根据一个或几个变量预测或控制另一个变量。测或控制另一个变量。2)一元线性回归方程和相关系数一元线性回归方程和相关系数 计算公式：计算公式：bxaYiiiixyiiyyiixxyyxxxyxxxyyxnyxLynyLxnxLLLLLLbxbya11122223) 例例： xy13.82.9715.12.9725.05.1726.35.4329.66.5030.76.7534.77.9536.97.974)多元线性回归及非线性回多元线性回归及非线性回归归5)注意事项：注意事项：-