第三章-数据分类汇总分析

第三章数据分类汇总分析Client\Server结构Client:联机事物处理(OLTP)Server:联机分析处理(OLAP)内容简介联机分析处理数据分类汇总分析的意义和作用数据分类汇总的三种方法数据透视表2预备知识：联机分析处理当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-linetransactionprocessing）、联机分析处理OLAP（On-LineAnalyticalProcessing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。3数据仓库抽取转换加载更新OLAP引擎分析查询报表数据挖掘监测集成元数据数据源(OLTP)前端工具数据集市操作数据库其它数据源数据存储OLAP服务器数据仓库的体系结构图5联机事务处理系统(OLTP)OLTP也称为面向交易的处理系统，其基本特征是顾客的原始数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果。这样做的最大优点是可以即时地处理输入的数据，及时地回答,也称为实时系统。衡量联机事务处理系统的一个重要性能指标是系统性能，具体体现为实时响应时间，即用户在终端上送入数据之后，到计算机对这个请求给出答复所需要的时间。OLTP数据库旨在使事务应用程序仅写入所需的数据，以便尽快处理单个事务。6OLTP系统中的数据主要被组织为支持如下事务：记录来自销售点终端或通过网站输入的订单。当库存量降到指定级别时，订购更多的货物。在制造厂中将零部件组装为成品时对零部件进行跟踪。记录雇员数据。7随着数据库技术的广泛应用，企业信息系统产生了大量的数据，如何从这些海量数据中提取对企业决策分析有用的信息成为企业决策管理人员所面临的重要难题。传统的企业数据库系统(管理信息系统)即联机事务处理系统（On-LineTransactionProcessing,简称OLTP）作为数据管理手段，主要用于事务处理，但它对分析处理的支持一直不能令人满意。数据仓库（DataWarehouse）技术就是在这样的背景下发展起来的。8业界公认的数据仓库概念创始人W.H.Inmon在《BuildingtheDataWarehouse》一书中对数据仓库的定义是：“数据仓库是支持管理决策过程的、面向主题的、集成的、随时间变化的持久的数据集合”。ETL:构建数据仓库的过程就是根据预先设计好的逻辑模式从分布在企业内部各处的OLTP数据库中提取数据并对经过必要的变换最终形成全企业统一模式数据的过程。9联机分析处理(OLAP)联机分析处理（OLAP）系统是数据仓库系统最主要的应用，专门设计用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持，可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理，并且以一种直观而易懂的形式将查询结果提供给决策人员，以便他们准确掌握企业（公司）的经营状况，了解对象的需求，制定正确的方案。10联机分析处理具有灵活的分析功能、直观的数据操作和分析结果可视化表示等突出优点，从而使用户对基于大量复杂数据的分析变得轻松而高效，以利于迅速做出正确判断。它可用于证实人们提出的复杂的假设，其结果是以图形或者表格的形式来表示的对信息的总结。11OLAP是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类技术。OLAP的目标是满足决策支持或者满足在多维环境下特定的查询和报表需求,它的技术核心是"维"这个概念。“维”是人们观察客观世界的角度,是一种高层次的类型划分。“维”一般包含着层次关系,这种层次关系有时会相当复杂。通过把一个实体的多项重要的属性定义为多个维(dimension)，使用户能对不同维上的数据进行比较。因此OLAP也可以说是多维数据分析工具的集合。12在过去的二十年中，大量的企业利用关系型数据库来存储和管理业务数据，并建立相应的应用系统来支持日常业务运作。这种应用以支持业务处理为主要目的，被称为联机事务处理(OLTP)应用，它所存储的数据被称为操作数据或者业务数据。随着市场竞争的日趋激烈，企业更加强调决策的及时性和准确性，这使得以支持决策管理分析为主要目的的应用迅速崛起，这类应用被称为联机分析处理(OLAP)，它所存储的数据被称为信息数据。13联机分析处理的用户是企业中的专业分析人员及管理决策人员，他们在分析业务经营的数据时，从不同的角度来审视业务的衡量指标是一种很自然的思考模式。例如分析销售数据，可能会综合时间周期、产品类别、分销渠道、地理分布、客户群类等多种因素来考量。这些分析角度虽然可以通过报表来反映，但每一个分析的角度可以生成一张报表，各个分析角度的不同组合又可以生成不同的报表，使得IT人员的工作量相当大，而且往往难以跟上管理决策人员思考的步伐。14联机分析处理的主要特点，是直接仿照用户的多角度思考模式，预先为用户组建多维的数据模型，维指的是用户的分析角度。例如对销售数据的分析，时间周期是一个维度，产品类别、分销渠道、地理分布、客户群类也分别是一个维度。一旦多维数据模型建立完成，用户可以快速地从各个分析角度获取数据，也能动态的在各个角度之间切换或者进行多角度综合分析，具有极大的分析灵活性。这也是联机分析处理被广泛关注的根本原因，它从设计理念和真正实现上都与旧有的管理信息系统有着本质的区别。15事实上，随着数据仓库理论的发展，数据仓库系统已逐步成为新型的决策管理信息系统的解决方案。数据仓库系统的核心是联机分析处理，但数据仓库包括更为广泛的内容。概括来说，数据仓库系统是指具有综合企业数据的能力，能够对大量企业数据进行快速和准确分析，辅助做出更好的商业决策的系统。它本身包括三部分内容：161、数据层：实现对企业操作数据的抽取、转换、清洗和汇总，形成信息数据，并存储在企业级的中心信息数据库中。2、应用层：通过联机分析处理，甚至是数据挖掘等应用处理，实现对信息数据的分析。3、表现层：通过前台分析工具，将查询报表、统计分析、多维联机分析和数据挖掘的结论展现在用户面前。17从应用角度来说，数据仓库系统除了联机分析处理外，还可以采用传统的报表，或者采用数理统计和人工智能等数据挖掘手段，涵盖的范围更广；就应用范围而言，联机分析处理往往根据用户分析的主题进行应用分割，例如：销售分析、市场推广分析、客户利润率分析等等，每一个分析的主题形成一个OLAP应用，而所有的OLAP应用实际上只是数据仓库系统的一部分。18第一节数据分类汇总分析的意义和作用获得销售额分类汇总值获得各类销售额排行榜获得各类销售额的时间序列获得各经济量之间的相关性获得各种产品需求量的频率分布19一.获得销售额分类汇总值利用分类汇总，可以获得不同地区的销售额、不同类别产品的库存量、不同生产人员的次品数量、不同客户的运货费、不同类型贷款的客户数等信息20二.获得各类销售额排行榜利用分类汇总，企业可以获得销售额排行榜、各种商品质量指标排行榜、销售人员完成销售任务排行榜、各种产品库存量与库存积压资金排行榜……21三.

获得各类销售额的时间序列利用分类汇总，企业可以获得某产品销售数量的时间序列、某地区销售额的时间序列或客户订货量的时间序列……22四.获得各经济量之间的相关性利用分类汇总，企业可以获得获得各经济量之间的相关性信息……23五.获得各种产品需求量的频率分布利用分类汇总，企业可以获得获得获得各种产品需求量的频率分布……24第二节数据分类汇总的方法数据透视表：小数据Tableau：大数据25一.

Excel数据列表功能数据列表被定义为“包含相关数据的一系列工作表数据行”。数据列表的首行为字段名，首行下的各行是各个记录。数据列表中不能出现空行。数据列表可以像数据库中的表一样使用，行对应于表中的记录，列对应用于表中的字段。26一.

Excel数据列表功能排序功能可以按照某个字段的升序或降序对数据列表中的所有记录进行排序。筛选功能筛选就是通过设定条件，挑选出满足条件的记录：自动筛选功能；高级筛选功能。高级筛选需首先在工作表中设定筛选条件。27二.

数据透视表PivotTable创建数据透视表容易，且可以对数据透视表进行旋转、变换汇总角度，选择各种汇总形式，求和、计数、求平均值等。数据透视表使用方便、汇总能力强。28第三节数据透视表数据透视表汇总数据数据透视表的灵活性数据透视图的灵活性利用数据透视表生成时间序列统计各销量组销售次数的频率分布计算百分比29一.数据透视表汇总数据【例3-3】利用Excel获取外部数据功能，获取ABC公司2010年的销售数据，使用Excel数据透视表功能，制作分类汇总表。30一.数据透视表汇总数据31三.数据透视图的灵活性创建数据透视图的灵活性利用数据列表创建数据透视图；直接创建数据透视图；32数据透视表汇总数据33四.利用数据透视表生成时间序列按照一定时间间隔汇总的数据序列，称为时间序列。时间序列可以帮助企业了解经营状况、预测未来的变化趋势。数据透视表能从不同的角度汇总数据，它也是生成时间序列的有效工具。34四.利用数据透视表生成时间序列【例3-5】利用数据透视表，对Northwind公司的销售数据按月汇总各产品的销售额。35五.统计各销量组销售次数的频率分布频率信息可以帮助管理人员预测未来情况，合理安排生产和销售活动。【例3-6】利用数据透视表，对Northwind公司的销售数据按照产品、年月汇总，统计各规模销量组销售次数的频率分布。36六.计算百分比【例3-7】Northwind公司计划，根据客户总销售额，将客户划分为不同级别。销售额超过10000元的客户为重要客户，10000元以下的为普通客