数据仓库基础培训.ppt

山西项目组 2010.6,数据仓库基础培训,Agenda,BI概要介绍,山西移动业务介绍,山西移动经营分析系统,山西移动经分关键主题域,BI是什么？,BI(Business Intelligence)即商业智能，是一种以计算机为工具，应用决策科学及有关学科的理论与方法，以人机交互方式辅助决策者解决半结构化和非结构化决策问题的信息系统。 最早在1996年提出，初期BI定义为一类由数据仓库（或数据集市）、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用。目前，BI通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。 商业智能能够辅助的业务经营决策，既可以是操作层的，也可以是战术层和战略层的决策 BI是数据仓库(DW)、联机分析处理(OLAP)和数据挖掘(DM)等技术的综合运用，可看做一种解决方案。,在中国移动系统建设中，BI系统称之为经营分析系统。,BI涉及技术-DW,数据仓库(DataWarhouse)是一个面向主题、集成、时变、非易失的数据集合,是支持管理部门的决策过程。,DW特点,1,2,3,4,面向主题(Subject Oriented) 数据仓库通常围绕一些主题，如“产品”、“销售商”、“消费者”等来进行 组织。数据仓库关注的是决策者的数据建模与分析，而不针对日常操作和事务的处理。因此，数据仓库提供了特定主题的简明视图，排除了对于决策无用的数据,集成(Integrated) 数据仓库通常是结合多个异种数据源构成的，异种数据源可能包括关系数据库、面向对象数据库、文本数据库、Web数据库、一般文件等,时变(Time Variant) 数据存储从历史的角度提供信息，数据仓库中包含时间元素，它所提供的信息总是与时间相关联的。数掘仓库中存储的是一个时间段的数据，而不仅仅是某一个时刻的数据,非易失(Nonvolatile)的数据集合 数据仓库总是与操作环境下的实时应用数据物理地分离存放，因此不需要事务处理、恢复和并发控制机制。数据仓库里的数据通常只需要两种操作：初始化载入和数据访问，因此其数据相对稳定，极少或根本不更新。,BI涉及技术-ETL,ETL是什么？ 数据抽取（Extract）、转换（Transform）、装载（Load） 目的 将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 关注 数据是从几个业务系统中来，业务系统是省集中还是市集中，数据的抽取周期，增量还是全量。,接口服务器,接口服务器,ETL,服务器,加载临时区,数据仓库,文件,数据库,业务系统,接口服务器,接口服务器,ETL,服务器,数据提供端,数据接收端,加载临时区,数据仓库,文件,文件,BI涉及技术-OLAP,OLAP(联机分析处理) 是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。 切片和切块(Slice and Dice) 钻取(Drill) 旋转(Rotate) ROLAP/MOLAP/HOLAP,BI涉及技术-DM,数据挖掘(Data Mining)是从数据中自动地抽取模式、关联、变化、异常和有意义的结构。 数据挖掘大部分的价值在于利用数据挖掘技术改善预言模型。 关联 分类 聚类 决策树 神经网络,BI发展方向,BI的建设是一个过程，而不是一个项目,国内BI行业应用,国内BI行业前景,金融：在BI领域投资稳步增长，每年均有大量的BI需求，操作型BI应用越来越广泛，尤其是信贷评审领域。中小型银行BI需求也不断涌现，未来将是金融行业BI市场的主要增长点。在未来5年时间里，BI应用在金融行业仍将高速发展。 电信：电信行业信息化程度很高，对信息化依赖很强，积累了大量的数据，具有实施商业智能项目的基础条件和资金实力。电信行业对于BI深入应用是最渴望的，在话费套餐设置、客户潜力分析等都需要数据挖掘技术来提供决策依据。在这些行业，实力雄厚的BI厂商已占据有利的地位。 保险：大型保险公司中基本已经建立商业智能相关系统，并发挥了一定的作用。但是随着新业务的推出，系统地后期开发和维护仍然需要大量的投资。据ChinaBI了解，中小型保险公司也还有待加强商业智能系统的建设。 能源：石油和电力等能源行业的企业，均是国有大型企业，基本上已经实施了商业智能系统，但是还有待深入挖掘商业智能的价值。这些企业的省市分公司，将会不断有新的需求涌现，发展潜力较大。,国内BI行业前景,烟草：各地烟草企业已经建立很多商业智能系统，但是还有更大的空白市场。烟草公司项目建设难度低、利润大，应用前景不错。 政务：商业智能在电子政务中的应用，更多的涉及到报表填制、数据统计，需要报表系统能很好的满足中国特色报表的要求。一般采用自上而下的市场推广手段会前景广阔。 航空：国内的航空公司，也在逐步深入BI系统的建设。 制造：制造业的企业信息化水平参差不齐，有些大中型企业已经成功使用商业智能技术，但是大部分企业基础信息化水平仍未达到，随着这些企业的信息化水平逐步提高，建设商业智能系统的需求也会随之而来。随着金融危机的度过和国内经济的恢复，制造业将是未来商业智能新的增长点。 零售：一些大型的超市、百货、电器、手机等销售企业，绝大部分已经实现了连锁，基础信息化建设程度高，商业智能技术已经应用较广泛，未来还有进一步的应用空间,据ChinaBI预测，未来商业智能在各行业均稳定发展，新的利润增长点主要集中于金融和制造业。,BI厂商列表,下表列出了截止到2009年中国大陆地区的主要BI厂商,国内BI厂商关注度,BI发展趋势,数据集成应用得到重视,BI发展趋势,数据分析从简单走向深入,BI企业将在垄断中不断新生,MDM将在大型企业中逐步应用,中小企业BI应用逐渐扩大市场份额,SAAS BI将得到快速发展,操作型BI应用得到发展,企业并购和重组仍将继续,职业技能要求,技术人员,业务人员,1、Teradata数据库使用 2、熟练编写SQL及SQL优化 3、ETL 4、OLAP 5、JAVA,1、熟练掌握移动业务 2、业务分析方法 3、沟通表达能力 4、文档能力,Agenda,BI概要介绍,移动业务介绍,山西移动经营分析系统,山西移动经分关键主题域,营业总体数据流图,集团规范定义的三户模型,内蒙BOSS的三户模型,用户域模型,客户域模型,帐户域模型,数据业务分类,按用户划分 个人数据业务 短信，彩信，彩铃，飞信，GPRS,手机报，来电显示，来电提醒，语言信箱，手机邮箱，pushmail,语音杂志，号簿管家，随E行，WLAN业务等。 集团数据业务 集团彩信、无线PBX、集团VPMN、企业信息机、BLACK Berry、IDC、企业随E行、农信通、银信通、航信通、校信通等。 按通讯信道划分 语音增值业务 彩铃、来电显示、来电提醒、主叫隐藏、电话会议、语音信箱、语言秘书、语言杂志(IVR) SMS信道 短信，梦网短信，银信通/航信通/校信通等 CSD信道 CSD手机上网 无线数据业务信道 GPRS/EDGE/3G GPRS无线互联网、WAP手机上网、彩信(MMS)、手机报、飞信、pushmail、手机邮箱等，无线DDN等。 WLAN/WiMAX Wlan、随e行、企业随e行、wlan无线互联网等。,数据业务分类(续),按合作运营方式 移动自营运营 点对点短信、点对点彩信、飞信、手机报中的新闻早晚报、彩铃平台、GPRS上网、中央音乐平台、手机上网 移动与SP合作运营 梦网短信、非中央音乐平台下载的手机铃音和彩铃、12530(IVR)、其他SP提供的手机报、梦网彩信。,中国移动,SP,CP,手机报 中央音乐平台 飞信,用户,Agenda,BI概要介绍,山西移动业务介绍,山西移动经营分析系统,山西移动经分关键主题域,山西移动策略,经分系统辅助完善业务策略制定以及业务策略执行,中国移动运营发展,移动经分建设背景,数据上报,周期冗长 报表繁多 信息不完整 无法核对,需要确定业务原因,新的报表要求,失去时间意义,企业运营需要 上市业务公告 企业管理决策 市场战略调整 绩效考核 市场反应和主动营销,移动经分建设背景,VGOP,BOSS,呼叫中心,大客户,财务,门户系统,网管,业务发展快，系统林立，数据分散缺乏统一标准，数据存在大量的不一致 由于信息不准确，不完整，无法实现精确营销理念； 缺乏企业内部的信息共享架构，从整 个企业范围来看，存在信息孤岛的隐患 数据-信息-知识的有效转化较少，并且分析结果不能有效地反馈回操作环境中去。,移动经分建设目标,提供数据标准，统一数据格式，建立企业级数据仓库，形成统一数据平台，实现信息共享。 按主题域组织数据，实现信息统一，增强数据的相关性，减少信息歧义，为统计分析提供大量的数据准备，降低分析的难度。 用专业分析工具提供丰富的分析手段和数据展现，缩短数据查看的反应时间，提高数据质量。为管理决策、业务分析提供依据。 对海量的、历史的数据进行深加工，实现精细化营销，提升企业的运营水平和竞争力，提高企业决策的准备性和及时性，为企业运营服务。,硬件：2*4855，磁盘/数据容量2.88TB/2TB,2005,2002,1.0,2.0,1.5,硬件：6*5450+(3+1)* 5500c，磁盘/数据容量新增46TB/32.5TB,2008,硬件：10*5380，磁盘/数据容量新增20TB/15TB,硬件：2*5380+6*5450 ，磁盘/数据容量新增30TB/22.5TB,NG-1 BASS1.0,2007,应用： 搭建数据平台； 形成统一数据视图。,应用： 通过数据集市完成对“地市信息化”工作的支撑； 全面支撑数据业务、集团客户、渠道、位置分析等功能； 通过营销功能的丰富，提升市场一线支撑能力。,应用： 优化系统架构； 建立信息穿越机制； 整合与深化客户分析与运营，提升营销与服务能力； 完善业务分析与数据管理功能。,应用： 建立信息门户，扩展系统使用范围； 深化数据集市应用，提升专项业务应用能力； 提升系统业务支撑能力，满足各业务部门发展需求； 完善经营分析数据质量管理系统，提升数据管理能力。,2009,NG-1 BASS2.0,营销管理平台优化 产品分析与运营