商务智能概论

基本内容本课程主要介绍数据仓库与数据挖掘的基本概念、基本方法以及在商务决策中的应用。强化基础，偏重应用。第一页，共103页。基本要求目的主要是掌握商务智能的核心技术基础－数据仓库、OLAP和数据挖掘的基本概念、技术和方法，并在此基础上应用于相关领域。考虑商务智能的跨学科性（统计学、人工智能、企业管理和数据库），学习本课程前要求学员预修统计学、高级数据库系统等课程。

跨学科性：统计学、数据库和人工智能第二页，共103页。教学纲要商务智能概述数据仓库在线分析处理OLAP技术数据挖掘技术和方法*数据挖掘过程商务智能应用*第三页，共103页。教学方式课堂讲解为主，辅以上机实验。考核方式成绩的评定主要考虑以下因素：平时表现（出勤、实验、研讨等）、考试。

第四页，共103页。教材与参考书[1]赵卫东.商务智能(第二版).北京：清华大学出版社，2014[2]赵卫东.流程智能.北京：清华大学出版社，2012[3]JiaweiHan，MichelineKamber.Datamining：conceptsandtechniques（ThirdEdition）.MorganKaufmann，2012[4]W.H.Inmon.Buildingthedatawarehouse.NewYork：JohnWiley&Sons，2006[5](美)Pang-NingTan

MichaelSteinbach

VipinKumar数据挖掘导论:完整版(全面介绍数据挖掘的理论和方法)译者：范明范宏建[6](美)MichaelJ.A.Berry,GordonS.Linoff

数据挖掘技术：市场营销、销售与客户关系管理领域应用（原书第2版）译者：别荣芳尹静邓六爱第五页，共103页。商务智能BusinessIntelligenceisaprocessofturningdataintoknowledgeandknowledgeintoactionforbusinessgain—DataWarehouseInstitute.商务智能是企业利用现代信息技术收集、管理和分析结构化和非结构化的商务数据和信息，创造和累计商务知识和见解，改善商务决策水平，采取有效的商务行动，完善各种商务流程，提升各方面商务绩效，增强综合竞争力的智慧和能力-王茁专著《三位一体的商务智能》.商务智能不是通常的业务处理。它的目标是如何更快、更容易地做更好的决策。IBM商务智能解决方案远远不只是数据和技术的组合，BI帮助用户获得正确的数据，发现它的价值，并共享价值。第六页，共103页。引例1数据分析IBM孟菲斯警察局案例孟菲斯警务总监LarryGodwin召集了孟菲斯执法A组具有标志性的会议，目的是激发打击犯罪的新思路Godwin和该局有组织犯罪防控科(OCU)的主要成员与地区总检察长BillGibbons(他所在的地区位于孟菲斯)、孟菲斯大学犯罪学教授RichardJanikowski博士坐在一起，共同探讨如何更好打击犯罪第七页，共103页。引例1数据分析IBM孟菲斯警察局案例犯罪率上升、预算冻结(甚至紧缩)、孟菲斯市民对于治安的要求不断提高—因此需要开拓思路Janikowski的工作是利用这种犯罪数据开发分析框架作为试点项目的基础，验证采用分析方法和不采用分析方法在警务工作中产生的效果第八页，共103页。引例1数据分析IBM孟菲斯警察局案例BlueCRUSH(利用历史数据减少犯罪)实际上具有洞察和敏捷性优势。这一解决方案的核心是预测模型，从孟菲斯警察局记录管理系统到监控街头事件的摄像头，预测模型可以整合各种来源的最新犯罪数据BlueCRUSH可以显示犯罪趋势，便于做出有效的快速响应，并深入了解影响犯罪趋势的长期因素(如被遗弃的豪宅)。犯罪活动发生在区域范围内第九页，共103页。引例1数据分析IBM孟菲斯警察局案例通过观察显示犯罪热点地区的多层地图，指挥官不仅可以了解当前犯罪活动的状况，而且可以发现这些犯罪活动在采取了警务部署和战术调整后产生的变化。在每周举行的会议上，指挥官可与警员一起研究分析结果，判断哪些措施有效，哪些无效，在接下来的一周如何调整战术第十页，共103页。引例1数据分析IBM孟菲斯警察局案例他们可以查看一个区域到另一区域的入室盗窃，或在一个区域偷盗汽车，到另一区域销赃的情况。打击相当精准，Godwin说。“我们可以立即抓捕，而且我们每天都这么干，”他说，“接到报警后，我们可以在当天、将当班级别的警员派往特定的区域。有点像下国际象棋，抓捕过去抓不到的犯罪分子第十一页，共103页。掌控信息获悉洞察采取行动第十二页，共103页。引例2大数据时代：IBM卡夫案例卡夫澳大利亚公司有一个咸味酱品牌Vegemite，其味道和外观都是澳大利亚所特有的，可以称得上是澳大利亚的国民品牌。如何在不改变产品的情况下促进销售呢？卡夫决定通过消费者的市场调研来完成这件事情第十三页，共103页。引例2大数据时代：IBM卡夫案例传统的咸味酱调查不仅耗时较长，人群范围也较窄，因此通过这么狭隘的信息来改变一个品牌的营销策略非常冒险。如何通过一个有效的方式，从具有各种背景各种社会经济地位的人群中获取信息，然后将该数据用到有意义的方向来促进品牌成长呢?第十四页，共103页。引例2大数据时代：IBM卡夫案例卡夫举办了一个“HowdoyoulikeyourVegemite”的互动活动，并与IBM合作，运用其COBRA(corporateBrandandReputationAnalysis，企业品牌和名誉分析)技术。一个让他们惊讶的结果发生：在此项目的主题回复中，产生了15亿个帖子，约50万人用38种语言提到了咸味酱。第十五页，共103页。引例2大数据时代：IBM卡夫案例另一个问题产生：怎样对如此庞大的数据进行分析？在COBRA的协助下，卡夫识别出澳大利亚人的32种调味酱吃法。“我们以前都不太了解澳大利亚人会在番茄、鳄梨或奶酪上抹着咸味酱吃。”卡夫澳大利亚此次项目的负责人说。我们围绕人们对我们产品的新吃法展开的新活动非常成功第十六页，共103页。引例2大数据时代：IBM卡夫案例最终，他们根据这些从消费者那收集的信息展开活动，使得各大咸味酱店处于脱销状态，每个月售出几千吨的咸味酱，创造了历史新高。在过去，一个新活动的食品调研可能需要4到8个月，而在这一项目中，由于新技术的加入，卡夫只用了短短两个月，并且收集到了以往几年才可能获得的数据进行了分析。第十七页，共103页。第十八页，共103页。引例3大数据：IBM智慧的分析洞察案例美国辛辛那提动物园辛辛那提动植物园成立于1873年，是世界上著名的动物园之一，以其物种保护和保存，以及高成活率繁殖饲养计划享有极高声誉每年，130多万人来这个动物园游览，动物园占地面积71英亩，园内有500种动物和3,000多种植物第十九页，共103页。

明确洞察Lucas指出，作为促进自我完善的一部分，动物园高层管理团队开始全面检查运营工作：“我们意识到的一个最重要的问题是，难以了解动物园日常实际运营：除最基本情况外，我们不掌握运营数据–每天游览人数，门票、会员、零售和餐饮服务的总收入第二十页，共103页。

更糟糕的是，这四项收入分别采用不同的零售终端平台，以餐饮销售业务为例，我们仍然依赖于手工收款机。餐饮服务年收入4万美元，但在管理上，必须核对票据之后才能了解每天的销售总额

明确洞察第二十一页，共103页。构建解决方案利用单一平台取代原有的四个零售终端系统–GatewayTicketingSystems公司的GalaxyPOS机。接下来，动物园与IBM和BrightStarPartners（IBM首要业务合作伙伴）合作，建立中央数据仓库，并安装IBMCognosBusinessIntelligence提供实时分析和报告。目的是实现整个组织的一体化互连，利用数据制定更准确的决策，实现短期和长期目标第二十二页，共103页。

分析的价值–无论何种天气与所有户外景点一样，辛辛那提动植物园的业务与天气条件高度相关。如果下雨，游客数量会急剧下降–有可能造成动物园工作人员过剩，商品积压。同样，如果天气异常炎热，瓶装水和冰淇淋等商品的销售量有可能大幅上涨，造成供应短缺。这些方面采用智能洞察有助于动物园将问题化为机遇。第二十三页，共103页。分析的价值–无论何种天气例如，动物园已将IBMCognos解决方案与国家海洋和大气管理局（NOAA）网站的天气预报数据传送系统集成。这样，动物园可在相同的天气条件下，将当前预测结果与记录的游客数量和销售数据进行对比–制定更好的决策支持人力调配和库存计划。第二十四页，共103页。

更深入地了解客户解决方案强大的洞察功能可以进一步了解客户的行为Lucas说：“我们首先关心的是：谁来动物园?他们多长时间来一次?他们来做什么，他们怎么买?现在，我们可以将这种信息具体到个人第二十五页，共103页。更深入地了解客户大约54％的游客是动物园的会员。他们有会员卡，可以在园内不同的地方刷卡–入口、旅游景点、零售店、餐厅等。会员卡还可用作积分卡享受积分优惠–例如，食品打折或免费乘车，鼓励更多的消费和游览。第二十六页，共103页。

销售显著增加冰淇淋只是一个例子。由于动物园现在可以做出更好的决策优化运营，因此销售额大幅提升。从六个月对比的情况看，动物园部署IBM解决方案后，食品销售较上年同期增长30.7%，零售销售增长了5.9％。第二十七页，共103页。第二十八页，共103页。第二十九页，共103页。第三十页，共103页。BI（商务智能）商务智能指利用数据仓库、数据挖掘技术对客户数据进行系统地储存和管理，并通过各种数据统计分析工具对客户数据进行分析，提供各种分析报告，如客户价值评价、客户满意度评价、服务质量评价、营销效果评价、未来市场需求等，为企业的各种经营活动提供决策信息第三十一页，共103页。Case1:美洲银行美国的美洲银行2005年的数据仓库已拥有800GB存储信息。银行副总裁走入工作室可以毫不费力地查询“硅谷地区有多少居民拥有高尔夫球会员资格，多少人拥有家庭游泳池”由此为美洲银行带来了竞争优势银行通过了解自己客户的生活方式来制定银行的服务规范，以满足客户的个性化需要，扩大客户群。第三十二页，共103页。Case2:中信银行信用卡中心数据库获奖

《亚洲银行家》2012年峰会及IT项目颁奖晚会在泰国曼谷隆重举行中信银行信用卡中心凭借数据仓库系统获得《亚洲银行家》亚太区“最佳数据架构”大奖以创新型实时BI为代表的营销体系获得《亚洲银行家》“最佳客户关系管理银行”奖项第三十三页，共103页。思考：数据仓库中大量的数据从何而来？数据要如何组织才有利于数据的分析查询？何谓“BI”？它和数据仓库与数据挖掘的关系如何？第三十四页，共103页。Case3:美国银行：数据挖掘见成效美国银行(BankofAmerican,BofA)运用数据仓库与数据挖掘软件提升了其理财产品的营销和定价的精确度，如家庭权益贷款。美国银行的数据非常庞大，有些客户的数据有300多个数据点，传统的分析方法根本不能凑效。对于每个市场，美国银行通过调整费率利息率和提供特色等定制多样化的产品包，结果抓住了很多有利可图的潜在用户。第三十五页，共103页。从数据仓库中提取的数据用数据挖掘工具进行分析，以发现暗含的模式。例如，数据挖掘发现了有些客户会购买15次以上的高边际贷款产品，银行也在确定什么是导致顾客购买的相关因素。他们采用HYPERparalled公司的数据挖掘软件，输入参数，建立模型来发现更多的客户。运用这种概括方式，最后可以把符合要求的申请该业务的预期名单找出来，结果是市场销售的反馈与以前相比成倍的增长。Case3:美国银行：数据挖掘见成效第三十六页，共103页。Case4:沃尔玛：啤酒和尿布20世纪80年代初，零售巨头沃尔玛（Wal-Mart）投入巨资引进数据仓库解决方案利用数据仓库，沃尔玛对商品进行购物篮分析，即分析哪些商品顾客最有可能一起购买沃尔玛的数据仓库里集中了各个商店一年多来详细的原始交易数据，利用自动数据挖掘工具（模式识别软件）对这些数据进行分析和挖掘第三十七页，共103页。跟尿布一起购买最多的商品是什么？系统的回答是啤酒！原因：在美国，由于太太们要照顾小宝宝，购买尿布的任务主要由丈夫完成，可下班后的男人们又不想仅仅拎着两包尿布回家，那就再买两瓶啤酒吧。就这样，尿布和啤酒走到了一起。沃尔玛的啤酒货架紧邻尿布货架，尿布和啤酒销售量双双增长。第三十八页，共103页。

世界上最大的数据仓库Teradata数据仓库提升沃尔玛竞争优势

沃尔玛的缔造者SamWalton在他的自传《MadeinAmerica:MyStory》一书中写道:“我能顷刻之间把信息提取出来,而且是所有的数据。我能拿出我想要的任何东西,并确切地讲出我们卖了多少。”这感觉就像在信息的海洋里“轻舟已过万重山”第三十九页，共103页。沃尔玛的数据仓库始建于20世纪80年代1980年以来,NCRTeradata一直在帮助沃尔玛经营世界上最大的数据仓库系统1988年沃尔玛数据仓库容量为I2GB,1989年升级为24GB,以后逐年增长,1996年其数据量已达7.5TB,1997年为了圣诞节的市场预测和分析.沃尔玛将数据仓库容录扩展到24TB.

世界上最大的数据仓库Teradata数据仓库提升沃尔玛竞争优势

第四十页，共103页。计算机常用的存储单位

位、bit(比特，BinaryDigits)：存放一位二进制数，即0或1，最小的存储单位字节byte：8个二进制位为一个字节(B)。最常用的单位容量一般用KB，MB，GB，TB来表示1KB(Kilobyte千字节)=1024B1MB(Megabyte，兆字节，简称“兆”)=1024KB第四十一页，共103页。1GB(Gigabyte，吉字节，又称“千兆”）=1024MB1TB(Terabyte，太字节，或百万兆字节)=1024GB，其中1024=2^10(2的10次方)。“兆”为百万级数量单位

1PB、1EB、1ZB、1YB、1BB计算机常用的存储单位

第四十二页，共103页。Case5:Sears公司的风云再起成立于1886年的美国Sears公司曾经风光无限，但在20世纪90年代却濒临倒闭，而今，Sears是美国赫赫有名的零售企业1994年3月，Sears公司引进NCR数据仓库系统，利用数据挖掘，分析了8000万家庭的购买习惯，从而有的放矢地制定了相应的销售、广告策略和促销计划库存降低了60%，1994和1995年，公司两年零售额连续攀升20%，1996年，新开300家分店，新增员工1.2万人第四十三页，共103页。“如果不发生戏剧性变化，Sears可能会沿着恐龙的足迹一直走下去，如果在美国存在利用信息技术扭转公司局势的动人故事的话，那应归功于Sears。”——美国《信息周刊》Case5:Sears公司的风云再起第四十四页，共103页。思考：何谓数据挖掘？它与数据仓库的关系如何？第四十五页，共103页。企业获得竞争优势的法宝企业把数据仓库和数据挖掘看成继Internet之后，企业在信息经济时代获得竞争优势的一个关键因素美国MetaGroup市场调查机构早在1995年发布的资料表明，《幸福》所列的全球2000家大公司中，已有99%将Internet和数据仓库这两项技术列入企业计划第四十六页，共103页。产生背景数据资源数据资源管理第四十七页，共103页。一、数据资源1定义狭义的数据资源：数据本身，即企业运作中积累下来的各种各样的数据记录，如客户记录、销售记录、人事记录、采购记录、财务数据和库存数据等广义的数据资源：涉及数据的产生、处理、传播、交换的整个过程，包括数据本身、数据的管理工具(计算机与通信技术)和数据管理专业人员等。广义的数据资源概念更能反映现代数据资源开发利用的要求第四十八页，共103页。2从数据中获取信息和知识

企业的信息系统由输入(数据)部分、数据处理部分和输出(信息和知识)部分组成，如图所示一、数据资源第四十九页，共103页。一、数据资源第五十页，共103页。数据数据数据是可以记录、通信和能识别的符号，它通过有意义的组合来表达现实世界中的某种实体（具体对象、事件、状态或活动）的特征。商务智能技术可以分析结构化数据、半结构化数据以及非结构化数据、静态的历史数据和动态数据流等各种类型的数据。第五十一页，共103页。数据：符号、事实和数字HappyNewYear!HowareYou?事物运动数据信息记录解释Discrete,objectivefactsabouttheworldEasilystructuredandcapturedEasilytransferred第五十二页，共103页。信息：有用的数据SenderReceiver处理数据信息知识一个人的垃圾（数据）是另一个人的财富（信息）Dataendowedwithrelevanceandpurpose信息是经过某种加工处理后的数据，是反映客观事物规律的一些数据。数据是信息的载体,信息是对数据的解释。第五十三页，共103页。知识Informationfromthehumanmind(includesreflection,synthesis)，知识是对信息内容进行提炼、比较、挖掘、分析、概括、判断和推论。事实性知识和经验知识（隐性和显性）。洞察力（insight）RequiresreflectionandsynthesisDifficulttostructure,captureOftentacit第五十四页，共103页。

月薪8000的出租车司机给微软高管上的一堂MBA课

做出租车司机，也要用科学的方法

要懂得统计

我每天开17个小时的车，每小时成本多少元？成本是不能按公里算的，只能按时间算做数据分析第五十五页，共103页。成本核算我每天要交380元，油费大概210元左右。一天17小时，平均每小时固定成本22元，交给公司每次载客之间的空驶时间平均为7分钟。如果上来一个起步价，10元，大概要开10分钟每一个10元的客人要花多少分钟的成本？相当于多少钱？第五十六页，共103页。制定决策千万不能被客户拉了满街跑。而是通过选择停车的地点，时间，和客户，主动地决定你要去的地方

要站在客户的位置上，从客户的角度去思考

第五十七页，共103页。如何选择顾客？医院门口，一个拿着药的，一个拿着脸盆的，你带哪一个？三个人在前面招手。一个年轻女子，拿着小包，刚买完东西。还有一对青年男女，一看就是逛街的。第三个是个里面穿绒衬衫的，外面羽绒服的男子，拿着笔记本包，你带哪一个？第五十八页，共103页。信息和知识隐藏在数据中商务智能要求有一个坚固、可靠的大型数据库作后盾，建立这样一个数据库的任务是极其艰巨的。数据的质量问题也是令人头疼而又不可以掉以轻心的。虽然数据是宝贵的财富，然而许多公司并不能充分利用这种财富，因为信息隐藏在数据中，并不易识别。为了在竞争中占得优势地位，必须识别和应用隐藏在所收集的数据中的信息。挖掘第五十九页，共103页。数据库字符字段记录文件数据库第六十页，共103页。FILEORGANIZATIONAcomputersystemorganizesdatainahierarchythatbeginswithbits,andproceedstobytes,fields,records,files,anddatabase.

FileRecordRecordFieldFiledFieldFieldByteByteByteByteBitBitBitBit第六十一页，共103页。字符字符是数据处理中不可分割的最小部分，是字节(Byte)的组合，可以是大写字母、小写字母、数字或特殊符号等。在ASCII中，一个字符用一个字节来存储，一个汉字用两个字节来存储第六十二页，共103页。字段字段是字符的组合可以表示姓名、数字、业务对象或业务活动第六十三页，共103页。记录记录是相关字段的集合，可以描述一条信息。例如，一条员工记录可以由某个员工的姓名、住址、电话号码、工资等字段组成第六十四页，共103页。文件文件是相关记录的集合。例如，员工文件由公司所有员工的记录构成第六十五页，共103页。FILEORGANIZATIONForExample,Filed:Student’sname;Record:ArecordFile:第六十六页，共103页。数据库数据库是相关文件的集合。例如，人事管理数据库由员工文件、组织机构文件、业务岗位文件等构成第六十七页，共103页。DatabaseEnvironment第六十八页，共103页。数据库应用例1

如航空售票系统，包括的数据项：1）座位预定信息：座位分配、座位确认等2）航班信息：航班号、飞机型号、机组号、起飞地、目的地、起飞时间、到达时间等。3）机票信息：票价、折扣、有无等。系统工作：1）查询：某一时间内从某个指定地到另一指定地的航班，是否有可以选择的座位、飞机型号、票价、折扣等。2）更新：登记航班、分配座位等3）统计：统计经常乘坐某一航班的乘客信息等。第六十九页，共103页。数据库应用例2

图书管理系统，包括的主要数据项：1）图书信息：书号、书名、作者姓名、出版日期等2）作者信息：姓名、性别、住址、电话等3）出版社信息：名称、地址、社长、电话等4）读者信息：姓名、借书号、借书数量等管理工作：1）查询：查看图书、检索指定作者的图书、检索指定出版社出版的图书等。2）更新：新书登记、作者信息等第七十页，共103页。数据仓库是对数据库概念的进一步深化通常是企业长期以来积累下来的对多个业务系统的数据进行提炼重新按分析主题组织起来的数据在目前的技术条件下，数据仓库可以有效地处理数百亿字节(GigaByte)以上的数据。第七十一页，共103页。从数据库到数据仓库不同的管理业务需要建立不同的数据库例如，银行中储蓄业务要建立储蓄数据库，记录所有储蓄用户的存款及使用信息；信用卡业务要建立信用卡数据库，记录所有用户信用卡的存款及使用信息；贷款业务要建立贷款数据库，记录贷款用户的贷款及使用信息第七十二页，共103页。问题：

银行想了解用户的经济状况:收入与支出情况信誉如何（是否超支，还贷情况等）是否继续贷款给他？第七十三页，共103页。

通过采用自动或半自动的手段，在海量数据中发现有意义的行为和规则的探测和分析活动。数据挖掘是一门科学，有科学的方法和模型作为基础数据挖掘又是一门艺术，需要使用者对商业问题的深入理解和模型适用条件深刻的认识什么是数据挖掘第七十四页，共103页。数据挖掘描述预测统计回归关联规则决策树可视化聚类顺序关联汇总神经网络分类数据挖掘的分类第七十五页，共103页。收入大于5万元/年是否有无储蓄帐户是否房主否是是否批准不批准批准数据挖掘的典型结果——金融第七十六页，共103页。数据挖掘的典型结果——金融

问题描述：预测信用水平是好还是差，银行据此决定是否向客户发放贷款，发放多少结果描述:(决策树）第七十七页，共103页。输入流失概率（0.87)输出男293000元/月神州行130元/月…………数据挖掘的典型结果——电信第七十八页，共103页。数据挖掘的典型结果——电信

问题描述：根据客户信息，预测客户流失可能性结果描述:(神经网络）第七十九页，共103页。客户流失分析第八十页，共103页。目标顾客群第八十一页，共103页。数据挖掘的典型结果——零售第八十二页，共103页。数据挖掘的典型结果——零售

问题描述：如何决定超市中商品的摆放来增加销售额结果描述:(Web图）第八十三页，共103页。数据挖掘的典型结果——政府第八十四页，共103页。数据挖掘的典型结果——政府

问题描述：如何从众多申请经费或者纳税中发现欺诈结果描述:(回归、神经网络）第八十五页，共103页。商务智能如何创造知识和价值第八十六页，共103页。（资料来源：美国数据仓库研究院，）美国数据仓库研究院的BI体系第八十七页，共103页。业务数据分析的类型Increasing#ofusersOLAPStatisticalAnalysisStandardQueryReportingDMIncreasingComplexity数据分析技术的发展可分成报表查询、在线分析处理（OLAP）和数据挖掘3个阶段。

第八十八页，共103页。体育用品公司的数据分析第八十九页，共103页。销售分析仪表盘第九十页，共103页。OLAP第九十一页，共103页。各行业电子商务网站算法层商业逻辑层行业应用层商业应用商业模型挖掘算法CRM产品推荐客户细分客户流失客户利润客户响应关联规则、序列模式、分类、聚集、偏差分析…WEB挖掘网站结构优化网页推荐商品推荐……基因挖掘基因表达路径分析基因表达相似性分析基因表达共发生分析……银行电信零售保险制药生物信息科学研究……相关行业商务应用需求的推动神经网络、决策树、回归分析、粗集、遗传算法第九十二页，共103页。商务智能应用领域银行美国银行家协会(ABA)预测数据仓库和数据挖掘技术在美国商业银行的应用增长率是14.9％。分析客户使用分销渠道的情况和分销渠道的容量；建立利润评测