大数据时代的数据挖掘与商务智能二

1大数据时代的

数据挖掘与商务智能2大纲大数据的时代背景商务智能与数据科学基于统计的传统数据分析技术数据管理系统与联机分析处理数据挖掘与知识发现技术典型应用及案例分析3第二部分商务智能与数据科学4商务智能概论什么是商务智能？数据、信息、知识管理、信息与决策决策支持系统5什么是商务智能？商务智能(BI)定义众说纷纭。高级管理人员信息系统（EIS)管理信息系统（MIS），决策支持系统（DSS）数据库技术，数据仓库(数据集市)数据整合与清洗工具查询和报告工具,在线分析处理工具(OLAP)统计数据分析，数据挖掘分析性ERP、CRM、SCM。企业绩效管理，平衡记分卡……

商业智能——Gartner商业智能的概念于1996年最早由加特纳集团（GartnerGroup）提出，加特纳集团将商业智能定义为：商业智能描述了一系列的概念和方法，通过应用基于事实的支持系统来辅助商业决策的制定。商业智能技术提供使企业迅速分析数据的技术和方法，包括收集、管理和分析数据，将这些数据转化为有用的信息，然后分发到企业各处。67什么是商务智能？商务智能是企业利用现代信息技术收集、管理和分析结构化和非结构化的商务数据和信息，创造和累计商务知识和见解，改善商务决策水平，采取有效的商务行动，完善各种商务流程，提升各方面商务绩效，增强综合竞争力的智慧和能力。8企业企业——这里用“组织机构”或“实体”会显得更完整，因为所有的组织机构和实体（不只是企业）都可以而且应该利用商务智能；之所以仍用“企业”是为保持与“商务”的一致性。各行各业，包括非企业性机构，比如政府部门、教育机构、医疗机构和公用事业等，都应该而且能够利用商务智能。

9现代信息技术利用现代信息技术——这是这一定义中的关键之一，IT的发展产生了信息经济和信息社会，在这一新型的经济和社会形态中，信息的爆炸式激增又产生了对能够处理和控制信息的新技术的强烈需求；商务智能就是新的IT在商务分析中的有效利用。BI过程中所涉及的IT主要有：从不同的数据源收集的数据中提取有用的数据，对数据进行清理以保证数据的质量，将数据经转换、重构后存入数据仓库或数据集市（这时数据变为信息），然后寻找合适的查询、报告和分析工具和数据挖掘工具对信息进行处理（这时信息变为辅助决策的知识），最后将知识呈现于用户面前，转变为决策。

10收集数据收集——收集数据是管理和分析数据的前提，数据收集工作是十分重要的，必须引起企业的充分重视，在这方面中国企业与世界上发达国家中的先进企业之间的差距非常大，这是商务智能在中国还不能很快成熟起来的重要原因之一，这应了中国的一句俗话：“巧妇难为无米之炊”。数据和信息的收集主要是通过各种交易系统进行的，比如ERP、CRM、SCM和E-Business等系统。随着中国企业在这些方面的进步，数据和信息的数量会快速增长的。另外，信息，特别是非结构化的信息，来自公司各个部门和各个员工创造和收集的、没有放在上述交易系统中的内容。第三方也是企业收集数据和信息的一个重要来源，这样的外部数据和信息包括市场调研报告、人口统计报告、顾客信用报告等。

11管理和分分析数据据管理——这里的““管理””主要是是指对数数据的储储存、提提取、清清洗、转转换、装装载、整整合等工工作，其其目的主主要是为为了提高高数据的的质量和和安全性性。分析——“分析”是是一个广广泛的概概念，这这里包括括数据查查询、数数据报告告、多维维分析、、数据挖挖掘、高高级统计计分析等等。大多多数人理理解的商商务智能能都集中中在这些些分析工工具上。。12结构化与与非结构构化数据据结构化——结构化的的数据主主要是指指储存于于各个交交易系统统背后的的关系型型数据库库中的数数据，通通常都是是以表格格的形式式存在和和展现的的。传统统的商务务智能概概念只包包括这种种结构化化的、可可定量的的数据。。非结构化化的——非结构化化的数据据和信息息主要是是上面的的提到的的各个部部门和各各个员工工创造和和收集的的、没有有放在各各种交易易系统中中的内容容，通常常是以零零散的文文件形式式存在和和展现的的；新的的商务智智能概念念纳入了了非结构构化内容容的分析析，但是是非机构构化的内内容的管管理仍然然主要是是通过文文件管理理和内容容管理（（DocumentManagement&ContentManagement）软件来来进行的的。13商务数据据和信息息商务数据据和信息息并不能能加以狭狭隘的理理解，这这里所致致的商务务数据和和信息包包括一切切可能对对商务产产生影响响的、直直接和间间接的数数据和信信息，往往小里说说包括顾顾客的名名字、地地址和电电话号码码等，往往大里说说包括过过国际上上的政治治、经济济、文化化和军事事情况等等。14商务智能能的目的的创造和累累计商务务知识和和见解——这是商务务智能的的第一层层的目的的和功能能，也也是最直直接的目目的和功功能；““知识和和见解””正是““智能””得名的的由来。。改善商务务决策水水平——这是商务务智能的的更高一一层的目目的和功功能，企企业能否否利用好好这一功功能、实实现这一一目的在在很大程程度上取取决于领领导者的的意识和和胸襟以以及企业业文化中中决策科科学化和和民主化化的成分分。15商务行动动与商务务流程采取有效效的商务务行动——采取有效效的商务务行动是是创造和和累计商商务知识识和见解解、改善善商务决决策水平平的目的的和动力力。商务务智能是是能够指指导实战战的高明明兵法，，而不是是“无所所不知、、但无能能为力””的“纸纸上谈兵兵”。完善各种种商务流流程——残缺、散散乱、僵僵化、低低效的商商务流程程是企业业的顽疾疾，商务务智能能能够为这这一顽疾疾的诊断断和治疗疗做出一一定的贡贡献；优优化后后自动化化（请注注意先后后顺序））的商务务流程反反过来也也会促进进商务智智能的发发展。16商务绩效效提升各方方面商务务绩效——这是商务务智能在在企业内内部的最最高目的的和作用用，有效效的商务务智能系系统和技技术能够够帮助企企业提升升各个方方面的绩绩效：财财务的和和非财务务的，前前台的和和后台的的，企业业内的和和供应链链内的，，组织的的和个人人的。企企业绩效效管理已已成为热热门的管管理和技技术概念念，这既既是因为为各种软软件厂商商的推动动又是因因为企业业所面临临的绩效效方面的的压力的的增大。。17综合竞争力增强综合竞争争力——这是商务智能能在企业中的的最高目的和和作用。商务务智能事关企企业的兴衰成成败和生死存存亡。如今以以及未来企业业之间的竞争争是主要是综综合智能上的的竞争，不管管是中国企业业还是外国企企业，不管是是国营企业还还是民营企业业，不管是大大企业还是小小企业，都必必须提高企业业经营和竞争争活动中的智智能水平，争争取成为优秀秀的智能企业业，否则一定定会落后于智智能上高人一一等、捷足先先登的企业。。智慧和能力——把商务智能分分为智慧和能能力是因为真真正的商务智智能既有思想想层面也有行行动层面（而而且“智能””本身可以一一分为二、二二合为一）。。18商务智能软件件发展前景根据Gartner公司的报告，，2007年全球BI（商业智能））软件市场份份额达到了51亿美元，比2006年增加了13%。最大的赢家是是那些大的软软件厂商，如如SAP、IBM、Oracle和Microsoft，它们总的市市场份额从2006年的20%，增加到2007年的66%。这种急剧增增长主要是通通过并购来实实现的。在2007年1月份，SAP收购了BO（BusinessObject），IBM收购了Cognos。在2007年3月份，Oracle则收购了Hyperion。合并之后，SAP和BO排名第一，占占据了全球26.3的BI软件市场，比比第二名（IBM和Cognos，市场份额为为14.7%）高出了将近近一倍。SAS为第三名，市市场份额为14.5%。下表中的排排名与此不同同，是因为有有些并购直到到2008年才最终完成成。19Gartner发布

商务智智能魔力象限限20Gartner发布

客户数数据挖掘魔力力象限21数据、信息与与知识每时每刻，我我们身边都充充满了各种各各样的数据。但只有将这这些杂乱无章章的数据，转转换为信息和知识，才能帮助我我们做出聪明明的选择。由于数据、信信息与知识三三者之间有着着密切的相关性，他们常被混混淆使用。我我们将重点对对数据、信息息与知识进行行分析和对比。22数据（Data）数据泛指对客客观事物的数数量、属性、、位置及其相相互关系的抽象表示，以适合于用用人工或自然然的方式进行行保存、传递和和处理。例如，水的温温度是100℃，礼物的重量量是500克，木头的长长度是2米，大楼的高高度时45层。在这些表表述中：100℃；500克；2米；45层就是数据。数据的表现形形式是多种多多样的，除了了数字，数据还以图像、声音、、文字等形式表现出出来。23信息（Information）信息是指有一一定含义的、、经过加工处处理的、对决决策有价值的的数据。信息＝数据＋＋处理信息是有意义的数据据，是被赋予相相关性和目的的性的数据。。例如，人口口的分布情况况、降雨量分分布情况等。。可以用专门的的信息管理系统统对各类信息进进行管理。信信息管理系统统的最基本功功能就是数据据收集和数据据处理。24知识（Knowledge）知识是信息基基础上的又一一次升华，是是浓缩的系统化化了的信息。需要通过信信息，使用归纳、演绎的方法得到。。知识只有在在经过广泛深深入地实践检检验，被人消消化吸收，并并成为了个人人的信念和判判断取向之后后才能成为知知识。知识＝信息+理解（understanding）与推推理（（reasoning）＋解解决问问题的的技能能（skill）决策支支持系系统、、专家家系统统、案案例推推理系系统是对人人类知知识的的利用用，而而智能能数据据分析析是获获得隐隐含在在数据据信息息中的的知识识。OECD1990s知识分分类3W+H25信息（（Information）知识识（Knowledge）与智智慧（（Wisdom）26TheDataInformationKnowledgeandWisdomHierarchy(DIKW)知识是是从数数据到到智慧慧划分分为不不同层层次的的。27示例数据：上季季度产产品A在华东东地区区销售售额为为120万。信息：上季季度产产品A华东地地区销销售额额比去去年同同期减减少了了25%。知识：如分分析原原因是是华东东地区区销售售单位位不行行，或或产品品A进入了了衰退退期，，还是是公司司整体体营销销活动动落后后，竞竞争者者强力力促销销导致致？或或是其其它原原因。。针对对这一一问题题公司司应对对的策策略是是什么么？智慧：应对对的行行动方方案可可能有有多种种，但但（战战略））选择择哪个个靠智智慧。。行动动则又又会产产生新新的交交易数数据。。28管理与与管理理系统统管理是是管理理主体体作用用于管管理客客体的的活动动过程程。随随着科科技的的发展展，管管理及及管理理系统统的信信息化化、网网络化化、智智能化化已越越来越越受到到人们们的广广泛关关注。。（信息息）管管理系系统：：数据据处理理系统统、检检索系系统、、计算算机辅辅助系系统、、管理理信息息系统统MIS、办公公自动动化系系统OA、决策策支持持系统统DSS、知识识管理理系统统KMS等。29决策与与信息息“决策”一词的的英语语表述述为decision-making，意思思就是是作出出决定定或选选择。。当今是是信息息爆炸炸时代代，重重要的的不是是获得得信息息，而而在于于对信信息的的加工工和分分析，，使之之对决决策有有用。。决策者者需要要的是是对决决策有有意义义的新新信息息，决决策者者的注注意力力是一一种最最宝贵贵资源源，不不能无无谓消消耗在在大量量无关关的信信息上上。对信息息的提提供，，就应应当有有一定定条件件的限限制，，不符符合这这些条条件的的信息息，不不应该该输送送给决决策者者。所所以信信息系系统应应该包包括一一个筛筛选系系统，，以保保证提提供与与决策策有关关的有有用信信息。。30国民经经济和和社会会的信信息化化社会信信息化化后，，社会会的运运转是是软件件的运运转社会信信息化化后，，社会会的历历史是是数据据的历历史因此政政府提提出“信息息化””和““发展展软件件产业业”31数据分分析与与挖掘掘有许多多预测测机构构和名名人都都看好好数据据分析析技术术对未未来科科学技技术的的影响响，对对市场场所占占有的的份额额有乐乐观的的估计计。世界有有名的的GartnerGroup咨询公公司预预计：：不久久的将将来先先进大大型企企业会会设置置“统统一数数据分分析专专家””,数据分分析的的应用用一定定会扩扩展开开来！！微软专专家也也认为为数据据分析析与挖挖掘会会成为为21世纪的的重要要技术术之一一，也也有研研究小小组。。在微微软亚亚洲研研究院院（）有相相应的的研究究，有有多个个研究究小组组与数数据分分析有有关。。32数据分分析与与挖掘掘概况况一些技技术的的发展展也需需要数数据分分析技技术。。ERP(企业资资源计计划),SCM(物流与与供应应链管管理),CRM(客户关关系管管理)，BI（商务务智能能），，数据库库，数数据据仓库库，知知识管管理决策支支持系系统新新的发发展。。数据的的大量量积累累，需需求的的多样样性而发展展起来来。33数据分分析与与挖掘掘概况况数据分分析与与挖掘掘数据库越来越大有价值值的知知识可怕的的数据据34数据分分析与与挖掘掘概况况数据爆爆炸，，知识识贫乏乏苦恼:淹没在在数据据中;不能制制定合合适的的决策策!数据知识决策模式趋势事实关系模型关联规则序列目标市场资金分配贸易选择在哪儿做广告销售的地理位置金融经济政府人口统计生命周期35应用需需求Necessityisthemotherofinvention（Plato）36现代数数据分分析的的特点点最大的的特点点：海海量数数据集集（大大数据据）美国零零售商商沃尔尔玛每每天大大约2千万笔笔的交交易，，一年年的客客户交交易数数据库库容量量超过过11TBAT&T公司，，1亿电话话用户户，每每天3亿次的的呼叫叫特征征数据据美国宇宇航局局NASA的地球球观测测系统统每小小时生生成几几个GB的原始始数据据人类基基因工工程中中超过过3.3×109个核苷苷酸的的数据据库其它特特点：：较高高维度度，有有噪声声，属属性值值缺失失37技术驱驱动更大,更便宜宜的存存储器器--磁盘盘密密度度以以Moore’slaw增长长“每18个月月增增长长一一倍倍”--存储储器器价价格格飞飞快快下下降降下降降更更快快,更便便宜宜的的信信息息处处理理器器--分析析更更多多的的数数据据--适应应更更多多复复杂杂的的模模型型--引起起更更多多查查询询技技术术--激起起更更强强的的可可视视化化技技术术数据据处处理理与与分分析析技技术术--数据据库库与与数数据据仓仓库库--统计计学学--人工工智智能能--机器器学学习习38智能能数数据据分分析析（（1）Intell