数据挖掘与商务智能技术

第6章数据挖掘与商务智能技术6.1商务智能概述6.1.1商务智能技术的发展商务智能的定义商务智能是指透过资料的萃取、整合及分析，支持决策过程的技术和商业处理流程，其目的是为了使使用者能在决策的时候，尽可能得到更好的协助。商务智能是运用数据仓库、在线分析和数据挖掘技术来处理和分析数据的技术，它允许用户查询和分析数据库，进而得出影响商业活动的关键因素，帮助用户做出更好、更合理的决策。6.1商务智能概述（续）6.1.1商务智能技术的发展（续）商务智能的定义（续）商务智能是通过利用多个数据源的信息以及应用经验和假设，来促进对企业动态性的准确理解，以便提高企业决策能力的一组概念、方法和过程的集合。商务智能是通过获取与各个主题相关的高质量和有意义的信息来帮助人们分析信息、得出结论、形成假设的过程。6.1商务智能概述（续）6.1.2商务智能与管理决策商务智能技术能够帮助企业实现商业信息收集和处理的自动化，以降低运营成本；商务智能能够帮助企业真实地分析财务状况和盈利水平，规范企业的业务行为和管理行为，使企业的管理决策实现由人为经验型到科学决策型转变；6.1商务智能概述（续）6.1.2商务智能与管理决策（续）使用商务智能可以使企业深入了解自己的客户并保持稳定的客户群；商务智能的引人可以帮助企业整合这些集成应用系统，使这些相对独立、各自为战的系统发挥更大的作用，使数据信息得到更有效的利用。6.1商务智能概述（续）6.1.3商务智能的大众化6.1商务智能概述（续）6.1.3商务智能的大众化6.1商务智能概述（续）6.1.3商务智能的大众化《纽约时报》是美国新闻界的领头羊和风向标。在IT技术的应用方面，它不惜重金。2009年，其IT研发部门宣布，将围绕实时分析、智能预测和用户互动三大IT技术来提高新闻发布和时事分析的质量。这三大技术，都在不同程度上涉及到商务智能。6.2商务智能过程6.2.1知识发现知识发现的特征知识模式是使用一种形式化语言来进行的表达，表达描述了事实集合的子集中的一种显著的事实。通过某种知识发现方法得到一个顾客细分的结果子集为{41岁顾客，42岁顾客，48岁顾客，43岁顾客，64岁顾客…}，可以归纳为“40岁之上的顾客”或者“中年以上的顾客”等。知识发现强调模式的有效性、新颖性、潜在有用性以及最终能被理解。6.2商务智能过程（续）6.2.2知识发现过程1、理解所要进行研究的领域、与之相关的以前的知识、以及用户的目标；2、创建/选择目标数据集合；3、数据清理和预处理；4、数据缩减和投影；5、选定数据挖掘任务；6、选择数据挖掘算法；7、数据挖掘过程；8、对挖掘出来的模式进行解释；9、完善和巩固所发现的知识。6.2商务智能过程程（续）知识表达形式式与数据挖掘掘数据挖掘方法法分类分析例如信用卡用用户可以分为为按时还款客客户和拖欠还还款客户等。。回归分析根据历年的劳劳动力水平，，总投资等因因变量来回归归得到与GDP有关的回归模模型方程，进进一步用以预预测。关联规则如“年轻顾客客会购买Levi’s牛仔裤”，““购买《信息系统》一书的顾客经经常会购买《C语言》一书”。聚类分析将相似的对象象聚集在一起起的一种分析析方法。6.2商务智能过程程（续）数据预处理（1）数据集整理理将相关的数据据都整理在一一个或多个二二维表中；注意数据的一一致性以及完完整性。（2）数据采样通过随机采样样等方法从海海量数据中抽抽取少量的记记录；采样只能在记记录维度上，，而不能在属属性维度上。。（3）数据清洗将不必要的属属性剔除；修正或删除有有明显错误和和冲突的数据据；识别异常值。。6.2商务智能过程程（续）数据预处理（（续）（4）缺失数据处处理缺失值指的是是应该有但却却没有的数据据；采用该属性的的平均值或是是众数替代；；采取回归或神神经元网络等等技术来进行行计算和预测测相应的数值值；利用软计算方方法来处理缺缺失值。（5）初步统计分分析描述均值，中中位数，众数数，最大值，，最小值，标标准差，数据据个数；两两相关系数数、数据直方方图等。6.3数据挖掘方法法分类分类分析是对对对象的特征征进行分析，，并将之归类类到已定义类类中。分类分析的过过程首先，基于训训练数据集，，采用分类算算法来构造分分类器；训练数据集指指一个已有的的数据集，其其中每条记录录都已经属于于一个已知的的类别中。其次，使用分分类器对新数数据集进行分分类。6.3数据挖掘方法法（续）分类（续）分类分析的评评估标准速度：即生成成和使用分类类器的计算花花费；鲁棒性：即给给定噪音数据据，分类器能能够正确预测测的能力；可伸缩性：即即在大量数据据规模时，有有效构造分类类器的能力；；可解释性：及及通过训练得得到的分类器器可理解和被被解释的层次次和水平。6.3数据挖掘方法法（续）聚类聚类分析是将将一个数据对对象的集合按按照某种标准准进行划分，，但是要划分分的类是未知知的。一个聚类内部部的数据对象象按照该标准准具有极高的的相似性，而而类与类之间间的数据对象象的相似性很很低。如猫猫和狗、动物物和植物。聚类分析软件件：SPSS、SAS等。6.3数据挖掘方法法（续）聚类（续）聚类的局限性性对数据要求严严，要聚类结结果要明确，，就需分离度度很好的数据据。所有聚类方法法分析的仅是是简单的一对对一的关系，，可能忽视商商务和经济系系统多因素和和非线性的特特点。6.3数据挖掘方法法（续）关联规则大规模客户交交易数据库中中会存在着数数据项之间所所潜在的相互互关系的知识识模式。如“年轻顾客客会购买Levi’s牛仔裤”，““购买《信息系统》一书的顾客经经常会购买《C语言》一书”等。关联规则挖掘掘已经成为商商务智能中引引人注目且发发展相当迅速速的分支。6.4复杂类型数据据挖掘空间数据挖掘掘空间数据包括括：地图，遥遥感图片，医医学图像等。。空间数据的特特点包括距离、位位置、色块、、气温等信息息。通常按按照复复杂、、多维维的空空间索索引结结构组组织数数据。。6.4复杂类类型数数据挖挖掘（（续））空间数数据挖挖掘（（续））空间数数据挖挖掘是是指对对空间间中非非显式式存在在的知知识、、空间间关系系或其其他有有意义义的模模式等等进行行提取取，需需要综综合数数据挖挖掘与与空间间数据据库技技术。。例如，，通过过对地地质断断裂带带应力力分析析可以以推断断出哪哪些地地方近近期发发生地地震的的概率率较高高，这这个挖挖掘过过程中中，不不但需需要对对地址址断裂裂带的的地理理位置置数据据进行行处理理，还还需要要结合合地震震历史史数据据和时时间数数据进进行挖挖掘。。6.4复杂类类型数数据挖挖掘（（续））多媒体体数据据挖掘掘多媒体体数据据包括括：音音频数数据、、视频频数据据、图图像数数据等等。典型的的多媒媒体数数据库库系统统包括括GoogleEarth，百度度图像像，人人类基基因数数据库库等。。如在反反恐档档案和和追踪踪系统统中，，应用用恐怖怖份子子图像像查询询和搜搜索，，音频频匹配配与语语音识识别等等方面面。6.4复杂类类型数数据挖挖掘（（续））时序数数据和和序列列数据据挖掘掘时序数数据库库是指指由随随时间间变化化的序序列值值或事事件组组成的的数据据库，，即每每个数数据对对象都都有一一个相相应的的时间间属性性值。。如，，股票票市场场的每每日行行情等等。时序数数据库库和序序列数数据库库挖掘掘的主主要内内容包包括趋趋势分分析，，相似似性搜搜索以以及序序列模模式挖挖掘。。6.4复杂类类型数数据挖挖掘（（续））文本数数据挖挖掘文本数数据来来自各各种数数据源源，如如新闻闻文章章、研研究论论文、、电子子书籍籍、电电子邮邮件和和Web页面等等。文本数数据库库中存存储最最多的的数据据是半半结构构化数数据，，它既既不是是完全全结构构化的的也不不是完完全无无结构构。例如，，一个个电子子邮件件中即即包括括标题题、作作者、、出版版日期期、长长度和和时间间等结结构化化数据据，也也会包包含大大量非非结构构化数数据内内容，，如内内容文文本和和摘要要等。。Google和百度度搜索索引擎擎就是是典型型的文文本挖挖掘的的系统统应用用。6.4复杂类类型数数据挖挖掘（（续））网络挖挖掘网络数数据特特点：：复杂杂性更更大，，网络络数据据具有有极强强的动动态性性，用用户需需求多多种多多样。。网络数数据挖挖掘应应用网页有有效排排序链接结结构挖挖掘Web文档的的自动动分类类和组组织Web记录挖挖掘6.5商务智智能应应用与与发展展趋势势商务智智能的的决策策考量量应用商商务智智能需需要考考虑的的因素素要根据据企业业自身身的特特点考考虑是是否应应用商商务智智能技技术，，以及及构建建怎样样的商商务智智能系系统，，切忌忌盲目目跟风风；树立立商商务务智智能能技技术术应应用用的的成成本本收收益益观观，，切切不不可可盲盲目目认认为为只只要要构构建建了了自自己己的的商商务务智智能能系系统统，，就就会会获获得得““一一本本万万利利””的的效效果果；；应用用商商务务智智能能技技术术既既要要充充分分考考虑虑技技术术因因素素，，还还要要注注重重相相应应企企业业文文化化及及理理念念的的培培育育；；建立完善善的企业业信息系系统，做做好实施施商务智智能的基基础性工工作。6.5商务智能能应用与与发展趋趋势（续续）商务智能能系统框框架和产产品商务智能能和数据据挖掘工工具分类类：通用单任任务类通用多任任务类（（最常常用）面向专门门领域类类6.5商务智能能应用与与发展趋趋势（续续）商务智能能系统框框架和产产品（续续）图6‑1商务智能能系统架架构示意意图6.5商务智能能应用与与发展趋趋势（续续）商务智能能的应用用（1）金融数数据挖掘掘与商务务智能利用分类类分析方方法对贷贷款偿还还进行预预测，利利用回归归分析方方法对收收益率进进行预测测，利用用聚类和和分类方方法对目目标市场场客户进进行分析析和归类类；利用用关联规规则分析析方法对对金融欺欺诈进行行分析，，等等。。6.5商务智能能应用与与发展趋趋势（续续）商务智能的应应用（续）（2）营销与客户户关系管理利用聚类和分分类分析方法法识别顾客购购买行为，利利用关联规则则分析发现顾顾客购买模式式，利用序列列分析发现顾顾客购买趋势势，利用分类类分析方法对对顾客忠诚进进行分析，等等等。（3）电信业中的的数据挖掘利用聚类分析析方法对盗用用和异常模式式进行分析，，利用序列分分析方法对通通讯模式进行行分析，利用用关联规则方方法对客户行行为模式进行行分析6.5商务智能应用用与发展趋势势（续）商务智能的发发展趋势商务智能技术术标准商务智能系统统如要得到发发展，目前面面临的一个瓶瓶颈就是缺乏乏技术标准。。各大主流商务务智能厂商，，如IBM，Oracle，SAS，BusinessObjects等都不断推出出自己的商务务智能系统，，所采用的技技术标准差异异很大。有些学者提出出了类似SQL的DMQL语言等技术标标准，试图推推动商务智能能技