大数据分析方法

1大数据是的时髦词汇，正受到越来越多人的关注和谈论。大数据之因此受到人们的关注和谈论，是由于隐藏在大数据背面超千亿美元的市场机会。大数据时代，数据挖掘是最关键的工作。如下内容供个人学习用，感爱好的朋友可以看一下。智库百科是这样描述数据挖掘的“数据挖掘又称数据库中的知识发现，是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程，它重要基于人工智能、机器学习、模式识别、记录学、数据库、可视化技术等，高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，协助决策者调整市场方略，减少风险，做出对的的决策。数据挖掘的定义技术上的定义及含义数据挖掘(DataMining)就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不懂得的、但又是潜在有用的信息和知识的过程。这个定义包括好几层含义：数据源必须是真实的、大量的、含噪声的;发现的是顾客感爱好的知识;发现的知识要可接受、可理解、可运用;并不规定发现放之四海皆准的知识，仅支持特定的发现问题。与数据挖掘相近的同义词有数据融合、人工智能、商务智能、模式识别、机器学习、知识发现、数据分析和决策支持等。----何为知识从广义上理解，数据、信息也是知识的体现形式，不过人们更把概念、规则、模式、规律和约束等看作知识。人们把数据看作是形成知识的源泉，仿佛从矿石中采矿或淘金同样。原始数据可以是构造化的，如关系数据库中的数据;也可以是半构造化的，如文本、图形和图像数据;甚至是分布在网络上的异构型数据。发现知识的措施可以是数学的，也可以是非数学的;可以是演绎的，也可以是归纳的。发现的知识可以被用于信息管理，查询优化，决策支持和过程控制等，还可以用于数据自身的维护。因此，数据挖掘是一门交叉学科，它把人们对数据的应用从低层次的简朴查询，提高到从数据中挖掘知识，提供决策支持。在这种需求牵引下，汇聚了不一样领域的研究者，尤其是数据库技术、人工智能技术、数理记录、可视化技术、并行计算等方面的学者和工程技术人员，投身到数据挖掘这一新兴的研究领域，形成新的技术热点。这里所说的知识发现，不是规定发现放之四海而皆准的真理，也不是要去发现崭新的自然科学定理和纯数学公式，更不是什么机器定理证明。实际上，所有发现的知识都是相对的，是有特定前提和约束条件，面向特定领域的，同步还要可以易于被顾客理解。最佳能用自然语言体现所发现的成果。商业角度的定义数据挖掘是一种新的商业信息处理技术，其重要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。简而言之，数据挖掘其实是一类深层次的数据分析措施。数据分析自身已经有很数年的历史，只不过在过去数据搜集和分析的目的是用于科学研究，此外，由于当时计算能力的限制，对大数据量进行分析的复杂数据分析措施受到很大限制。目前，由于各行业业务自动化的实现，商业领域产生了大量的业务数据，这些数据不再是为了分析的目的而搜集的，而是由于纯机会的(Opportunistic)商业运作而产生。分析这些数据也不再是单纯为了研究的需要，更重要是为商业决策提供真正有价值的信息，进而获得利润。但所有企业面临的一种共同问题是：企业数据量非常大，而其中真正有价值的信息却很少，因此从大量的数据中通过深层分析，获得有助于商业运作、提高竞争力的信息，就像从矿石中淘金同样，数据挖掘也因此而得名。因此，数据挖掘可以描述为：按企业既定业务目的，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证已知的规律性，并深入将其模型化的先进有效的措施。数据挖掘常用的措施运用数据挖掘进行数据分析常用的措施重要有分类、回归分析、聚类、关联规则、特性、变化和偏差分析、Web页挖掘等，它们分别从不一样的角度对数据进行挖掘。①分类。分类是找出数据库中一组数据对象的共同特点并按照分类模式将其划分为不一样的类，其目的是通过度类模型，将数据库中的数据项映射到某个给定的类别。它可以应用到客户的分类、客户的属性和特性分析、客户满意度分析、客户的购置趋势预测等，如一种汽车零售商将客户按照对汽车的喜好划提成不一样的类，这样营销人员就可以将新型汽车的广告手册直接邮寄到有这种喜好的客户手中，从而大大增长了商业机会。②回归分析。回归分析措施反应的是事务数据库中属性值在时间上的特性，产生一种将数据项映射到一种实值预测变量的函数，发现变量或属性间的依赖关系，其重要研究问题包括数据序列的趋势特性、数据序列的预测以及数据间的有关关系等。它可以应用到市场营销的各个方面，如客户寻求、保持和防止客户流失活动、产品生命周期分析、销售趋势预测及有针对性的促销活动等。③聚类。聚类分析是把一组数据按摄影似性和差异性分为几种类别，其目的是使得属于同一类别的数据间的相似性尽量大，不一样类别中的数据间的相似性尽量小。它可以应用到客户群体的分类、客户背景分析、客户购置趋势预测、市场的细分等。④关联规则。关联规则是描述数据库中数据项之间所存在的关系的规则，即根据一种事务中某些项的出现可导出另某些项在同一事务中也出现，即隐藏在数据间的关联或互相关系。在客户关系管理中，通过对企业的客户数据库里的大量数据进行挖掘，可以从大量的记录中发既有趣的关联关系，找出影响市场营销效果的关键原因，为产品定位、定价与定制客户群，客户寻求、细分与保持，市场营销与推销，营销风险评估和诈骗预测等决策支持提供参照根据。⑤特性。特性分析是从数据库中的一组数据中提取出有关这些数据的特性式，这些特性式体现了该数据集的总体特性。如营销人员通过对客户流失原因的特性提取，可以得到导致客户流失的一系列原因和重要特性，运用这些特性可以有效地防止客户的流失。⑥变化和偏差分析。偏差包括很大一类潜在有趣的知识，如分类中的反常实例，模式的例外，观测成果对期望的偏差等，其目的是寻找观测成果与参照量之间故意义的差异。在企业危机管理及其预警中，管理者更感爱好的是那些意外规则。意外规则的挖掘可以应用到多种异常信息的发现、分析、识别、评价和预警等方面。⑦Web页挖掘。伴随Internet的迅速发展及Web的全球普及，使得Web上的信息量无比丰富，通过对Web的挖掘，可以运用Web的海量数据进行分析，搜集政治、经济、政策、科技、金融、多种市场、竞争对手、供求信息、客户等有关的信息，集中精力分析和处理那些对企业有重大或潜在重大影响的外部环境信息和内部经营信息，并根据分析成果找出企业管理过程中出现的多种问题和也许引起危机的先兆，对这些信息进行分析和处理，以便识别、分析、评价和管理危机。数据挖掘的功能数据挖掘通过预测未来趋势及行为，做出前摄的、基于知识的决策。数据挖掘的目的是从数据库中发现隐含的、故意义的知识，重要有如下五类功能。1、自动预测趋势和行为数据挖掘自动在大型数据库中寻找预测性信息，以往需要进行大量手工分析的问题如今可以迅速直接由数据自身得出结论。一种经典的例子是市场预测问题，数据挖掘使用过去有关促销的数据来寻找未来投资中回报最大的顾客，其他可预测的问题包括预报破产以及认定对指定事件最也许作出反应的群体。2、关联分析数据关联是数据库中存在的一类重要的可被发现的知识。若两个或多种变量的取值之间存在某种规律性，就称为关联。关联可分为简朴关联、时序关联、因果关联。关联分析的目的是找出数据库中隐藏的关联网。有时并不懂得数据库中数据的关联函数，虽然懂得也是不确定的，因此关联分析生成的规则带有可信度。3、聚类数据库中的记录可被化分为一系列故意义的子集，即聚类。聚类增强了人们对客观现实的认识，是概念描述和偏差分析的先决条件。聚类技术重要包括老式的模式识别措施和数学分类学。80年代初，Mchalski提出了概念聚类技术牞其要点是，在划分对象时不仅考虑对象之间的距离，还规定划分出的类具有某种内涵描述，从而防止了老式技术的某些片面性。4、概念描述概念描述就是对某类对象的内涵进行描述，并概括此类对象的有关特性。概念描述分为特性性描述和区别性描述，前者描述某类对象的共同特性，后者描述不一样类对象之间的区别。生成一种类的特性性描述只波及该类对象中所有对象的共性。生成区别性描述的措施诸多，如决策树措施、遗传算法等。5、偏差检测数据库中的数据常有某些异常记录，从数据库中检测这些偏差很故意义。偏差包括诸多潜在的知识，如分类中的反常实例、不满足规则的特例、观测成果与模型预测值的偏差、量值随时间的变化等。偏差检测的基本措施是，寻找观测成果与参照值之间故意义的差异。数据挖掘与老式分析措施的区别数据挖掘与老式的数据分析(如查询、报表、联机应用分析)的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识.数据挖掘所得到的信息应具有先未知,有效和可实用三个特性.先前未知的信息是指该信息是预先未曾预料到的,既数据挖掘是要发现那些不能靠直觉发现的信息或知识,甚至是违反直觉的信息或知识,挖掘出的信息越是出乎意料,就也许越有价值.在商业应用中最经典的例子就是一家连锁店通过数据挖掘发现了小孩尿布和啤酒之间有着惊人的联络。数据挖掘应用1、数据挖掘处理的经典商业问题需要强调的是，数据挖掘技术从一开始就是面向应用的。目前，在诸多领域，数据挖掘(datamining)都是一种很时髦的词，尤其是在如银行、电信、保险、交通、零售(如超级市场)等商业领域。数据挖掘所能处理的经典商业问题包括：数据库营销(DatabaseMarketing)、客户群体划分(CustomerSegmentation&Classification)、背景分析(ProfileAnalysis)、交叉销售(Cross-selling)等市场分析行为，以及客户流失性分析(ChurnAnalysis)、客户信用记分(CreditScoring)、欺诈发现(FraudDetection)等等。2、数据挖掘在市场营销的应用数据挖掘技术在企业市场营销中得到了比较普遍的应用，它是以市场营销学的市场细分原理为基础，其基本假定是“消费者过去的行为是其此后消费倾向的最佳阐明”。通过搜集、加工和处理波及消费者消费行为的大量信息，确定特定消费群体或个体的爱好、消费习惯、消费倾向和消费需求，进而推断出对应消费群体或个体下一步的消费行为，然后以此为基础，对所识别出来的消费群体进行特定内容的定向营销，这与老式的不辨别消费者对象特性的大规模营销手段相比，大大节省了营销成本，提高了营销效果，从而为企业带来更多的利润。商业消费信息来自市场中的多种渠道。例如，每当我们用信用卡消费时，商业企业就可以在信用卡结算过程搜集商业消费信息，记录下我们进行消费的时间、地点、感爱好的商品或服务、乐意接受的价格水平和支付能力等数据;当我们在申办信用卡、办理汽车驾驶执照、填写商品保修单等其他需要填写表格的场所时，我们的个人信息就存入了对应的业务数据库;企业除了自行搜集有关业务信息之外，甚至可以从其他企业或机构购置此类信息为自己所用。这些来自多种渠道的数据信息被组合，应用超级计算机、并行处理、神经元网络、模型化算法和其他信息处理技术手段进行处理，从中得到商家用于向特定消费群体或个体进行定向营销的决策信息。这种数据信息是怎样应用的呢?举一种简朴的例子，当银行通过对业务数据进行挖掘后，发现一种银行帐户持有者忽然规定申请双人联合帐户时，并且确认该消费者是第一次申请联合帐户，银行会推断该顾客也许要结婚了，它就会向该顾客定向推销用于购置房屋、支付子女学费等长期投资业务，银行甚至也许将该信息卖给专营婚庆商品和服务的企业。数据挖掘构筑竞争优势。在市场经济比较发达的国家和地区，许多企业都开始在原有信息系统的基础上通过数据挖掘对业务信息进行深加工，以构筑自己的竞争优势，扩大自己的营业额。美国运通企业(AmericanExpress)有一种用于记录信用卡业务的数据库，数据量到达54亿字符，并仍在伴随业务进展不停更新。运通企业通过对这些数据进行挖掘，制定了“关联结算(RelationshipBilling)优惠”的促销方略，即假如一种顾客在一种商店用运通卡购置一套时装，那么在同一种商店再买一双鞋，就可以得到比较大的折扣，这样既可以增长商店的销售量，也可以增长运通卡在该商店的使用率。再如，居住在伦敦的持卡消费者假如近来刚刚乘英国航空企业的航班去过巴黎，那么他也许会得到一种周末前去纽约的机票打折优惠卡。基于数据挖掘的营销，常常可以向消费者发出与其此前的消费行为有关的推销材料。卡夫(Kraft)食品企业建立了一种拥有3000万客户资料的数据库，数据库是通过搜集对企业发出的优惠券等其他促销手段作出积极反应的客户和销售记录而建立起来的，卡夫企业通过数据挖掘理解特定客户的爱好和口味，并以此为基础向他们发送特定产品的优惠券，并为他们推荐符合客户口味和健康状况的卡夫产品食谱。美国的读者文摘(Reader'sDigest)出版企业运行着一种积累了40年的业务数据库，其中容纳有遍及全球的一亿多种订户的资料，数据库每天24小时持续运行，保证数据不停得到实时的更新，正是基于对客户资料数据库进行数据挖掘的优势，使读者文摘出版企业可以从通俗杂志扩展到专业杂志、书刊和声像制品的出版和发行业务，极大地扩展了自己的业务。基于数据挖掘的营销对我国目前的市场竞争中也很具有启发意义，我们常常可以看到繁华商业街上某些厂商对来往行人不分对象地散发大量商品宣传广告，其成果是不需要的人随手丢弃资料，而需要的人并不一定可以得到。假如搞家电维修服务的企业向在商店中刚刚购置家电的消费者邮寄维修服务广告，卖特效药物的厂商向医院特定门诊就医的病人邮寄广告，肯定会比漫无目的的营销效果要好得多。数据挖掘在企业危机管理中的应用危机管理是管理领域新出现的一种热点研究领域，它是以市场竞争中危机的出现为研究起点，分析企业危机产生的原因和过程，研究企业防止危机、应付危机、处理危机的手段和方略，以增强企业的免疫力、应变力和竞争力，使管理者可以及时精确地获取所需要的信息，迅速捕捉到企业也许发生危机的一切也许事件和先兆，进而采用有效的规避措施，在危机发生之前对其进行控制，趋利避害，从而使企业可以适应迅速变化的市场环境，保持长期的竞争优势。不过由于危机产生的原因复杂，种类繁多，许多原因难以量化，并且危机管理中带有大量不确定原因的半构造化问题和非构造化问题，诸多原因由于没有历史数据和对应的记录资料，很难进行科学地计算和评估，因此需要应用其他技术和措施来加强企业的危机管理工作。伴随计算机技术、网络技术、通讯技术、Internet技术的迅速发展和电子商务、办公自动化、管理信息系统、Internet的普及等，企业业务操作流程日益自动化，企业经营过程中产生了大量的数据，这些数据和由此产生的信息是企业的宝贵财富，它如实地记录着企业经营的本质状况。不过面对如此大量的数据，老式的数据分析措施，如数据检索、记录分析等只能获得数据的表层信息，不能获得其内在的、深层次的信息，管理者面临着数据丰富而知识贫乏的困境。怎样从这些数据中挖掘出对企业经营决策有用的知识是非常重要的，数据挖掘便是为适应这种需要应运而生的。数据挖掘是一种新的信息处理技术，其重要特点是对企业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助经营决策的关键性数据，它在企业危机管理中得到了比较普遍的应用，详细可以应用到如下几种方面。1.运用Web页挖掘搜集外部环境信息信息是危机管理的关键原因。在危机管理过程中，可以运用Web页挖掘技术对企业外部环境信息进行搜集、整顿和分析，尽量地搜集政治、经济、政策、科技、金融、多种市场、竞争对手、供求信息、消费者等与企业发展有关的信息，集中精力分析处理那些对企业发展有重大或潜在重大影响的外部环境信息，抓住转瞬即逝的市场机遇，获得企业危机的先兆信息，采用有效措施规避危机，促使企业健康、持续地发展。2.运用数据挖掘分析企业经营信息运用数据挖掘技术、数据仓库技术和联机分析技术，管理者可以充足运用企业数据仓库中的海量数据进行分析，并根据分析成果找出企业经营过程中出现的多种问题和也许引起危机的先兆，如经营不善、观念滞后、产品失败、战略决策失误、财务危机等内部原因引起企业人、财、物、产、供、销的相对友好平衡体遭到重大破坏，对企业的生存、发展构成严重威胁的信息，及时做出对的的决策，调整经营战略，以适应不停变化的市场需求。3.运用数据挖掘识别、分析和防止危机危机管理的精髓在于防止。运用数据挖掘技术对企业经营的各方面的风险、威胁和危险进行识别和分析，如产品质量和责任、环境、健康和人身安全、财务、营销、自然灾害、经营欺诈、人员及计算机故障等，对每一种风险进行分类，并决定怎样管理各类风险;精确地预测企业所面临的多种风险，并对每一种风险、威胁和危险的大小及发生概率进行评价，建立各类风险管理的优先次序，以有限的资源、时间和资金来管理最严重的一种或某几类风险;制定危机管理的方略和措施，确定危机应急计划和危机管理队伍，做好危机防止工作。4.运用数据挖掘技术改善客户关系管理客户满意度历来就是衡量一种企业服务质量好坏的重要尺度，尤其是当客户的反馈意见具有广泛效应的时候更是如此。目前诸多企业运用营销中心、新闻组、BBS以及呼喊中心等搜集客户的投诉和意见，并对这些投诉和意见进行分析，以发现客户关系管理中存在的问题，假如有足够多的客户都在埋怨同一种问题，管理者就有理由对其展开调查，为企业及时捕捉到发生危机的一切也许事件和先兆，从而挽救客户关系，防止经营危机。5.运用数据挖掘进行信用风险分析和欺诈甄别客户信用风险分析和欺诈行为预测对企业的财务安全是非常重要的，使用企业信息系统中数据库的数据，运用数据挖掘中的变化和偏差分析技术进行客户信用风险分析和欺诈行为预测，分析这些风险为何会发生?哪些原因会导致这些风险?这些风险重要来自于何处?怎样预测到也许发生的风险?采用何种措施减少风险的发生?通过评价这些风险的严重性、发生的也许性及控制这些风险的成本，汇总对多种风险的评价成果，进而建立一套信用风险管理的战略和监督体系，设计并完善信用