版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
大数据背景下统计软件在数据分析中的应用主讲人:李茂华金融学博士、副教授、企业社会责任研究中心主任时间:2019.8.17CDA数据分析师(严谨课程体系+专业师资团队+优质服务体验,学数据分析就学CDA!)数据分析师主题分享课背景介绍大数据简介大数据下数据分析CDA数据分析师CDA数据分析师(严谨课程体系+专业师资团队+优质服务体验,学数据分析就学CDA!)2015年使大数据政策顶层设计年,2016年是大数据政策细化落地年,国家发改委、环保部、工信部、国家林业局、农业部等均推出大数据发展意见和方案。排名文件名称发文单位发文时间1《大数据产业发展规划(2016-2020年)》工信部2016-12-302《关于促进和规范健康医疗大数据应用发展的指导意见》国务院2016-06-243《农业农村大数据试点方案》农业部2016-10-144《关于推进交通运输行业数据资源开放和共享的实施意见》交通部2016-09-025《关于加快中国林业大数据发展的指导意见》林业局2016-07-136《关于推进全国发展改革系统大数据工作的指导意见》国家发革委2016-09-097《生态环境大数据建设总体方案》环保部2016-03-088《促进大数据发展三年工作方案(2016-2018)》国家发革委2016-04-139《促进国土资源大数据应用发展实施意见》国土资源部2016-07-04大数据背景CDA数据分析师(严谨课程体系+专业师资团队+优质服务体验,学数据分析就学CDA!)CDA数据分析师(严谨课程体系+专业师资团队+优质服务体验,学数据分析就学CDA!)4百度地图的定位数据大数据背景故事Facebook泄密与川普胜选微信的兴起朋友圈3天可见CDA数据分析师(严谨课程体系+专业师资团队+优质服务体验,学数据分析就学CDA!)大数据概述比较学术的说法是“大数据”是指以多元形式,自许多来源搜集而来的庞大数据组,往往具有实时性。在企业对企业销售的情况下,这些数据可能得自社交网络、电子商务网站、顾客来访纪录,还有许多其他来源。这些数据,并非公司顾客关系管理数据库的常态数据组。现在越来越多的人喜欢网上购物,人们通过各种APP在网上选择商品,那么APP每天都会面对几万几十万,甚至更多的信息,每个人的信息都要存储,简而言之,大数据就是这些存储的信息。CDA数据分析师(严谨课程体系+专业师资团队+优质服务体验,学数据分析就学CDA!)如何理解大数据时代大数据时代的是信息的集中存储,集中分析,集中处理的一个时代,我们每一个人都是一个构成部分,一个人的电话,住址,性别,兴趣,需求等,和几千人的汇集在一起就是大的数据,如何存储,分析和处理,关系到一个企业的生死存亡。大数据的价值体现在以下几个方面:1)2)3)对大量消费者提供产品或服务的企业可以利用大数据进行精准营销。企业可以利用大数据做服务转型。面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值。总结:对于消费者来说仅仅是大数据里的一员,对于企业来说,如何使用大数据才是关键。CDA数据分析师(严谨课程体系+专业师资团队+优质服务体验,学数据分析就学CDA!)大数据的本质大数据并不神秘,本质就是由于计算机软件硬件的发展,各种数据大量而且迅速的汇总起来的信息。服务者希望通过技术手段对这些信息加以分析利用,所起的一个顺应时代的名字而已。CDA数据分析师(严谨课程体系+专业师资团队+优质服务体验,学数据分析就学CDA!)大数据的“大”体现:数据量大结构复杂数据类型多CDA数据分析师(严谨课程体系+专业师资团队+优质服务体验,学数据分析就学CDA!)大数据的基本特征10用4个V来总结:Volume、Variety、Value和Velocity①数据体量大:从
TB级别,跃升到
PB②数据多样性:多为非结构型数据,如网络日志、视频、图片、地理位置信息③价值密度低:以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒④速度快:产生了大量的高速动态数据流,对数据流的实时分析与处理要求不断增加,数据处理的越及时,产生的价值越大。CDA数据分析师(严谨课程体系+专业师资团队+优质服务体验,学数据分析就学CDA!)大数据背景下数据分析数据挖掘数据清洗网络爬虫数据探索CDA数据分析师(严谨课程体系+专业师资团队+优质服务体验,学数据分析就学CDA!)数据挖掘:Data
Mining一般流程12CDA数据分析师(严谨课程体系+专业师资团队+优质服务体验,学数据分析就学CDA!)1.数据清洗现实世界的数据一般是不完整的、有噪声的和不一致的。数据清理例程试图填充缺失的值,光滑噪声并识别离群点,纠正数据中的不一致。(1)缺失值处理①忽略元组:当缺少类标号时通常这样做。除非元组有多个属性缺少值,否则该方法不是很有效。②人工填写缺失值:一般情况下,该方法很费时。③使用一个全局常量填充缺失值:将缺失值用同一个常数(如Unknown或﹣∞)替换。如果缺失值都用Unknown替换,则挖掘程序可能误认为它们形成了一个有趣的概念,因为它们都具有相同的值“Unknown”。因此此方法虽然简单但不可靠。④使用属性的均值填充缺失值:例如,假定顾客的平均收入为56000美元,则使用该值替换income中的缺失值。⑤使用与给定元组属同一类的所有样本的属性均值,例如,将顾客按credit_risk分类,则用具有相同信用度给定元组的顾客的平均收入替换income中的缺失值。⑥使用最可能的值填充缺失值:可以用回归、使用贝叶斯形式化的基于推理的工具或决策树归纳确定。例如,利用数据集中其他顾客的属性,可以构造一棵决策树来预测income的缺失值。(2)噪声数据处理噪声(noise)是被测量的变量的随机误差或方差。给定一个数值属性(如price),怎样才能光滑数据,去掉噪声?下面介绍数据光滑技术。①分箱(binning):分箱方法通过考察数据的“近邻”来光滑有序数据的值。有序值分布到一些桶或箱中。由于分箱方法考察近邻的值,因此是对数据进行局部光滑。例如:price排序后数据(美元):4,8,15,21,21,24,25,28,34划分为(等频)箱:箱1:4,8,15箱2:21,21,24箱3:25,28,34用箱均值光滑:箱1:9,9,9箱2:22,22,22箱3:29,29,29用箱边界光滑:箱1:4,4,15箱2:21,21,24箱3:25,25,34②回归:可以用一个函数(如回归函数)拟合数据来光滑数据。③聚类:可以通过聚类检测离群点,将类似的值组织成群或簇。直观地,落在簇集合之外的值视为离群点。(3)数据不一致的处理作为一位数据分析人员,应当警惕编码使用的不一致问题和数据表示的不一致问题(如日期“2004/12/25”和“25/12/2004”)。字段过载(field
overloading)是另一种错误源,通常是由如下原因导致:开发者将新属性的定义挤压到已经定义的属性的未使用(位)部分(例如,使用一个属性未使用的位,该属性取值已经使用了32位中的31位)。清洗工具ETL(Extraction/Transformation/Loading)Potter‘sWheel(/abc)2.数据集成数据分析任务多半涉及数据集成。数据集成是指将多个数据源中的数据合并并存放到一个一致的数据存储(如数据仓库)中。这些数据源可能包括多个数据库、数据立方体或一般文件。在数据集成时,有许多问题需要考虑。模式集成和对象匹配可能需要技巧。来自多个信息源的现实世界的等价实体如何才能匹配?这涉及实体识别问题。例如,数据分析者或计算机如何才能确信一个数据库中的customer_id和另一个数据库中的cust_number指的是相同的属
性?每个属性的元数据包括名字、含义、数据类型和属性的允许取值范围,以及处理空白、零或null值的空值规则。这样的元数据可以用来帮助避免模式集成的错误。元数据还可以用来帮助变换数据(例如,pay_type的数据编码在一个数据库中可以是“H”和“S”,而在另一个数据库中是1和2)。因此,这一步也与前面介绍的数据清理有
关。另外冗余也是一个重要问题。一个属性可能是冗余的,如果它能由另一个或另一组属性导出。属性或维命名的不一致也可能导致结果数据集中的冗余。有些冗余可以被相关分析检测到。注意,相关并不意味因果关系。也就是说,如果A和B是相关的,这并不意味着A导致B或B导致A。例如,在分析人口统计数据库时,可能发现一个地区的医院数与汽车盗窃数是相关的,但这并不意味一个导致另一个。实际上,二者必然地关联到第三个属性:人口。对于分类(离散)数据,两个属性A和B之间的相关联系可以通过卡方检验发现。除了检测属性间的冗余外,还应当在元组级检测重复。去规范化表(denormalized
table)的使用是数据冗余的另一个来源。数据集成的第三个重要问题是数据值冲突的检测与处理。例如,对于现实世界的同一实体,来自不同数据源的属性值可能不同。这可能是因为表示方法、比例或编码不同。例如,重量属性可能在一个系统中以公制单位存放,而在另一个系统中以英制单位存放。对于连锁旅馆,不同城市的房价不仅可能涉及不同货币,而且可能涉及不同的服务(如免费早餐)和税。3.数据变换数据变换是指将数据转换或统一成适合于挖掘的形式。(1)数据泛化:使用概念分层,用高层概念替换低层或“原始”数据。例如,分类的属性,如街道,可以泛化为较高层的概念,如城市或国家。类似地,数值属性如年龄,可以映射到较高层概念如青年、中年和老年。(2)规范化:将属性数据按比例缩放,使之落入一个小的特定区间。大致可分三种:最小最大规范化、z-score规范化和按小数定标规范化。(3)属性构造:可以构造新的属性并添加到属性集中,以帮助挖掘过程。例如,可能希望根据属性height和width添加属性area。通过属性构造可以发现关于数据属性间联系的丢失信息,这对知识发现是有用的。4.数据归约(1)数据立方体聚集:聚集操作用于数据立方体结构中的数据。(2)属性子集选择:通过删除不相关或冗余的属性(或维)减小数据集。属性子集选择的目标是找出最小属性集,使得数据类的概率分布尽可能地接近使用所有属性得到的原分布。对于属性子集选择,一般使用压缩搜索空间的启发式算法。通常,这些方法是贪心算法,在搜索属性空间时,总是做看上去当时最佳的选择。策略是做局部最优选择,期望由此导致全局最优解。在实践中,这种贪心算法是有效地,并可以逼近最优解。①逐步向前选择:该过程由空属性集作为归约集开始,确定原属性集中最好的属性,并将它添加到归约集中。在其后的每一次迭代步,将剩下的原属性集中最好的属性添加到该集合中。②逐步向后删除:该过程由整个属性集开始。在每一步,删除尚在属性集中最差的属性。③向前选择和向后删除的结合④决策树归纳:决策树算法,如ID3、C4.5和CART最初是用于分类的。决策树归纳构造一个类似于流程图的结构,其中每个内部(非树叶)节点表示一个属性的测试,每个分枝对应于测试的一个输数据清洗&数据探索数据清洗异常值判别缺失值处理数据结构统一数据收集的方法多种多样。在对收集的数据进行分析前,要明确数据类型、规模,对数据有初步理解,同时要对数据中的“噪声”进行处理,以支持后续数据建模。数据探索特征描述分布推断结构优化数据探索数据清洗数据清洗和数据探索通常交互进行数据探索有助于选择数据清洗方法数据清洗后可以更有效的进行数据探索CDA数据分析师(严谨课程体系+专业师资团队+优质服务体验,学数据分析就学CDA!)出;每个外部(树叶)节点表示一个类预测。在每个节点,算法选择最好的属性,将数据划分成类。(3)维度归约:使用编码机制减小数据集的规模,例如:小波变换众众数数::出现次数最多的变量值,不受极端值的影响,主要用于类别数据,也可用于顺序数据和数值型数据中中位位数数/四四分分位位数数::排序后处于中间位置或25%和75%位置上的变量值,主要用于顺序数据、数值型数据,但不能用于分类数据
均均值值::一组数据的均衡点所在,体现数据必然性特征,易受极端值的影响,用于数值型数据,不能用于分类数据和顺序数据
离散系数:标准差与其相应的均值之比数据特征描述中心位置图D形ia特gr征am3分Di散ag程ra度am2中心位置众数中位数/四分位数均值分散程度方差和标准差极差、四分位差标准分数z-score离散系数图形特征·
偏度数据分布偏斜程度的测度左偏分布
右偏分布
·
峰度数据分布扁平程度的测度扁平分布尖峰分布CDA数据分析师(严谨课程体系+专业师资团队+优质服务体验,学数据分析就学CDA!)现代数据分析是对商务智能的进一步拓展和延伸,随着云计算、大数据、移动分析等新兴技术的出现,以及数据挖掘技术的不断成熟,数据分析将迎来更多的机遇与挑战数据挖掘:从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程大数据背景下数据分析过程一系列以事实为支持,辅助商业决策的技术和方法,曾用名包括专家系统、智能决策等一般由数据仓库、联机分析处理、数据挖掘、数据备份和恢复等部分组成对数据分析的体系化管理,数据分析的主体依然是数据挖掘结构分析分组分析杜邦分析预警分析……常规分析揭示数据之间的静态关系分析过程滞后对数据质量要求高商务智能数据挖掘大数据技术数据可视化统计学和计算机技术等多学科的结合揭示数据之间隐藏的关系将数据分析的范围从“已知”扩展到“未知”,从“过去”推向“将来”从多种类型的数据中,快速获取知识的能力数据挖掘技术的衍生大数据时代,展示数据可以更好辅助理解数据、演绎数据
本文在描述数据分析的流程后,重点介绍通用的数据分析方法和主流的应用工具、软件。随着数据量的不断扩大,数据分析理论正处于飞速发展期,因此本文的方法侧重于基础原理介绍。数据分析CDA数据分析师(严谨课程体系+专业师资团队+优质服务体验,学数据分析就学CDA!)/link?url=Zfoc5Eutj0EQUAnNb7MOJRHNwkAAIJEGU4NuGRIsMbj1
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2024物业维修与科技公司关于智能家居系统改造合同
- 2025年度特种货物运输保险服务协议2篇
- 2024年食品行业分销协议
- 2024牛肉餐饮行业供应与服务合同
- 2024网络云存储服务提供商之间的数据共享与安全保密合同
- 2025年度互联网+农业合作经营合同范本3篇
- 2024版职工劳动合同书模板
- 2025年水稻种植户农产品电商渠道拓展合同3篇
- 2024衣柜墙板吊顶装修工程合同转让与权利义务继承合同
- 二零二四年商业街区铺面长期租赁合同样本3篇
- 高标准基本农田建设规范培训课件
- 血液净化十大安全目标课件
- 鼻窦负压置换疗课件
- 国际森林日森林防火教育宣传主题班会PPT模板
- 药厂质量管理部QA人员岗位设置表
- 剑桥国际少儿英语“第三级”单词默写表
- (精心整理)高中生物必修二非选择题专题训练
- 小学二年级100以内进退位加减法混合运算
- 福建省流动人口信息登记表
- 市委组织部副部长任职表态发言
- HXD1D客运电力机车转向架培训教材
评论
0/150
提交评论