数据与大数据分析ppt课件

.,.,Contents,我们可以做些什么,实操分享,大数据，你从哪来,你是谁,.,中国网民数量：7.51亿半年增长率：2.7%,中国注册网站数量：344.3万个,手机网民：7.236亿占网民总数：96.3%,月均网络交易：16亿笔,每日新发微博数量：1亿+条,注册微博用户数：2.9071亿,发布的网页数量：866亿页年增速：40%,网络直播用户：3.43亿占网民总数：47.1%,.,很多人还没搞清楚什么是PC互联网，移动互联来了；我们还没搞清楚移动互联的时候，大数据时代又来了！马云,.,数据爆炸式的增长,数据资产管理的挑战,需要更高性价比的数据计算与储存方式,需要不同的数据管理策略,01,你从哪里来？,.,数据爆炸式的增长,.,数据资产管理的挑战,数据资产,数据资产管理,传统数据管理方式面临挑战,.,需要更高性价比的数据计算与储存方式,计算更快存储更省,10万GB,10万TB,1Byte=8Bit1KB=1,024Bytes1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB=1,073,741,824Bytes1TB=1,024GB=1,048,576MB=1,099,511,627,776Bytes1PB=1,024TB=1,048,576GB=1,125,899,906,842,624Bytes1EB=1,024PB=1,048,576TB=1,152,921,504,606,846,976Bytes1ZB=1,024EB=1,180,591,620,717,411,303,424Bytes1YB=1,024ZB=1,208,925,819,614,629,174,706,176Bytes,1Bity,1KB,1MB,1GB,1TB,1PB,1EB,1ZB,1YB,.,需要不同的数据管理策略,15%结构化的DB/DW,残缺,当我们想要扩充时，才发觉：架构只能scale-up，scale-out不易处理时间过长，time-to-value受限成本过高，cost-efficiency受限,.,概念（Concept）特征（Features）变革（Change）技术（Technology）,数据库（database）,大数据（bigdata）,你是什么？,02,.,大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据就是“未来的新石油”。,全球信息咨询机构国际数据公司（IDC）对大数据的技术定义是：通过高速捕捉、发现或分析，从大容量数据中获取价值的一种新的技术架构。,所谓“大数据”(bigdata)指的是这样一种现象：一个公司日常运营所生成和积累用户行为数据“增长如此之快，以至于难以使用现有的数据库管理工具来驾驭，困难存在于数据的获取、存储、搜索、共享、分析和可视化等方面。”这些数据量是如此之大，已经不是以我们所熟知的多少G和多少T为单位来衡量，而是以P(1000个T)，E(一百万个T)或Z(10亿个T)为计量单位，所以称之为大数据。,概念,.,数据类型多越来越多非结构化数据；音频、食品，地理位置信息等多类型数据对数据处理能力提出更高要求。,数据价值高海量数据带来了巨大的商业价值。数据之间关联性支持深层的数据挖掘。,大数据的特点-4V理论,数据处理速度快对数据实时处理有着极高的要求，通过传统数据库查询方式得到的“当前结果”很可能已经没有价值。,数据规模大从TB跃升到PB甚至EB。一组公式：1024GB=1TB;1024TB=1PB;1024PB=1EB。,.,。,大数据改变生活,.,IBMC&PIndustry,需求海量数据存储技术实时数据处理技术数据高速传输技术搜索技术,描述分布式文件系统流计算引擎服务器/存储间高速通信文本检索、智能搜索、实时搜索,技术Hadoop，x86/MPPMapReduceStreamingDataInfiniBandEnterpriseSearch,数据分析技术,大数据涉及的关键技术,TextAnalyticsEngine自然语言处理、文本情感分析、VisualDataModeling机器学习、聚类关联、数据模型,.,顾客一次购买商品1面包、黄油、尿布、牛奶2咖啡、糖、小甜饼、鲑鱼3面包、黄油、咖啡、尿布、牛奶、鸡蛋4面包、黄油、鲑鱼、鸡5鸡蛋、面包、黄油6鲑鱼、尿布、牛奶7面包、茶叶、糖、鸡蛋8咖啡、糖、鸡、鸡蛋9面包、尿布、牛奶、盐10茶叶、鸡蛋、小甜饼、尿布、牛奶,顾客一次购买商品1面包、黄油、尿布、牛奶2咖啡、糖、小甜饼、鲑鱼3面包、黄油、咖啡、尿布、牛奶、鸡蛋4面包、黄油、鲑鱼、鸡5鸡蛋、面包、黄油6鲑鱼、尿布、牛奶7面包、茶叶、糖、鸡蛋8咖啡、糖、鸡、鸡蛋9面包、尿布、牛奶、盐10茶叶、鸡蛋、小甜饼、尿布、牛奶,.,概念（Concept）分类（Features）流程（Technologicalprocess）,03,我们可以做些什么？,.,大数据时代的核心价值数据分析,什么是数据分析,.,数据分析有哪些类型,初级数据分析,高级数据分析,.,数据分析的一般环节,.,04,关于数据分析的分享与交流,理论模型统计方法可视化,.,数据分析方法论,.,4P（productpriceplacepromotion）,.,5W2H,.,KANO模型,对顾客的不同需求进行分区处理，帮助团队识别对产品来说较为关键的客户需求层次，尽快完成规划。,兴奋型需求,期望型需求,基本型需求,.,数据分析统计方法,聚类分析,01,回归分析,02,时间序列分析,03,因子分析和主成分分析,04,数据分析软件MATLABSASSpssStataEviewsExcel,.,可视化方法,ECHARTS,EASELY,PPT,附：1、ECHARTS,.,THEEND,.,用户行为理论,用户行为理论的用途较单一，就是用于用户行为研究分析用户使用行为：认知-熟悉-试用-使用-忠诚利用用户行为理论，梳理网站分析的各关键指标之间的逻辑关系，构建符合公司实际业务的网站分析指标体系：,.,ADDYOURTITLEHERE,TEXTHERE,TEXTHERE,TEXTHERE,TEXTHERE,TEXTHERE,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,.,数据分析统计方法,01,02,04,03,聚类分析,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,.,数据分析统计方法聚类分析回归分析因子分析和主成分分析时间序列分析,数据分析软件MATLABSASSpssStataEviewsExcel,.,1.绩效指标必须是具体的（Specific）2.绩效指标必须是可以衡量的（Measurable）3.绩效指标必须是可以达到的（Attainable）4.绩效指标是要与其他目标具有一定的相关性(Relevant)5.绩效指标必须具有明确的截止期限（Time-bound）无论是制定团队的工作目标还是员工的绩效目标都必须符合上述原则，五个原则缺一不可,.,ADDYOURTITLEHERE,MAINIDEAThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,.,03,ADDYOURTITLEHERE,Thisisanexampletext.Goaheadandreplaceit.,.,数据资产管理的挑战,.,数据资产管理的挑战,.,.,.,软件是大数据的引擎,和数据中心（DataCenter）一样，软件是大数据的驱动力.软件改变世界!,.,中央政府对大数据的重视程度,.,零售业,制造业,信息产业,移动通信,金融证券,数据量大,挖掘潜力大,数据意识强,IT基础好,这些产业在大数据分析应用方面具有如下优势：,数据化让产业绩效大幅提升,电子商务,医疗服务,.,ADDYOURTITLEHERE,Thisisanexampletext.Goaheadandreplaceit.01,Thisisanexampletext.Goaheadandreplaceit.02,Thisisanexampletext.Goaheadandreplaceit.03,Thisisanexampletext.Goaheadandreplaceit.04,80%,47%,57%,67%,.,数据分析的一般环节,.,数据分析的一般环节,AADDYOURTEXEHERE,BADDYOURTEXEHERE,CADDYOURTEXEHERE,EADDYOURTEXEHERE,DADDYOURTEXEHERE,.,.,.,在项目投资分析之外，数据分析的价值在企业经营管理上起到更加举足轻重的作用。各种量化的模型、量化分析方法的应用，使数据下面隐藏的规律得以展现，让企业在运营管理上、市场营销上、客户服务体验上，越来越精细化，让企业在激烈的竞争中取胜！,.,数据分析的营销价值-预测消费行为,数据分析的营销价值-优化营销策略,数据分析的营销价值-消费者描述,数据分析的营销价值-个性化营销,数据分析的营销价值-广告精准投放,通过分析以下几个方面的关联性，为消费者推荐具体的产品和内容：产品本身的关联性客户消费习惯的关联性客户喜好的关联性客户品牌的关联性产品价格和价值的关联性客户习性的一致性等等,.,01,什么是大数据,.,数据挖掘,1.从数据中提取出隐含的过去未知的有价值的潜在信息2.从大量数据或者数据库中提取有用信息的科学,典型事例：购物篮分析顾客一次购买商品1面包、黄油、尿布、牛奶2咖啡、糖、小甜饼、鲑鱼3面包、黄油、咖啡、尿布、牛奶、鸡蛋4面包、黄油、鲑鱼、鸡5鸡蛋、面包、黄油6鲑鱼、尿布、牛奶7面包、茶叶、糖、鸡蛋8咖啡、糖、鸡、鸡蛋9面包、尿布、牛奶、盐10茶叶、鸡蛋、小甜饼、尿布、牛奶,.,SocialMedia,Machine/Sensor,DOC/Media,WebClickstream,Apps,CallLog,Log,什么是数据？,半结构化/非结构化数据,.,何为大？数据度量1Byte=8Bit1KB=1,024Bytes1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB=1,073,741,824Bytes1TB=1,024GB=1,048,576MB=1,099,511,627,776Bytes1PB=1,024TB=1,048,576GB=1,125,899,906,842,624Bytes1EB=1,024PB=1,048,576TB=1,152,921,504,606,846,976Bytes1ZB=1,024EB=1,180,591,620,717,411,303,424Bytes1YB=1,024ZB=1,208,925,819,614,629,174,706,176Bytes,什么是大数据？,.,数据分析的流程,.,ADDYOURTITLEHERE,THETITLEADDYOURTITLEHEREADDYOURTITLEHEREADDYOURTITLEHERE,THETITLEADDYOURTITLEHEREADDYOURTITLEHEREADDYOURTITLEHERE,.,ADDYOURTITLEHERE,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,.,02,ADDYOURTITLEHERE,Thisisanexampletext.Goaheadandreplaceit.,.,ADDYOURTITLEHERE,60%ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,80%ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,50%ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,.,ADDYOURTITLEHERE,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,.,ADDYOURTITLEHERE,19%Thisisanexampletext.Goaheadandreplaceit.,43%Thisisanexampletext.Goaheadandreplaceit.,25%Thisisanexampletext.Goaheadandreplaceit.,MAINIDEAThisisanexampletext.Goaheadandreplaceit.,.,ADDYOURTITLEHERE,ADDYOURTITLEHEREThisisanexamplet