大数据和ODPS课件

大数据与ODPS概述主讲人：李权1.什么是大数据？2.意义与价值？3.面对什么样的困难？4.怎样处理这些数据呢？5.什么是ODPS?6.与传统数据仓库工具相比ODPS有那些优势？7.ODPS有怎样的发展？

大数据（bigdata），是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。1.什么是大数据？

难关：数据大，更重要的是多样性、实时性、不确定性、关联性、异质性，如何从大数据中得到大价值才是关键所在。3.面对什么样的困难？

大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和呈现的有力武器。大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用(大数据检索、大数据可视化、大数据应用、大数据安全等)。4.怎样处理这些数据呢？

主要采用分布式分布式计算是近年提出的一种新的计算方式。所谓分布式计算就是在两个或多个软件互相共享信息，这些软件既可以在同一台计算机上运行，也可以在通过网络连接起来的多台计算机上运行。分布式计算比起其它算法具有以下几个优点：1、稀有资源可以共享。2、通过分布式计算可以在多台计算机上平衡计算负载。3、可以把程序放在最适合运行它的计算机上。其中，共享稀有资源和平衡负载是计算机分布式计算的核心思想之一。分布式系统的挑战挑战：容灾数据容灾是指建立一个异地的数据系统，为了保护数据安全和提高数据的持续可用性，企业要从RAID保护、冗余结构、数据备份、故障预警等多方面考虑，将数据库的必要文件复制到存储设备的过程，备份是系统中需要考虑的最重要的事项,虽然他们在系统的整个规划。有人摔倒了...分布式系统的挑战挑战：动态环境下的不确定性草地不平整，地上有石头，也许天上还会下雨你需要解决什么问题？你的业务需求是什么，性能需求是什么？没有最优的技术，只有最优的选择！6.与传统数据仓库工具相比ODPS有那些优势？

处理能力强大：客户都曾经购买使用过传统数据仓库技术解决方案，但是都无法适应剧烈膨胀的数据规模。

成本低廉，伸缩灵活：由于云计算的业务特点，用户可以根据自己的实际需求租用相应的计算能力。同时节省昂贵的运营费用。7.ODPS有怎样的发展？国内唯一的大数据云服务平台，真正的数据分享平台数据仓库、数据挖掘、数据分析、数据分享阿里集团内部使用的统一数据处理平台，支持阿里贷款、数据魔方、DMP（阿里巴巴广告联盟）、余额宝等多款产品ODPS规模单一集群规模可以达到10000+服务器（保持80%线性扩展）单个ODPS部署可以支持100万服务器以上，无限制（线性扩展略差），支持同城、异地多数据中心模式10000+用户数，1000+项目应用、100+部门（多租户）100万以上作业（目前单日平均提交任务），20000以上并发作业参考：与数据分析有关的云服务Splunk /splunk/index.htmPentaho /Jaspersoft /SumoLogic /Connotate /Inrix /Tableau /MetaMarkets /DataSift /Data