大数据处理与分析相关简介

大数据处置与分析相关平台简介中国人民大学信息学院董兆安内容来自CSDN等互联网资源大数据及其主要特征2规模〔Volume〕、种类〔Variety〕、速度〔Velocity〕2001年，道格.莱尼〔DougLaney〕VolumeVolumeVarietyVolume模态多样VelocityVolume速度极快体量宏大文本视频图片音频到2020年，数据总量达40ZB，人均5.2TB分享的内容条目超越25亿个/天，添加数据超越500TB/天关于大数据定义的误解blogs.gartner/doug-laney/Other“V〞slikeveracity,validity,value,etc.areaspirationalqualitiesofalldata,notdefinitionalqualitiesofbigdata.3硬件、技术、数据不断进化4传统的数据处置ExternalDataSourcesExtractTransformLoadDataWarehouseIntegratedstorageDataprocessingUsersSQL5数据分析的需求也逐渐提高从海量数据中快速获取有价值信息低延迟、高性能、分布式、可扩展、容错。6RTAPOLAPOLTP需求变化7Real-TimeNon-InteractiveBatchInteractiveOnlinesystemsRealtimeAnalyticsComplexeventprocessingDatapreparationIncrementalbatchprocessingDashboardsOperationalbatchprocessingEnterprisereportsDataminingParameterizedReportsDrilldownVisualizationExploration0--5s5s--1m1m--1h1h+场景不同-工具不同-视角不同Hortonworks将运用需求进展了如下划分：实时运用场景(0~5s)：Storm、S4、ClouderaImpala，ApacheDrill等；交互式场景〔5s~1m〕：最好支持SQL，：ClouderaImpala、ApacheDrill、Shark等；非交互式场景〔1m~1h〕：MapReduce、Hive、Pig、Stinger等；批处置场景〔1h+〕运转时间较长，处置数据量较大，对容错性和扩展性要求较高MapReduce、Hive、Pig、Stinger等。8大数据分析与处置架构——一个案例9IngestLandingandAnalyticsSandboxZoneIndexes,facetsHive/HBaseColStoresDocumentsInVarietyofFormatsAnalyticsMapReduceRepository,WorkbenchIngestionandReal-timeAnalyticZoneDataSinksFilter,TransformIngestCorrelate,ClassifyExtract,AnnotateWarehousingZoneEnterpriseWarehouseDataMartsQueryEnginesCubesDescriptive,PredictiveModelsModelsWidgetsDiscovery,VisualizerSearchAnalyticsandReportingZoneMetadataandGovernanceZone9Connectors大数据处置与分析技术数据采集数据处置数据存储统计分析数据发掘模型预测数据可视化元数据管理10数据处置的几种方式转换TransformerConvertpayloadormodifyheaders过滤FilterDiscardmessagesbasedonbooleanevaluation路由RouterDeterminenextchannelbasedoncontent分割SplitterGeneratemultiplemessagesfromone聚集AggregatorAssembleasinglemessagefrommultiple11几种平台引见MPPHadoopstormspark12开源的大数据处置平台SQLonHadoopHortonworks:Tez、StingerCloudera:ImpalaFacebook：Hive，PrestoGoogle发布了Dremel和PowerDrillEMC推出Pivotal+HAWQ开源数据仓库brighthouse基于MySQL的数据仓库存储引擎13开源的大数据处置平台NO-MapReduce系统微软的DAG义务计算模型DryadGoogle的图批量同步处置系统Pregel和增量式计算框架PercolatorYahoo!的数据流计算系统S4、NYU的共享内存处置系统PiccoloBerkeley的交互式实时处置系统Spark等等。NEWSQL系统VoltDBmySQL集群14Hadoop的版本1516IntelHadoop*17Hadoop1.018Hadoopeco-systemExternalDataSourcesHDFSstoragelayerProcessingFramework(Map-Reduce)HBaseSqoop+FlumePigHiveQLMahoutHiveMetastore(HCatalog)OozieClouderaNavigatorMorevarieddatasourceswithmanymoreaccess/retentionrequirementsUsers19Hadoopeco-systemExternalDataSourcesHDFSstoragelayerProcessingFramework(Map-Reduce)HBaseSqoop+FlumePigHiveQLMahoutHiveMetastore(HCatalog)OozieClouderaNavigatorDataaccessedthroughmultipleentrypointsUsers20Hadoopeco-systemExternalDataSourcesHDFSstoragelayerProcessingFramework(Map-Reduce)HBaseSqoop+FlumePigHiveQLMahoutHiveMetastore(HCatalog)OozieClouderaNavigatorUsersLotsofnewconsumersofthedata21Hadoopeco-systemExternalDataSourcesHDFSstoragelayerProcessingFramework(Map-Reduce)HBaseSqoop+FlumePigHiveQLMahoutHiveMetastore(HCatalog)OozieClouderaNavigatorUsersOneaccesscontrolmechanism:files22Hadoop1.0——HDFS存储模型23Hadoop1.0——计算模型MapReduce24节点功能与角色25集群部署表示26YARN和Hadoop2.027comprisesthelatestreleaseacrossHadoopandthekeyrelatedprojectsintoasingleintegratedandtestedplatformCoreservicesDataservicesOperationalservices28Hadoop2.0Hadoop2.0YARN的根本思想是将JobTracker的两个主要功能资源管理和作业调度/监控分别主要方法是创建一个全局的ResourceManager〔RM〕和假设干个针对运用程序的ApplicationMaster〔AM〕29对比：Hadoop1.0JobTracker和TaskTracker30对比：Hadoop2.031运转在YARN上的计算框架YARN=YetAnotherResourceNeogitator.32内存计算——SparkandShark33High-SpeedIn-MemoryAnalytics

overHadoopandHiveDataUCBERKELEY34MapReduce——数据共享于HDFSiter.1iter.2...InputHDFS

readHDFS

writeHDFS

readHDFS

writeInputquery1query2query3result1result2result3...HDFS

readSlowduetoreplication,serialization,anddiskIO35iter.1iter.2...InputSpark——数据共享于内存Distributed

memoryInputquery1query2query3...one-time

processing10-100×fasterthannetworkanddiskSpark之RDD——弹性分布式数据集3637伯克利架构38分布式实时计算系统

Storm流数据处置Storm可以用来处置源源不断流进来的音讯，处置之后将结果写入到某个存储中去。S4(SimpleScalableStreamingSystem)是一个分布式流处置引擎，开发者可以在这个引擎根底上开发面向无界的，不延续的流数据处置运用。分布式rpc由于storm的处置组件是分布式的，而且处置延迟极低，所以可以作为一个通用的分布式rpc框架来运用。搜索引擎本身也是一个分布式rpc系统。39STORM角色Nimbus：担任资源分配和义务调度。Supervisor：担任接受nimbus分配的义务，启动和停顿属于本人管理的worker进程。Worker：运转详细处置组件逻辑的进程。Task：worker中每一个spout/bolt的线程称为一个task.40根本逻辑——概念Spout：在一个topology中产生源数据流的组件。Spout是一个自动的角色，其接口中有个nextTuple()函数，storm框架会不停地调用此函数，用户只需在其中生成源数据即可。Bolt：在一个topology中接受数据然后执行处置的组件。Bolt可以执行过滤、函数操作、合并、写数据库等任何操作。Bolt是一个被动的角色，Tuple：一次音讯传送的根本单元。Stream：源源不断传送的tuple就组成了stream。Topology：storm中运转的一个实时运用程序，由于各个组件间的音讯流动构成逻辑上的一个拓扑构造。41大数据处置平台——MPP42

运用程序经过Master主机访问数据

在存储节点和Master主机之间交换数据

每一个存储节点都是独立的PgSQL数据库〔无共享〕QueryPlanMPP=MassiveParallelProcessing海量并行处置构造数据分发43Share-Nothing的完全并行架构

44共享磁盘例如：OracleRACDBSAN/共享磁盘DBDBDB网络SAN/FC完全共享例如：SMP效力器DB磁盘完全不共享例如：GreenplumDBDBDBDB网络磁盘磁盘磁盘磁盘Master注：一切的共享资源都用蓝灰色表示基于外部表的高速