Hive大数据存储与处理 课件 第1章 广电大数据用户画像需求分析

广电大数据用户画像

需求分析背景介绍新一代信息技术和互联网的迅猛发展，为广电行业带来了前所未有的巨大挑战和重大机遇。新媒体的飞速发展，对传统媒体造成了巨大冲击，广电公司依靠稀缺资源形成的优势已经逐渐失去。广电公司具备了获取用户身份数据、实时收视数据的能力，可通过网络终端设备和后台系统采集用户基本数据、用户收视数据、用户订单数据、用户账单数据等。通过大数据分析，把握广电用户群体的特征和收视行为，了解用户的实际特征和实际需求，并提供个性化、精准化和智能化的推荐服务，以此挽留用户、减少用户的流失。需求分析与架构认识Hive需求分析与架构基于双向广电有线网络，可深入应用大数据技术，对用户数据进行采集、存储以此为基础，进行有效分析与处理实现广电有线网络用户从看电视到用电视的转变，推动广电行业进一步发展，也可为社会信息化、政府信息化等提供全面支撑。对广电公司的需求进行分析，并结合大数据技术为广电公司用户数据的存储与分析提供解决方案，同时对大数据技术进行简要介绍。业务需求分析需求分析与架构主要处理流程大数据的处理过程可分为数据采集、数据预处理、数据存储、数据分析、数据应用大数据存储技术架构大数据存储技术商用存储GBase系列数据库产品、AmazonS3和EMC系列产品开源OceanBase、Swift、Alluxio、HDFS、HBase和Hive常见的存储产品的简介及优缺点对比存储产品简介优点缺点GBase系列数据库产品该系列数据库产品包含分布式逻辑数据仓库（GBase8a）、基于共享存储的数据库集群（GBase8s）、多模多态分布式数据库（GBase8c）、云原生数据仓库（GBaseGCDW）等具有高可用性和高可靠性。可扩展性好：支持Master-Slave模式扩展以及支持使用OnlineAdd节点等方式来增强性能。安全性强：可提供完善的数据库安全方案，包括密文存储、访问权限控制、数据审计等。体积小，并且Ubuntu平台可免费使用。可以直接在GBase上运行SQL语句而无须进行太多额外配置生态环境还较为不成熟，在某些场景下会受到功能缺失的限制OceanBaseOceanBase是阿里巴巴集团自主研发的一款分布式关系数据库管理系统，旨在满足大规模应用与服务的高性能等要求，支持从单台机器到百台机器甚至更多机器的水平扩展，具有海量数据存储和快速查询的能力高性能：支持自动故障转移、水平和垂直扩展等特性，可以确保24/7无故障运行；采用多核架构实现并行查询，能够快速读取和处理海量数据。全球部署：支持本地化存储和异地多活，可以满足多终端、全网覆盖等要求。开源社区活跃：拥有大量用户社区，支持对产品进行二次开发和个性化定制运维复杂：需要一定的技术支撑，涉及配置管理、监控和调优等方面，不太适合小规模企业使用。需要专门的技术人员：由于其复杂性较高，需要专业技术人员进行维护和开发。系统学习成本高：相较于传统关系数据库，OceanBase具有更多的新特性和命令，需要用户进行学习和了解常见的存储产品的简介及优缺点对比续上表存储产品简介优点缺点AmazonS3简称S3，是Amazon公司于2006年针对开发者推出的云存储服务，可减轻开发人员压力，使其专注于上层业务；存储可靠；按用量收费；使用方便是AmazonAWS云服务体系的一部分，兼容Amazon生态圈的其他服务；重新定义了对象存储；可靠性高，性能优良，易于扩展，方便迁移非开源、收费较高；不支持随机位置读、写操作，只能读取、写入或覆盖整个文件EMC系列产品EMC公司于2008年推出了PB级对象存储平台Atmos；于2010年收购了Isilon，定位PB级文件存储；于2014年推出了ECS，布局ZB级存储。EMC系列产品均可横向扩展。EMC公司市场拓荒早，产品种类全，高端用户多高端产品与解决方案；可提供较好的数据保护；支持PB～ZB级各类数据存储。兼容EMCVMware、Pivotal、RSA等多款产品；支持Hadoop；支持与S3数据的双向迁移非开源，需购买价格昂贵的专用硬件常见的存储产品的简介及优缺点对比续上表存储产品简介优点缺点Swift于2010年加入OpenStack社区，可为虚拟机及计算服务Nova提供镜像存储，是S3的开源实现属于OpenStack生态圈组件，可兼容CloudStack，支持多租户模式。技术成熟，成功案例多，被设计成一种比较通用的存储产品，能够可靠地存储数量非常多的大小不一的文件未针对大型文件做优化处理Alluxio是以内存为中心的虚拟分布式存储系统，其核心思想是将存储与计算分离通过数据缓存，提高存储、计算的效率；将存储与计算解耦，架构清晰、简洁该产品较新，部分功能有待完善；该产品对用户技术积累和研发能力要求较高常见的存储产品的简介及优缺点对比存储产品简介优点缺点HDFS设计参考GoogleGFS，于2006年加入Apache社区下的Hadoop项目，是其核心组件之一拥有强大的数据生态圈，适合大型文件一次写入、长期存储、顺序读取、批处理的场景；成功案例多，优化方案丰富；用户规模庞大，是大数据文件系统事实标准，支持上万个节点的ZB级海量数据存储；具有高容错性；支持多种数据编码不支持并发写入、文件随机修改；不适合毫秒级低延迟数据访问；不适合小型文件存储HBase构建在HDFS之上高性能的大数据列式存储数据库适合存储海量稀疏数据，可以通过版本检索到历史数据，解决HDFS不支持数据随机查找、不适合增量数据处理、不支持数据更新等问题。常用于存储超大规模的实时随机读写数据，如互联网搜索引擎数据仅能通过主键或主键范围检索数据，不适合检索条件较多的复杂查询场景HiveHive是基于Hadoop生态圈的数据仓库，用于进行数据提取、转化和加载，是一种可以存储、查询和分析存储在Hadoop中的大规模数据的开源产品封装了调用接口，并提供了类SQL的查询语言，减少了开发人员的学习成本；支持用户自定义函数。适合处理大数据；可扩展性强；容错性强不支持记录级别的增、删、改操作，延迟较高，不适合实时分析；不支持事务，不适合做联机事务处理；自动生成的MapReduce作业通常情况下不够智能大数据存储技术架构常见的开发语言R语言免费、开源、各种各样的模块十分齐全Python数据分析和交互、探索性计算以及数据可视化等方面都比较方便SQL入门较容易Java具有可移植性强的特点，可以跨平台运行需求分析与架构认识Hive认识HiveHive是基于Hadoop的数据仓库优点是学习成本低，可以通过类SQL语句实现快速MapReduce统计MapReduce的使用变得更加简单。Hive十分适合用于对数据仓库中的数据进行统计分析Hive简介2007年，Facebook公司（现Meta公司）为了对每天产生的海量网络平台数据进行分析而开发了HiveHive就成为传统数据架构和HadoopMapReduce之间的“桥梁”。Hive的架构Hadoop生态圈Sqoop：用于在HDFS和关系数据库之间导入和导出数据。Pig：用于开发MapReduce作业的程序语言的工具，通过将PigLatin脚本编译成MapReduce任务来实现数据处理和计算。Hive：用于开发SQL类型脚本进行MapReduce作业的工具，通过将HQL转换为MapReduce任务来实现数据处理。认识HiveHive的架构认识HiveHive主要组件访问接口命令行接口（CommandLineInterface，CLI），HiveWeb接口（HiveWebInterface，HWI）。ThriftServer。元数据存储服务Hive的元数据存储在关系数据库里，Hive支持的关系数据库有Derby、MySQL等认识HiveHive主要组件DriverDriver的主要功能是将用户编写的HQL语句进行解析、编译、优化，生成逻辑执行计划，并提交给Hadoop集群进行处理组件说明解析器（Parser）将HQL转换为抽象语法树编译器（Compiler）将语法树编译为逻辑执行计划优化器（Optimizer）对逻辑执行计划进行优化，形成更优的逻辑执行计划执行器（Executor）将逻辑执行计划切分成对应引擎的可执行物理计划，调用底层执行框架执行认识HiveHive设计特性Hive的特点HQL与SQL有着相似的语法，大大提高了开发人员的开发效率。Hive支持运行在不同的框架上，包括YARN、Tez、Spark、Flink等。Hive支持HDFS与HBase上的即席查询（Ad-Hoc）。Hive支持用户自定义的函数、脚本等。认识HiveHive设计特性Hive优点可扩展。Hive可以自由扩展集群的规模，一般情况下无须重启服务。可延展。Hive支持用户自定义函数，用户可根据自己的需求来编写自定义函数。可容错。Hive良好的容错性使得当节点出现问题时HQL语句仍可完成执行。Hive的适用场景Hive的最佳适用场景是大数据集的批处理作业认识HiveHive与传统数据库的区别项目Hive关系数据库查询语言HQLSQL数据存储HDFS