大数据技术与应用 第2版 习题及答案 第3、4章

第3章1）请阐述数据采集有哪些方法？（1）系统日志采集许多公司的平台每天会产生大量的日志（一般为流式数据，如搜索引擎的pv，查询等），处理这些日志需要特定的日志系统。因此日志采集系统的主要工作就是收集业务日志数据供离线和在线的分析系统使用。这种大数据采集方式可以高效地收集、聚合和移动大量的日志数据，并且能提供可靠的容错性能。高可用性、高可靠性和可扩展性是日志采集系统的基本特征。目前常用的开源日志采集平台包含有：ApacheFlume、Fluentd、Logstash、Chukwa、Scribe以及SplunkForwarder等。这些采集平台大部分采用的是分布式架构，以满足大规模日志采集的需要。具体的日志采集平台在下一节会介绍。（2）网络数据采集网络数据采集是指利用互联网搜索引擎技术实现有针对性、行业性、精准性的数据抓取，并按照一定规则和筛选标准进行数据归类，并形成数据库文件的一个过程。目前网络数据采集采用的技术基本上是利用垂直搜索引擎技术的网络蜘蛛（或数据采集机器人）、分词系统、任务与索引系统等技术进行综合运用而完成，并且随着互联网技术的发展和网络海量信息的增长，对信息的获取与分拣会成为一种越来越大的需求。目前常用的网页爬虫系统有ApacheNutch、Crawler4j、Scrapy等框架。由于采用多个系统并行抓取数据，这种方式能充分利用机器的计算资源和存储能力，大大提高系统抓取数据的能力，同时大大降低了开发人员的开发速率，使得开发人员可以很快的完成一个数据系统的开发。（3）数据库采集数据库采集是将实时产生的数据以记录的形式直接写入到企业的数据库中，然后使用特定的数据处理系统进行进一步分析。目前比较常见的数据库采集主要有MySQL、Oracle、Redis、Bennyunn以及MongoDB等。这种方法通常在采集端部署大量数据库，并对如何在这些数据库之间进行负载均衡和分片进行深入的思考和设计。2）数据采集平台有哪些？Flume、Fluentd、Logstash、Chukwa、Scribe、Kafka3）为什么要进行数据清洗？数据的不断剧增是大数据时代的显著特征，大数据必须经过清洗、分析、建模、可视化才能体现其潜在的价值。然而在众多数据中总是存在着许多“脏”数据，即不完整、不规范、不准确的数据，因此数据清洗就是指把“脏数据”彻底洗掉，包括检查数据一致性，处理无效值和缺失值等，从而提高数据质量。在实际的工作中，数据清洗通常占开发过程的50%-70%左右的时间。4）数据清洗有哪些流程？（1）数据清洗-预处理（2）数据清洗-缺省值清洗（3）数据清洗-格式与内容清洗（4）数据清洗-逻辑错误清洗（5）数据清洗-多余的数据清洗（6）数据清洗-关联性验证5）什么是数据标准化？数据的标准化，是通过一定的数学变换方式，将原始数据按照一定的比例进行转换，使之落入到一个小的特定区间内，例如0~1或-1~1的区间内，消除不同变量之间性质、量纲、数量级等特征属性的差异，将其转化为一个无量纲的相对数值。因此标准化数值是使各指标的数值都处于同一个数量级别上，从而便于不同单位或数量级的指标能够进行综合分析和比较。6）请阐述什么是数据仓库。数据仓库是决策支持系统和联机分析应用数据源的结构化数据环境，它研究和解决从数据库中获取信息的问题，并为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。7）实施ETL有哪些常见工具？目前在市场上常见的ETL工具包含有：（1）TalendTalend是第一家针对的数据集成工具市场的ETL开源软件供应商。Talend以它的技术和商业双重模式为ETL服务提供了一个全新的远景。它打破了传统的独有封闭服务，提供了一个针对所有规模的公司的公开的，创新的，强大的灵活的软件解决方案。（2）DataStageDataStage是IBM公司的商业软件，是一种数据集成软件平台，能够帮助企业从散布在各个系统中的复杂异构信息获得更多价值。DataStage

支持对数据结构从简单到高度复杂的大量数据进行收集、变换和分发操作。并且Datastage全部的操作在同一个界面中，不用切换界面，能够看到数据的来源，整个job的情况。（3）KettleKettle中文名称叫水壶，是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。（4）InformaticaPowerCenterInformaticaPowerCenter是一款非常强大的ETL工具，支持各种数据源之间的数据抽取、转换、加载等数据传输，多用于大数据和商业智能等领域。一般应用企业根据自己的业务数据构建数据仓库，在业务数据和数据仓库间进行ETL操作。第4章1）请阐述大数据存储的定义。大数据存储通常是指将那些数量巨大、难于收集、处理、分析的数据集持久化到计算机中。在进行大数据分析之前，首先的步骤就是要将海量的数据存储起来，以便今后的使用。因此，大数据的存储是数据分析与应用的前提。2）文件存储和对象存储有什么区别？文件存储（NAS）相对块存储来说更能兼顾多个应用和更多用户访问，同时提供方便的数据共享手段。对象存储是一种新的网络存储架构。存储标准化组织SINA早在2004年就给出了对象存储的定义，但早期多出现在超大规模系统中，所以并不为大众所熟知，相关产品一直也不温不火。一直到云计算和大数据的概念全民强推，才慢慢进入公众视野。对象存储的优势是互联网或者公网，主要解决海量数据，海量并发访问的需求。总体上讲，对象存储同时兼具SAN高级直接访问磁盘特点及NAS的分布式共享特点。它的核心是将数据通路(数据读或写)和控制通路(元数据)分离，并且基于对象存储设备(OSD)，构建存储系统，每个对象存储设备具备一定的职能，能够自动管理其上的数据分布。3）什么是NoSQL，有什么特点？NoSQL数据库又叫作非关系数据库，它是英文“NotOnlySQL”的简写，即“不仅仅是SQL”。和数据库管理系统（RDBMS）相比，NoSQL不使用SQL作为查询语言，其存储也可以不需要固定的表模式，用户操作NoSQL时通常会避免使用RDBMS的JION操作。NoSQL数据库一般都具备水平可扩展的特性，并且可以支持超大规模数据存储，灵活的数据模型也可以很好地支持Web2.0应用，此外还具有强大的横向扩展能力。典型的NoSQL数据库包含以下几种：键值数据库、列族数据库、文档数据库和图形数据库。值得注意的是：每种类型的数据库都能够解决传统关系数据库无法解决的问题。4）什么是NewSQL，有什么特点？NewSQL数据库是对各种新的可扩展/高性能数据库的简称，它是一种相对较新的形式，旨在使用现有的编程语言和以前不可用的技术来结合SQL和NoSQL中最好的部分。这类数据库不仅具有NoSQL对海量数据的存储管理能力，还保持了传统数据库支持ACID和SQL等特性。因此，NewSQL数据库也被定义为下一代数据库的发展方向。作为一种相对较新的形式，NewSQL旨在使用现有的编程语言和以前不可用的技术来结合SQL和NoSQL中最好的部分，它的目标是将SQL的ACID保证与NoSQL的可扩展性和高性能相结合。NewSQL数据库改变了数据的定义范围。它不再是原始的数据类型，如整数、浮点，它的数据可能是整个文件。此外，NewSQL数据库是非关系的、水平可扩展、分布式并且是开源的。5）什么是云数据库？云数据库是指被优化或部署到一个虚拟计算环境中的数据库，是在云计算的大背景下发展起来的一种新兴的共享基础架构的方法，它极大地增强了数据库的存储能力，消除了人员、硬件