大数据技术基础（第2版）全套教学课件

第1章大数据概述大数据技术基础（第2版）全套可编辑PPT课件第1章大数据概述.pptx第2章大数据处理平台Hadoop.pptx第3章数据采集与预处理.pptx第4章数据存储与管理.pptx第5章数据处理与分析.pptx第6章数据可视化.pptx第7章大数据思维与安全.pptx第8章城市空气质量大数据分析实战.pptxPREFACE本章导读人类已进入大数据时代，全球数据未来数年将继续呈现爆炸式增长。大数据是无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新的处理模式才能产生更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。如果将大数据比作一个产业，那么这种产业实现盈利的关键在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。01大数据的概念和特征02大数据的处理流程03大数据平台架构和集群04大数据的行业应用CATALOG05大数据与其他新兴技术的关系06实战演练——使用PowerBI分析产品销售情况知识目标04了解大数据的典型行业应用，以及大数据与其他新兴技术的关系。03了解大数据平台架构的组成和大数据集群。02了解我国的大数据发展战略，理解大数据的处理流程和关键技术。01理解大数据的概念和主要特征，了解大数据的发展现状与趋势。能够分析一些典型的大数据应用场景，简单阐释其背后的原理。能够初步建立起大数据领域的知识体系，完成一些初级技术实践。010203能力目标能够结合实例说明大数据给我们的日常生活所带来的革命性影响。思政目标01.感受我国在抗击疫情的严峻斗争中所表现出的制度优势、大国担当，以及大数据在疫情监测分析、人员管控、医疗救治、复工复产等方面发挥的巨大作用，厚植家国情怀，铸牢中华民族共同体意识。02.深刻理解大数据作为国家基础性战略资源的重要意义，如推动经济发展、完善社会治理、提升政府服务和监管能力等，进一步加强对信息化新阶段和数字经济的认识，不断提升自身的信息素养。6.让城市更聪明更智慧4.助力消费体验再升级3.让新时代教育更有获得感7.重塑健康医疗新生态1.托举战疫大考获佳绩

作为一种新型生产要素，数据正在促进我国经济社会发展中发挥着越来越重要的作用，构建以数据为关键要素的数字经济，需要把握好作为其重要应用场景的大数据，对于未来发展要做到心中有“数”。2.助推政务服务跑出加速度9.助力文娱产业大发展8.让社区生活更“聪明”5.为更高水平的平安中国“保驾护航”兴国利民大数据概述01大数据的概念和特征1.1大数据的概念和特征是用来记录客观事物或事件的符号，具体来说，是对客观事物或事件的性质、状态及相互关系等信息进行记录的物理符号。（bigdata）也称海量数据或巨量数据，是指数据量大到无法利用传统数据处理技术在合理的时间内获取、存储、管理和分析的数据集合。“大数据”一词除用来描述信息时代产生的海量数据外，也被用来命名与之相关的技术、创新与应用。数据1.1.1什么是大数据大数据1.1大数据的概念和特征作为人类一种新型的、功能强大的好工具，大数据使我们能够迅速地把握事物的整体、相互关系和发展趋势，从而做出更加准确的预判、更加科学的决策、更加精准的行动。1.1.1什么是大数据大数据的作用1.1大数据的概念和特征2004年，全球数据总量为30EB，2005年达到50EB，2015年达到7900EB。根据国际信息技术咨询企业——国际数据公司（IDC）监测，全球数据量大约每两年翻一番，预计到2030年，全球将拥有2500ZB的数据。海量的数据规模该特征是指数据产生、流转速度快，而且越新的数据价值越大。这就要求对数据的处理速度也要快，以便能够及时从数据中发现、提取有价值的信息。快速的数据流转1.1.2大数据的特征1.1大数据的概念和特征该特征是指数据的来源及类型多样。大数据的数据类型除包括传统的结构化数据外，还包括大量的非结构化数据等。多样的数据类型该特征是指数据量大但价值密度相对较低，挖掘数据中蕴藏的价值犹如沙里淘金。数据价值密度低1.1.2大数据的特征010203有数据但无法使用可以分析但没有数据有数据且可分析1.1大数据的概念和特征1.1.3大数据的发展1大数据底层技术逐步成熟近年来，大数据底层技术发展呈现出逐步成熟的态势，除了最基础的分布式批处理架构Hadoop，传统大规模并行处理（MPP）数据库在扩展性方面有了很大突破，在海量数据处理领域重新获得了一席之地。2大数据产业规模平稳增长权威机构研究表明，随着市场整体的日渐成熟和新兴技术的不断融合发展，未来大数据市场将呈现稳步发展的态势，增速维持在14%左右。大数据的发展现状与趋势1.1大数据的概念和特征1.1.3大数据的发展3数据合规要求日益严格近些年，各国在数据合规性方面的重视程度越来越高，但数据合规的进程仍任重道远。4大数据战略持续拓展大数据几乎囊括了一个国家所有领域内的信息，蕴含着与一个民族历史、现实和未来发展相关联的内在规律，其分析和处理能力已经成为国家治理、社会治理、企业管理都日益倚重的技术手段。1.1大数据的概念和特征1.1.3大数据的发展大数据的发展现状与趋势“大数据”一词首次写入政府工作报告，为中国大数据发展的政策环境搭建开始预热。20143月国务院正式印发的《促进大数据发展行动纲要》20158月31日“十三五”规划纲要的公布标志着国家大数据战略的正式提出，彰显了中央对于大数据战略的重视。20163月17日工信部发布《大数据产业发展规划（2016—2020年）》，为大数据产业发展奠定了重要的基础。201612月18日1.1大数据的概念和特征1.1.3大数据的发展我国的大数据发展战略党的十九大报告中提出推动大数据与实体经济深度融合，为大数据产业的未来发展指明了方向。201710月中央政治局就实施国家大数据战略进行了集体学习。201712月政府工作报告第六次提到“大数据”，并且有多项任务与大数据密切相关。20193月1.1大数据的概念和特征1.1.3大数据的发展我国的大数据发展战略02大数据的处理流程数据采集网络上各种来源的数据，包括社交网络数据、电子商务交易数据、网上银行交易数据、搜索引擎点击数据、物联网传感器数据等，在被采集前都是零散的，没有任何意义。数据采集就是将这些数据写入存储系统（如数据仓库），整合在一起，以便对数据进行综合分析。采集形式主要有网络数据采集（如提取网页中的图片、文本等）、系统日志采集（业务平台每天都会产生大量的日志数据）、数据库数据采集（如关系型数据库的接入）等，常用的工具有网络爬虫工具、Flume、Kafka、Sqoop等。1.2大数据的处理流程1.2.1数据采集与预处理

数据预处理是指将杂乱无章的数据转化为相对单一且便于处理的结构，或者去除没有价值甚至可能对分析造成干扰的数据，从而为后期的数据分析奠定基础。

数据预处理是对采集到的原始数据进行清洗、填补、平滑、合并、规格化，以及检查一致性等操作的过程，其目的是将数据转化为一个可用的状态。1.2大数据的处理流程1.2.1数据采集与预处理1.2大数据的处理流程数据存储与管理是指用存储器把采集到的数据存储起来，并建立相应的数据库，以便对数据进行管理和调用。主要采用HDFS分布式文件系统、NoSQL数据库（非关系型数据库）、数据仓库、云数据库等来存储和管理大数据。常用的NoSQL数据库包括HBase、Redis、Cassandra、MongoDB、Neo4j等。1.2.2数据储存与管理SparkStormMapReduce1.2大数据的处理流程数据处理与分析是指通过各种算法从大量的数据中找出潜在的有用信息，并研究数据的内在规律和相互间的关系。数据处理与分析大多需要在大数据处理平台上进行，借助分布式并行框架，通过结合一系列算法完成。常用工具技术HivePigFlinkImpalaMahout1.2.3数据处理与分析数据处理与分析1.2大数据的处理流程数据可视化是指利用可视化手段对数据进行分析，并将分析结果用图表或文字等形式展现出来，从而使读者对数据的分布、发展趋势、相关性和统计信息等一目了然常用的数据可视化工具Tableau、D3.js、GoogleChartAPI、ApacheECharts1.2.4数据可视化数据可视化1对各种来源和各种类型的海量数据的采集能力提供不同的存储模型以满足不同场景和需求的能力灵活的数据处理和计算的能力数据分析和挖掘的能力数据可视化并能进行实际应用的能力1.2大数据的处理流程23451.2.4数据可视化大数据平台具备的能力03大数据平台架构和集群1.3大数据平台架构和集群大数据技术大数据技术是一系列技术的总称，它集合了数据采集与传输、数据存储、数据处理与分析、数据挖掘、数据可视化等技术，是一个庞大而复杂的技术体系。1.3大数据平台架构和集群数据应用层数据分析层批处理计算流计算离线计算实时计算数据处理层数据存储层数据采集层数据源层1.3.1大数据平台架构1.3大数据平台架构和集群日常交易数据日常交易数据主要包括电子商务数据、互联网点击数据、信用卡刷卡数据、ERP系统数据、销售系统数据，以及企业的生产数据、库存数据、订单数据等。0102移动通信数据随着移动互联网和智能手机等设备的普及，移动通信设备记录的数据量和数据的立体完整度往往优于互联网公司所掌握的数据。03人为生成数据单击此人为生成数据大多为非结构化数据，包括电子邮件、文档、图片、音频、视频，以及通过微信、微博、知乎等社交媒体产生的数据流等。处添加文本具体内容。1.3.1大数据平台架构数据源层1.3大数据平台架构和集群04传感器数据传感器数据包括来自感应器、量表和其他设备的数据，以及定位系统（GPS）数据等，如智能电表、温度控制器、工厂机器、联网家用电器的数据等。05开放共享数据开放共享数据是指互联网上的“公开数据”包括政府机构、非营利组织和企业免费提供的数据等。1.3.1大数据平台架构数据源层数据采集层利用一系列数据采集技术，主要实现对数据的ETL（抽取、转换和加载）操作。用户从数据源抽取出所需的数据，经过数据清洗，按照预先定义好的数据模型，将数据加载到存储系统（如数据仓库）中去，再对存储系统中的数据进行处理与分析。1.3大数据平台架构和集群1.3.1大数据平台架构数据采集层2.日志采集系统。企业的业务平台每天都会产生大量的日志数据，对这些日志数据进行采集，然后进行数据分析，可以挖掘日志数据中的潜在价值，从而为企业决策和平台性能评估等提供可靠的数据保证。1.3大数据平台架构和集群1.3.1大数据平台架构数据采集层1.ETL采集方法。这是数据采集中较为常用的一种形式，通过ETL工具对数据进行采集及预处理，最终将处理完成的数据送往数据仓库或其他数据存储系统。采集方案01021.3大数据平台架构和集群持久化存储指把数据存储在磁盘中，关机或断电后数据不会丢失。非持久化存储指把数据存储在内存中，读写速度快，但是关机或断电后数据会丢失。1.3.1大数据平台架构数据存储层1.3大数据平台架构和集群使用R、Python等进行数据分析，

也可以使用Mahout、SparkML根据算法模型、业务模型进行融合建模，挖掘有价值的信息，从而更好地为业务应用提供优质结果。1.3.1大数据平台架构数据分析层1

以营利为目的的商业大数据应用

淘宝网、京东、美团、携程等平台的大数据应用，它们以自身拥有的海量用户信息、行为、位置等数据为基础，提供个性化广告推荐、精准化营销、经营分析报告等。

2不以营利为目的

重于为社会公众提供服务的大数据应用，如搜索引擎公司提供的诸如春运客流分析、流感趋势预测、灾害天气预测、紧急情况响应、城市规划、路政建设等应用。1.3大数据平台架构和集群1.3.1大数据平台架构数据应用层由于数据量太大，即使是最好的计算机也无法单独完成大数据的采集与预处理、存储与管理、处理与分析等工作，因此需要聚合众多计算机的力量来完成大数据的处理。大数据集群是由网络互相连接的多个独立服务器的集合。这些服务器由分布式并行结构组成并一起协同工作，运行共同的应用程序，从而实现高性能的计算等服务。1.3大数据平台架构和集群什么是大数据集群1.3.2大数据集群高可用性高可用性是指防止系统故障或自动从故障中恢复而无须操作人员介入的能力。高可扩展性服务器集群具有高度可扩展性。随着需求和负载的增长，可以将更多的服务器添加到集群系统中。高可管理性高度可管理的集群是指系统管理员无须花费大量的时间和人力到现场管理集群，他们只需要便捷地进行远程管理，这样的管理就像管理单机系统一样。高安全性集群可以定时定期对整个集群系统进行备份，以保证数据的安全和可追溯性。同时，如果集群崩溃或出现重大故障，可通过容灾机制快速恢复整个系统。大数据集群的优点1.3大数据平台架构和集群1.3.2大数据集群负载均衡模式负载均衡模式是指将集中的访问请求负载压力尽可能平均地分摊到集群中处理，即每个节点都可以承担一定的访问请求负载压力，并且可以实现访问请求在各节点之间的动态分配，以实现负载均衡。冗余模式冗余模式是指当集群中的任意一个节点失效时，该节点上的所有任务会自动转移到其他正常的节点上，并且此过程不影响整个集群的运行，不影响业务的提供。1.3大数据平台架构和集群大数据集群的模式121.3.2大数据集群04大数据的行业应用0102031.4大数据的行业应用如何在海量数据中找到需要的信息，是搜索引擎的目标。通过大数据理论和技术，可进一步改进搜索引擎技术，帮助用户快速准确地检索信息。搜索引擎推荐系统信息过载已成为大数据环境下最严重的问题之一，推荐系统则是缓解该问题的有效方法。广告系统互联网广告是网络营销的主要手段之一，也是典型的大数据应用。互联网行业1.4.1互联网与电商行业01电商企业收集大量用户在电商网站或网络媒体上的注册信息、行为数据（用户在网站和移动App中的浏览/点击/发帖等行为）、交易数据、网络日志数据等。02对收集的数据进行分析和挖掘，得出不同用户的购买能力、行为特征、心理特征、兴趣爱好、家庭情况、喜欢的社交网络等数据。03根据分析结果做精准营销、精准推荐或提高用户的购物体验等。电商行业1.4大数据的行业应用1.4.1互联网与电商行业81.4大数据的行业应用电信行业电信运营商拥有丰富的数据资源。数据来源涉及移动通话和固定电话、无线上网、有线宽带接入等所有业务，也涵盖线上线下渠道在内的渠道经营相关信息，所服务的客户涉及个人客户、家庭客户和政企客户。电信行业在发展大数据上有明显的优势，主要体现在数据规模大、数据应用价值持续凸显、数据安全性普遍较高。如今，三大运营商均已完成全集团大数据平台的建设，设立了专业的大数据运营部门或公司，开始了数据价值释放的新举措，在大数据应用方面都走向了更加专业化的阶段。1.4.2电信与交通行业1通过车载终端提供的数据使得公司总部能够有效跟踪定位车辆位置，进而能够有效实现对车辆的监督管理和行车线路优化，更好地实现交通安全、畅通等目的。车辆定位

基于实时交通报告可以实测和预测拥堵。当交通管理人员发现某地即将发生交通拥堵时，可以及时调整信号灯让车流以最高效率运行。运输公司通过部署一系列的运输大数据应用，能够采集到包括油耗、胎压等在内的多种数据，并通过分析这些数据来优化车队管理、降低能耗，节省大量的运营成本。1.4大数据的行业应用交通行业23信息收集交通调控1.4.2电信与交通行业1.4大数据的行业应用金融机构具有庞大的客户群体，企业级数据仓库存储了覆盖客户、账户、产品、交易等的大量结构化数据，以及海量的语音、图像、视频等非结构化数据。这些数据背后都蕴藏了诸如客户偏好、社会关系、消费习惯等丰富全面的信息资源，成为金融行业数据应用的重要基础。1.4.3金融与教育行业金融行业应用范围金融大数据已在交易欺诈识别、精准营销、黑产防范、信贷风险评估、供应链金融、股市行情预测等多领域的具体业务中得到广泛应用。国内不少银行、保险公司都已建立大数据平台，并通过大数据来驱动业务运营。1.4大数据的行业应用大数据在教育行业的应用包括优化教学管理、学生管理、教学内容、教学手段、教学评价等。1.4.3金融与教育行业教育行业例如，基于网络的学习平台能记录学生的作业完成情况、课堂言行、师生互动等数据，如果将这些数据汇集起来，就可以分析出学生的学习特点和习惯，从而对不同学生的学习提出有针对性的建议。同时，这些数据也可促使教师进行教学反思，从而优化教学。1.4大数据的行业应用1.4.3金融与教育行业教育行业电子科技大学曾经做过一个课题——寻找校园最孤独的人。他们通过校园一卡通的使用情况，从3万名学生中采集到了2亿多条行为数据，包括选课、进出图书馆、食堂用餐、超市购物等数据。通过对校园一卡通“一前一后刷卡”的记录分析，可以发现一个学生在学校有多少知心朋友。他们通过此方式找到了800多个校园中最孤独的人，这些人中有17%可能产生心理疾病，需要学校和家长予以重点关爱。随着医疗信息化的普及和快速发展，健康医疗数据已经具备大数据的基本特征。通过对健康医疗数据的处理和分析，不仅能够帮助医生进行疾病诊断和经营决策，帮助患者享受更加便利的服务，还能够预测流行疾病的暴发趋势、降低医疗成本等。1.4大数据的行业应用健康医疗行业1.4.4健康医疗行业1.4大数据的行业应用健康医疗行业大数据在健康医疗行业的应用，包括疾病预防、临床应用、远程医疗、医学研究、医院管理等。1.4.4健康医疗行业应用范围例如，利用大数据平台收集不同的病例、治疗方案和治疗效果，建立针对疾病特点的数据库。医生诊断病人时可以利用疾病数据库和相关工具分析病人的疾病特征、化验报告和检测报告，从而快速为病人确诊，并制定适合病人的治疗方案。在我国，政府部门掌握着全社会最大量、最核心的数据。有效地利用这些数据，可以让政府治理与决策更加精细化、科学化，可以帮助政府将与民众的沟通建立在科学的数据分析之上，优化公共服务流程，简化公共服务步骤，提升公共服务质量。1.4大数据的行业应用1.4.5政务管理行业政务管理行业1.4大数据的行业应用在城市规划方面，通过对城市地理、气象等自然信息，和经济、社会、文化、人口等人文社会信息的挖掘，可以为城市规划提供强大的决策支持，强化城市管理服务的科学性和前瞻性。1.4.5政务管理行业政务管理行业应用范围利用大数据技术可以抓取气象局、地震局的气象历史数据、星云图变化历史数据，以及城建局、规划局的城市规划、房屋结构数据等，然后构建大气运动规律评估模型、气象变化关联性分析模型等，从而精准地预测气象变化，寻找最佳的救灾解决方案。05大数据与其他新兴技术的关系

近些年，以大数据、云计算、物联网和人工智能等技术为核心的新一代信息技术高速发展，在助力解决各行业现实需求、培育新业态、形成经济发展新动能方面发挥了重要作用。大数据、云计算、物联网和人工智能，代表了IT领域最新的技术发展趋势，它们彼此渗透、相互融合，既有区别又有联系。1.5大数据与其他新兴技术的关系云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力，用户只需要在具备网络接入条件的地方，就可以随时获得所需的各种IT资源。它代表了以虚拟化技术为核心、以低成本为目标的动态可扩展的网络应用基础设施，是如今最有代表性的网络计算技术与模式。云计算1.5大数据与其他新兴技术的关系物联网物联网（IoT）是指通过信息传感设备，按照约定的协议，把任何物品与互联网连接起来，进行信息交换和通信，以实现智能化识别、定位、跟踪、监控和管理的一种网络。它是在互联网基础上延伸和扩展的网络，即万物相连的互联网。1.5大数据与其他新兴技术的关系人工智能人工智能（AI）是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学。具体来说，人工智能就是让机器像人类一样具有感知能力、学习能力、思考能力、沟通能力、判断能力等，从而更好地为人类服务。1.5大数据与其他新兴技术的关系大数据和云计算的关系1.5大数据与其他新兴技术的关系大数据和云计算的关系从技术上来看，就像一枚硬币的正反面一样密不可分。由于大数据需要使用大量的计算机进行处理，如果由企业自己部署这些硬件设备和软件，不仅投入成本高、技术难度大，而且会造成资源浪费，因此最好的措施是依托云计算进行处理；反过来，如果没有大数据，云计算的用武之地也会大大减少。06实战演练使用PowerBI分析产品销售情况1.6实战演练——使用PowerBI分析产品销售情况PowerBI是微软推出的商业智能分析工具，它融合了数据准备、数据分析、数据可视化到报告协作分享的整个数据处理流程，可以帮助用户快速上手数据分析。我们通过将图书销售表以饼图和簇状柱形图报表形式显示，体验使用PowerBI进行大数据分析与可视化展现的一般过程。Thanks第2章大数据处理平台Hadoop大数据技术基础（第2版）PREFACE本章导读海量数据的存储、处理和分析是大多数企业普遍遇到的问题，Hadoop的出现有效地解决了数据存储规模大、存储管理复杂、数据传输效率低和计算速度慢等难题。Hadoop是一个开源的分布式系统基础架构，它可以使用户在不了解分布式底层细节的情况下开发分布式程序，充分利用集群的威力进行高速运算和存储。01Hadoop及其生态系统02Hadoop的运行模式03安装部署Hadoop集群04实战演练——在Eclipse中搭建Hadoop开发环境CATALOG知识目标04熟悉Hadoop的集群环境准备工作。03了解Hadoop的三种运行模式。02熟悉Hadoop生态系统。01了解Hadoop的概念、特性和发展历程。010203能力目标04能够完成Hadoop的伪分布式安装。能够对集群节点进行基本环境配置。能够在Eclipse中搭建Hadoop开发环境。能够在Eclipse开发环境中对已有Hadoop集群进行HDFS文件管理。思政目标01.增强忧患意识、风险意识和责任意识，充分认识新形势下科技自立自强的;紧迫性、必要性和重要意义，心怀“国之大者”，争做“国之大才”。02.脚踏实地，勇于创新，与时俱进，在实践中练就过硬本领、锤炼品德修为，立志为国家科技自立自强、加快解决“卡脖子”难题等做出贡献。01Hadoop及其生态系统2.1Hadoop及其生态系统Hadoop使用的开发语言是Java，主要运行于Linux平台。它是一个允许使用简单编程模型跨计算机集群分布式处理大型数据集的系统，通过它可以方便地管理分布式集群，将海量数据分布式地存储在集群中，并使用分布式并行程序来处理这些数据。2.1.1Hadoop简介什么是Hadoop2.1Hadoop及其生态系统Hadoop是对Google的文件系统GFS（Googlefilesystem）和分布式计算框架MapReduce等核心技术的开源实现。Hadoop架构的核心是HDFS（Hadoopdistributedfilesystem）和HadoopMapReduce，它们分别用于支持海量数据的存储和并行计算。2.1.1Hadoop简介什么是HadoopHadoop的特性2.1Hadoop及其生态系统010203Hadoop采用冗余数据存储方式，当其中一个副本发生故障时，其他副本也可以保证集群正常对外提供服务。高可靠性。Hadoop实现了线性扩展，可以从单个服务器扩展到数千台计算机，并且每台计算机都提供了数据存储和计算。高扩展性。Hadoop具有HDFS、MapReduce和YARN等核心组件，能够高效地并行处理PB级数据。高效性。2.1.1Hadoop简介2.1Hadoop及其生态系统0506Hadoop的NameNode包括active和standby两种状态，通过故障转移机制（即当activeNameNode意外终止时，快速启用standbyNameNode）可保证HDFS的高可用性。高可用性。Hadoop可以使用廉价计算机搭建集群，从而大大降低了硬件成本，普通用户也可以使用自己的个人计算机搭建和运行Hadoop。低成本。2.1.1Hadoop简介04Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。高容错性。Hadoop的特性2.1Hadoop及其生态系统070809Hadoop能够较好地运行在Linux平台，也可以在Windows和macOS等平台下搭建Hadoop环境。多平台运行。Hadoop主要使用Java语言开发，不过，用户也可以使用其他编程语言（如C++、Python）开发基于Hadoop的应用程序。支持多种编程语言。Hadoop尽可能在计算节点上存储数据，以实现数据本地化和快速访问数据的目的。数据本地化。2.1.1Hadoop简介Hadoop的特性2.1Hadoop及其生态系统Hadoop的发展历程STEP01STEP03STEP02STEP042002年DougCutting等人创建了开源网络搜索引擎Nutch，该引擎包括了网页抓取、索引、查询等功能。2005年Nutch将所有主要算法移植到了由NDFSMapReduce构建的新框架中，在20个节点上可以稳定运行。2004年提出MapReduce模式能够解决大型分布式并行计算问题，可用于处理海量网页的索引问题。2003年Google搜索引擎网页相关数据的存储架构，该架构可解决Nutch遇到的网页抓取和索引过程中产生的超大文件存储需求的问题。2.1.1Hadoop简介2.1Hadoop及其生态系统Hadoop的发展历程STEP05STEP06STEP072006年NDFS和MapReduce被移出Nutch，并成为Lucene的一个子项目，命名为Hadoop。2.1.1Hadoop简介2007年《纽约时报》将存档的报纸扫描成4TB的图片文件，并通过运行在亚马逊EC2云服务上的Hadoop应用程序，将图片文件转换为用于网上共享的PDF文档。2008年1月Hadoop成为Apache的顶级项目，迎来了快速发展期。2.1Hadoop及其生态系统STEP08STEP10STEP092009年4月Yahoo!再次对1TB数据进行排序，此次耗时缩短至62s。2008年8月Facebook公司在Hadoop架构的基础上创建了数据仓库工具Hive。2008年6月Facebook、Google和Yahoo!的前工程师JeffHammerbacher、ChristopheBisciglia、AmrAwadallah，以及Oracle前高管MikeOlson共同创建了Hadoop数据管理软件与服务公司Cloudera。2.1.1Hadoop简介Hadoop的发展历程2.1Hadoop及其生态系统STEP12STEP11STEP132018年10月大数据领域的两大巨头公司Cloudera和Hortonworks宣布平等合并，表示要创建世界领先的数据平台。2008年-2011年MapReduce、HDFS、Avro、HBase、Hive、Pig、ZooKeeper先后脱离Hadoop，成为Apache的顶级项目。2011年6月Yahoo!BenchmarkCapital公司联合成立了Hortonworks公司。2.1.1Hadoop简介Hadoop的发展历程2.1Hadoop及其生态系统Hadoop生态系统2.1.2Hadoop生态系统2.1Hadoop及其生态系统01HDFSHDFS是Hadoop的核心组成框架，在大数据开发中通过分布式计算对海量数据进行存储和管理。02MapReduceMapReduce是Hadoop的另一个核心组成框架，它是一种容错的、可靠的、分布式并行计算模型，用来解决海量数据的计算问题。03YARNYARN是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度。2.1.2Hadoop生态系统2.1Hadoop及其生态系统04ZooKeeperZooKeeper是一种适用于大型分布式应用的高性能协调服务，源自Google的论文“TheChubbylockserviceforloosely-coupleddistributedsystems”，是对GoogleChubby的开源实现。05HiveHive最初由Facebook开发，是构建在Hadoop之上的数据仓库工具，它可以将结构化的数据文件映射为一张数据库表。2.1.2Hadoop生态系统06HbaseHBase是一个基于HDFS的面向列的分布式数据库，可以实现大规模非结构化数据集的实时随机读写。2.1Hadoop及其生态系统07SqoopSqoop（SQL-to-Hadoop）是数据ETL（extract-transform-load，抽取、转换和加载）工具。08FlumeFlume由Cloudera公司开发，是Apache软件基金会的一个顶级项目。09KafkaKafka是一个高吞吐量的分布式发布与订阅消息系统，由LinkedIn开源实现，它可以处理消费者规模网站中的所有动作数据，包括网页浏览、搜索等。10SparkSpark是基于内存的分布式计算框架，最初由加州大学伯克利分校的AMPLab研发，可用来构建大型的、低延迟的数据分析应用程序。2.1.2Hadoop生态系统02Hadoop的运行模式2.2Hadoop的运行模式2.2.1单机模式单机模式又叫本地模式，即只在一台机器上安装Hadoop，其属于默认安装模式，无须进行其他配置就可以运行Hadoop。该模式主要用于MapReduce应用程序的调试，没有使用分布式文件系统HDFS，也不会加载进程。2.2Hadoop的运行模式2.2.2伪分布式模式伪分布式模式同样是运行在一台机器上，其增加了代码调试功能，包括5个进程（NameNode、SecondaryNameNode、DataNode、ResourceManager和NodeManager），即在一台机器上模拟分布式，主要用于测试，这种模式对开发非常有用。2.2Hadoop的运行模式2.2.2伪分布式模式

伪分布式模式存储采用分布式文件系统HDFS，同一节点既作为元数据节点NameNode，又作为数据节点DataNode。Hadoop启动上述5个进程，这些守护进程全部在同一台机器上运行，是相互独立的Java进程。2.2Hadoop的运行模式2.2.3完全分布式模式完全分布式模式又叫集群模式，它由两台及两台以上的机器组成，是真正的分布式。2.2Hadoop的运行模式2.2.3完全分布式模式Hadoop的守护进程运行在由多台主机搭建的集群上，是真正的生产环境。其存储采用分布式文件系统HDFS。集群中的节点可以分成两大类角色：master和slave，由一个NameNode和若干DataNode组成。其中，NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问；集群中的DataNode管理存储的数据。03安装部署Hadoop集群2.3安装部署Hadoop集群Hadoop伪分布式安装是指在一台机器上模拟一个小的集群，但是集群中只有一个节点。它通过多个线程模拟多台真实机器，即模拟真实的分布式环境。也就是说，Hadoop可以在单节点上以伪分布的方式运行，Hadoop进程以分离的Java进程来运行，节点既是NameNode又是DataNode，并且读取的是HDFS中的文件。2.3安装部署Hadoop集群2.3.1准备集群环境5配置SSH免密码登录本地节点（hadoop0）。4配置主机IP映射（修改hosts文件，添加“00hadoop0”。3安装和配置JDK。2关闭防火墙和新建安装目录。1修改主机名和设置固定IP（主机名：hadoop0；固定IP：00）。在VMwareWorkstation软件中创建一个虚拟机并安装好CentOS7用root用户进行登录对虚拟机系统进行基本环境配置2.3安装部署Hadoop集群2.3.1准备集群环境修改主机名在CentOS系统下打开命令行终端，执行以下命令，查看当前的主机名：#hostname步骤执行以下命令，修改hostname文件，将其内容改为要使用的主机名：#vim/etc/hostname步骤执行以下命令，修改hostname文件，将其内容改为要使用的主机名：#vim/etc/hostname步骤2.3安装部署Hadoop集群2.3.1准备集群环境设置固定IP打开命令行终端，执行以下命令，可以查看本机的网卡配置与网络状态等信息：#ifconfig步骤执行以下命令，修改网卡配置文件ifcfg-ens33：#vim/etc/sysconfig/network-scripts/ifcfg-ens33步骤修改完成后，需执行以下命令重启网络服务，使修改生效：#servicenetworkrestart步骤在命令行终端用ping命令测试本机与宿主主机是否可以连通。注意，要终止ping操作，需要按“Ctrl+C”组合键。步骤2.3安装部署Hadoop集群2.3.1准备集群环境关闭防火墙打开命令行终端，执行以下命令，查看防火墙当前的运行状态（默认为running）：#firewall-cmd--state或#systemctlstatusfirewalld.service步骤执行以下命令，关闭防火墙（运行状态变为notrunning）：#systemctlstopfirewalld.service步骤执行以下命令，禁止防火墙开机启动：#systemctldisablefirewalld.service步骤2.3安装部署Hadoop集群2.3.1准备集群环境安装和配置JDK通过页面https:///java/technologies/javase/javase8u211-later-archive-downloads.html下载JDK安装包jdk-8u211-linux-x64.tar.gz（下载时需要登录Oracle账户）步骤2.3安装部署Hadoop集群2.3.1准备集群环境安装和配置JDKCentOS7系统预装了OpenJDK（可执行“rpm-qa|grepopenjdk”命令，查询系统已安装的OpenJDK），如图所示，但该版本的JDK功能通常有所精简。为避免系统默认使用OpenJDK，需要先将其卸载，然后再安装要使用的标准版JDK8u211。步骤2.3安装部署Hadoop集群2.3.1准备集群环境安装和配置JDK将下载得到的JDK安装包jdk-8u211-linux-x64.tar.gz上传到虚拟机的“/opt/packages”目录下，然后执行以下命令进入该目录（此时可通过“ls”命令查看安装包是否存在）：#cd/opt/packages步骤步骤执行以下命令，将jdk-8u211-linux-x64.tar.gz解压到目录“/opt/programs”下：#tar-zxvfjdk-8u211-linux-x64.tar.gz-C/opt/programs步骤执行以下命令修改文件“/etc/profile”，配置JDK系统环境变量：#vim/etc/profile52.3安装部署Hadoop集群2.3.1准备集群环境安装和配置JDK步骤执行以下命令，刷新profile文件，使修改生效：#source/etc/profile6步骤执行“java-version”命令，若能输出以下JDK版本信息，则说明安装成功：javaversion"1.8.0_211"Java(TM)SERuntimeEnvironment(build1.8.0_211-b12)JavaHotSpot(TM)64-BitServerVM(build25.211-b12,mixedmode)72.3安装部署Hadoop集群2.3.1准备集群环境配置主机IP映射启动虚拟机（节点）hadoop0。步骤执行以下命令，修改hosts文件：#vim/etc/hosts步骤使用ping命令测试是否配置成功：#pinghadoop0步骤2.3安装部署Hadoop集群2.3.1准备集群环境配置SSH免密码登录本地节点在节点hadoop0中执行以下命令，生成密钥文件：#ssh-keygen步骤在节点hadoop0中执行一遍以下命令，将自身的公钥信息复制并追加到本节点的授权文件authorized_keys中（在命令执行过程中需要确认连接及输入用户密码）：#ssh-copy-idhadoop0步骤在节点hadoop0中用以下命令测试SSH免密码登录：#sshhadoop0步骤2.3安装部署Hadoop集群2.3.2安装Hadoop0201

通过页https:///dist/hadoop/core/hadoop-2.7.6/下载Hadoop安装包hadoop2.7.6.tar.gz。使用WinSCP软件将下载的Hadoop安装包hadoop-2.7.6.tar.gz上传到hadoop0节点的“/opt/packages”目录下，然后执行以下命令进入该目录：#cd/opt/packages2.3安装部署Hadoop集群2.3.2安装Hadoop0403执行以下命令，将hadoop-2.7.6.tar.gz解压到目录“/opt/programs”下：#tar-zxvfhadoop-2.7.6.tar.gz-C/opt/programs进入“/opt/programs/hadoop-2.7.6/etc/hadoop”目录，依次修改配置文件core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves、hadoop-env.sh。2.3安装部署Hadoop集群2.3.2安装Hadoop0605修改文件“/etc/profile”，配置Hadoop环境变量：#vim/etc/profile

执行以下命令，格式化HDFS：#hdfsnamenode-format2.3安装部署Hadoop集群2.3.2安装Hadoop0807

依次执行以下命令，启动HDFS和YARN：#start-dfs.sh#start-yarn.sh执行“jps”命令，查看启动的Hadoop相关进程：#jps9649Jps9042NameNode9139DataNode9605NodeManager9338SecondaryNameNode9503ResourceManager2.3安装部署Hadoop集群2.3.2安装Hadoop09在宿主主机的浏览器中访问“00:50070/”，页面会显示“'hadoop0:9000'(active)”.04实战演练在Eclipse中搭建Hadoop开发环境2.4实战演练——在Eclipse中搭建Hadoop开发环境尽管开发Hadoop程序可以采用不同的开发工具和开发语言，但Eclipse和Java是当前的主流。之所以采用Eclipse作为开发工具，是因为它实现了开发环境的图形化，降低了编程难度。Eclipse支持多种平台，除了Windows平台外，用户也可以选择在Linux平台搭建Eclipse开发环境。由于Hadoop开发是基于Java语言的，因此需要先安装和配置JDK，然后再在Eclipse开发工具中配置Hadoop开发环境。2.4.1在Windows中安装和配置JDK2.4实战演练——在Eclipse中搭建Hadoop开发环境我们先在Windows中下载和启动Eclipse开发工具，然后为其安装和配置Maven插件及Hadoop插件，并在Eclipse开发环境中新建一个Hadoop集群连接，最后在搭建好的Hadoop开发环境中演示一个简单的单词统计程序。2.4.2在Windows中安装和配置EclipseThanks第3章数据采集与预处理大数据技术基础（第2版）PREFACE本章导读大数据蕴藏着巨大价值，在海量数据面前，采集与预处理是首先需要做的事情，它直接决定了后续环节分析结果的质量。通过数据采集，可以获取Web数据、日志数据、业务系统数据、传感器数据等，这为数据的进一步处理提供了基础和前提条件。通常，采集得到的数据还需要进行预处理（如数据清洗、数据转换等），这样有助于通过后续分析得出可靠的结论。01数据采集02网络爬虫技术03数据预处理04实战演练——用八爪鱼工具采集并预处理房源数据CATALOG知识目标04了解网络爬虫的概念、原理、分类及应用。03了解分布式发布与订阅消息系统Kafka。02了解常用的日志采集系统和ETL工具。01了解数据的主要来源和常用的数据采集方法。知识目标08了解数据脱敏的概念、原则和方法。07了解数据预处理的概念和基本过程。06理解网络爬虫工具的工作流程。05熟悉国内比较常用的网络爬虫工具。0102能力目标能够根据实际情况对采集到的数据进行简单的预处理。能够根据需要使用网络爬虫工具对网络数据进行采集。思政目标感受我国在运用大数据保障和改善民生方面的改革创新举措，如重要产品追溯体系建设、农业农村数据采集体系建设等，不断拓宽知识视野，提升专业能力和社会责任感，立志让大数据在强化民生服务、弥补民生短板上发挥更大作用。01数据采集3.1数据采集对数据进行采集是大数据应用生命周期中的第一个环节，通常是使用ETL（抽取、转换和加载）工具将分布的、异构的数据源中的数据（如传感器、社交网络、移动互联网等平台上各种类型的结构化、半结构化及非结构化的数据）抽取到临时中间层，然后对数据进行清洗、转换、集成，最后加载到数据仓库或数据集市中的过程。3.1.1数据的主要来源3.1数据采集内部数据内部数据来源于企业（或机构）的内部，由内部运作经营而产生外部数据外部数据则来源于企业（或机构）的外部，如通过交换、购买等方式获取的数据等。数据源的分类010203指己方单位自己和消费者、用户、目标客户群交互产生的数据，具有高质量、高价值等特性，但易局限于既有顾客数据。第一方数据指取自第一方的数据，第二方通常与第一方具有合作、联盟或契约关系，因此可共享或采购第一方数据。第二方数据若提供数据的来源单位并非产出该数据的原始者，该数据即第三方数据。第三方数据3.1.1数据的主要来源3.1数据采集大数据的主要来源3.1.1数据的主要来源3.1数据采集1.Web数据Web数据的采集通常借助于网络爬虫来完成。网络爬虫网络爬虫是一种按照一定规则自动地抓取Web数据的程序或脚本。网络爬虫获取数据时，首先抓取互联网的网页，然后从抓取的网页中解析有用的结构化信息。网络爬虫支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。大数据的主要来源3.1.1数据的主要来源3.1数据采集2.日志文件企业的业务平台每天都会产生大量的日志文件。日志文件日志文件一般由数据源系统产生，用于记录数据源执行的各种操作活动，如网络监控的流量管理、Web服务器记录的用户访问行为等。大数据的主要来源3.1.1数据的主要来源3.1数据采集3.数据库数据很多企业使用传统的关系型数据库如MySQL和Oracle等存储业务系统数据，此外Redis和MongoDB等NoSQL数据库也常用于数据的存储。业务数据企业每时每刻产生的业务数据，以数据库行记录的形式被直接写入数据库。企业可以借助于ETL工具，把分散在不同位置的业务系统数据抽取、转换和加载到数据仓库，供后续的商务智能分析使用。大数据的主要来源3.1.1数据的主要来源3.1数据采集4.传感器数据传感器是一种检测装置，作为物联网等摄取信息的关键器件，它能感受到被测量的信息，并能将感受到的信息按一定规律变换成为电信号或其他所需形式的信息输出，以满足信息的传输、处理、存储、显示、记录和控制等要求。传感器传感器具有较强的环境适应能力，可以在高温、高湿、水下、密闭等恶劣环境使用。其类型也有很多，如压力传感器、温度传感器、流量传感器、称重传感器、速度传感器、生物传感器等。平时，我们用手机拍照、录制视频等就属于传感器数据采集。1.网络数据采集3.1.2常用的数据采集方法3.1数据采集网络数据采集是指通过网络爬虫或调用网站公开API等方式从网站上获取数据的过程。该方法可以将非结构化数据和半结构化数据从网页中提取出来，以结构化的方式统一存储为本地数据文件，支持图片、音频、视频等文件的采集，文件与正文可以自动关联。3.1.2常用的数据采集方法3.1数据采集网络数据采集广泛应用于搜索引擎和垂直搜索（即针对某一特定行业的搜索）平台的搭建与运营，综合门户、行业门户、地方门户、专业门户网站的数据支撑与流量运营，电子政务与电子商务平台的运营，以及知识管理与知识共享等领域。1.网络数据采集3.1.2常用的数据采集方法3.1数据采集2.系统日志采集开源日志采集系统01FlumeFlume是一种高可用、高可靠、分布式的海量日志采集、聚合和传输系统，用于将大量日志数据从许多不同的源进行收集、聚合，最终移动到一个集中的数据中心进行存储。03Scribe02ChukwaChukwa是一个用于监控大型分布式系统的开源数据收集系统。它构建于HDFS和MapReduce框架之上，并继承了Hadoop的可扩展性和可靠性。Scribe是Facebook开源的日志采集系统，它能够从各种日志源上收集日志并存储到一个中央存储系统上，以便于进行集中统计分析处理。3.1.2常用的数据采集方法3.1数据采集3.ETL工具采集ETL（抽取、转换和加载）用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL是构建数据仓库的重要一环，用户从数据源抽取出需要的数据，经过预处理，最终按照预先定义好的数据模型将数据加载。3.1.2常用的数据采集方法3.1数据采集3.ETL工具采集Sqoop是一种用于在Hadoop和关系型数据库（如MySQL、Oracle）之间传输数据的工具。SqoopKettle是一款开源的ETL工具，使用Java编写，可以在Windows、Linux、UNIX上运行，数据抽取高效、稳定。Kettle常用的ETL工具3.1.2常用的数据采集方法3.1数据采集4.分布式消息订阅分发分布式消息订阅分发是一种常见的数据采集方式。其中，Kafka就是一种高吞吐量、低延迟的分布式发布与订阅消息系统，它可以同时满足在线实时处理和批量离线处理的要求。用户通过Kafka系统可以发布大量的消息，同时也能实时订阅消费消息。3.1.2常用的数据采集方法3.1数据采集4.分布式消息订阅分发Kafka组建话题（topic）生产者（producer）服务代理（broker）消费者（consumer）处理流程工作时，生产者将数据发送到服务代理，服务代理有多个话题，消费者从服务代理获取数据。Kafka基于ZooKeeper实现，常与Hadoop、Spark等数据处理框架相结合，是当下流行的分布式发布与订阅消息系统，其应用场景有日志收集、用户活动跟踪、运营指标监控、流式处理等。02网络爬虫技术3.2网络爬虫技术3.2.1什么是网络爬虫

网络爬虫（又称网络蜘蛛）是指用来实现自动采集网络数据的程序。如果将互联网比作一张蜘蛛网，将互联网上的一个个网页比作蜘蛛网上的一个个节点，那么网页与网页之间的链接关系可以比作节点间的连线，而网络爬虫就可以比作在网上爬来爬去的蜘蛛。3.2网络爬虫技术3.2.1什么是网络爬虫网络爬虫的基本原理3.2网络爬虫技术3.2.1什么是网络爬虫1预先设定一个或若干初始网页的URL，将初始URL加入待爬取的URL列表。2从待爬取的URL列表中逐个读取URL，并将URL加入已爬取的URL列表中，然后下载网页。3解析已下载的网页，提取所需的数据和新的URL，并存储提取的数据。网络爬虫的基本原理3.2网络爬虫技术3.2.1什么是网络爬虫4将新的URL与已提取的URL列表进行比对，检查该网页是否已爬取，如果网页没有被爬取，则将新的URL放入待爬取URL列表的末尾，等待读取。5如此往复，直到待爬取URL列表为空或者满足设定的停止条件，最后达到遍历网页的目的。网络爬虫的基本原理3.2网络爬虫技术3.2.2网络爬虫的分类和应用1.

网络爬虫的分类01通用网络爬虫又称全网爬虫，是根据网络爬虫的基本原理实现的，它所爬取的目标会从初始设定的URL扩充到全网。通用网络爬虫主要应用于门户网站、搜索引擎和大型网络服务提供商的数据采集。通用网络爬虫02聚焦网络爬虫爬取的目标是与预先定义好的主题相关的网页。与通用网络爬虫相比，聚焦网络爬虫只选择爬取与主题相关的网页，极大地节省了硬件和网络资源，它主要应用于对特定领域信息有需求的场景。聚焦网络爬虫3.2网络爬虫技术3.2.2网络爬虫的分类和应用1.

网络爬虫的分类03增量式网络爬虫爬取的目标是有更新的已下载网页和新产生的网页。爬虫程序监测网站数据更新的情况，然后在需要的时候只爬取发生更新或新产生的网页。增量式网络爬虫04深层网络爬虫爬取的目标是不能通过静态链接获取的、隐藏在搜索表单后的、只有用户提交一些关键词才能获得的网页，如用户注册后才可显示内容的网页等。深层网络爬虫3.2网络爬虫技术3.2.2网络爬虫的分类和应用2

网络爬虫的应用每个独立的搜索引擎都有自己的爬虫程序，爬虫程序每天连续地爬取相关网站，提取信息保存到搜索引擎中。例谷歌爬虫Googlebot百度爬虫Baiduspider必应爬虫Bingbot3.2网络爬虫技术3.2.2网络爬虫的分类和应用2

网络爬虫的应用企业用户在采集和分析数据时也时常会借助网络爬虫。例如，爬取产品的用户信息进行分析，以确定目标客户群体；爬取同类产品的销售信息进行分析，以制定营销策略等。普通用户也可以根据自己关注的主题采集所需要的数据，把浏览网站或App时所见到的数据都通过爬虫程序保存下来，实现可见即可得。例如，爬取网站上的图片、学术网站的论文、团购网站的价格及点评、各种电商平台的商品信息、招聘网站的招聘信息等数据。3.2网络爬虫技术3.2.3常用的网络爬虫工具1八爪鱼采集器八爪鱼采集器主界面八爪鱼采集器是由深圳视界信息技术有限公司自主研发的一款集网页数据采集、移动互联网数据及API服务（包括数据爬虫、数据优化、数据挖掘、数据存储、数据备份）等于一体的数据服务平台，连续5年蝉联互联网数据采集软件榜单第一名。3.2网络爬虫技术3.2.3常用的网络爬虫工具八爪鱼采集器的功能01模板采集02智能采集模板采集功能内置上百种主流网站数据源，如京东、天猫、大众点评等热门采集网站，只需参照模板简单设置参数，就可以快速获取网站公开数据。八爪鱼采集器可根据不同网站，提供多种网页采集策略与配套资源，可自定义配置，组合运用，自动化处理，以帮助整个采集过程实现数据的完整性与稳定性。3.2网络爬虫技术3.2.3常用的网络爬虫工具03云采集04API服务由5000多台云服务器支撑的云采集，7×24小时不间断运行，可实现定时采集，无须人员值守，灵活契合业务场景，帮用户提升采集效率，保障数据时效性。通过八爪鱼API，可以轻松获取八爪鱼任务信息和采集到的数据，灵活调度任务，如远程控制任务启动与停止，高效实现数据采集与归档。基于强大的API体系，还可以无缝对接公司内部各类管理平台，实现各类业务自动化。八爪鱼采集器的功能3.2网络爬虫技术3.2.3常用的网络爬虫工具05自定义采集06便捷定时功能针对不同用户的采集需求，八爪鱼可提供自动生成爬虫的自定义模式，可准确批量识别各种网页元素，还有翻页、下拉、Ajax、页面滚动、条件判断等多种功能，支持不同网页结构的复杂网站采集，满足多种采集应用场景。通过几步简单设置，即可实现采集任务的定时控制，不论是单次采集的定时设置，还是预设某一天或是每周每月的定时采集，都可以同时对多个任务自由进行设置，根据需要对选择时间进行多重组合，灵活调配自己的采集任务。八爪鱼采集器的功能3.2网络爬虫技术3.2.3常用的网络爬虫工具07全自动数据格式化08多层级采集八爪鱼内置了强大的数据格式化引擎，支持字符串替换、正则表达式替换或匹配、去除空格、添加前缀或后缀、日期时间格式化、HTML转码等多项功能，采集过程中全自动处理，无须人工干预，即可得到所需格式数据。很多主流电商类（或新闻类）的网站，里面包含一级商品列表页，也包含二级商品详情页，还有三级评论详情页面。不论网站有多少层级，八爪鱼都可以不限制层级地采集数据，满足各类业务采集需求。八爪鱼采集器的功能3.2网络爬虫技术3.2.3常用的网络爬虫工具09支持网站登录后采集八爪鱼内置了采集登录模块，只需配置目标网站的账号及密码，即可用该模块采集到登录后的数据；

同时八爪鱼还具备采集Cookie自定义功能，首次登录以后，可以自动记住Cookie，免去多次输入密码的烦琐，支持更多网站的采集。八爪鱼采集器的功能3.2网络爬虫技术3.2.3常用的网络爬虫工具2火车采集器火车采集器主界面火车采集器是一款专业的互联网数据抓取、处理、分析与挖掘软件，可以灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。3.2网络爬虫技术3.2.3常用的网络爬虫工具火车采集器的功能123多线程高速并行采集系统任务分配至多个客户端，同时运行采集，效率倍增。多识别系统配备正文识别、中文分词识别、任意编码识别等多种识别系统，智能识别操作更轻松。可选验证方式可以选择是否使用加密狗，随时保障数据安全。3.2网络爬虫技术3.2.3常用的网络爬虫工具火车采集器的功能567替换功能同义词、近义词替换，参数替换，整合伪原创必备技能。任意格式文件下载图片、压缩文件、视频等任意格式的文件都能轻松下载。系统运行监控监控数据质量，确保数据准确性。全自动运行无须人工值守操作，任务完成后自动关机。43.2网络爬虫技术3.2.3常用的网络爬虫工具火车采集器的功能8支持多数据库支持Access、MySQL、SQLServer、SQLite、Oracle多种类型的数据库保存及发布。9无限级多页采集支持包含Ajax请求数据在内的多个页面信息的无限级采集。10支持扩展支持接口和插件扩展，满足各种采集与发布需求。3.2网络爬虫技术3.2.3常用的网络爬虫工具3

后羿采集器后羿采集器主界面后羿采集器是由前谷歌搜索技术团队基于人工智能技术研发的新一代网页采集软件，该软件功能强大，操作简单，是为广大无编程基础的产品、运营、销售、金融、新闻、电商和数据分析从业者，以及政府机关和学术研究等用户量身打造的一款产品。3.2网络爬虫技术3.2.3常用的网络爬虫工具

后羿采集器的功能智能识别数据可视化点击简单上手基于人工智能算法，只需输入网址就能智能识别列表数据、表格数据和分页按钮，不需要配置任何采集规则，一键采集。此外，还能自动识别链接、图片、价格等。只需根据软件提示在页面中进行点击操作，完全符合人为浏览网页的思维方式，简单几步即可生成复杂的采集规则，结合智能识别算法，任何网页的数据都能轻松采集。1223.2网络爬虫技术3.2.3常用的网络爬虫工具

后羿采集器的功能功能强大提供企业级服务支持多种数据导出方式后羿采集器提供丰富的采集功能，无论是采集稳定性或是采集效率，都能够满足个人、团队和企业级采集需求。其功能丰富，涵盖定时采集，自动导出，文件下载，加速引擎，按组启动和导出，Webhook，RESTfulAPI，智能识别SKU和大图等。采集结果可以导出到本地，支持TXT、Excel、CSV和HTML文件格式，也可以直接发布到数据库（如MySQL、MongoDB、SQLServer、PostgreSQL）供用户使用。433