大数据采集及预处理课件

时间反复无常，鼓着翅膀飞逝大数据采集及预处理时间反复无常，鼓着翅膀飞逝大数据采集及预处理1大数据技术与应用国缉大學大数据技术与应用2第2章大数据采集及预处理国缉大學第2章大数据采集及预处理3导学与要求二、重点、难点放据重点是大数撸采集的概念大数据握大数据采集的数据来源,了解大采集的数据来源和技术方法。难点是大数据预处理的方法。数据采集的技术方法2.了解大数据预处理的方法和了解大数据采集及预处理的常用工具国缉大學导学4数据采集简介2.1.1数据采集大数据的数据采集是在确定用户自标的基础上,针对该范围内所有结构化、半结构化和非结构化的数据的采集。传统的数据采集大数据的数据妹数据来源来源单一,数据量相对大数据较小来源广泛,数据量巨大数据类型丰富数据类型结构单包括结构化、半结构化、非结构化数据处理关系型数据库和并行数据仓库分布式数据库≮国缉大學数据采集简介5数据采集的数据来源按照数据来源划分,大数据的三大要来源为商业数据、互联网数据与物联网数据国缉大學数据采集的数据来源6业数据商业数据是指来自于企业ERP系统、备种POS端及风上支付系练等业务系红的数据,是现在最主要的数据来源渠道。国缉大學业数据7互联网数据互联网数据是指网络空间交互过程产生的大量数据,包括通信记录及QQ微信微博等社交媒体产生的数据,其数据复杂且难以被利用互联网数据具有的特点大量化多样化快速化国缉大學互联网数据8物联网数据物联网是指在计算机互联网的基础利用时频识别、传感器、红外感应器、线数据通信等技术,构造一个盖世界上万事万物的heInternetofThings,也就是“实现物物相连的互联网络”。其内涵包含:物联网的核心和基础仍是互联网,是在互联网基础之上延伸和扩展的一种网络。用户端延伸和扩展到了任何物品与物品之间,进行信息交换和通信国缉大學物联网数据9状网数据的特点主要包括:物联网中的数据量更大〉物联网中的数据传输速率更高物联网中的数据更加多样化物联网对数据真实性的要求更高国缉大學状网数据的特点主要包括:103数据采集的技术方法1.系统日志采集方法很多互联网企业都有自己的海量数据采集工具,多用于系统日志采集,如:>Hadoop的ChukwaCloudera的FumeFacebook的Scribe国缉大學3数据采集的技术方法11大数据采集及预处理课件12大数据采集及预处理课件13大数据采集及预处理课件14大数据采集及预处理课件15大数据采集及预处理课件16大数据采集及预处理课件17大数据采集及预处理课件18大数据采集及预处理课件19大数据采集及预处理课件20大数据采集及预处理课件21大数据采集及预处理课件22大数据采集及预处理课件23大数据采集及预处理课件24大数据采集及预处理课件25大数据采集及预处理课件26大数据采集及预处理课件27大数据采集及预处理课件28大数据采集及预处理课件29大数据采集及预处理课件30大数据采集及预处理课件31大数据采集及预处理课件32大数据采集及预处理课件33大数据采集及预处理课件34大数据采集及预处理课件35大数据采集及预处理课件3641、学问是异常珍贵的东西，从任何源泉吸收都不可耻。——阿卜·日·法拉兹

42、只有在人群中间，才能认识自己。——德国

43、重复别人所说的话，只需要教育；而要挑战别人所说的话，则需要头脑。——玛丽·佩蒂博恩·普尔

44、卓越的人一大优点