大数据采集技术

数据采集技术主讲：吴梦雪大大数据采集技术什么是大数据采集技术？大数据采集技术就是通过对数据进行ETL操作，最终挖掘出数据的潜在价值，然后提供给用户解决方案或者决策参考。ETL，是英文Extract-Transform-Load的缩写，数据从数据来源端经过提取(extract)、转换(transform)、加载(load)到目的端，然后进行处理分析的过程。大数据采集方法系统日志采集方法很多互联网企业都有自己的海量数据采集工具，多用于系统日志采集。这些系统均采用分布式架构，能满足每秒百MB的日志数据采集和传输需求。Facebook的ScribeHadoop的ChukwaCloudera的Flume大数据采集方法网络数据采集方法网络数据采集是指通过网络爬虫或网站公开API等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。大数据采集方法网络数据采集方法

（一）四个主要模块及功能：网络爬虫从Internet抓取网页内容，并抽取出需要的属性内容URL队列为爬虫提供需要抓取数据网络的URL数据处理对爬虫抓取的内容进行处理数据SiteURL，需要抓取数据网站的URL信息；SpiderData，爬虫从网页中抽取出来的数据；DpData，经过dp处理之后的数据大数据采集方法网络数据采集方法

（二）数据采集和处理的基本步骤：将需要抓取数据网站的URL信息写入URL队列爬虫从URL队列中获取需要抓取数据网站的SiteURL信息爬虫从Internet抓取对应网页内容，并抽取其特征属性的内容值爬虫将从网页中抽取的数据写入数据库Dp读取SpiderData，并进行处理Dp将处理后的数据写入数据库大数据采集方法数据库采集方法传统企业会使用传统的关系型数据库MySQL和Oracle等来存储数据。除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。企业每时每刻产生的业务数据，以数据库一行记录形式被直接写入到数据库中。通过数据库采集系统直接与企业业务后台服务器结合，将企业业务后台每时每刻都在产生大量的业务记录写入到数据库中，最后由特定的处理分析系统进行系统分析。大数据采集平台ApacheFlume

Flume是Apache旗下的一款开源、高可靠、高扩展、容易管理、支持客户扩展的数据采集系统。Flume使用JRuby来构建，所以依赖Java运行环境。FluentdFluentd是另一个开源的数据采集框架。Fluentd使用C/Ruby开发，使用JSON文件来统一日志数据。它的可插拔架构，支持各种不同种类和格式的数据源和数据输出，同时它也提供了高可靠和很好的扩展性。TreasureData，Inc对该产品提供支持和维护。大数据采集平台LogstashLogstash是著名的开源数据栈ELK(ElasticSearch,Logstash,Kibana)中的那个L。Logstash能够动态地采集、转换和传输数据，不受格式或复杂度的影响。利用Grok从非结构化数据中派生出结构，从IP地址解码出地理坐标，匿名化或排除敏感字段，并简化整体处理过程。Logstash用JRuby开发，所有运行时依赖JVM。SplunkForwarder

Splunk是一个分布式的机器数据平台，主要有三个角色：SearchHead负责数据的