大数据与数据采集_第1页
大数据与数据采集_第2页
大数据与数据采集_第3页
大数据与数据采集_第4页
大数据与数据采集_第5页
已阅读5页，还剩4页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

大数据与数据采集实时数据分析一般用于金融、移动和互联网B2C等产品，往往要求在对于大多数反馈时间要求不是那么严苛的应用，比如离线统计分析、量数据，传统的ETL工具往往彻底失效，主要原因是数据格式转换的开销海量级别指的是对于数据库和BI产品已经完全失效或者成本过高的高速描述的是数据被创建和移动的速度。在高速网络时代，通过基于实现软件性能优化的高速电脑处理器和服务器，创建实时数据流已成为流行趋势。企业不仅需要了解如何快速创建数据，还必须知道如何快速处理、分析并返回给用户，以满足他们的实时需求。根据IMSResearch关于数据创建速度的调查，据预测，到2020年全球将拥有220亿部互联网连接设5大数据采集技术5.1.数据采集与大数据采集区别5.2传统数据采集的不足传统的数据采集来源单一，且存储、管理和分析数据量也相对较小，大多采用关系型数据库和并行数据仓库即可处理。对依靠并行计算提升数据处理速度方面而言，传统的并行数据库技术追求高度一致性和容错性，根据CAP理论，难以保证其可用性和扩展性。5.3大数据采集新的方法5.3.1系统日志采集方法很多互联网企业都有自己的海量数据采集工具，多用于系统日志采集，具均采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求。5.3.2网络数据采集方法网络数据采集是指通过网络爬虫或网站公开API等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。除了网络中包含的内容之外，对于网络流量的采集可以使用DPI或DFI等带宽管理技术进行处理。5.3.3其他数据采集方法对于企业生产经营数据或学科研究数据等保密性要求较高的数据，可以通过与企业或研究机构合作，使用特定系统接口等相关方式采集数据。5.3.4大数据采集平台Flume是Apache旗下的一款开源、高可靠、高扩展、容易管理、支持客户扩展的数据采集系统。Flume使用JRuby来构建，所以依赖Java运行环境。用JSON文件来统一日志数据。它的可插拔架构，支持各种不同种类和格式的数据源和数据输出。最后它也同时提供了高可靠和很好的扩展性。TreasureData,Inc对该产品提供支持和维护。中的那个L。Logstash用JRuby开发，所有运行时依赖JVM。Splunk是一个分布式的机器数据平台，主要有三个角色：SearchHead负责数据的搜索和处理，提供搜索时的信息抽取；Indexer负责数据的存储[1]涂子沛.大数据.广西师范大学出版社.2012年7月[2]维克托·迈尔-舍恩伯格著.盛扬

人人文库> 全部分类> 教育资料 > 中学教育

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论