版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
大数据分析平台搭建可选择的工具大数据分析平台搭建可选择的工具数据采集和传输层数据采集和传输层是大数据分析平台的基础层,可选择的工具有日志采集工具、消息传输队列工具、数据同步工具。选择的具体工具与数据源及数据源层的数据类型相关。数据存储层数据存储层主要完成数据采集和传输层的采集、抽取及同步的数据存储,同时完成数据的预处理,包括数据清洗、数据融合、数据脱敏、数据规约等。资源调度管理和任务调度管理工具资源调度管理主要完成计算、存储和网络资源的调度与管理,服务于计算层。大数据分析平台所完成的一次完整的数据分析,通常都是由大量任务单元组成的,且各任务单元之间存在时间先后及前后依赖关系。为了很好地完成这样的复杂执行计划,需要一个工作流调度系统来调度执行,这是任务调度管理工具完成的工作。计算层计算层主要完成大数据的分布式计算任务,针对不同类型的数据选择不同的计算模型,如针对海量数据的批处理计算模型、针对动态数据流的流计算模型、针对结构化数据的大规模并发处理模型、针对物理大内存的内存计算模型、针对机器学习算法的数据流图模型。计算平台,如Hadoop、Spark、Flink等。应用工具层应用工具层主要完成实际的数据应用和展现等任务7.1认知大数据7.1认知大数据7.1认知大数据7.1认知大数据7.1认知大数据7.1认知大数据7.1认知大数据7.1认知大数据7.1认知大数据7.1认知大数据7.1认知大数据7.1认知大数据7.1认知大数据7.1认知大数据7.1认知大数据7.1认知大数据7.1认
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 广东第二师范学院番禺附中2025届高三适应性调研考试历史试题含解析
- 山东省临沭县2025届高三下第一次测试生物试题含解析
- 浙江省衢州二中2025届高三3月份模拟考试历史试题含解析
- 2025届湖南省箴言中学高三下学期联考生物试题含解析
- 2025届云南省绿春县高级中学高考冲刺模拟生物试题含解析2
- 湖南省长沙同升湖实验学校2025届高三第一次模拟考试历史试卷含解析
- 安徽省亳州市蒙城八中重点中学2023-2024学年中考数学最后一模试卷含解析
- 初中语文+《国行公祭为佑世界和平》课件+统编版语文八年级上册
- 子女与父母离婚协议书范本
- 山东枣庄重点中学2022年中考一模数学试题含解析
- 中医辨证胃痛胃脘痛
- 幼儿园安全教育课件:《讨人厌的流感》
- 名医专家简介
- 喷淋系统安装施工方案
- 路由交换技术之路由表介绍课件
- 幼儿园大班绘本《小熊不刷牙》 优质课件
- 起动机拆装与检修
- 2024年4月自考00054管理学原理押题及答案汇总
- 2022年林权确权工作方案
- 邵阳学院农林生态学院实验耗材报价表
- 班级文化建设一等奖-完整版课件
评论
0/150
提交评论