Hadoop大数据处理讲义-C1. 海量数据处理概论_第1页
Hadoop大数据处理讲义-C1. 海量数据处理概论_第2页
Hadoop大数据处理讲义-C1. 海量数据处理概论_第3页
Hadoop大数据处理讲义-C1. 海量数据处理概论_第4页
Hadoop大数据处理讲义-C1. 海量数据处理概论_第5页
已阅读5页,还剩35页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

2014海量数据(MassiveData)(Big2012年,全球BigData相关IT投资总额为280非结构化非结构化海量数据的三大特征数据量大小–大容量数据类型–多类型数据时效性–高时效海量数据特征(1)–

数据大小数据大小 柯达400尼康D50610佳能5D22110海量数据特征(2)–结构化数据(Structured)VS.非结构化数据无格式文本(网页、邮件等)海量数据特征(3)–

长 短 段报 时 微5Database 80G80GSATA①第1盘面的第1磁头(磁道)②同一柱面的下一磁头(磁③一个柱面存储满后就下一①计算第一个盘面、磁头、扇②从扇区读取数据③寻找下一扇区单硬盘容量提升:MBGBTB系统整体容量提升:DAS、NAS、SAN(StorageAreaNetwork) RAID:RedundantArrayofInexpensiveDisksSource:数据库机(DatabaseMachine)专用结构专用结构专用结构多处理器缓存架构(Multi-Processor

IPSMFIPCF1FNMF:N:F:

–提高单核增加处理器字长–

F1F 非对称多处理器架构非对称多处理器架构对称多处理器架构并行计算(Parallelcomputing)是指在具有并行处理能力的计算节点上,将一处理器并行化:超标量(Superscalar)、显式并行指令计算(ExplicitlyParallelInstructionsComputing,EPIC)、向量处理器(VectorProcessor)、多线程 并行算法的目的-降低FIPSMFIPCF1F/N 例:ScanSort→Scan共享内存(Shared共享内存(Shared共享磁盘(Shared无共享(Shared

process_time_of_original_process_time_of_

_Scaleup

process_time_

_small_task_on_original_process_time_

_big_task_on_scaleuped_Availability

MTTFMTTR

MTTR:平均维修时间(MeanTimeToRecovery),代表系统从发生故障到恢复正MTTR不变的前提下,提升MTTF(可靠性)

Source:VS

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论