5.2.4大数据存储技术-内存技术_第1页
5.2.4大数据存储技术-内存技术_第2页
5.2.4大数据存储技术-内存技术_第3页
5.2.4大数据存储技术-内存技术_第4页
5.2.4大数据存储技术-内存技术_第5页
已阅读5页，还剩6页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

《大数据导论》内存技术内存存储设备内存存储设备减少磁盘I/O延迟数据处理更加快速比磁盘约快80倍内存存储设备高可用性数据冗余大数据内存存储设备内存存储设备内存存储设备适用于：数据快速到达，并且需要实时分析或者事件流处理。需要连续地或者持续不断地分析，例如运行分析和运营商业智能。需要执行交互式查询处理和实时数据可视化，包括假设分析和数据钻取操作。不同的数据处理任务需要处理相同的数据集。进行探索性的数据分析，因为当算法改变时，同样的数据集不需要从磁盘上重新读取。数据的处理包括对相同数据集的迭代获取，例如执行基于图的算法。需要开发低延迟并有ACID事务支持的大数据解决方案。内存存储设备不适用于：数据处理操作含有批处理。为了实现深度的数据分析，需要在内存中长时间地保存非常大量的数据。执行BI战略或战略分析，涉及访问数据量非常大，并涉及批量数据处理。数据集非常大，不能装进内存。从传统数据分析到大数据分析的转换，因为加入内存存储设备可能需要额外的技术并涉及复杂的安装。企业预算有限，因为安装内存存储设备可能需要升级节点，这需要通过节点替换或者增加RAM实现。内存存储设备可以被实现为：内存数据网格（IMDG）。内存数据库（IMDB）。内存数据网格容错性高可用性一致性内存数据网格IMDG内存数据网格IMDG存储设备适用于：数据需要易于访问的对象形式，且延迟最小。存储的数据是非关系型的，例如半结构化和非结构化数据。对现有的使用磁盘存储设备的大数据解决方案增加实时支持。现有的存储设备不能被替换但是数据访问层可以被修改。扩展性比关系型存储更重要，尽管IMDG比IMDB更容易扩展（IMDB是功能完全的数据库），IMDG不支持关系型存储。IMDG存储设备的实例包括：Hazelcast、Infinispan、PivotalGemFire和GigaspacesXAP内存数据库RAM性能优势数据库技术类型自由内存存储设备IMDBIMDB策略：使用非易失性RAM（Non~volatileRAM，NVRAM）以持久地存储数据。数据库事务日志周期性地存储在非易失性的介质中，如硬盘。快照文件，在某个特定的时间记录数据库的状态并存入硬盘。

IMDB可能利用分片和复制以增加对可用性和可靠性的支持，以作为对耐用性的替代。·IMDB可以与磁盘存储设备如NoSQL数据库和RDBMS共同使用，以获得持久存储。内存数据库IMDB存储设备适用于：需要在内存中存储带有ACID支持的关系型数据。需要对正在使用磁盘存储的大数据解决方案增加实时支持。现有的磁盘存储装置可以被一个内存等效技术来代替。需要最小化地改

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论