分析：大数据环境下如何优雅地设计数据分层_第1页
分析：大数据环境下如何优雅地设计数据分层_第2页
分析：大数据环境下如何优雅地设计数据分层_第3页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

【计算机论文】分析：大数据环境下如何优雅地设计数据分层

发个牢骚，搞大数据的也得建设数据仓库吧。而且不管是传统行业还是现在的互联网公司，都需要对数据仓库有一定的重视，而不是谈一句自己是搞大数据的就很厉害了。数据仓库更多代表的是一种对数据的管理和使用的方式，它是一整套包括了etl、调度、建模在内的完整的理论体系。现在所谓的大数据更多的是一种数据量级的增大和工具的上的更新。两者并无冲突，相反，而是一种更好的结合。话说，单纯用用Hadoop、Spark、Flume处理处理数据，其实只是学会几种新的工具，这是搞工具的，只是在数据仓库中etl中的一部分。当然，技术的更新往往能领到一个时代的变革，比如Hadoop的诞生，光是深入研究一个大数据组件就要花很大的时间和精力。但是在热潮冷却之后，我们更应该考虑地是如何更好地管理和使用自己的数据。对于数据的从业者来讲，要始终重视紧跟技术的变革，但是切记数据为王，在追求技术的极致的时候，不要忘了我们是搞数据的。文章主题吐槽完毕，本文主要讲解数据仓库的一个重要环节：如何设计数据分层！本文对数据分层的讨论适合下面一些场景，超过该范围场景or数据仓库经验丰富的大神就不必浪费时间看了。数据建设刚起步，大部分的数据经过粗暴的数据接入后就直接对接业务。数据建设发展到一定阶段，发现数据的使用杂乱无章，各种业务都是从原始数据直接计算而得。各种重复计算，严重浪费了计算资源，需要优化性能。文章结构最初在做数据仓库的时候遇到了很多坑，由于自身资源有限，接触数据仓库的时候，感觉在互联网行业里面的数据仓库成功经验很少，网上很难找到比较实践性强的资料。而那几本经典书籍里面又过于理论，折腾起来真是生不如死。还好现在过去了那个坎，因此多花一些时间整理自己的思路，帮助其他的小伙伴少踩一些坑。为什么要分层？这个问题被好几个同学质疑过。因此分层的价值还是要说清楚的。分享一下经典的数据分层模型，以及每一层的数据的作用和如何加工得来。分享两个数据分层的设计，通过这两个实际的例子来说明每一层该怎么存数据。给出一些建议，不是最好的，但是可以做参考。为什么要分层我们对数据进行分层的一个主要原因就是希望在管理数据的时候，能对数据有一个更加清晰的掌控，详细来讲，主要有下面几个原因：清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。数据血缘追踪：简单来讲可以这样理解，我们最终给业务诚信的是一能直接使用的张业务表，但是它的来源有很多，如果有一张来源表出问题了，我们希望能够快速准确地定位到问题，并清楚它的危害范围。减少重复开发：规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算。把复杂问题简单化。讲一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单和容易理解。而且便于维护数据的准确性，当数据出现问题之后，可以不用修复所有的数据，只需要从有问题的步骤开始修复。屏蔽原始数据的异常。屏蔽业务的影响，不必改一次业务就需要重新接入数

人人文库> 全部分类> 专业文献 > IT计算机

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论