全文预览已结束
下载本文档
版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领
文档简介
《大数据导论》数据验证与清理阶段1.为什么要进行数据验证与清理
无效数据会歪曲和伪造分析的结果。和传统的企业数据那种数据结构被提前定义好、数据也被提前校验的方式不同，大数据分析的数据输入往往没有任何的参考和验证来进行结构化操作，其复杂性会进一步使数据集的验证约束变得困难。
数据验证和清理阶段是为了整合验证规则并移除已知的无效数据。大数据经常会从不同的数据集中接收到冗余的数据。这些冗余数据往往会为了整合验证字段、填充无效数据而被用来探索有联系的数据集。数据验证会被用来检验具有内在联系的数据集，填充遗失的有效数据。2.数据验证与清理阶段——主要工作3.有哪些方式？批处理分析：数据验证与抽取可以通过离线ETL（抽取转换加载）来执行。实时分析：从在内存中运行的系统数据进行处理。感谢聆听！
温馨提示
- 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026年算法伦理与公平性试题含答案
- 2026年药品包装材料标准题含答案
- 2026年消防安全四个能力建设试题及答案
- 2026年江西建筑焊工等离子切割作业技能考核题库含答案
- 2026年人才脑科学应用测试含答案
- 2026年中国华能历年试题及答案
- 2026年民营企业审计岗招聘笔试模拟题及解析
- 调试检查技术及保护装置公用件可靠性评估
- 43去括号课件冀教版七年级数学上册()
- 2026年上海水务行业考试题库含答案
- 2024版《中医基础理论经络》课件完整版
- 游戏公司运营风险控制预案
- 山东省临沂市2024-2025学年高二数学上学期期中试题
- DZ∕T 0248-2014 岩石地球化学测量技术规程（正式版）
- JTJ-T-257-1996塑料排水板质量检验标准-PDF解密
- 残疾人法律维权知识讲座
- 沥青维护工程投标方案技术标
- 水电站建筑物课程设计
- 儿童行为量表(CBCL)(可打印)
- 硒功能与作用-课件
- 《英语教师职业技能训练简明教程》全册配套优质教学课件
评论
0/150
提交评论