全文预览已结束
下载本文档
版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领
文档简介
《大数据导论》数据验证与清理阶段1.为什么要进行数据验证与清理
无效数据会歪曲和伪造分析的结果。和传统的企业数据那种数据结构被提前定义好、数据也被提前校验的方式不同，大数据分析的数据输入往往没有任何的参考和验证来进行结构化操作，其复杂性会进一步使数据集的验证约束变得困难。
数据验证和清理阶段是为了整合验证规则并移除已知的无效数据。大数据经常会从不同的数据集中接收到冗余的数据。这些冗余数据往往会为了整合验证字段、填充无效数据而被用来探索有联系的数据集。数据验证会被用来检验具有内在联系的数据集，填充遗失的有效数据。2.数据验证与清理阶段——主要工作3.有哪些方式？批处理分析：数据验证与抽取可以通过离线ETL（抽取转换加载）来执行。实时分析：从在内存中运行的系统数据进行处理。感谢聆听！
温馨提示
- 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 丽江古城客栈出租合同范例
- 不锈钢瓶采购合同标准文本
- 公司担保借款合同标准文本
- 新学期目标规划简短6篇
- 企业设备维修合同标准文本
- 肝功能衰竭的健康宣教
- 公司董事会会议通知【2篇】
- 公司购买纸张合同标准文本
- 公司与医院合同标准文本
- 打造音乐活动品牌的突破性战略计划
- 2024版《中医基础理论经络》课件完整版
- 意识流文学完整版本
- 缺陷精准定位研究
- 电子设备单次维修合同模板
- 会诊制度培训课件
- 贵州省语文中考2024-2025学年仿真试卷及答案解析
- 加固工程技术标
- 2024年四川省乐山市中考化学试卷真题（附答案解析）
- 2024年浙江温州高三三模高考语文模拟试卷试题（含答案详解）
- 死亡案件授权委托书
- 日常保安服务投标技术方案（技术标）
评论
0/150
提交评论