2024数据开发流程标准_第1页
2024数据开发流程标准_第2页
2024数据开发流程标准_第3页
2024数据开发流程标准_第4页
免费预览已结束，剩余1页可下载查看

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

数据开发流程标准数据开发流程标准范围本标准规定了数据研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会降低研发效率，增加成本与风险。数据开发基本标准旨在为大数据研发岗位人员、管理人员提供规范化的统一研发流程，目的是简化、规范日常工作流程，提高工作效率，减少无效与冗余工作，从而释放更多人力与财力专注于业务创新。适用于公司研发人员，公司运维人员，公司项目经理或产品经理。定义和术语下列术语和定义适用于本标准：数据仓库DataWarehous数据仓库是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。研发流程ResearchAndDevelopmentProces由产生新思想、整体设计、研发、测试和反馈等各环节组成的完整的产品开发过程。ETLExtract-Transform-Loa用来描述将数据从来源端经过抽取（extract）（transform）（load）至目的端的过程。数据字典DataDictionar数据字典是指对数据的数据项、数据结构、数据流、数据存储、处理逻辑等进行定义和描述，其目的是对数据流图中的各个元素做出详细的说明，使用数据字典为简单的建模项目。数据字典是描述数据的信息集合，是对系统中使用的所有数据元素的定义的集合。数据指标Dataindicator指在数据开发过程中需要将某个事件量化，且可形成数字，来衡量目标。在一定程度数据开发流程角色职能与分工项目类开发流程1binlong获取、Kafka读取、业务库同步、HDFS读取等等，数据的输出是否能够支撑，比如：的组成部分，作为数据开发人员，接触的数据多且杂，不仅要关注项目的落地情况，也要关注数据的数据逻辑一致性。需要和测试人员同步数据处理逻辑，并将一些逻辑的QL进行文档化，方便测试人员进行单元测试，在交付测试之前，需要对代码进行自测，以便保障流入到测试执行环节的代码达到一定的质量标准。同时最好能让代码通过配置在不同环境进行切换，方便测试人员在测试环非计划数据开发流程在日常的工作推进过程中，数据开发人员大部分情况下都会面对产品提出来的一些临时性的数据需求，例如拉取近半年的用户访问情况、数据入仓情况等等，这部分需求支撑不需要后端配合、也不需要进行测试，而是在已明确的数据指标的基础上，定期或者不定期的提供数据报表。该数据开发模2G1：反馈时间：1小时。

人人文库> 全部分类> 专业文献 > IT计算机

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论