大数据平台工程师岗位职责8篇

Word版本，下载可自由编辑大数据平台工程师岗位职责8篇【第1篇】大数据平台高级工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责公司级的通用数据平台和分析型产品，服务于今天头条全公司的数十个用户产品线；

2、面对pb级超大规模数据问题，天天处理千亿增量的用户行为数据；

3、为大数据的全生命周期提供服务，笼罩数据产生，传输，建模，统计分析，试验评估，可视化的全流程；

4、构建设计良好的数据流、数据仓库、调度系统、查询引擎，数据服务、分析系统、流程规范，数据工具/产品，降低数据的使用门槛，保证系统稳定高效运行，以实现数据的最大价值。

任职要求：

1、认识多项大数据处理/分析相关的工具/框架，e.g.hadoop，mapreduce，hive，storm，spark，kylin，scribe，kafka，hbase，canal，sqoopetc；

2、强悍的编码能力，生产环境迅速trouble-shooting能力，对新技术有剧烈的学习热烈；

3、优秀的理解交流能力，能迅速理解业务背景，对数据敏感，崇尚数据说话，深信数据在驱动业务、支撑决策上的价值，有web应用开发能力者优先。

【第2篇】大数据平台工程师职位描述与岗位职责任职要求

职位描述：

职责描述：

1、参加公司数据平台架构设计，负责大数据平台和数据仓库相关建设；2、依据公司的大数据技术进展路线，负责基于hadoop生态系统和mpp数据库的大规模数据平台的研发及数据仓库建设，提供牢靠的数据存储和拜访能力；3、负责公司大数据平台和数据仓库的搭建、开发、管理、监控和性能调优，保证集群高效稳定运行；4、规划与开发离线数据平台系统，处理海量数据，优化存储和计算架构的性能；5、负责数据平台技术难点攻关、技术选型评估，参加开发流程的研究与优化；6、参加公司数据治理策略等的制订和实施；7、负责帮助产品经理举行数据仓库相关的需求分析、建模、宽表设计等工作；

8、负责系统核心代码编写、代码审核和重构，指导和培训数据工程师、不断举行系统优化；

任职要求：

1、本科以上学历，5年以上大数据研发阅历，带领过10人以上的大数据团队；2、有大型分布式系统设计阅历，负责过海量数据平台上高可用、高性能分布式系统的架构设计；3、认识大数据开发框架，认识hadoop，hbase，spark等及业界主流流处理平台如，如storm，flunk，sparkstreaming等之一；4、认识greenplum等数据仓库技术，并有广泛的实践阅历，具备维护和解决生产问题的能力；5、认识把握分布式存储和nosql数据库技术（如monogodb、redis等），有实际生产项目应用阅历；6、娴熟把握java，python，scalar中的至少一种编程语言，把握常见的数据结构，算法，了解软件工程、灵敏开发等学问，认识常用设计模式;7、理解soa，微服务，中间件等paas相关的关键理念与技术，并对其有广泛的实践与应用阅历，乐于。8、有民航、电子商务、风控等大数据设计和从业阅历者优先。

【第3篇】微信支付大数据平台开发工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

岗位特色：

基于海量的微信支付用户、商户、交易和行为数据，使用业界开源的主流技术栈以及我们自研的大数据技术相结合，构建金融级的大数据平台，提供金融级数据平安保障和质量保障，为数据开发者提供工业化的数据平台服务，建立元数据管理、血缘关系、计算任务和计算资源的动态管控、全方位的数据平安风险控制，为数据分析、才智推举、金融风控等业务提供数据平台支撑；

工作职责：

负责微信支付大数据基础平台相关开发工作；

负责大数据采集、计算、分析处理相关开发工作；

负责大数据治理相关开发工作，提供一站式的数据平台及工具支持。

任职要求：

本科及以上学历，计算机相关专业，3年及以上开发阅历；

认识java、php、shell、python等至少三种开发语言；

有分布式系统、大数据服务、数据分析方面的开发阅历者优先；

认识hadoop，spark，storm，flink，kafka、elasticsearch、druid等平台和组件，有相关项目阅历优先；

良好的交流表述能力，执行力力强，对待工作仔细严谨、高度负责。

【第4篇】大数据平台开发工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

负责spark、hadoop计算平台的设计和开发工作，构建高效稳定的计算平台，为业务提供大数据分析所需的海量计算服务；

负责数据仓库、以及机器学习平台的建设。

任职要求：

计算机相关专业，本科及以上学历，2年以上大数据平台开发、运维阅历；

对spark、hadoop平台计算原理有深刻理解，能够阅读spark、hadoop源码；对社区有源码贡献者优先；

认识spark流计算框架或其他开源实时计算框架；

有elasticsearch集群运维、开发阅历者优先；

有数据仓库建设阅历者优先；

数据大数据算法阅历、机器学习平台建设阅历者优先；

精通java、娴熟把握mapreduce原理及数据分析相关的二次开发；

对新技术弥漫热烈，具有良好的学习能力、团队配合能力和交流能力；

能承受较大的工作压力。

【第5篇】大数据平台高级/资深工程师/专家（基础架构方向）职位描述与岗位职责任职要求

职位描述：

岗位职责：

1、参加小鹏汽车技术中台的大数据云平台产品建设，包括：实时计算处理平台、离线计算处理平台、调用链分析监控、日志处理平台；

2、分析系统瓶颈，处理、协调和解决基础框架中浮现的技术问题；

3、大数据新技术讨论和应用，并推进适合技术应用于生产；

任职要求：

1、计算机相关专业，本科或以上学历，五年以上开发工作阅历，有基础架构开发阅历优先；

2、娴熟java、python服务端编程，有良好的编码习惯；

3、深化理解mapreduce，娴熟使用storm/flink、hadoop、spark，并阅读部分源码；

4、娴熟使用hadoop、hdfs、hbase、kafka、elasticsearch；

5、具有自然语言处理、信息检索、机器学习、web挖掘、搜寻引擎、推举引擎等相关阅历优先；

6、认识docker容器及容器化技术，有kubernetes实战阅历者优先；

7、对新技术有执着追求，热爱编程。擅长抽象、总结、思量，能准时关注和学习业界最新技术；

8、有较强的自学能力和钻研精神，具有良好的交流能力和团队合作能力，综合能力强。

【第6篇】大数据平台高级工程师-平台产品方向职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责公司级的统一数据平台和分析型产品的研发，服务于今天头条全公司的数十个用户产品线；

2、设计和实现web后端和关键数据服务，用数据�量产品并驱动产品演进。

任职要求：

1、认识互联网产品和服务的开发过程，认识后端技术架构，具备良好的系统设计能力；

2、扎实的计算机基础，对技术有热烈，情愿不断试试新技术和业务挑战；

3、认识python和go语言优先；

4、有大数据集、分布式计算工具等应用开发阅历优先；

5、有产品sense，兼具pm技能者优先。

【第7篇】大数据平台工程师-试验评估方向职位描述与岗位职责任职要求

职位描述：

工作职责：

1、研发业界率先的灰度试验/abtest系统，面对头条全公司的全部产品线；

2、建立通用的用户行为指标体系，探究性发掘新指标，讨论业界率先的共性化评估办法；

3、从pb级超大规模的用户行为数据中挖掘信息，并设计试验验证假设，为策略/产品改进提供支持。

任职要求：

1、认识多项大数据处理/分析相关的工具/框架，e.g.hadoop，mapreduce，hive，storm，spark，kylin，scribe，kafka，hbase，canal，sqoopetc；

2、强悍的编码能力，生产环境迅速trouble-shooting能力，对新技术有剧烈的学习热烈；

3、优秀的理解交流能力，能迅速理解业务背景，对数据敏感，崇尚数据说话，深信数据在驱动业务、支撑决策上的价值，有web应用开发能力者优先。

【第8篇】大数据平台高级开发工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责大数据开源组件的调研

2、负责大数据平台自研平台系统及功能模块设计与开发

3、协作架构师及测试按时完成开发，保证产品正常发布与迭代

任职要求：

1、本科以上学历，计算机相关专业

2、2年以上大数据平台开发阅历

3、精通java，认识linux系统，深化理解并使用主流技术框架，如springboot、mybatis、mq、redis、zk、springcloud等技术栈，具备丰盛的分布式系统的研发阅历