大数据架构师的具体职责_第1页
大数据架构师的具体职责_第2页
大数据架构师的具体职责_第3页
大数据架构师的具体职责_第4页
全文预览已结束

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

大数据架构师的具体职责大数据架构师的具体职责1

职责:

1、负责企业大数据平台的基础建设、管理及制定拓展规划;2、负责大数据平台相关自动化服务工具的设计、开发;

3、参与Hadoop、Hbase、Spark等核心平台组件的开发、优化;4、对平台特殊场景化的数据应用制定相关实践方案;

5、大数据团队的搭建。任职资格:

1、统招本科以上学历,计算机等相关专业,5年以上工作经验;

2、具有Hadoop等大规模集群管理经验、海量(PB)数据处理经验;3、精通Hadoop、Hive、Hbase等离线平台相关组件的原理机制;4、了解或熟悉Storm/Spark/Redis/Kafka/MongoDB等分布式系统;5、熟悉高并发、分布式开发等相关知识,具有后端服务优化相关经验;6、熟悉爬虫常用框架以及反爬技术;

7、具有良好的沟通能力、分析问题与攻关问题的能力;

8、有责任心,工作积极,对新领域新技术有热情。大数据架构师的具体职责2

职责:

负责大数据平台架构的规划和设计,主导系统的架构设计和核心模块开发,确保项目质量和关键性能指标达成;负责大数据平台技术框架的选型与技术难点攻关,指导开发大数据平台的开发,保证大数据产品的上线运行;负责深入理解业务需求,对业务建模,设计系统架构,满足业务需求;

负责协助策略和算法工作,保障数据挖掘建模和工程化;

负责根据业务需求整合优化数据架构,保证产品的可靠性、稳定性;

负责指导开发人员完成数据模型规划建设、分析模型构建及分析呈现;

负责研发技术发展方向,新技术领域的探索,将新技术应用到公司大数据平台,提升公司效能

任职要求:

本科及以上学历,拥有5年以上大数据平台产品或分布式系统设计经验,6年以上的开发经验;

精通Hadoop,熟悉大数据生态技术,如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Yarn、Sqoop、CDH、Solr、Kylin、Impala、Hive、Hbase、Kerberos、Sentry等,有大规模集群架构、开发及运维经验;熟练掌握java/Scala语言,实现面向对象开发思想OOA,OOD,OOP;

熟悉linux操作系统,熟练掌握脚本言语Shell/Perl/Python等编码语言;

熟练掌握数据仓库设计,开发工作。能够根据业务设计并开发数据仓。具备源码级问题解决和集群优化改造能力者优先;

能快速的学习新的开源框架和知识体系,并应用到现有架构体系中;逻辑清晰,快速的学习能力,良好的沟通能力、团队协调能力。具备良好的团队合作精神,较强的沟通交流能力,具备良好的技术领导能力;

具备良好的文档撰写能力和技术团队管理能力

大数据架构师的具体职责3

职责:

1、负责大数据基础平台的整体规划和架构设计,参与需求分析、技术决策以及详细设计;

2、为现有大数据集群Hadoop、hive平台提供性能调优、架构优化重组,解决系统中的关键问题和技术难题;3、把握基础业务复杂系统的设计,确保系统的架构质量,编写核心部分代码;

4、持续挑战新的技术方向,攻克大数据量,高并发,稳定性等各种技术难点。任职资格:

1、计算机或相关专业本科及以上学历;

2、5年以上hadoop的应用开发经验,5年以上数据仓库开发实践经验,至少一个企业级数据仓库项目开发经验或者大数据处理项目经验;

3、良好的编程开发能力,精通PHP及其他开发语言;

4、熟悉mysql等数据库经验,具备优秀的SQL编写、调优能力;

5、熟练掌握Linux常规命令与工具,精通shell,perl,python等脚本语言至少一种;6、软件基础理论知识扎实,具有良好的数据结构、算法功底;

7、对新技术敏感,学习能力强,乐于接受挑战,具有良好的团队合作精神;

大数据架构师的具体职责4

职责:

1、数据分析软件平台架构搭建

2、负责深度学习核心框架或高性能后台服务系统的架构设计工作,包括系统总体规划、架构设计、系统分析、软件实现、性能优化;

3、指导开发人员开发,并解决系统出现的问题,理解物业需求;

4、制定开发计划和控制开发进度,负责指导研发团队开展设计工作;

任职要求:

1、硕士以上,计算机或先关专业;

2、5年左右软件开发经验,含3年以上系统分析、设计经验,有大型软件项目大型软件项目;有中大型互联企业数据库架构设计及管理经验,

3、具备良好的组件级建模能力,熟悉HTTP、TCP等协议

4、熟练使用UML进行软件架构设计,至少精通EA,RATIONAL,VISIO等一种设计工具.5、精通至少一种编程语言,熟悉Linux相关技术,能独立在上面进行开发、测试和部署6、深入理解数据库、数据仓库、大数据、分布式体系架构和关键技术

大数据架构师的具体职责5

职责:

1.负责大数据基础平台、海量数据存储/处理分布式平台、数据分析系统架构设计和研发;2.负责实时计算平台基础架构设计、部署、监控、优化升级;

3.制定项目/数据仓库设计及实现规范,指导设计研发和部署;

4.协助策略和算法团队工作,保障数据挖掘建模和工程化;

5.深入研究大数据相关技术和产品,跟进业界先进技术;

任职要求:

1.全日制本科及以上学历,5年以

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论