大数据运维工程师岗位的工作职责概述

大数据运维工程师岗位的工作职责概述大数据运维工程师需要负责服务过程中问题现象和处理方案的收集撰写， 形成知识库，并对知识库进行维护更新。以下是小编整理的大数据运维工程师岗位的工作职责概述。TOC\o"1-5"\h\z\o"CurrentDocument"大数据运维工程师岗位的工作职责概述 1职责：1，负责软件系统的部署运行 ;2、负责业务数据系统接入的规划和实施 ;3，理解行业业务，梳理业务数据模型 ;4，完成项目实施过程中各类文档的编写、收集、整理、归档;5，与客户保持密切沟通，建立良好的客户关系，保障良好的客户满意度 ;有效的分析和控制客户需求，解决项目实施过程中遇到的质量问题和管理问题。岗位要求：1、全日制本科以上学历，软件工程、计算机科学相关专业shell/python脚本开源分布式系ETL工作;shell/python脚本开源分布式系ETL工作;3、熟悉 Linux操作，熟练编写4、了解常用Hadoop/Spark/Hive/Hbase;5、熟练使用 SQL语句，熟悉6、熟悉 Oracle，mysql等关系型数据库7、具有强烈的责任感与团队合作精神，出色的沟通及学习能力;8、有较强的分析问题能力，独立解决问题能力，能接受在客户公司办公。大数据运维工程师岗位的工作职责概述 2职责:管理公司数据库，提供高可用、高性能数据库系统，并保障系统稳定运行。负责数据库性能监控与优化，故障处理，数据备份及灾难恢复。负责数据库自助平台的高可用架构设计和负载均衡的设计和实现。负责业务系统数据库管理，包括数据库日常维护，系统数据安全以及权限管理、故障处理、日常错误情况处理等。负责依据业务需求优化数据存储结构，负责数据库系统部署方案的计划、设计和实施。负责系统数据库定期检查，进行性能分析与调优，充分保证信息系统数据的安全及系统高效运行。任职资格 :全日制本科及以上学历，计算机或相关专业熟悉MySQL实现原理，InnoDB,MylSAM,Memory引擎，熟悉存储过程和事务。熟悉数据库原理、精通数据库核心参数的设置和调整，有规划、设计、部署以及数据库性能优化经验。具备数据库设计、 SQL优化能力，能根据业务需求，提供高可用、高性能、可扩展、稳定可靠的数据库解决方案。了解MongoDB等非关系型数据库的特点。 了解Redis,Memcache等内存数据库及缓存系统的原理及实现。熟悉Linux操作系统，对主机、存储、网络有一定的了解，会使用Shell/Perl/Python中的一门脚本语言。有Hadoop/Kafka/Spark/ElasticSearch相关经验的优先考虑。TOC\o"1-5"\h\z大数据运维工程师岗位的工作职责概述 3职责：I、负责Hadoop集群的安装部署、维护及调优 ：负责 spark的安装邮署、维护及调优 :负责基于大数据平台开发的应用系统的部署、日常维护、调优和问题处理责 ELK平台的部署及维护。技能要求：TOC\o"1-5"\h\z1、2年以上大数据运维工仵经验 ;2、熟悉 Hadoop生态圈技术栈及各个组件原理 :口、熟练掌握HDFS、Hive、HBase、sark、sqoo等组件，具备部署、维护、调优的能力 :4、热悉 kylin技术原理，有一定的维护经验优先 :5、口掇ELK的日常维护技能有一定的维护 .经验优先:6、有一定的 HQL/sql性能调优经验;

7、具备基本的7、具备基本的java、python等语言开发能力优先8、有较强的沟通、团队协作及学习能力。TOC\o"1-5"\h\z大数据运维工程师岗位的工作职责概述 4职责：1、负责公司大数据 /Hadoop/hive/hbase/flink等离线实时数据平台运维保障 ;2、负责内部大数据自动化运维以及数据化运营平台开发工作;3、负责Hadoop/Hbase等系统的业务监控、持续交付、应急响应、容量规划等 ;4、深入理解数据平台架构，发现并解决故障及性能瓶颈，打造一流的数据平台 ;5、持续的创新和优化能力，提升产品整体质量，改善用户体验，控制系统成本。6、善于表达、理解客户数据服务需求，具备数据需求转化落地能力。任职要求：1、大学本科及以上学历，计算机或者相关专业 ;2、深入理解linux系统，运维体系结构，精于容量规划、性能优化;3、具备一定的开发能力，精通一门以上脚本语言；（shell/perl/python等），熟悉java等开发语言一种及以上优先;4、具备很强的故障排查能力，有很好的技术敏感度和

风险识别能力5、能够承受较大的工作压力，以结果和行动为准则，努力追求成功6、熟悉6、熟悉hadoop、hbase、hive、spark、tez等原理并具备管理，配置，运维经验7、熟悉分布式系统设计范型，有大规模系统设计和工程实现的了解者优先。8、具有运营商流量数据加工处理经验者优先。大数据运维工程师岗位的工作职责概述职责：7*24小时运营负责大数据平台的规划、部署、监控、系统优化及7*24小时运营为线上服务高效稳定运行负责，支撑业务和数据量的快速扩张，发现并能解决重大故障及性能瓶颈深入理解系统平台及大数据相关运维技术，持续优化集群服务架构对大数据体系下新技术的调研、应用、对内培训。职位要求：1.至少1.至少3年以上大数据运维经验，深入理解Linux系/存储技术，/存储技术，或者统，运维体系结构 ;深度优化HADOOP平台MR作业/计算框架提升集群吞吐并降低成本 ;具有CDH(HDP)/HDFS/YARN/HIVE/ES/Kylin/Hbase/Kafka/Spark/Storm/Flume/Impala/Hue/Kettle/Flink等大数据系统的运维经验，有开发经验;TOC\o"1-5"\h\z熟悉HADOOP生态，有数据安全相