大数据工程师简历3份

基本资料工作年限：4年工作状态：目前正在找工作工作意向:大数据研发工程师、spark工程师，Hadoop工程师薪水：面议个人技能1深刻理解hdfs分布式文件系统存储结构和高可用原理2熟练掌握hadoopmapreduce计算框架编程，对yarn的资源调度，作业监控有一定认识3掌握stormstreaming编程，对定时批量任务处理，分布式rpc有一定认识4深刻了解Spark底层运行机制，4熟练掌握scala编程，能运用scala进行sparkRDD，sparkstreaming编程5熟悉flume，kafka等日志收集，分发框架的使用，能够将他们和storm，spark进行整合进行数据的实时处理6能够熟练运用hive数据仓库工具，对日志数据进行查询，统计等数据操作，并且有一定的数据优化经验7能将hive和sparksql进行整合，进行数据查询等相关操作8熟悉hbase数据库的使用，及其编程9熟悉redis内存数据库，能搭建redis高可用集群及其编程10熟悉ELK技术栈，了解ElasticSearch，Logstash的整合使用11掌握Sqoop数据迁移工具的使用，能熟练的将数据从不同的存储介质进行迁移12了解linux系统，熟悉常用的linux的shell命令，能在linux系统下搭建开发环境13熟练掌握JavaSE，深刻理解面向对象设计思想，熟练使用IO流操作和集合框架，网络编程等JavaSE主流技术。14能使用反射、注解、动态代理等Java高级技术，对代码的封装抽取及其性能优化有点一定的经验。15熟悉Struts，Spring，Hibernate，Servlet，Jsp等WEB编程技术16能熟练使用Oracle，MySql主流数据库技术，擅长SQL语句的编写工作经验1公司名称：北京联想利泰软件有限公司性质：民营时间：2014年8月-至今职位：大数据研发工程师参与项目：游戏运营指标分析项目乐玩家社区用户行为分析项目移动应用市场应用信息比对项目2公司名称：首都信息发展股份有限公司性质：国有控股时间：2013年4月-2014年7月职位：JavaEE工程师参与项目：钦州个人贷款系统电子档案管理系统3公司名称：浙江长天信息技术有限公司性质：民营时间：2012年3月-2013年3月职位：javaEE工程师参与项目：杭州市萧山区基层公共卫生服务系统杭州市萧山区电力中心设备资源管理系统项目经验大数据项目部分项目名称：游戏运营指标分析项目开发环境：IDEA+maven+scala+jdk+git系统架构：ElasticSearch+Logstash+Kafka+Zookeeper+Spark+Hdfs+Hbase+Mysql+Echarts项目描述：游戏玩家的各种行为会产生大量的数据，这些数据可以帮助游戏运维者了解玩家的行为和需求，通过玩家反馈的信息可以不断地矫正游戏中出现的问题，从而让游戏健康稳定的可持续运营。该项目就是为某公司的一款游戏运营情况做多角度的指标分析，从而更好的为公司的游戏推广策略，精准营销，游戏玩家的体验优化，游戏产品的研发等多方面提供数据反馈参考。项目中分析到的指标有新增玩家，活跃玩家，玩家留存率，玩家流失率，玩游戏平均时长，玩游戏频次，收入数据（收入金额，充值人数，收入地区分布等）责任描述：1负责日志数据的采集，使用logstash框架，日志数据来源分为两部分：游戏官网埋点采集用户点击日志游戏服务器端收集的所有游戏玩家产生的日志2将采集的日志存入kafka，供各个业务模块消费使用3利用sparkRdd和sparkstreaming编程对新增玩家，活跃玩家，玩家留存率，收入数据等指标的多维度统计分析4将自己分析的实时指标数据存入hbase，离线指标数据存入mysql5将自己分析的指标结果用Echarts图标展示出来项目名称：乐玩家社区用户行为分析系统开发环境：eclipse+maven+jdk+git系统架构：hadoop+zookeeper+flume+hive+hbase+sqoop+mysql+SSM+Echarts项目描述：乐玩家社区是联想手机社区论坛，用于用户粉丝交流互动，同时发布联想手机的各个品牌宣传信息，以及收集用户反馈，用户可以在上面发帖，提建议，发起各种交流活动，通过对乐玩家社区网站的日志进行分析，计算网站关键指标，其中关键性指标有，浏览量:页面浏览量即为PV(PageView)，每日登陆用户数UV，每周UV，。跳出率=跳出数/PV：跳出率是非常重要的访客黏性指标，它显示了访客对网站的兴趣程度：跳出率越低说明流量质量越好，访客对网站的内容越感兴趣，这些访客越可能是网站的有效用户、忠实用户。板块访问量pv，和板块独立ip访问量。多维度用户留存率责任描述:1使用flume监听每天的日志目录，将每天的日志文件上传到hdfs上相应的目录下2.通过写mapreduce任务对数据进行清洗3.用hive进行网站的pv，uv，用户注册数，用户留存率进行多维度分析统计开发步骤：1.使用flume把日志数据导入到hdfs中2.通过mapreduce对数据进行清洗，生成规范数据文件上传到hdfs3.使用hive进行数据的多维分析4.把hive分析结果使用sqoop导出到mysql中5.提供图表和表格进行数据展示项目名称：应用市场应用比对项目开发环境：Eclipse+Maven+jdk+git技术框架：Httpclient+Xpath+Hbase+Redis+Elasticsearch+Springmvc+Jquery+echarts+zookeeper+ganglia项目描述：该项目主要是抓取应用宝、应用汇、360手机助手、百度手机助手，百度安卓市场，小米应用商店，乐商店，华为应用市场等主要手机应用市场，主要获取app应用的标题、软件作者，下载量、软件大小和应用详情等信息，在前台界面为用户提供应用信息搜索查询，以及应用下载量比对等功能，主要为公司自己的手机应用市场研发，提供数据参考依据，这个项目主要分为6个模块，数据下载层、数据解析层、数据存储层、数据处理层、数据展现层、系统监控层。技术要点：1：数据下载层，主要负责爬取指定应用市场网站的数据，在这我们使用httpclient工具模拟浏览器进行页面下载。2：数据解析层：主要是这对抓取过来的页面数据进行解析，使用htmlcleaner+xpath对关键性数据进行解析提取。3：数据存储层，这个模块主要负责存储应用的详细信息，由于应用详细信息数据量比较大，所以存储到hbase中。由于需要循环抓取网站中指定分类或者是所有的数据，所以需要把分页的url和应用的url临时存储到一个队列中，这样可以实现一个循环抓取。这个url数据相对比较少，并且增删频繁，所以存储到redis的list队列中。4：数据处理层，这个模块主要是为前台的查询提供帮助，因为直接根据关键字查询hbase中某一些列的数据，效率太低，所以使用elasticsearch对hbase中的数据建立索引，也就是es+hbase的架构。5：数据展现层，这个模块主要提供前台搜索、查询、展示、应用下载量等功能，页面框架使用springmvc，其中价格趋势波动图是使用echarts实现的。6：数据监控层，这个模块主要负责监控爬虫的声明周期以及服务器硬件的使用情况，监控爬虫的生命周期使用zookeeper中的临时节点来实现，监控服务器的硬件使用情况，例如硬盘、CPU、内存的使用情况使用ganglia进行监控责任描述：1应用宝，百度安卓市场，小米应用商店3个应用上所有应用信息数据的网络爬取2对解析出的应用信息（应用名称，所属研发公司或者团队，下载量，应用大小，评分以及详细介绍）等信息存入hbase，并抽取查询接口，供前端展示3为加快查询速度，对一些关键字段（应用名称，所属研发公司或团队）使用Elasticsearch字段建立索引，使得前端能通过关键字迅速查询到相应结果JavaEE项目部分项目名称：钦州个人公积金贷款系统开发环境：MyEclipse+Svn+JavaEE5+JDK技术架构：Spring+SpringMVC+Mybatis+Oracle+ExtJs项目描述：住房公积金的个人贷款系统分为网点业务和中心审批两部分。网点业务业务指需要网点办理的个人贷款各类日常业务，中心审批指在需要中心审批日常业务；在实时系统下，网点日常贷款业务需要务及中心审批结合起来共同完成。为实现上述功能，住房公积贷款管理系统集成了包括网点贷款受理申请、网点审批、中心审批、合同管理、信用评估、抵押管理、放款管理、项目管理、还款变更、审核设置和查询打印等几大功能模块。责任描述：申请受审（咨询受理，资料录入，退回上报，资料扫描）查询（申请状态查询，总账查询，个人明细查询，逾期查询，贷款还清查询）项目名称：电子档案管理系统开发环境：MyEclipse+Svn+JDK技术架构：Spring+SpringMVC+Mybatis+Oracle+Jquery+PB报表软件项目描述电子档案管理系统是一个采用档案电子化、影像数字化、办公无纸化以及信息网络化等先进技术，实现包括档案文件、声音、影像、文本在内的多媒体档案资源的存储和查询检索的计算机系统，为档案资料管理、利用和保护提供了有效的技术保证，可大大节约数据存储空间，无限地延长档案材料保存时间，同时也为查阅、利用档案文献带来了极大的便利。该电子档案管理系统的功能主要有建档管理，归档管理，档案变更，档案查询，档案借阅，档案归还，档案催还，档案预约，后台系统管理（组织机构管理，用户管理，角色管理，权限管理）责任描述：主要负责建档管理，归档管理，档案查询，档案借阅，档案归还等业务模块项目名称杭州市萧山区电力中心设备资源管理系统开发工具：MyEclipse+Struts2+Hibernate3+Spring3+Weblogic+Oracle10g系统环境：Linux项目介绍：本系统是用于对电力监测中心设备资源的管理和维护。主要功能包括技术设施管理，技术资料图纸管理，站点设备运行管理，监测台建筑管理，系统管理（用户管理，权限管理，色管理，待办事宜，数据字典维护），审批流程管理（申请模板，草拟申请，待我审批，我的申请查询）。责任描述：主要负责系统管理中的用户管理，待办事宜，数据字典等模块和审批流程管理的申请模板和草拟申请模块，站点设备运行管理项目名称：杭州市萧山区基层公共卫生服务系统开发工具：Eclipse+Struts2+Hibernate3+Spring3+SQLyog+MySQL+Tomcat系统环境：WindowsXP项目描述：本系统是杭州市萧山区某基层公共卫生服务系统。以维护居民健康档案为重点，并对居民的健康信息进行数据采集，统计分析，为决策者了解当地的公共卫生服务状况提供数据参考。主要功能模块包括：系统管理（员工管理，权限管理，角色管理，待办任务，数据字典维护），日志管理（门诊日志查询），档案管理（档案审核入库，档案调出，调出审核、档案归还），公卫服务（健康教育，传染病填报，国家疫苗管理，公卫突发事件管理），统计报表等。主要负责模块：系统管理中的员工管理、数据字典维护、档案管理整个模块自我评价1为人随和，具备团队合作精神

2对待学习工作认真负责，能胜任压力较大的工作；

3具备较强的英文阅读能力，能够阅读英文技术类文档

4学习新事物的能力较强，能较快的掌握一门新技术。Hadoop软件工程师个人信息 个人信息姓名： 性别：男 年龄：26岁 学历：本科籍贯： 英语水平：CET-4，熟练阅读API文档毕业院校：联系电话： 工作经验：3年电子邮件：求职意向求职意向工作性质：全职 目标地点：北京目标职能：hadoop高级工程师 目标薪资：面议工作经历工作经历单位名称：正保教育 职位名称：hadoop软件工程师工作时间：2014.3-2015年7月工作描述：1、主要从事软件编码工作。2、需求调研，需求分析，功能模块分析以及编码实现等。3、调整整个项目的开发周期4、参与系统的业务需求分析5、把握项目周期单位名称：创维互联新能源科技有限公司 职位名称：hadoop项目经理工作时间：2015.7-至今工作描述：1、项目的需求分析2、项目的架构设计3、项目的扩展性设计4、编码工作5、把握项目周期专业技能专业技能1.理解hadoop的分布式文件系统，掌握hadoop集群的搭建根据业务需求，完成Map/Reduce编程3.设计hive数据仓库设计，数据仓库主题分析4.擅长sqoop数据传输工具5.擅长kafak消息队列，和strom的对接6.设计storm实时处理方案7.设计storm数据落地的完整性需求8.设计hbase数据仓库，实现二级索引，达到完美的批量写，毫秒级别的查询9.设计hbase和hive的数据增量10.熟练掌握redis实时nosql数据库的使用11.扎实的Java基础，良好的编码风格项目经历项目经历项目一：创维互联新能源大数据平台项目名称：新能云平台软件架构：kafka+strom+redis+hbase+hive+cdh+sqoop开发环境：eclipse+jdk1.7+mysql+maven+svn项目描述：随着国家对新能源行业的重视和发展，利用大数据技术，以软件免费共享的模式，实现电站发电设备状态可控在控、故障处理准确及时、人员操作安全规范、统计分析深入全面、运行维护智能高效、经营效益不断提高。责任描述：1.参与前期项目分析，设计系统整体架构2.数据采集设计，实时处理部分strom设计3.strom写hbase的实质意义的批量写设计4.hbase和hive增量对接方案设计，hbase二级索引，分页方案设计5.hive数据仓库设计和维护，数据主题的抽取，数据维度分析开发步骤：1.通过远程调用，把二进制数据压缩传输给kafak，在kafak的消费者端进行解压2.strom通过和kafak对接，消费kafak消息队列里面的数据，strom进行故障判断等分析3.strom将分析的结果实时存入到redis中，同事把历史数据全量写入到hbase中，满足实时查询4.数据落地到hbase中，把hbase中的数据和hive进行对接，每天增量更新，传入到hive数据仓库中按天进行分表操作5.hive数据仓库设计，主题抽取，维度分析，分析历史数据，最后把每天分析的结果存放到hbase中，供给也没进行查询操作项目二：中华会计网数据分析统计项目名称：中华会计网数据分析统计

软件架构：hadoop+flume+Hbase+hive开发环境：Eclipse+Jdk1.7+maven+svn项目描述：该项目主要对教师，学生，已经课件，课程的相关数据进行统计分析。通过统计分析可以分析出老师的受欢迎程度，老师上课的质量，学生的学习的情况，学生的学习习惯，学习行为进行分析，以及课件的受欢迎程度，题库的答疑。已经对账号公用，对非法登账号异常进行统计分析，从而保证产品的版权问题。课程的难易程度进行分析。从而为决策者提供有效的策略方案。责任描述：1.数据的收集工作，通过flume，把数据存放到hadoop系统中。2.通过hbase的数据导入，从而方便以后的查询等操作3.对hive和hbase进行优化操作开发步骤：1.利用flume收集数据，存放到hadoop中，例如来自传统数据的的数据用mr进行收集，存 放到hadoop中。2.对数据进行初级过滤，把过滤后的数据存放到基础数据层中3.对基础数据库中的数据进行进一步分析，存放到通用数据层中4.根据业务需求，对通用数据层中的数据进行进一步的分析，从而得到业务需求数据，5把业务分析过后的数据通过sqoop导入到mysql中，从而进行前台展现项目三：正保教育画像系统平台项目名称：正保教育画像系统平台软件架构：hadoop+hive+Hibernate+mysql+spring开发环境：eclipse+tomcat6.0+mysql+svn项目描述：正保教育用户画像系统，主要基于hive数据仓库之上的数据分析展现模块，其中主要用用户基础信息画像，包括：年龄，地域，性别，职业等基础信息画像。不同网站的流量趋势画像，其中包括：访问趋势，新增访问客，活跃访客，访问量（每日，每周，每月）。访问画像：地域分析，客户端环境，设备属性画像，移动终端，网络连接画像（运营商）。责任描述：1.项目前期分析，负责整个项目的数据库设计和规划2.主要负责对整个系统开发的模块管理和规划3.系统主要用easyUI最为前台展示自我评价自我评价1、参与过多个项目的开发，熟悉常见业务处理，能快速融入团队；2、逻辑思维能力强，思路清楚，学习能力强，对新技术有着强烈的好奇心；3、对工作尽职尽责，乐于从事有挑战性的工作；4、乐于与用户以及同事和领导沟通，以便快速解决项目遇到的问题；5、具有良好的英语阅读能力，能阅读英文资料、技术文档等；个人简历个人概况个人概况求职意向求职意向工作性质：全职 目标地点：北京目标职位：大数据研发工程师 目标薪资：面议工作经历工作经历公司名称：北京融易通信息技术有限公司职位名称：大数据研发工程师 工作时间：2013年7月-至今专业技能专业技能基础技能：熟练掌握Java初级知识以及高级知识，例如：反射、泛型及代理等技术。具备良好的面向对象编程思想，并且熟悉常用的Java设计模式（如单例、装饰、工厂等设计模式）熟练掌握Scala熟悉python,shell熟悉jvm熟悉常用的数据结构和算法熟悉linux操作系统大数据技能：熟练掌握：Spark熟读spark核心源码，深入理解spark工作机制。掌握spark任务的提交，执行流程,对分布式计算有一定的理解熟悉：SparkStreaming,SparkSql熟练掌握:Hadoop(MapReduce,Yarn,Hdfs)，可以调优,重写大部分mr组件,深入理解MapReduce编程模型。熟练掌握：Hive，及优化，UDF,UDTF,UDAF熟悉：Hbase，理解Hbase的存储原理和存储架构熟悉：Storm及其原理 熟悉：flume,logStash,kafka,elasticsearch,Sqoop,zookeeper,kibana，azkaban等大数据相关组件了解Ik-analyzer，MongoDB等开源技术了解机器学习(Canopy，KNN，Kmeans,朴素贝叶斯，协同过滤，决策树，逻辑回归，SVM)了解mahout，MLlib JavaEE技能：熟悉JavaEE相关框架：Struts2,Hibernate,Spring,Mybatis，SpringMVC，等web相关技术了解Activity，lucene，WebService数据库技能：熟悉Oracle、MySQL数据库，能够进行简单的PL/SQL开发，并且了解数据库的优化。项目经验项目经验MDAP移动数据分析平台开发环境：Windows+JDK1.7+Eclipse+linux+mysql软件架构：Spark1.3，hbase,kafka,flume,hdfs,zookeeper开发时间/开发周期：2015.3-至今系统目标：MDAP2.0是融易通打造的一款数据分析产品，专注于移动应用领域，旨在为企业更好地了解用户行为习惯、及时掌握运营情况提供帮助，同时以数据作为支撑，为应用设计优化和实现精准营销提供依据。系统实现：移动应用集成数据采集SDK后，数据采集SDK自动采集应用和设备的部分信息，对于SDK无法自动采集的数据，使用Nginx插件结合LuaAPI进行采集。发送到数据采集服务器。数据采集服务器使用flume进行数据采集，把数据采集到Kafka集群。业务服务器生成的日志通过flume采集到kafka集群。然后kafka集群的数据落地到hdfs上。离线业务从hdfs集群中读取数据，在Spark集群中进行业务处理，指标计算。离线计算有3个job：增量计算，聚合，批量计算。增量计算是指每次计算数据指标时只包含数据新增的部分，然后将计算得出的增量结果累加到最终的结果中，我们通过给每个用户维护一个state数据结构来实现增量计算，state的初始状态为空，在进行增量计算时首先读取用户的state，然后借助state判断本次增量结果，然后将增量结果累加到最终结果，最后更新用户的state状态并对state做持久化保存。增量计算完的结果保存在Hbase中。聚合：将新增数据和以往的数据聚合。批量计算：批量修改算有的用户。kibana报表展现实时业务直接从kafka集群中读取数据，通过SparkStreaming进行实时计算，业务监控。日志监控告警系统开发环境：Windows+JDK1.7+Eclipse+linux+mysql软件架构：flume,kafka,Strom，redis,mysql,Zookeeper开发时间/开发周期：2015.1-2015.3 系统目标：监控系统日志中的内容，按照一定规则进行过滤。发现问题之后通过短信和邮件进行告警系统实现：主要架构为应用+flume+kafka+storm+mysql、redis+Javaweb。数据流程如下：应用程序使用log4j产生日志部署flume客户端监控应用程序产生的日志信息，并发送到kafka集群中stormspout拉去kafka的数据进行消费，逐条过滤每条日志的进行规则判断，对符合规则的日志进行邮件告警。最后将告警的信息保存到mysql数据库中，用来进行管理。日志信息统计分析系统 开发环境：Windows+JDK1.7+Hadop-2.4.1+Eclipse+linux+mysql软件架构：Hadoop-2.4.1，Zookeeper,Hive,sqoop开发时间/开发周期：2014.3-2015.1 系统目标： 通过Hadoop集群处理银行产生的大量的日志信息，通过分布式存储，按小时保存并以小时为周 期上一小时 的数据同步到日志分析机上。统计数据按天更新，供业务系统处理使用。系统实现：1、数据采集清洗、分类、合并上传HDFS集群把数据采集下来后对数据进行清洗，过滤掉交易状态为0的数据，把小文件进行合并上传到Hdfs集群。需要对各个业务部门的日志进行分类，分别输出到不同的文件里面（需要重写Partitioner组件）。有些日志有很多