数据采集相关工作

数据采集相关工作数据采集相关工作篇一1、负责生产环境Mysql数据库系统高可用、高性能架构方案，分库分表策略，数据库扩展方案;2、排查数据库故障，分析和解决疑难问题，提出预防方案;3、制定数据库监控策略、备份策略、容灾策略，探查系统潜在的问题和可能的性能瓶颈并进行优化;4、对开发工程师的SQL语句进行审核及SQL优化;5、负责redis、memcache等非关系数据库的管理和扩展，能够根据业务需求完成系统设计、架构设计工作;6、参与前瞻性新技术研究，解决数据库相关疑难问题。数据采集相关工作篇二岗位职责：业务数据的收集整理和分析;负责公安、交通领域的业务建模和算法设计;分析项目数据需求，完成系统中数据分析模块的设计、实现和测试;设计、构建和优化基于大数据的存储平台架构，编写相关技术文档;设计并实现基于开源项目(Cobar，Spark等)的海量数据集成与处理平台;为其他部门提供数据分析支撑。任职资格：计算机相关专业;熟悉数据挖掘算法，对分类、聚类、时序、图等算法有很深了解;熟练掌握Hadoop、Spark生态系统组件(MR、HBase、Hive、ZooKeeper、SparkSQL、SparkMlib等)，有相关大数据架构,开发成功案例;熟练的使用、开发ETL工具经验，有数据库建模ER建模经验优先;有海量数据BI或数据挖掘项目实施和管理经验，对数据挖掘理论方法有一定了解者优先;熟悉的BashShell和Python等脚本编程能力;强烈的责任心和工作热情，良好的团队合作精神。数据采集相关工作篇三岗位职责：深入研究业内领先的技术思路，输出具有创新价值的预研项目可行性分析报告以及相关实验数据;负责产品、销售、供应链、电商等公司数据的海量挖掘，并建立和优化用户标签、特征模型、产品精准匹配、异常预警等;负责大数据下传统机器学习算法的并行化实现及应用，并提出改进方法和思路;参与公司大数据架构，负责BI实施中的数据挖掘模块算法研究、模型建立和优化，帮助实现数据挖掘和分析平台的建设;负责相关数据挖掘项目的需求收集、项目建立、项目设计开发和结果输出质量把控，通过数据挖掘结果驱动业务执行;配合技术进行数据挖掘模型开发和模型封装，例如决策规则模型、预警模型、流失模型、效果标杆模型、客户生命周期管理模型等;任职要求：大学本科及以上学历，统计学、计算机、信息技术、数学相关专业;两年以上数据建模经验;数据主流数据库，mysql、oracle、DB2等传统结构化数据仓库，熟悉HBase、MongoDB等非结构化数据库;熟悉常用的聚类、分类、回归、关联、时间序列等监督式和非监督式学习算法;熟悉R、Python、MLlib等数据挖掘工具中至少一种。熟悉spark、storm等大数据计算框架者优先。数据采集相关工作篇四职责描述：1、负责文本数据处理，如格式转换、分词处理、实体抽取、专业词典整理等；2、自然语言处理相关工具开发；3、协助训练nlp模型。任职要求：1、计算机相关专业（本科2年以上）；2、精通c/c++或java，熟悉python、bash？shell等脚本语言；3、熟悉正则表达式，了解常用分类、聚类算法及相应工具；4、熟悉使用基本分类、聚类算法及相应工具；