2018年大数据技术与应用调研报告

大数据技术与应用人才需求分析调研报告调研情况分析政府发展规划与政策动态推动大数据产业持续健康发展，是党中央、国务院作出的重大战略部署，是实施国家大数据战略、实现我国从数据大国向数据强国转变的重要举措。日前，工业和信息化部正式印发了《大数据产业发展规划（2016－2020年）》（以下简称《规划》），全面部署“十三五”时期大数据产业发展工作，加快建设数据强国，为实现制造强国和网络强国提供强大的产业支撑。2018年，贵州提出“万企融合”大行动，计划用五年时间，带动10000家企业通过应用大数据技术，提升企业数字化、网络化、智能化水平，实现发展新增长、服务升级。有预测称，这次行动将在贵州形成超过1200亿美元的市场。市场需求和行业发展趋势1）大数据市场需求大数据经过前几年的概念热炒之后，逐步走过了探索阶段、市场启动阶段，当前已经在接受度、技术、应用等各个方面趋于成熟，开始步入产业的快速发展阶段。大数据巨大的应用价值带动了大数据行业的迅速发展，行业规模增长迅速。截至2014年，全球大数据市场规模已经成长到300亿美元的空间，预测到2017年全球大数据技术和服务市场的2018年的复合年增长率将达到26.4%，规模达到415亿美元，是整个IT市场增幅的6倍。大数据市场规模在2020年有望达到611.6亿美元，符合年增长率将达到26%。中国大数据产业起步晚，发展速度快。物联网、移动互联网的迅速发展，使数据产生速度加快、规模加大，迫切需要运用大数据手段进行分析处理，提炼其中的有效信息。“大数据”已成为一个热门词语高频出现在各种场合，其专门人才已不能满足市场需求。经过专门调研数据显示，大数据人才岗位缺口2018年高达150万，俱预测2025年中国大数据人才缺口达到200万，这给高校和人力资源企业的一个很大的优惠。未来几年人才需求将持续走俏。引进和培养1000名大数据产业高端人才，形成500亿元大数据产业规模，建成国内重要的大数据产业基地，大数据应用人才在的需求量也将越来越大。2）大数据行业发展趋势整体来看，2017年中国大数据行业的发展依然呈稳步上升趋势，市场规模达到了234亿元，和2016年相比增速超过39%。随着政策的支持和资本的加入，未来几年中国大数据规模还将继续增长，但增速可能会趋于平稳。“大数据技术与应用”是个新兴专业必能带动”IT时代“走向”DT时代”。2016年国家发展改革委、工业和信息化部、中央同意贵州省建设国家大数据（贵州）综合试验区，这也是首个国家级大数据综合试验区。此举旨在贯彻落实《国务院关于印发促进大数据发展行动纲要的通知》（国发201550号），加快实施国家大数据战略，促进区域性大数据基础设施的整合和数据资源的汇聚应用，发挥示范带动作用中国国家信息中心发展，在2017年发布的《中国大数据发展报告》显示贵州的大数据发展政策环境指数居全国第一，贵州各级政府在大数据这件事情上给企业也提供了许多的政策支持。随着贵州大数据产业的发展，贵州正吸引越来越多年轻人创业寻梦，吸引本土人才的回流。年轻人的选择，代表了趋势，聚人气的地方，一定有发展。在贵州大数据政策的指引下，走上了快速发展的通道。我们的发展速度也反映了贵州速度，据我所知，贵州省大数据相关企业已经达到8900家。3）兄弟院校学科专业建设情况1）大数据领域三个大的技术方向：方向一：Hadoop(在分布式服务器集群上存储海量数据并运行分布式分析应用的一种方法)大数据开发方向方向二：数据挖掘、数据分析&机器学习方向方向三：大数据运维&云计算方向2）课程设置大数据专业将从大数据应用的三个主要层面(即数据管理、系统开发、海量数据分析与挖掘)系统地帮助企业掌握大数据应用中的各种典型问题的解决办法，包括实现和分析协同过滤算法、运行和学习分类算法、分布式Hadoop集群的搭建和基准测试、分布式Hbase集群的搭建和基准测试、实现一个基于、Mapreduce的并行算法、部署Hive并实现一个的数据操作等等，实际提升企业解决实际问题的能力。核心课程：程序设计基础、数据结构、数据库原理与应用、概率论与数理统计、高等代数、应用统计学、面向对象程序设计、算法设计与分析、数据库原理及应用、大数据分析应用平台Hadoop、大数据处理、数据可视化原理与方法、数据挖掘等以及相应的项目与实训课程。3）核心技术(1)大数据与Hadoop生态系统。详细介绍分析分布式文件系统HDFS、集群文件系统ClusterFS和NoSQLDatabase技术的原理与应用;分布式计算框架Mapreduce、分布式数据库HBase、分布式数据仓库Hive。(2)关系型数据库技术。详细介绍关系型数据库的原理，掌握典型企业级数据库的构建、管理、开发及应用。(3)分布式数据处理。详细介绍分析Map/Reduce计算模型和HadoopMap/Reduce技术的原理与应用。(4)海量数据分析与数据挖掘。详细介绍数据挖掘技术、数据挖掘算法–Minhash,JaccardandCosinesimilarity，TF-IDF数据挖掘算法–聚类算法;以及数据挖掘技术在行业中的具体应用。(5)物联网与大数据。详细介绍物联网中的大数据应用、遥感图像的自动解译、时间序列数据的查询、分析和挖掘。(6)文件系统(HDFS)。详细介绍HDFS部署，基于HDFS的高性能提供高吞吐量的数据访问。(7)NoSQL。详细介绍NoSQL非关系型数据库系统的原理、架构及典型应用。大数据就业岗位分析1）就业方向大数据方面的工作人员主要有三大就业方向：大数据程序开发方向、大数据分析方向、大数据架构设计方向。在此三大方向中，各自的基础岗位一般为大数据系统研发工程师、大数据应用开发工程师和数据分析师。就业部门/单位计算机、移动互联网、电子信息、电子商务技术、电子金融、电子政务、军事、政府机关、房地产、银行、金融、移动互联网、IT领域。3）专业核心岗位和相关岗位数据科学家、数据分析师、数据架构师、数据工程师、统计学家、数据库管理员、业务数据分析师、数据产品经理等。专业核心岗位和相关岗位的典型工作任务的调研情况。就业方向对应岗位典型工作任务大数据程序开发方向大数据开发工程师爬虫工程师数据分析师等Java大数据分布式程序开发、大数据集成平台的应用与开发、数据可视化等相关工作大数据分析方向数据科学家、数据挖掘工程师、机器学习工程师等大数据平台运维、大数据分析、大数据挖掘等相关工作。大数据架构设计大数据运维工程师、Java海量数据分布式编程、大数据架构设计，大数据分析等方面工作任务调研结论开设项目班可行性学院坚持“深化改革、创新发展，面向未来、开放发展，服务地方、特色发展”的发展理念，按照省市“服务地方经济、突出办学特色、提高教育质量”的要求，坚持以服务经济社会发展和人的全面发展为宗旨，以市场与就业为导向，以专业建设为主线，以改革创新为动力，以内涵建设为核心的发展道路，立足贵安，服务贵州，将学院打造成为贵州省优质高等职业院校。学院搭建校企合作平台；和企业共建“大数据技术与应用”专业，与企业开展“项目班”专业人才培养，为大数据产业和信息服务培养技能型人才。在充分合理利用校内现有的实训条件的基础上，实行与大数据企业实际工作相结合的学习模式，合作企业根据大数据行业发展和企业的实际需求，对专业技能进行全方位的评估，校企共建校内实训基地，企业派遣有丰富经验的高级工程师参与大数据课程的建设和讲授，360度全方位提升大数据技能型人才的培养质量。专业建设的思路和发展规划人才培养目标:本专业主要面向大数据应用开发、大数据分析挖掘、大数据系统运维等岗位方向培养合格人才，重点培养具有大数据应用、大数据分析以及大数据系统管理与运维方向的，应用型高技能人才。本专业方向重点培养能够为企事业单位提供大数据系统搭建、管理、和运维技术和能力的人才。通过计算机基础课程、算法语言、系统管理等专业基础知识学习，接受大数据系统和应用知识的培养，进行各种计算机系统，大数据平台系统，大数据应用系统搭建、配置、管理、及运维实训。通过大量的案例与实践操作，熟练掌握大数据系统管理所需的各种专业知识和能力，具备一定的职业素养，为从事大数据行业系统管理工作奠定坚实基础。培养模式：采用校企联合模式，校企双方发挥各自优势，在最大限度保证院校办学特色及专业课程设置的前提下，植入相应前沿科技及特色人才岗位需求的企业课程。通过系统的多层级课程，采用理论与实践相结合的教学方式，逐步构建学生扎实的专业基础知识体系结构。在学生每一个专业知识能力阶段，开设典型企业应用型项目开发课程。第一层级：知识入门，开设心理测量与统计等专业基础课程，以大众消费心理为案例，培养学生专业的、基本的心理分析能力。第二层级：技能提升，开设电子商务等综合应用项目等核心课程，以项目为案例，培养学生专业核心能力。第三层级：深入实践，开设大数据心理建模、市场调查与预测等项目课程，开展实用项目的实训，培养学生专业项目能力。层级提升学生专业能力，辅之以开展前沿技术讲座、技能比赛等多种形式培养学生的职业素养。学生在第六个学期到企业顶岗实习，将专业知识融会贯通，真正成为社会需要的从事大数据分析、大数据应用等工作的高级实用型人才。课程体系体：专业课程重在培养学生的理论知识和动手实践能力，学生在完成每个学期的理论学习后，至少有两个企业项目实战跟进，让学生在项目中应用各类大数据技术，训练大数据思路和实践步骤，做到理论与实践的充分结合。大数据技术与应用专业的课程体系包括专业基础课、专业核心课、大数据架构设计、企业综合实训等四个部分。主干课程：C语言程序设计、互联网+导论、云计算概论、大数据技术概论、计算机网络、数据结构与算法、MySQL数据库统计分析、JAVA程序设计、Linux操作系统、Python程序设计、Hadoop平台部署与运维、数据仓库与数据挖掘技术、大数据可视化设计与开发、深度学习与人工智能、互联网搜索营销、Spark技术等课程。专业特色：本专业立足本地，服务地方经济社会发展，具有良好的职业素质和文化修养，掌握互联网大数据分析相应岗位必备的基础知识和专门知识，具有较强的云计算储存能力，数据分析，网络安全管