职业技术学院大数据技术专业调研报告

大数据技术专业调研报告为推动大数据技术专业的建设发展，立足新时期新形势，找准专业定位，破解发展危机，大数据技术从设立之初，就以多种形式举办多次教学工作专业建设专题研讨会，并积极选派骨干教师代表赴省内外参加专业建设学术研讨交流会。大数据技术与应用教研室和本专业部分学生在省内外积极开展专业调研工作。调查形式主要有：政府主管部门、行业和协会；兄弟院校；企业雇主；就业市场等几个方面展开调研。调研期间调研组实地考察了省内多家企业，其中包括了IT企业和非IT企业。调研主要内容有：（一）政府主管部门、行业和协会（1）政府发展规划与政策动态。推动大数据产业持续健康发展，是党中央、国务院作出的重大战略部署，是实施国家大数据战略、实现我国从数据大国向数据强国转变的重要举措。日前，工业和信息化部正式印发了《中国大数据行业前景预测及十四五规划分析报告2020-2025年》（以下简称《规划》），全面部署“十四五”时期大数据产业发展工作，一是推动大数据产业基础高级化。加强技术创新，补齐关键技术短板，强化薄弱技术环节；二是推进大数据产业链现代化。围绕数据资源、基础硬件、通用软件等建立大数据产业图谱，推动大数据产品高端化。围绕数据清洗、数据标注、数据分析等相关需求，加速大数据服务的优质化；三是构建产业生态。持续做好国家大数据综合试验区、大数据试点示范等工作，培育壮大市场主体。未来几年，广东省将主要围绕“产业发展”(工业大数据、金融大数据、电网大数据、电子商务大数据、物流大数据、现代农业大数据、经济运行大数据)、“公共服务”(健康医疗大数据、交通旅游大数据、教育服务大数据、人力资源社会保障大数据)、“社会治理”(信用大数据、食品药品大数据、环境保护大数据、国土资源大数据、舆情分析大数据、警务反恐大数据)三个领域，实施18个重点工程，推广典型应用。（2）市场需求和行业发展趋势。1）大数据市场需求大数据经过前几年的概念热炒之后，逐步走过了探索阶段、市场启动阶段，当前已经在接受度、技术、应用等各个方面趋于成熟，开始步入产业的快速发展阶段。大数据巨大的应用价值带动了大数据行业的迅速发展，行业规模增长迅速。2）大数据行业发展趋势我国行业大数据总体发展水平较好，在各行业都有应用。其中，金融大数据、政务大数据的应用水平最高，同时交通、电信、商贸、医疗、教育、旅游等行业大数据的发展水平也有显著提升。整体来看，大数据的应用范围广泛。大数据分析对企业的发展越来越重要，35.1%以上的企业已经开始在企业内部应用到了大数据；34.2%的企业正在考虑应用大数据，22.9%的企业在未来1年有应用大数据的计划，仅仅有7.8%的企业暂不考虑应用大数据。（二）兄弟院校（1）国内外已开设相关专业的兄弟院校调研云的时代已全面到来！现在，越来越多的大中型企业正将基础架构向云端加速迁移，小微企业和个人开发者更是将云作为基础设施的首选。随着云的能力不断提升，在DT时代，绝大多数的计算与数据服务都会在云端完成。面对这一发展趋势，除了需要在技术不断将计算能力提升之外，云计算、大数据方面的专业人才缺失，也成为了整个生态面临的严峻挑战！站在互联网“风口”上的大数据，直接催热了大学里的大数据专业。国外除了在大数据的概念上的研究外，重点放在技术研究。美国政府六个部门启动的大数据研究计划中，绝大多数研究项目都是应对大数据带来的技术挑战，重视的是数据工程而不是数据科学，主要考虑大数据分析算法和系统的效率。国内在大数据研究领域的重点在大数据与云计算、数据挖掘，并行计算和分布式处理，应用式主要集中在地理信息系统,大数据在商品零售、金融等领域的应用已经非常广泛，而在法律领域，其实也有许多可挖掘、可利用、可产生价值的地方。（2）兄弟院校学科专业建设情况1）大数据领域三个大的技术方向：方向一：Hadoop(在分布式服务器集群上存储海量数据并运行分布式分析应用的一种方法)大数据开发方向方向二：数据挖掘、数据分析&机器学习方向方向三：大数据运维、云计算计算方向2）课程设置大数据专业将从大数据应用的三个主要层面(即数据管理、系统开发、海量数据分析与挖掘)系统地帮助企业掌握大数据应用中的各种典型问题的解决办法，包括实现和分析协同过滤算法、运行和学习分类算法、分布式Hadoop集群的搭建和基准测试、分布式Hbase集群的搭建和基准测试、实现一个基于、Mapreduce的并行算法、部署Hive并实现一个的数据操作等等，实际提升企业解决实际问题的能力。核心课程：程序设计基础、数据结构、数据库原理与应用、概率论与数理统计、高等代数、应用统计学、面向对象程序设计、算法设计与分析、数据库原理及应用、大数据分析应用平台Hadoop、大数据处理、数据可视化原理与方法、数据挖掘等以及相应的项目与实训课程。3）核心技术(1)大数据与Hadoop生态系统。详细介绍分析分布式文件系统HDFS、集群文件系统ClusterFS和NoSQLDatabase技术的原理与应用;分布式计算框架Mapreduce、分布式数据库HBase、分布式数据仓库Hive。(2)关系型数据库技术。详细介绍关系型数据库的原理，掌握典型企业级数据库的构建、管理、开发及应用。(3)分布式数据处理。详细介绍分析Map/Reduce计算模型和HadoopMap/Reduce技术的原理与应用。(4)海量数据分析与数据挖掘。详细介绍数据挖掘技术、数据挖掘算法–Minhash,JaccardandCosinesimilarity，TF-IDF数据挖掘算法–聚类算法;以及数据挖掘技术在行业中的具体应用。(5)物联网与大数据。详细介绍物联网中的大数据应用、遥感图像的自动解译、时间序列数据的查询、分析和挖掘。(6)文件系统(HDFS)。详细介绍HDFS部署，基于HDFS的高性能提供高吞吐量的数据访问。(7)NoSQL。详细介绍NoSQL非关系型数据库系统的原理、架构及典型应用。（三）企业雇主（1）本专业的职业面向、主要就业单位和就业部门、专业核心岗位和相关岗位、行业标准与职业资格证书要求等方面的调研情况。1）就业方向大数据方面的工作人员主要有三大就业方向：大数据程序开发方向、大数据采集与清洗方向、大数据分析方向、大数据架构设计方向。在此三大方向中，各自的基础岗位一般为大数据系统研发工程师、大数据应用开发工程师和数据分析师。2）就业部门/单位计算机、移动互联网、电子信息、电子商务技术、电子金融、电子政务、军事、政府机关、房地产、银行、金融、移动互联网、IT领域。3）专业核心岗位和相关岗位数据科学家、数据分析师、数据架构师、数据工程师、统计学家、数据库管理员、业务数据分析师、数据产品经理（2）专业核心岗位和相关岗位的典型工作任务的调研情况。就业方向：=1\*GB3①大数据技术方向对应岗位典型工作任务：大数据开发工程师爬虫工程师Java大数据分布式程序开发、大数据分析师等集成平台的应用与开发、数据可视化等相关工作、大数据分析方向数据科学家、数据挖掘工程师、机器学习工程师等、=2\*GB3②大数据架构设计大数据运维工程师、大数据平台运维、大数据分析、大数据挖掘等相关工作。=3\*GB3③Java海量数据分布式编程、大数据架构设计，大数据分析等方面工作任务（四）就业市场（1）就业市场招聘相关专业毕业生的现状。如今，我国大数据产业发展已初具规模，但在人才市场上缺乏综合掌握数学、统计学、计算机等相关学科及应用领域知识的综合性数据科学人才，特别是缺乏既熟悉行业业务又掌握大数据技术与管理的综合型人才。今天，越来越多的行业对大数据应用持乐观的态度，大数据或者相关数据分析解决方案的使用在互联网行业，比如百度、腾讯、淘宝、新浪等公司已经成为标准。而像电信、金融、能源这些传统行业，越来越多的用户开始尝试或者考虑怎么样使用大数据解决方案，来提升自己的业务水平。在“大数据”背景之下，精通“大数据”的专业人才将成为企业最重要的业务角色，“大数据”从业人员薪酬持续增长，人才缺口巨大。各大高校紧锣密鼓启动大数据人才培养，缘于大数据时代催生的大量相关人才缺口。（2）就业市场招聘相关专业毕业生的用人需求和素质要求。通过调研了解到，就业市场招聘相关专业毕业生的用人需求和素质要求：1)从个人素质方面，需要以下能力：良好的数据敏感度，能从海量数据提炼核心结果。对统计、数学建模有强烈的兴趣和钻研精神。良好的学习能力、团队协作能力、逻辑思维能力、分析能力。擅长与商