大数据技术与应用专业

1、大数据技术与应用专业建设方案北京四合天地科技有限公司2018年6月目录1 项目背景31.1 行业背景31.2 政策导向32 人才培养方案52.1 行业人才需求52.2 大数据岗位设置62.2.1 Hadoop运维工程师6222大数据开发工程师6223数据采集工程师6224系统开发工程师72.3 大数据人才某本技能要求72.4 人才培养目标82.5 人才培养策略83 教学现状分析93A教学科研难以保证932实训环境缺失933实训内容不足94课程体系建设941培养目标942课程设置105 实训室建设错误！未定义书签。5.1 设计理念错误！未定义书签。5.1.1 以就业为导向错误！未定义书签。5.1

2、.2 以能力为本错误！未定义书签。5.1.3 坚持创新错误！未定义书签。5.1.4 产学研一体化错误！未定义书签。5.1.5 拓展专业广度和深度错误！未定义书签。5.2 整体架构错误！未定义书签。5.3 硬件环境错误！未定义书签。5.3.1 大数据实训服务器错误！未定义书签。532学生终端错误！未定义书签。5.4 软件环境错误！未定义书签。541四合天地云计算平台错误！未定义书签。5.4.1 四合天地大数据教学实训管理平台错误！未定义书签。5.4.2 四合天地数据采集与预处理实训系统错误！未定义书签。5.4.3 四合天地大数据离线分析实训系统错误！未定义书签。5.4.4 四合天地数据可视化实训

3、系统错误！未定义书签。5.5 实训资源体系错误！未定义书签。5.5.1大数据离线分析环境部署教学实训包错误！未定义书签。5A2数据采集与预处理教学实训包错误！未定义书签。5A3大数据离线存储与分析教学实训包错误！未定义书签。5A4数据可视化教学实训包错误！未定义书签。6 方案优势错误！未定义书签。6.1 WEB形式开展实训：实现无所不在的网络访问错误！未定义书签。6.2 基干资源的负载均衡：实现,实训资源弹件分配错误！未定义书签。6.3 增量存储技术：实现用户实训环境的独立性和延续性错误！未定义书签。6A项目驱动式实训设计：培养学牛的综合云能力错误！未定义书签。65 资源的开放忤及售用忤.可支

4、持科研等其他用途错误！未定义书签。66 完善的课程体系，丰富的教学内容错误！未定义书签。7项目建设成效错误！未定义书签。7.1 完全契合工程实践，明确专业定位错误！未定义书签7.2 采用任务驱动”教学方式，引领教学方式创新错误！未定义书签7.3 聚焦工程技术人才培养，协助专业改革创新错误！未定义书签1项目背景1.1 行业背景大数据（bigdata）是指无法在可承受的实践范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托.迈尔.舍恩伯格及肯尼斯.库克编写的大数据时代中，大数据指不用随机分析法

5、（抽样调查）这样的捷径，而采用所有数据进行分析处理。麦肯锡提出的大数据4V特点包括：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）。由IDC和EMC联合发布的«TheDigitalUniverseofOpportunities:RichDataandtheIncreasingValueofInternetofThings研究报告中指出，2011年全球数据总量已达到1.8ZB,并将以每两年翻一番的速度增长，到2020年，全球数据量将达到40ZB,均摊到每个人身上达到5200GB以上。在“2017年世界电信和信息化社会日大会”上，工信部总

6、工程师张峰指出，我国的数据总量正在以年均50%的速度持续增长，预计到2020年，我国数据总量在全球占比将达到21%。美国市场研究公司IDC发布的报告称，全球大数据技术和服务市场将在未来几年保持31.7%的年复合增长率，2016年总规模达到238亿美元。根据中国信息通信院（原工信部电信研究院）发布的中国大数据发展调查报告（2017）指出，2016年中国大数据市场规模为168亿元，增速达45%,预计20172020年增速保持在30%以上，预计到2020年中国大数据市场规模将达到578亿元。图1-2:中国大数据市场对于规模及增速自2008年以来，我国出台多项规定，促进数据开放共享，引领大数据产业的健

7、康发展。从行业来看，互联网行业是大数据应用的领跑者，其次，大数据应用水平较高的主要是电信、金融等行业，而医疗、零售、交通、物流等传统行业也逐渐开始进行大数据方面的探索，并且已出现了部分相对成熟的应用类型。虽然各行业的数字化进程并不均衡，部分传统行业的大数据技术与应用渗透率还较低，但增长空间巨大。1.2 政策导向自党的十八大以来，我国提出了实施国家大数据战略的重大决策。国务院和相关部门先后印发了促进大数据发展行动纲要、大数据产业发展规划（20162020年）等指导性文件。据不完全统计，我国已有20多个省级地方和10余个部委出台了本地区、本行业大数据发展规划，我国大数据发展已经正式驶入快车道。20

8、15年9月5日经李克强总理签批，国务院日前印发促进大数据发展行动纲要（以下简称纲要），系统指导我国大数据发展的国家。顶层设计和总体部署大数据发展工作。纲要提出从政府大数据、新兴产业大数据、安全保障体系三个方面着手推进大数据领域十大工程建设，将我国大数据发展推向了另一个制高点。同时，纲要中明确指出，要加强专业人才培养，创新人才培养模式，建立健全多层次、多类型的大数据人才培养体系。鼓励采取跨校联合培养等方式开展跨学科大数据综合型人才培养，鼓励高等院校、职业院校和企业合作，加强职业技能人才实践培养，积极培育大数据技术和应用创新型人才。依托社会化教育资源，开展大数据知识普及和教育培训，提高社会整体认知

9、和应用水平。2015年10月，国务院中华人民共和国国民经济和社会发展第十三个五年规划纲要(简称“十三五”规划(20162020)中提出：“实施国家大数据战略，推进数据资源开放共享。”、“未来五年信息化建设将重点实施网络强国战略，实施国家大数据战略。”将我国大数据上升到国家战略层面。2015年是大数据政策顶层设计年，2016年是大数据政策细化落地年。国家发改委、环保部、工信部、国家林业局、农业部等均推出大数据发展意见和方案。大数据政策从全面、总体规划逐渐向各大行业、各细分领域延伸，大数据发展也逐步从理论研究步入实际应用之路。大数据产业发展规划(20162020)»工信部2016.12.

10、30农业农村大数据试点方案农业部2016.10.14关于推进全国发展改革系统大数据工作的指导意见国家发改委2016.09.09关于推进交通运输行业数据资源开发共享的实施意见交通部2016.09.02关于加快中国林业大数据发展的指导意见林业局2016.07.13促进国土资源大数据应用发展实施意见国土资源部2016.07.04关于促进和规范健康医疗大数据应用发展的指导意见国务院办公厅2016.06.24促进大数据发展三年工作方案(20162018)»国家发改委等部委2016.04.13生态环境大数据建设总体方案环保部2016.03.08国家林业局落实促进大数据发展行动纲要的三年工作方案林

11、业局2016.02.24表1-12016年中央及部委大数据领域最受关注的十大政策2016年，各省市相继出台相关政策举措，强调研发及公共领域的大数据应用，促进相关政策法规的完善；重视通过大数据引领产业转型升级，与企业合作共建地区大数据生态；建立大数据基地，吸纳优秀企业、人才落户扎根。伴随着宏观政策环境的逐步完善，我国大数据产业正在茁壮发展。2人才培养方案2.1行业人才需求美国人才招聘市场的数据分析领先者WANTEDAnalytics和Forbes对来自150个国家的10亿个岗位信息进行了统计，基于“数据分析”、“数据采集”、“数据挖掘”和“数据结构”四项技能的大数据专业人才市场需求分析，在对过去

12、12个月美国就业市场“大数据”相关岗位的分析中发现：需要“大数据”技能的岗位空缺呈现高速增长，其中“大数据”解决方案的销售人员、计算机系统分析师、管理分析师、IT项目经理和信息安全分析师岗位的增幅都在100%以上，这一增长趋势也将延续到2016年。麦肯锡全球研究所（MGI）和麦肯锡商业技术办公室在对医疗、公共、零售、制造业和个人定位等五个领域内详细研究了大数据发展趋势后发布的研究报告预测：由于大数据的引入，会造成信息分析人才的缺乏，预计到2018年，仅美国就需要1419万信息分析专业人才以及150万懂得大数据的管理人员和分析师。大数据不仅提高了产业价值，还能够大幅度的拉动就业。国外著名职业人士

13、社交网站LinkIn对全球超过3.3亿用户的工作经历和技能进行分析并公布了最炙手可热的25项技能中，统计分析和数据挖掘技能位列榜首。根据中国信息通信院（原工信部电信研究院）发布的中国大数据发展调查报告（2017）»中指出，超过三分之一的受访企业认为数据人才短缺是企业发展大数据所面临的主要问题之一。图2-1制约企业大数据发展的主要因素国家信息中心和南海大数据应用研究院联合发布的2017中国大数据发展报告显示，数据分析、系统研发等技术类岗位大多供不应求，数据分析类岗位工作机会最丰富，虽然求职人数占比第一，但人才供给仍然相对不足。图1-4大数据岗位招聘、求职人数统计图我国大数据产品正处于起

14、步阶段，市场对技能型、操作性的人才需求相对较高，从统计数据上看，大数据行业求职者学历与招聘需求出现错位，主要表现为大专的招聘需求高于求职者占比，而硕士以上的需求则正好相反。图1-4大数据岗位招聘、求职学历要求统计图为了适应大数据产业的快速发展，2016年9月，教育部向普通高等学校、高等职业教育（专科）专业目录增补13个专业，其中就包括大数据技术与应用专业（专业代码610215）。大数据技术与应用是一门多学科融合的交叉学科，高职院校应从应用型、技能型角度建设大数据学科方向的课程体系与学生培养方案。提高学生的学科交叉能力、实践能力和创新创业能力。适应我国经济体制转轨、产业结构调整和高新技术发展的需

15、要，培养出企业和社会急需的创新型、实用型、复合型人才。从教学体系建设上，应体现“应用”二字，其核心是实践教学，重点引导学生将科学知识应用于实践工作中，对已有科学知识与技术进行创新并直接应用于社会生产活动，提高自身的创新创业能力。-5-2.2大数据岗位设置根据对大数据行业市场需求的深度调研，结合国内外大数据行业人才需求的实际情况分析，依据学生对于大数据相关软件工具以及数据分析及建模方法的掌握情况，主要以下几个类型的岗位：2.2.1 Hadoop运维工程师作为大数据产业下的一个新型职位，Hadoop运维工程师是大数据系统稳定运行最重要的保障，其主要职责是维护高性能的Hadoop分布式数据存储系统，

16、并为业务系统提供稳定的数据访问服务，开发新接口和维护原有系统。由于Hadoop技术生态组件绝大部分是由Java语言实现并且基于Linux操作系统运行的，对于该职位来说，首要要精通Java编程和Linux操作系统；其次要精通Map/Reduce运行机制、Hadoop集群的硬件资源（CPU、内存、存储）配置与管理、Hadoop各组件（如HDFS、Hive、HBase、Impala等）的运行原理、集群组件监控、集群节点故障解决方案等；另外还需要懂得如何保证数据安全、数据存储效率、计算效率、运维效率的优化与提高等。如果觉得Hadoop集群的性能差时，绝大部分责任是运维工程师对Hadoop的了解太少，H

17、adoop的效率没有被发挥出来。2.2.2 大数据开发工程师大数据相关的技术组件包括分布式存储（结构化与非结构化）、缓存、查询、计算（实时与离线）、监控与管理、资源调度等，为了保障各技术开发的专业性，一般以开发工作的内容进行划分：Hadoop开发工程师（离线计算）、实时计算工程师、数据处理工程师、文本挖掘工程师（非结构化数据处理）等。Hadoop开发工程师需要精通包括：HDFS、HBase、Hive、Impala、Zookeeper、YARN、Map/Reduce等在内的所有组件部署、调优与开发。Hadoop技术应用广泛，开发过程中还会涉及Hadoop版本的快速迭代升级，需要和Hadoop运维

18、工程师协同开展工作。实时计算所涉及的技术包括Spark、Storm两大核心组件，而Spark与Storm组件的开发语言都各自不尽相同，这无疑大大增加了实时计算工程师的开发难度，除了精通Java之外，还必须精通Scala（Spark是由Scala写成）、SparkSQL和SparkStreaming。以上技术都是针对结构化和半结构化数据的开发处理，非结构化数据的开发处理一直都是相对更繁琐的工作。比如，文本挖掘工程师的工作是对非结构化数据进行抽取、解析、建立全文索引等，使非结构化数据转化为有价值的结构化或半结构化数据。数据处理工程师主要负责分布式存储与计算平台中的数据处理与传输，承担着“数据搬运工

19、”的角色，不管是结构化或半结构化数据还是非结构化数据，一般都会使用到Kafka或MQ等组件进行数据的解析与传输。2.2.3 数据采集工程师数据采集工程师的主要职责是收集和处理海量原始数据，工作内容包括：脚本编写、网页获取、调用APIs、-6-编写SQL查询等。由于数据源的存储及展现方式不同，数据采集分为外部数据采集和内部数据采集，外部数据采集通常指的是互联网网页采集（也称网络爬虫），工作任务是通过搜索引擎网络爬虫相关技术和正则表达式，从抓取下来的HTML页面数据中提取网页数据信息，这要求工程师必须精通互联网内容搜索产品（例如百度、谷歌）的设计和架构，熟悉搜索引擎、互联网网页及反爬虫技术的工作原

20、理，熟悉Linux操作系统，具备搜索引擎开发的研究能力，使用到的开源技术工具有：Nutch、Heritrix、larbin、HtmlParse、Scrapy、Lucene等。内部数据采集是指存储在企业内部数据系统（如Oracle、MySQL、NoSQL、Log日志）中的主数据/业务数据和企业网站/App端中用户行为数据的采集。企业内部数据采集的工作任务是通过数据库抽取相关技术（Java、Sqoop、GoldenGate、Canal）把存储在企业数据库系统中的数据抽取出来，重新整合、同步与存储；企业网站/App数据采集是通过JS/SDK等技术手段，把网页/App端的用户登录、点击、查看等行为收集

21、起来，同步到后端的数据存储系统中。通过内部、外部数据采集到的数据最终都会存到分布式文件系统（Hadoop、Spark）中统一存储，便于后续的数据分析与挖掘。这些工作要求工程师了解企业数据流通机制，精通Oracle、MySQL、NoSQL等数据库的工作原理和主流的大数据接入技术（Kafka、Storm、Flume、MQSparkStreaming）,熟悉Nginx日志、算法设计、数据结构、Java和Scala等。2.2.4系统开发工程师大数据系统按应用类型分为数据可视化类与数据应用类。可视化类系统包括：商业智能、数据监测、舆情监控、用户画像等，该类系统一般使用前端技术结合可视化组件开发，要求工程

22、师精通JavaScript、Ajax/JQuery、HTML、CSS等Web前端技术，以及数据可视化技能和工具，例如D3、Echarts、HighCharts、Tableau等。熟悉各主流浏览器（IE/Chrome/Firefox/Safari）兼容性问题解决方案和Oracle、MySQL、MongoDB、Hive、HBase等数据库查询能力，另外还需了解各种调试、抓包工具如HTML类、CSS类、Debug类等。数据应用类系统包括：互联网广告精准投放系统（DSP）、精准营销系统、征信/风控系统、个性化推荐系统、大数据管理平台（DMP）等。该类系统除了会使用前端技术和可视化组件外，还需要结合大数

23、据分布式算法、高并发查询、负载均衡等技术，更侧重Redis、Nginx、MQZookeeper、Hadoop等技术。熟悉TCP/IP协议和多线程并发技术，同时也要兼具可视化系统开发所应用到的Web前端技术、数据可视化技术、浏览器兼容等。2.3大数据人才基本技能要求结合对上述三个主要岗位的分析，市场对于大数据人才的基本要求主要体现在以下几个方面：1 .掌握Linux操作系统的配置、管理及优化，能够独立排查及解决操作系统的问题；2,熟悉Hadoop、Hive、Kafka、HBaseYarn、Storm等Hadoop生态系统软件的配置及管理方式；3.至少精通Shell/Python/Java中的一种

24、开发语言；4,具有良好的算法相关知识，能够对完成简单的算法优化。2.4 人才培养目标高职院校开展“大数据技术与应用”专业强调培养具有大数据实践能力的大数据人才。针对大数据产业现状及发展要求，坚持交叉学科学习与实践案例教学，通过与大数据企业的交流合作，利用丰富的社会化资源，培养大量具有大数据思维方式的技术人才。在坚持理论与实践相结合，实践与技术相结合的基础上，重点培养学生的数据分析能力，通过企业级案例分析和实训项目联系，培养学生大数据平台搭建、数据分析和解决方案的能力，让学生能够成为灵活运用数据分析手段，为企业数据分析、管理决策提供价值的大数据人才。高职院校“大数据技术与应用”专业重点强调培养具

25、有大数据实践能力的大数据人才。主要关注两方面的核心素质：一方面要能够掌握数据采集、数据分析、数据可视化等基本工具；另一方面能够掌握使用数据分析和初步数据建模的能力。1. 熟练掌握Linux操作系统的配置、管理及优化2. 熟练掌握Hadoop、Hive、Kafka、HBaseYarn、Storm等Hadoop生态系统软件的配置及管理方式。3. 具备Shell/Python/Java中一门编程语言的初级编程能力。系统开发类大数据运维工程师1 .精通Shell/Python/Java中的一门编程语言，能够独立完成程序编写。2 ,熟悉Hadoop、Hive、KafkaHBaseYarn、Storm等H

26、adoop生态系统软件的配置及管理方式；3,熟悉Linux开发和运行环境。系统开发类大数据开发工程师1. 精通Shell/Python/Java中的一门编程语言，能够独立完成MapReduce的开发；2. 熟悉Hadoop、Hive、KafkaHBaseYarn、Storm等Hadoop生态系统软件的配置及管理方式；3. 具备基本的主流算法知识，了解算法原理。数据处理类ETL工程师2.5 人才培养策略根据就业前景，加大人才培养力度。各高职院校应该建立专业的大数据实训环境，尤其是要满足当前学生需求的实训系统，整合高性能计算和大数据的基本功能，灵活支持大数据的相关实训操作。注重实操，开拓新型教育方

27、式。大数据是“技术+管理”的一门多学科交叉课程，不但需要通过教师的授课提高学生对于大数据理论的认识，更需要加强学生的动手能力及实战经验。通过构建大数据实训环境，提高实践教学内容在整个教学体系中的比重，增强学生的实践动手能力，从而大幅提高教学质量，增强学生动手能力。采用项目驱动型的教学方式。应通过采用项目驱动、任务引领的方式完成授课、实训过程，选用真实案例作为实训项目，提升学生的工作能力，切实培养实用型人才。3教学现状分析2016年9月教育部研究决定，正式批准“高职”大数据技术与应用专业作为普通高等学校高等职业教育（专科）专业目录2016年增补专业（专业代码：610215）。经过新一轮的探索后，国家开始加大力度，扩大面积，积极寻找和催生大数据专业人才的培养方式来填补人才缺口。“大数据技术与应用”专业是一门新型学科，各高职院校开展时间较短，因此，对于各高职院校来说，在大数据技术与应用专业教学过程中将会面临以下几个方面的问题：3.1 教学科研难以保证各高职院校的大数据技术与应用专业均处于起步阶段，人才培养课程体系缺乏系统性，大数据教学