大数据实验室建设方案

大数据实验室

建设方案

目录

目录................................................................2

1建设背景........................................................5

1.1政策背景.................................................5

1.2产业背景.................................................5

1.3建设目标.................................................5

1.4人才缺口.................................................6

1.5岗位需求..................................................6

1.6工作任务与职业能力分析...................................8

2建设内容........................................................9

2.1实验室环境及架构.........................................10

2.1.1实验室环境........................................10

2.1.2实验室整体架构....................................12

2.2软件平台建设.............................................13

2.2.1知途乐学实验学习管理平台建设......................13

2.2.2阿里云云中沙箱实验平台建设........................22

2.2.3知途本地实验平台建设..............................26

2.3硬件设备建设.............................................28

2.3.1知途乐学实验学习管理平台硬件......................28

2.3.2知途本地实验平台硬件..............................29

2.3.3实验室数据大屏....................................30

2.3.4实验室电脑硬件....................................32

2.4实验课程资源建设.........................................33

2.4.1实验课程资源统计.....................................34

2.4.2实验课程搭配方法.....................................34

2.4.3实验资源明细........................................35

2.4.4课程资源明细................................47

2.5大数据项目实训案例.......................................65

2.5.1电商大数据一一天猫品牌推荐........................65

2.5.2通信大数据一一基于数据仓库的RFM用户画像分析......67

2.5.3农业大数据一一农场物联网大数据分析................69

2.5.4交通大数据一一上海地铁人流量分析..................70

2.5.5电力大数据一一某地区电力公司欠费预测..............73

2.5.6更多行业案例列表..................................74

3产品服务体系..................................................78

3.1阿里云官方授牌..........................................78

3.2师资体系建设............................................79

3.2.1师资培训..........................................79

3.2.2企业师资现场教学..................................82

3.3阿里云培训认证..........................................83

3.3.1阿里云认证培训服务...................................84

3.3.2阿里云培训认证价值...................................84

3.3.3阿里云大数据基础认证（ACA）........................85

3.3.4阿里云大数据专业认证（ACP）.........................85

3.4岗位对接服务............................................86

3.5行业大赛.................................错误!未定义书签。

4合作模式及案例.................................................88

4.1合作模式...............................................88

4.1.1专业建设..........................................88

4.1.2嵌入式人才培养....................................88

4.1.3校企订单班........................................88

4.2学校案例...............................................89

4.2.1南京工业职业技术学院..............................89

4.2.2南京信息职业技术学院..............................90

4.2.3常州信息职业技术学院..............................91

4.2.4江苏商贸职业学院..................................92

4.2.5贵州大学..........................................93

5合作价值......................................................93

5.1获得阿里云大学授牌......................................94

5.2合作行业认证培训........................................94

5.3提升学校教学质量........................................96

5.4形成人才培养方案范例.....................................96

5.5增强深度校企融合合作.....................................97

1建设背景

1.1政策背景

近年来，大数据已经成为全球学术界、业界和政府高度关注的热点。自2014

年以来，我国政府已将大数据明确提升到国家战略的高度，中央和很多地方政府

都对大数据予以高度重视。2015年以来，国家主席习近平在多个场合针对大数

据发表重要讲话，明确指示

要加快推动国家大数据战略。

同时，为了进一步推动我国

大数据技术的发展与大数据

应用的尽快落地，2015年以

来，国务院发布一系列关于

促进我国大数据技术发展的

行动纲要与指导意见。因此，大数据产业的发展对大数据人才提出了新的需求,

国内各高校开始考虑将大数据教育纳入培养体系。

1.2产业背景

大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。

解决大数据问题的核心是大数据技术。目前所说的“大数据”不仅指数据本身的规

模，也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数

据技术并将其应用到相关领域，通过解决巨量数据处理问题促进其突破性发展。

因此，大数据时代带来的挑战不仅体现在如何处理巨量数据从中获取有价值的信

息，也体现在如何加强大数据技术研发，抢占时代发展的前沿。

1.3建设目标

通过建立大数据实验室，旨在培养擅长大数据分析、懂得将数据与业务更好

结合、达到应用目的的实用型高端人才。毕业生品格健全,具有科学的人文精神、

创新创业精神和良好的职业道德精神。掌握大数据基本理论和技术，熟练掌握大

数据采集、存储、处理与分析、传输和应用技术，同时能以所学的知识与技能分

析和解决实际问题。提高师资的科研水平。加强学校、系统和企业之间的合作。

依托行业、服务企业，互惠双赢形成长效的校企合作机制，实现工学结合培养高

技能人才的可持续发展，为高职院校在共建专业及实训平台方面做出有益的探索。

1.4人才缺口

我国工信部数据统计显示，未来几年将是我国大数据产业人才需求迅猛增长

的时期，人才缺口将达百万。大数据产业市场规模快速增长，人才需求数量激增。

相关大数据企业加大对核心技术的投入，提高对客户的服务，无论从技术层面，

运营商层面还是集成与服务提供层面，人才需求巨大。随着大数据新市场、新业

务、新应用的不断出现，国内外各大知名IT与CT企业加速占据国内大数据产业

高地，在全国加速建立分公司和研发中心，人力需求迅猛。

大数据人才匮乏已成为全国大数据企业目前面临的通病。目前，大数据正在

快速发展，学习与掌握大数据的技术理论、发展方向及其行业应用对于培养大数

据人才具有积极和长远的意义。

1.5岗位需求

国际数据公司IDC预测，到2020年，企业基于大数据计算分析平台的支出

将突破5000亿美元，大数据解决方案在未来四年中，帮助全球企业分享大约L6

万亿美元新增收入的数据红利。随着数据采集、数据存储、数据挖掘、数据分析

等数据产业的发展，我国需要更多的数据人才。数联寻英近日发布的首份《大数

据人才报告》显示，目前全国大数据人才只有46万，未来3到5年人才缺口达

150万之多。由此可见我国在未来几年内对大数据人才的渴求度极高。可以说,

未来的大数据工作，就意味着高薪、稳定、广泛的职业使用度、优越感……与大

数据相关的职位有很多，目前主要集中在系统研发工程师、应用开发工程师、数

据可视化工程师和数据分析师这四个方面。

大数据专业岗位需求：

(1)大数据系统研发工程师：负责大数据系统研发工作，包括大规模非结构

化数据业务模型构建、大数据存储、数据库架构设计以及数据库详细设计、优化

数据库构架、解决数据库中心建设设计问题。他们还负责集群的日常运作、系统

的监测和配置、Hadoop与其他系统的集成。

(2)大数据应用开发工程师：负责搭建大数据应用平台、开发分析应用程序。

他们熟悉工具或算法、编程、包装、优化或者部署不同的MapReduce事务。他们

以大数据技术为核心，研发各种基于大数据技术的应用程序及行业解决方案。

(3)大数据分析师：运用算法来解决分析问题，并且从事数据挖掘工作。他

们最大的本事就是能够让数据道出真相;此外，他们还拥有某个领域的专长，帮

助开发数据产品，推动数据解决方案的不断更新。

(4)数据可视化工程师：具备良好的沟通能力与团队精神，责任心强，拥有

优秀的解决问题的能力。他们负责在收集到的高质量数据中，利用图形化的工具

及手段的应用，一目了然地揭示数据中的复杂信息，帮助企业更好的进行大数据

应用开发，发现大数据背后的巨大财富。

社交2%在线旅硬件2%

、游1%

o2o

8%

(2015-2016大数据人才行业分布情况)

1.6工作任务与职业能力分析

我们从大数据可视化和大数据分析两个比较热门的大数据就业方向进行了

整体的行业要求分析。

职

业

工职

或

作业

工工作任务专业能力专业知识学习领域课程

岗标

作

位准

领

域

1、熟练Hadoop、Spark、Storm等

主流大数据平台的核心框架；

大数据开发技术

2、深入掌握如何编写MapReduce的

(±)

1、熟悉数据可作业及作业流的管理完成对数据的计

大大数据导论

视化插件，如算，并能够使用Hadoop提供的通用

大数据开发技术

数展Echarts,算法；熟悉有

(下)

HighChart,D33、熟练掌握Hadoop整个生态系统的Hadoop、阿

据示阿里云大数据技

等，的一定的组件如：Yarn,HBase、Hive等重要里云等大数据

术基础

展工前端框架设计组件，能够实现对平台监控、辅助运维平台生态体

数据分析

能力；系统的开发。系，精通

示程数据可视化

2、对数据可视通过学习一系列面向开发者的Map/Reduce

方网络爬虫技术与

师化有的研究，能Hadoop、阿里云等大数据平台开发技编程

应用

向够结合业务场术，掌握设计开发大数据系统或平台的

天猫品牌推荐实

景设计出实用工具和技能，能够从事分布式计算框架

训

的可视化方案。如Hadoop、Spark群集环境的部署、

开发和管理工作，如性能改进、功能扩

展、故障分析等。

1、负责项目的1、理解并熟练掌握统计学、数据挖掘

大数据导论

需求调研、数据算法和技术；

大大数据开发技术

分析、商业分析2、精通SPSSClementine/SASEM等

(±)

数数及数据挖掘建数据挖掘平台，熟悉hive，精通SQL;

SAS、SPSS等大数据开发技术

据模等工作；3、运用阿里云的产品服务，为客户搭

据至少一种统计(下)

2,根据公司的建符合业务需求的数据分析策略与执

分析软件，熟阿里云大数据技

分分实际业务要求，行方法；

悉SQL,数据术基础

完成深入的专4、熟悉运用Matlab/R/

析析挖掘的常用算数据分析

项数据分析并Python/ExcelVBA或JAVA等编程语

方法天猫品牌推荐实

师形成分析报告；言从事数据统计及大数据分析，有

iJII

向3、负责大数据Nosql/Hadoop等开发经验；

农场物联网数据

要出平台及大5、具有丰富的海量数据挖掘项目实施

分析

数据分析的项经验，能独立完成挖掘项目的规划和实

职

业

工职

或

作业

工工作任务专业能力专业知识学习领域课程

岗标

作

位准

领

域

目管理工作；施。

4、研究大数据

探索前沿技术

2建设内容

阿里云大学合作计划包含实验室建设、师资培训、企业师资教学、就业、认

证、授牌等多方面的服务，为学校提供一体化的人才培养方案。

阿里云大学实验室建设

专

企

岗

□口师阿

位

业

业

Ci里

资

对

认

师

云

训

接

资

证

大

练

服

学

教

培

营

务

授

学

专业课儆电子资雄训

产品实验资源

牌

服

专业核心课程及电子资源库服

项目实验资源务

项目实训课程及电子资源库务

课程学习平台实验学习平台

实验室场地建设

2.1实验室环境及架构

2.1.1实验室环境

实训室是为学生提供一个互联网风格的学习环境，为高校师生提供场地、配

套耗材、基础设施等硬件，包括实验区、办公区，工位设计，形象墙、数据大屏

以及休息区。知途与阿里云提供相应的企业文化，产品宣传相关资料，具体装修

方案由学校根据教学要求共同确定。

实验室装修效果图360度全景展示：

正方形实验室效果图：http方/yundaxue.org/360d/l/

长方形实验室效果图：hlIp方/yundaxue.org/360d/2/

（走廊效果图）

（侧方位效果图）

（整体效果图）

2.1.2实验室整体架构

2.2软件平台建设

软件平台有3部分组成，知途乐学实验学习管理平台是全局的系统管理平台，

根据学校的实验课程需求，配套阿里云云中沙箱实验平台、知途本地实验平台。

2.2.1知途乐学实验学习管理平台建设

知途乐学实验学习管理平台由实验学习管理模块和课程学习管理模块组成，

平台支持学生的实验课程学习以及全过程教学视频学习，平台提供强大的统计分

析功能，可以对学生学习过程进行数据化分析，提升教学效果。

2.2.1.1实验学习管理模块

知途实训学习管理系统学生学习前台、教师管理后台、学校门户等部分组成。

包含实验实验课程管理、个人中心、用户管理等部分组成。老师在管理后台完成

实验实验课程的教学管理，对学生进行成绩管理，成绩管理等操作。学生可以查

看自己的实验课程，通过与实验管理平台接口，转向到实验平台完成实验过程。

系统可为客户提供的云端实验平台，帮助用户熟练运用大数据、大数据产品、

技术、服务与解决方案，提升用户在大数据、大数据上工作的操作能力。在实训

系统中的实验课为用户提供了一个真实的操作环境，帮助用户快速体验云计算、

大数据服务。

课程中每个实验项目由沙箱实验，文档，练习等多内容有机组成，对每个碎

片的学习时间变得更短和可控，提高学生掌握学习时间灵活度。

2.2.1.1.1学生实验操作

学生在课程列表页面，通过输入课程名称、教师关键字找到合适课程。通过

课程分类和课程状态筛选到合适课程。

农场物联网大数据分析应用项目2017版因

E02017-04-262017-08-26

开始学习：

018周辞程详情学习统计

数据仓库理论与实践2017版因

懒一2017-04-252017-08-25

。去学习

开始竽习：…

®18周课程详情学习婉计

因

2017-04-252017-08-25

课程详情学习统计

酉

2017-04-252017-08-25

课程洋情学习统计

点击对应的课程即可查看课程大纲与课程实验资源:

第一章通过。。苫晟成自迸雌处理

第1节Oozie完成自动数据处理

大S辞开发技术（下…

创建Oozie工作流

宋晨静阿里云大学

第二Zookeeper急分程协调

夕寓课程内容第2节Zookeeper^S分，进程协调

.2基于zookeeper的高可用hadoop里群

第三章用Sqoop完鳗据传输

测验与作业

第3行使用Sqoop的基本知识应用步骤将数据导入Hive和Hbase

©课程信息二用sqoop从mysql导入数据

课程公告第四章用Flume完竣型收集

第4节用Flume完成数据收里

课程大纲

叵用Flume从多个数据源收隼数据

考核标准

第五章Spark技术体系

O讨论交流第5节Spark和Scala基础

Scala的基端编程

点击实验项目，可以查看实验项目内容详情:

区倒建Oozie工饰

备创建Oozie工作流

©实装时长：2h

A实验难度：中

Q实腼诬：-^D2SaS^ffh5i2HadoopMapReduce会勒他们面侬何^53»30多^!^^1?1行HadoopMapReduce3

的何费.他们决定使用oozie浣囹S度器来配置流程并执行HadoopMapReduce程序.

。实验目标：学习。ozie现引挈如何调度任务,同时学习如何遮.并运行这些居玩置.

旬2017-08-25

有叵题或想参与大家的讨论.请访同：一.

<上一项4/28下一项>

点击去实验按钮，跳转进入到阿里云云中沙箱实验平台或知途本地实验平台,

查看实验实验手册，创建实验资源，进行实验实操。

2.2.1.1.2实验管理操作

老师可要添加教学所需的实验项目，编辑实验项目信息:

回>课件>添加造任务

)目

*项目序号SS1

4项目名称ECS的磁盘挂里佚照及自定义馍像(SL001)

十项目介绍了解如何使用ECS进行磁盘挂载以及创建遨壁保螂限定义调像,从而提升项目开发中ECS

的使用效率.

会成员管理

项目目标

俄教学互动

由监督统计

◎结谏管理*开放时间2016-09-2000:00:00图至2016-11-2500:00:00£3，开放时间不超过10周,在开放时间内可以学习

项目标筌|10城入关健学.以克文2号分R5

3管理工具

项目内容

0®0

什么星云服务需ECS.mp4ECS的特点,mp4ECS的使用场景.mp4ECS的磁盘f

义宗画S10

上f■保存

每门实验课程支持多个老师参与管理，并对其设置开课管理权限。教师信息

随着开课发布也会在前台课程中展示出来。

当前兰理3：手快：阿里云大学

＞开课管理一云计算与大数拓入门(AUCPS»)(201^k)向螃状款布|

:显示技此^表先后吸手,毫Y为默认

口开课属性+教师邮箝:..三立了

只

*教师姓名

g课程信息

，教师头像上传头像

阿里云大学

开课说明十

封面片花

河里云天学

课程内容

0&0,60»gr30”好景阿里二大学

教师职程专辞

成员管理

所居机构

阿段云大学

余教学互动♦敦师介绍可洽人敦丽标、单位、代表者作等信息44

监管统计

何里云大学

。⑥4*

保存并添AL8救林

阿里云大学

管理工具4⑥于

2.2.1.2课程学习管理模块

课程学习管理平台支持全过程教学视频，可以增加文档，讨论，附件，网页，

客观练习，主观练习等多项功能，包含问卷调查、线下考试、翻转课堂、客观练

习、课内讨论、视频统计分析等，可进行课程制作，章讲内容支持增、册4、改、

排序。

第一章通过Oozie完成自动数据处理

第1节Oozie完成自动数据处理

大数据开发技术（下…

OOl-Oozie概念视频.mp400：06：21

末层静阿里云大学

002-Oozie工作流创建.mp400：04：03

夕即课程内容

[V]003-安装并配置Oozie.mp400：12：03

3创建Oozie工作流

第二Zookeeper^fiE分^^8程协调

测险与作业

第2节Zookeepe饶成分布式进程协调

。课程信息

自004-Zookeeper.mp400:04:08

基于zookeepe的高可用hadoop全群

课程公告

第M用Sqoop飘蜘啜

第3节^SSqoop的基用导入Hiv的Hbase

[vj005-Sqoop1S^.mp400：04：50

♦~L讨论*流________006-使用Sqoop力口载:嫡.mp400：09：34

2.2.1.2.1课程管理功能

老师可根据教学需求，增加文档，讨论，附件，网页，客观练习，主观练习

等多项功能，提升教学效率。

本次开课是通过引进资源开课,点此可同步更新引进的原开课的后颉更新内容同步更新

第一章通过Oozie完成自动数据处理2017-04-2600X)0qD

第1节Oozie完成行动数据处理

OOl-Oozie概念短瓯mp4困；：06:21@+

002-Oozie工作流创建mp4Q04:03

003-安装并配置0。22.1111困112:03⑥于

创建Oozie工作流⑥+

㊉视频㊉文档㊉网页㊉讨论®客观练习©主观练习㊉附件磅沙箱实验©知途实验

2.2.1.2.2学生视频学习

视频课程可以作为实验课程的前序课程,辅助学生进行预习以及复习。

二）返回课程首页>大数据开发技术（下）（2017版）E笫记提问与纠措

fvjOOl-OozielS^:视频mp4rvi003-$^?l:E§Oozie.mp4S创建Oozie工作流

C-~xdiddEcbM:|三