大数据专业体系建设方案v1

大数据专业建设解决方案Jul2018目录TOC\o"1-5"\h\z项目背景41.1.大数据行业现状分析及发展前景41.2.大数据行业人才需求61.3.本科高校大数据教育的进展71.3.1.本科高校大数据专业建设现状分析71.3.2.新工科与大数据专业建设71.4.大数据学科建设的现状分析81.4.1.教学资源91.4.2.人才培养91.4.3.实验环境91.4.4.师资支撑91.4.5.实习实训10大数据专业人才培养方案102.1.招生对象及学制102.2.专业培养目标102.3.人才培养目标与定位102.3.1.人才质量标准112.3.2.人才培养对应工作岗位122.4.课程设置及教学安排142.4.1.课程设置体系142.4.2.课程学习路径图182.4.3.教学计划及安排182.4.4.部分课程简介243.大数据实验室建设方案273.1.大数据实验室建设的必要性273.2.大数据实验室核心理念273.3.大数据实验室架构及优势293.3.1.技术架构293.3.2.产品优势303.4.大数据教学资源建设313.4.1.大数据课程体系313.4.2.系列教材333.4.3.配套实验手册333.4.4.在线视频343.4.5.在线试题库343.4.6.大数据行业项目案例353.4.7.项目手册393.5.大数据教学平台建设403.5.1.数据融合403.5.2.数据融合存储413.5.3.数据计算分析423.5.4.数据可视化433.6.大数据云试验机443.7.可视化展示墙473.8.整体实验室建设实施方案473.8.1.需求调研473.8.2.方案设计483.8.3.硬件环境安装483.8.4.软件环境部署483.8.5.产品使用培训493.8.6.项目验收493.8.7.售后服务体系493.8.8.增值服务504.师资培养方案534.1.师资培训534.1.1.培训宗旨534.1.2.培训特色534.1.3.培训方式544.2.专业建设研讨会544.2.1.举办目的544.2.2.举办性质544.2.3.兼职教师队伍建设545.学生实习实训解决方案555.1.校内实训555.2.企业顶岗实践565.3.就业合作56项目背景大数据行业现状分析及发展前景随着信息技术和人类生产生活交汇融合，互联网快速普及，全球数据呈现爆发增长、海量集聚的特点，对经济发展、社会治理、国家管理、人民生活都产生了重大影响。在刚刚过去的2017年里，大数据在政策、技术、产业、应用等多个层面都取得了显著进展。在政策层面，大数据的重要性进一步得到巩固。党的十九大提出“推动互联网、大数据、人工智能和实体经济深度融合”，习近平总书记在政治局集体学习中深刻分析了我国大数据发展的现状和趋势，对我国实施国家大数据战略提出了更高的要求。在技术层面，以分析类技术、事务处理技术和流通类技术为代表的大数据技术得到了快速的发展。以开源为主导、多种技术和架构并存的大数据技术架构体系已经初步形成。大数据技术的计算性能进一步提升，处理时延不断降低，硬件能力得到充分挖掘，与各种数据库的融合能力继续增强。在产业层面，我国大数据产业继续保持高速发展。大数据在2018年将深入渗透到各行各业（对于我国大数据产业的规模，目前各个研究机构均采取间接方法估算。据前瞻产业研究院发布的《大数据产业发展前景与投资战略规划分析报告》数据显示，2017年中国大数据产业规模达到4700亿元，同比增长30%;其中，大数据硬件产业的产值为234亿元，同比增长39%。随着大数据在各行业的融合应用不断深化，预计2020年中国大数据市场产值将超万亿。2015-2020年中国大数据产业规模走势预测■太就掐产业规覆：亿元数据来源：前瞻产业研究院在应用层面，大数据在各行业的融合应用继续深化。大数据企业正在尝到与实体经济融合发展带来的“甜头”。利用大数据可以对实体经济行业进行市场需求分析、生产流程优化、供应链与物流管理、能源管理、提供智能客户服务等，这不但大大拓展了大数据企业的目标市场，更成为众多大数据企业技术进步的重要推动力。随着融合深度的增强和市场潜力不断被挖掘，融合发展给大数据企业带来的益处和价值正在日益显现。根据大数据产业地图的统计，为金融、政务、电商三个行业提供大数据产品和解决方案的企业最多，分别占比63%、57%、47%。但实践中仍然面临着缺乏高质量数据、缺乏平台级工具、缺乏成熟商业模式等一系列问题，阻碍了实体经济行业充分利用大数据的价值。在地方大数据发展实践方面，截至2018年2月底，我国各地方政府对外公布了超过110份大数据相关政策文件，覆盖全国31个省级行政区划。总体来看，我国大数据产业目前仍处于蓬勃发展阶段，各地更加注重结合当地发展特色和优势进行大数据产业发展，区域协调的发展局面正在形成。在大数据的发展过程中，无论是政府还是企业，近年来都愈发关注数据治理和数据资产管理的重要性。2018年3月，银监会出台《银行业金融机构数据治理指引》，要求银行金融机构建立自上而下、协调一致的数据治理体系。企业的数据资产管理也正在从理论走向实践，为大数据应用打下坚实的基础。为应对大数据发展带来的各种问题和需求，各国政府在立法方面也动作频频，在政府数据开放、个人信息保护和数据跨境流动方面都有了一些进展。无论是政策还是立法，都旨在实现数据价值的安全释放，提升数据管理的科学化水平。我国要实现从“数据大国”向“数据强国”转变，还面临诸多挑战。一是技术创新与支撑能力依然不够，我国无论是新型计算平台、分布式计算架构，还是大数据处理、分析和呈现方面与国外均存在较大差距，总体上难以满足各行各业大数据应用需求。二是信息安全和数据管理体系仍未建立，数据所有权、隐私权等相关法律法规和信息安全、开放共享的规范和标准缺乏或可操作性不强，技术安全防范和管理能力不够。三是人才队伍建设亟需加强，大数据人才远不能满足发展需要，尤其是缺乏既熟悉行业业务需求，又掌握大数据技术与管理的综合型人才。未来，需要我们继续坚持国家大数据战略，审时度势精心布局，努力开拓大数据发展新局面，更好服务我国经济社会发展和人民生活改善。大数据行业人才需求大数据人才缺口有多大？2017年12月4日，麦肯锡发布了长达176页的中国数字经济报告。报告显示，中国电子商务（2016年交易额占全球40%）和数字支付（2016年个人消费交易额交易额7900亿美元，是美国的11倍。）已经领先全球；独角兽公司数量占1/3，独角兽价值约占全球43%；2014至2016年间风投金额达770亿美元（占全球19%）。随着大数据的广泛应用，大数据已经步入迅速发展期，近年随着Spark\Strom等大数据平台应用的普及，对专业人才的需求日益增加，数据平台开发工程师等岗位炙手可热。另一方面，数据挖掘方向的人才需求量也比较大。随着人工智能的发展和应用，很多行业包括IT公司、零售、金融等都有大量数据挖掘人才的需求。随着各种智能应用的落地及普及，大数据人才需求会越来越旺盛。本科高校大数据教育的进展本科高校大数据专业建设现状分析2016年3月10日教育部批本科准新专业，我国高校开设大数据本科专业，属于0809计算机类，申报专业方向的不计其数。今年已经是第三年了。2018年3月21日下午，历时近一年时间，教育部公布了2017年度普通高等学校本科专业备案和审批结果的最新通知，第三批大数据本科专业院校获批。2016年2月，北京大学、对外经济贸易大学、中南大学首次成功申请到“数据科学与大数据技术”本科新专业。2017年3月，第二批32所高校获批。至此，共有35所高校正在筹备“数据科学与大数据技术”专业，该专业学制为四年，授予工学学位或理学学位。此次教育部最新公布的高校新增专业名单中，有248所学校获批，是过去两次审批通过额度近8倍。据大数据文摘统计，在之前获批的所有高校名单中，河南省获批高校数量最多，达22所，北京次之，19所。安徽、广东、山西、河北次之。其中，985及211高校共36所，占比13%。新工科与大数据专业建设“新工科的内涵，是基于国家战略发展新需求、国际竞争新形势、立德树人新要求而提出的我国工程教育改革方向。新工科的内涵是以立德树人为引领，以应对变化、塑造未来为建设理念，以继承与创新、交叉与融合、协调与共享为主要径，培养未来多元化、创新型卓越工程人才，具有战略型、创新性、系统化、开放式的特征。新工科建设将阶段推进，需要重点把握学与教、实践与创新创业、本土化与国际化三个任务，关键在于实现立法保障、扩大办学自主权、改革教育评价体系三个突破。”摘自《新工科建设的内涵与行动》-钟登华17年2月，教育部在复旦大学召开了高等工程教育发展战略研讨会，与会高校对新时期工程人才培养进行了热烈讨论，共同探讨了新工科的内涵特征、新工科建设与发展的路径选择，并达成了若干共识。17年4月，教育部在天津大学举行工科优势高校新工科建设研讨会，在研讨的基础上公布了《新工科建设行动路线》，也称新工科建设“天大行动”。17年6月，新工科研究与实践专家组成立暨第一次工作会议在北京会议中心召开，专家审议并原则通过了《新工科研究与实践项目指南》，形成了新工科建设的“北京指南”。复旦共识、天大行动和北京指南，构成了新工科建设的“三部曲”，是中国高校培养人才的新方向，也是工程教育改革新路径。也是我国高教界在“一带一路”战略、“工业制造2025”“互联网+”等一系列时代命题面前积极创新、砥砺前行的坚定决心。17年6月教育部办公厅有关《新工科研究与实践项目指南》中明确提出：“围绕新技术、新产业、新业态和新模式，探索基于现有工科专业改造升级……”其中新技术主要为人工智能、大数据、云计算、物联网等新技术。由此可见，大数据专业的建设也必将推动新工科专业的改造升级。大数据学科建设的现状分析由于高校在大数据教育领域的发展时间并不是很长，所以目前高校在大数据专业方向的教学过程中，主要面临以下几个方面的问题：1.4.1.教学资源高校在实践教学和科研环节缺少配套的实验教学案例及数据集，可联合相关大数据企业，提供企业真实脱敏的数据集和教学案例等系列教学科研资源。1.4.2.人才培养由于高校教师无法准确把握市场对人才的需求情况，因此，在大数据课程体系设置、人才培养方案制定以及考核评估等方面，需要与企业多方联合，根据市场人才需求，结合大数据行业的用人岗位需求，依据国家教学规范要求和学校原专业的基础和办学定位，多方共同制定人才培养特色方案、专业授课计划以及考核评估标准。1.4.3.实验环境目前，高校在开设大数据课程方面，缺少综合的大数据教学和科研实践平台为学生提供实验教学和科学研究。由于大数据技术和数据资源更新速度快，平台系统构建较为复杂，因此需要专业的平台建设企业或其他机构提供系统的维护和更新升级，保证大数据课程和科研的顺利开展和实施。1.4.4.师资支撑高校师资在实践教学方面缺乏一定的项目实战经验，需要与企业开展联合培养，学校组织团队实施公共课和基础课以及基础技术课教学，由企业派驻工程师承担专业核心课程的教学；同时，通过和企业互动合作，可建立双师型师资培养机制，提升师资整体的科研和实践水平。1.4.5.实习实训在学生学习过程中，动手能力和项目能力较弱，缺少实践环境和实训指导，因此可与大数据企业联合共建大数据实践基地，不仅可以为学生提供良好的实习实践环境和实训项目，同时，由企业工程师和高校教师联合开展实训项目实践，可快速提升学生的整体实践水平。大数据专业人才培养方案2.1.招生对象及学制招生对象：普通高考毕业生（普招）学制：学制四年，采用3+1人才培养模式，即3年在学校学习，最后一年去校外实训基地和相关企业顶岗实习，修业年限为3-5年。2.2.专业培养目标“数据科学与大数据技术”专业（专业代码080910T）强调培养具有多学科交叉能力的大数据人才。该专业重点培养具有以下三方面素质的人才：一是理论性的，主要是对数据科学中模型的理解和运用；二是实践性的，主要是处理实际数据的能力。三是应用性的，主要利用大数据的方法解决具体行业应用问题的能力。本专业要求学生打好数学基础，接受较扎实的计算机训练，主要学习信息科学和计算科学的基本理论、知识和方法，初步具备在大数据分析、高性能计算领域从事科学研究、解决实际问题及设计开发有关软件的能力。2.3.人才培养目标与定位针对行业现状与时代发展要求，以扎实理论为基础，以实用价值为导向，培养时代所需要的高层次、复合型人才；坚持交叉学科学习与案例教学，通过和企业界交流与合作，利用丰富的社会化资源，培养具有大数据思维方式的企业管理和技术人才。在坚持理论和实践结合，业务和技术结合的基础上，侧重培养学生从原始数据中洞察新的市场和预测分析能力，通过企业级案例分析和实战项目练习，培养学生大数据平台建设、分析和解决方案的能力，让学生成为能够广泛运用数据分析手段管理和优化企业运营的大数据人才。2.3.1.人才质量标准培养规格与课程体系结构对应表规格具体要求内容对应课程知识结构人文社会知识文学、历史、哲学、艺术、法律、时事政治等方面的知识思想道德修养与法律基础、毛泽东思想和中国特色社会主义理论体系概述、形式与政策自然科学知识数学计算、逻辑分析、英语阅读等方面知识数学、央语工具性知识语言编程基础知识操作系统应用基础知识3-数据库基础知识4.数据可视化工具基础知识Python编程语言；Java面向对象编程；操作系统/Linux操作系统；数据库技术；Scala语言;大数据可视化技术；R语言专业知识1、计算机软硬件基本理论2、大数据平台搭建知识3、大数据平台运维及测试知识4、数据仓库基础知识5、数据处理基础知识计算机组成原理；基于Hadoop的应用开发技术；离线分析Hive；数据分析技术(SPSS/SAS)；大数据实时计算技术与应用；大数据挖掘技术；Spark大数据处理技术；机器学习；深度学习能力结构学习能力具有信息获取和职业发展的学习能力职业生涯规划、专业导论、应用文写作应用知识的能力(实践能力)1、大数据平台应用开发能力2、大数据平台运维管理能力3、大数据平台搭建部署能力大数据应用开发综合项目实践、大数据平台搭建与管理综合项目实践创新意识和开发设计能力具有创新意识和开发设计软件能力创新创业基础职业素养创新意识和网络工程设计能力大赛

创新能力（创新精神）具有创新思维、掌握14种创新技法、具有适应社会经济发展的创新精神、创业能力创新创业基础、职业素养创新思维、技法训练交流能力沟通、表达、文字表达、团队合作能力交际沟通与礼仪人、应用文写作社会适应能力与人沟通协作、合作、团队协作的能力、自我学习能力职业素养、顶岗实习素质结构思想品德素质热爱社会主义祖国，拥护中国共产党领导，具有社会主义国家公民觉悟和道德品质，自觉学法、懂法、守法意识，能用法律维护企业、个人合法权益思想道德修养与法律基础、毛泽东思想和中国特色社会主义理论体系概述、形式与政策文化素质具有良好的社会公德、职业道德、行为规范。职业素养、人际沟通与礼仪身心素质具有健康的身体，心理素质职业素养、职业生涯规划、人际沟通与礼仪人专业素质具有质量意识、工程意识、团队精神和合作精神职业素养2.3.2.人才培养对应工作岗位培养类型LJU/亠冈位技能要求研究型人才数据科学家□熟练掌握机器学习、数据挖掘领域常用算法，如SVM、BP、PCA、LDA、DNN等；□能提供切实案例证明具有开发建立多种数学模型的经验和技能，包括先进的机器学习建模和统计学验证及方法论；□深入java语言开发，了解Python、scala、shell等语言；良好的数据科学、机器学习理论基础。

数据系统架构师□对数据的管理、处理与分析等技术和系统架构有深入理解；□有软件开发经验，熟悉JAVA，C++等开发语言；□精通oracle、SQLServer了解数据治理；具有大数据系统的丰富使用经验，清晰知道每种系统用法；具有扎实的数据挖掘、线性代数、数理统计、优化分析方面的理论基础；□精通大型数据中心网络架构及设计，熟悉SDN技术；熟悉和掌握常见的分类、聚类、回归、推荐、应用型人才数据分析工程师□理解主流机器学习算法的原理和应用；具有深厚的数据统计学基础；□精通R语言、Python、数据挖掘、语义分析(自然语言处理)等技术；□掌握数据分析工具(R/SAS/SPSS/Matlab)，实现优化算法；□熟悉数据库，熟练运用SQL，数据分析、挖掘、清洗和建模；□熟悉统计，金融建模，了解时间序列分析，量化分析；撰写专业数据分析报告。大数据运维工程师□熟悉Hadoop/HBase/spark等大数据系统，有大数据平台运维工开发经验者优先；□具有较强的学习能力、逻辑分析能力、问题排查能力；□熟悉Linux操作系统、熟悉Java、熟练使用Shell/Perl/Python中至少一种语言，能熟练编写常规运维脚本；大数据可视化工程师□掌握Web前端相关技术，HTML/CSS/Javascript,页面布局和切图相关技术，jQuery等主流的js框架和数据父互相关技术；□掌握PHP和LAMP框架，Smarty模板引擎，数据库相关技术，Linux环境下的项目开发及部署；□了解常用的设计模式和算法相关知识，性能优化知识的人才a/C/C++语言之一；大数据处理工程师□掌握计算机理论基础，精通数据结构及算法、Java/C++语言；□掌握系统问题追查和性能调优技术；熟悉面向对象设计模式；□能够进行系统架构设计；辅助运维系统的开发；□掌握Hadoop，HBase等开源技术；□熟悉Python、Shell、PHP至少1种语言；□熟悉Map/Reduce编程；□熟悉Linux开发环境；掌握分布式系统原理及计算模型；课程设置及教学安排2.4.1.课程设置体系基于CDIO工程教育理念，设计了大数据工程型人才的教育解决方案，以研发到产品运行为载体，让学生以主动的、实践的方式掌握大数据专业技能，培养具备大数据基础知识、个人能力、人机团队能力和项目动手的综合型人才。大数据课程体系根据不同学历和职业方向设置不同的课程学习路线，秉持“产教融合教学理念”，不仅让学生学习大数据技术有的基本理论和原理，还让学生理解大数据平台架构的技术实现及其在行业内的典型应用。通过在线学习、原理验证、实训应用、综合分析及自主设计等多层次的实验操作，为大数据教学提供一个完整的一体化的实验教学体系，快速提升实操技能，最终培养高素质、应用复合型大数据人才。在高校开设大数据方向以及开设大数据专业实施落地过程中，遇到诸多的不便与挑战：其一，大数据技术涉及知识纷繁复杂，大数据技术产业所使用的技术呈现多样化的特点，对于专业的设置提出挑战，往往让教务部门或是分院无法把握，如何开展课程设计，该上什么技术课程，该如何选择技术框架，该如何选择开发语言等问题，在大数据生态环境中如何确定一条或者多条主线，才能达成培养相关领域人才的目的，成为第一个困惑；其二，不同的院校现有的师资队伍层次不尽相同，如何利用现有师资团队的力量来开展大数据专业方向或者专业课程？这也是困扰即将开展大数据专业院校面临的主要问题。因为如此多的可选技术，技术难度，技术特点，技术方向很难逐一论证，也就是通常所说的选择困难症。现有的师资到底能上多少门课程，不同的课程对于老师的难度如何，这成为第二种困惑；其三，当较为明确的认识到如何选择大数据生态系统中的技术，问题又落到具体每门课程应当安排的课时量，课程安排的前后顺序，成为第三个困惑；等等诸如此类的问题，让分院或者系部无从着手继续后续教学活动。基于以上困惑，德拓给出了一整套可操作的产业，教学课程体系整体建议方案：在第一层设计的时候，我们依据大数据产业的特点，梳理出了一条以数据生命周期未主线的技术体系。其中包括：数据的采集与获取，数据清洗与预处理，数据存储，数据计算与处理，数据挖掘与分析，机器学习深度学习与人工智能，以及数据的可视化等7个主要阶段。在每一个阶段的典型技术，开发框架，开发语言，处理工具，我们给出了目前最新的推荐，即使后期技术不断的更新，那么对于操作的院系可以依据这条主线来放置不同的课程。当然，在大数据的产业环境中，有些具体使用的技术或者和框架不能归类到某一个具体的生命周期内，这些技术往往是横跨多个数据处理阶段。然而这些知识也是后期大数据从业者必须要掌握熟知的。我们单独从另外一个视角列出目前所使用的主要技术、工具、开发语言等，以供院系开设课程时选择。在第二和第三层，分别依据目前开设大数据专业或者大数据方向的院系层次具体推荐了典型折衷方案，其中包括高职层次，本科层次又分为应用型本科和研究型本科两种情况。在具体实施过程中，高职大数据课程院系可以设置课程安排在第二到第五学期，其中第二和第四学期课程安排较少，第三和第五学期课程安排较多，目的是在较为基础课程上完以后，逐步增加课程量与课程难度。在每一门课程中我们直接依据技术的名称设置课程名称，便于精准定位，以适应高职层次课程设置快速响应市场变化的特点。在每一门课中依据知识的难易程度，建议了理论课时与实验课时的基本分配量，当然学校也可以依据自己院系特点进行调制课时的多少。不同的课程需要有一部分前导课程，在实际处理的过程中，院系如果前期开设过相关课程那么可以直接设置当前所要设置课程，如果没有开设过相关课程，教师在理论授课过程中可以讲解前导课程的重点内容，从而为后续课程做好铺垫。一般情况下，本科类院校更习惯以专业基础课、专业核心课，专业选修课的分类方法进行课程的分类。从大数据产业环境中选择的技术，落实到课程上，我们依据上述分类习惯，进行重新排部，也分别落实到不同的课程类型当中。同时也给出了建议授课学期，以及课程必要的前导课程或是前导知识内容，同时也给出了不同课程的理论课程与实验教学课时的数量建议。总之，基于“可操作型产、教融合课程体系架构图”，开设大数据方向或者大数据专业的院系，可以对号入座，并依据不同学历层次，专业特点以及院校自身特点，进行从产业技术体系，到教学课程体系的可操作型落地专业课程设置。针对本科大数据专业建设课程体系主要分为三个层面：第一层：站在大数据产业角度，把整个大数据产业中会涉及到的大数据技术进行课程归纳和设计，清晰的了解大数据技术在正在产业层面的脉络和知识结构框架情况；序号课程大类涉及技术课程1数据采集/获取FlumeScribeLogstash网络爬虫Chukwa爬虫工具SqoopKafka2数据清洗/预处理MapReduceSparkFlinkJavaAwk3数据存储HDFSHBaseCassandraRedisALLuxioMongoDBNeo4j（NoSQL图形数据库）Titan（图形数据库）4数据计算/处理离线计算实时计算交互式计算搜索引擎5数据分析/挖掘SPSSSASMATLABPythonRTableauMahoutHiveKylinDruid

6机器学习/深度学习/人工智能机器学习算法MahoutSparkMLlibTensorFlowCaffeTheanoTorchPythonChainerOpenBLASCUDACuDNNHurricaneMATLAB7可视化EChartsKibanaD3.jsSupersetZeppelin8基本框架/技能ZookeeperAvroCDHHCatalogThriftPhoenix9编程语言JavaPythonScalaR10工作流调度AzkabanOozie11资源调度YarnMesos12存储格式ParguetORC13集群管理NagiosGangliaAmbariClounderaManager14云计算OpenStackDockerKubernetes＞第二层：针对应用型本科，院校根据自身教学特色，在大数据产业课程中选取院校需要的教学课程；＞第三层：针对研究型本科，院校根据自身教学特色，在大数据产业课程中选取院校需要的教学课程；2.4.2.课程学习路径图大数据开发屈独川技能计养机聊业盍

养人文擬北系^JLinux財確力人数据榔论^C-hHadonp大数据开发屈独川技能计养机聊业盍

养人文擬北系^JLinux財確力人数据榔论^C-hHadonp的应用JT岌离线分析HivesparkAWft理必术人數据实HJ技术S应用c+喘稈话占|Fyttion编荐说占|数鮒析技术］(SFSS/SAS)|大数拯报掘技术|样廳宁习就业岗检2.4.3.教学计划及安排.学分分布与课时安排一览学时与学分综合表课程类别分数总学时理论学时上机学时实训学时所占总学时比率课程性质1、公开课程33560416014419%必修2、专业基础课程51816656160028%必修

3、专业核心课程52832432400029%必修4、专业选修课8128969604%至少选修3门5、实践教学与毕业设计365760057620%必修6、合计17629121600656720100%.公共课程及学期分布一览课程学分学时课程性质每学期课时分布总学时理论上机实践12345678公共课程1思想道修养与法律技术4646400必修6400000002军事课（含军训）3480048必修4800000003大学体育4960096必修48480000004大学英语1625625600必修6464646400005马克思主义基本理论3484800必修0480000006大学生心理健康1161600必修016000000

7形式与政策2323200必修003200000小计33560416014422417696640000.专业基础课程及学期分布一览

数理统计修9线性代数2323200必修00320000010数据结构4646400必修00640000011计算机网络46432320必修00064000012JavaEE项目开发46432320必修000640000小计5181665616001921282242720000.专业核心课程及学期分布一览专业方向指选课程学时与学期安排课程学分学时课程性质每学期课时分布总学理论上机实训12345678时1大数据概论2323200必修3200000002Python编程46432320必修0640000003分布式数据仓库（Hive）46432320必修006400000

专业核心4大数据开发技术(Hadoop)46432320必修0640000005数据分析技术(SPSS/SAS)23216160必修0032000006数据分析与挖掘46432320必修0000640007Scala编程46432320必修0000640008R语言46432320必修0000064009大数据可视化技术46432320必修00000640010数据库技术(NoSQL)46432320必修00064000011大数据处理技术(Spark)46432320必修00006400012机器学习46432320必修00006400013数据采集与网络爬虫46432320必修00000640014深度学习46432320必修000006400小计52832432400032128966425625600

.专业选修课程及学期分布一览课程学分学时课程性质每学期课时分布总学时理论上机实训12345678专业选修课程812864640选修0000001280.实践教学课程及学期分布一览课程学分学时课程性质每学期课时分布总学时理论上机实训123456781Java课程实训2320032必修3200000002Hadoop开发案例实训2320032必修0320000003Python/JavaWeb课程实训4640064必修0064000004大数据实时计算课程实训4640064必修0006400005Spark/大数据实时计算课程实训4640064必修0000640006机器学习开发案例实训4640064必修0000064007大数据应用开发综合项目412800128必修00000012808大数据平台搭建与管理综合项目412800128必修00000012809毕业设计论文8必修小计365760057632326464646425602.4.4.部分课程简介2.4・4・1・课程名称：大数据开发技术（Hadoop）1）课程信息课程编号课程菇称Hadoop编程语言卄课学期第—学期谍程类别必选限选任选课程所属基础专业课学分4考核方式皓试机试理论课时14实验课时18总课时32先修课棵Ja曲面向对象编程预备知识python编程语言2）课程简介通过学习本课程，使用学生对大数据产生的背景有所了解，掌握大数据领域的基础知识、术语及分布式思想，了解Hadoop的三大组成部分HDFS,YARN,MapReduce，知道该框架的核心原理及充分理解MR的分布式思想，能够使用MapReduce进行基本编程。《基于Hadoop的应用开发技术》主要讲大数据领域开源框架Hadoop的相关理论与实践技能；主要包括大数据概论、Hadoop集群安装部署、HDFS分布式文件系统、MapReduce计算框架及编程案例部分；大数据概论章节主要通过讲解大数据产生的背景，大数据与云计算的关系，大数据应用案例和落地行业，大数据技术路线，大数据生态系统等几方面，来了解大数据行业的一个轮廓。HDFS分布式文件系统，它用于存储海量数据的一个分布式文件系统，这里

我们主要学习HDFS简介、HDFS接口、HDFS运行机制、HadoopI/O、常用命令等；通过学习，可以全面掌握HDFS分布式文件存储系统。计算框架MapReduce,它是基于HDFS之上的一个计算模型，这里我们主要学习的内容有MapReduce编程模型、MapReduce编程开发、MapReduce的工作机制以及YARN平台，经过MapReduce的学习可以熟练的进行MR编程对海量数据进行分析。最后，会有七个教学示例和四个MR案例，来巩固前边的理论知识及MR编程技巧。2・4・42课程名称：Python编程1）课程信息课程编号课程劣称python编程第言开课学期第—学期课程类别必选限选任选课程所属基础专业谍学分4考核方式笔试机试理论课时14实验课时13总课时32预备知识python编程语言2）课程简介通过学习本课程，掌握Python编程语言。Python不仅易于使用，无论在Windows、MacOSX或Unix操作系统上它都会帮助你更快地完成任务。虽然Python易于使用，但它却是一门完整的编程语言；与Shell脚本或批处理文件相比，它为编写大型程序提供了更多的结构和支持。另一方面，Python提供了比C更多的错误检查，并且作为一门高级语言，它内置支持高级的数据结构类型，例如：灵活的数组和字典。因其更多的通用数据类型，Python比Awk甚至Perl都适用于更多问题领域，至少大多数事情在Python中与其他语言同样简单。Python是一门解释型语言，因为无需编译和链接，可以在程序开发中节省宝贵的时间。Python解释器可以交互的使用，这使得试验语言的特性、编写临时程序或在自底向上的程序开发中测试方法非常容易。你甚至还可以把它当做一

个桌面计算器。Python让程序编写的紧凑和可读。用Python编写的程序通常比同样的CC++或Java程序更短小，这是因为以下几个原因：＞高级数据结构使你可以在一条语句中表达复杂的操作；＞语句组使用缩进代替开始和结束大括号来组织；＞变量或参数无需声明。2・4・4・3・课程名称：大数据处理技术（Spark）1）课程信息课程编号课程菇称SparkX数据处理技术开课学期第五学期课程类别必选限选任选课程所属核心专业课学分8考垓方式笔试机试理论课时48实验课时16总课时64先修课程聽诟面向对象编程，大数据槪论预备知识Scala^F,慨率论与数理统汁2）课程简介本课程主要介绍大数据快速计算引擎-伯克利分析栈，即Spark以及如何应用spark在实际工作中快速处理数据。本课程主要介绍Spark生态圈中各模块的底层原理、架构、使用方式，内容涵盖SparkCore、SparkSQL、SparkMLlib、SparkStreaming、Spark图计算。本课程要求学生具备scala或者java编程语言基础、了解Linux环境下常用命令、掌握本科阶段线性代数或者概率论与数理统计基础知识。.课程名称：大数据可视化技术1）课程信息课程编号课程菇称大数据可视化技术卄课学期第六学期课程类别必选限选任选课程所属基础专业课学分8考核方式笔试机试：理论课时10实验课时22总课时322）课程简介本课程讲的是大数据可视化技术，主要旨在借助于图形化手段，清晰有效地传达与沟通信息，熟悉使用excel、Tableau对数据可视化处理。大数据实验室建设方案大数据实验室建设的必要性综合目前大数据学科建设所面临的问题，对设有大数据专业或专业方向的学校教师和学生在教学过程中产生很大的影响。教师面临着任务重、备课难、实验课难开展、发论文没思路等困扰，而学生又面临着听不懂、不会做、不会用、学不会的烦恼。所以大数据学科如何实现标准教学、如何评估学生综合能力、如何解决师资缺乏、如何保障科研成果、学生就业如何满足企业需求是高校在大数据学科建设中必须要解决的问题。因此，高校建设一个专业的大数据实验、实训、科研综合实验室，全方位支撑高校大数据教学及科研的需求是必要的和紧迫的。大数据实验室核心理念上海德拓信息技术股份有限公司为高校提供定制化的实验、实训、科研综合解决方案，全方位支撑大数据教学及科研需求。大数据实验室利用Docker虚拟化及大数据主流框架，搭建教学系统和集群，将大数据核心技术应用到企业真实项目中，将理论知识、实验教学和大数据项目实践融合，由浅入深，循序渐进，逐步提升学生的专业技能和项目实践能力，使得学生与企业人才需求无缝衔接，真正解决大数据人才缺口问题。通过专业的数据交换系统、数据挖掘系统、数据调度流系统，匹配教师的科研需求，教师可以在开放高效的平台下开展大数据科研工作，提升教师的科研创新能力，从而有效提升科研成效。图：核心理念）大数据实验实训平台Hadoop大数据科研平台图：核心理念）大数据实验实训平台Hadoop大数据科研平台3.3.大数据实验室架构及优势3.3.1.技术架构计算虔拟化存储虎拟化网络虚拟化图：实验室技术架构）计算虔拟化存储虎拟化网络虚拟化图：实验室技术架构）针对高校大数据教学管理、项目实践、科研服务、创新孵化等实际应用场景，大数据实验室提供稳定、可靠、高效的软硬一体化大数据教学科研环境，以及完善的课程体系、项目数据和视频、多样化的教学手段和丰富的实战案例。大数据实验室主要包括四个组成部分：1．课程及项目案例大数据课程体系根据不同学历和职业方向设置不同的课程学习路线，针对每门课程提供教学实验指导手册、在线视频、资源包、实验示例代码等，让学生学以致用。通过在线学习、原理验证、实训应用、综合分析及自主设计等多层次的实验操作，为大数据教学提供一个完整的一体化的实验教学体系。项目案例提供行业典型项目及行业数据，项目涉及互联网、运营商、金融、电子商务、政府等十多个领域，每个项目案例都配备项目指导手册、讲解视频、行业数据及项目代码。2．教学平台教学平台采用深信服超融合系统,结合计算、网络、存储融合技术,简单便捷的交付大数据教学平台,利用Docker技术，实现硬件资源集中调度和管理，以大数据Hadoop及其生态组件为核心构建软件系统，支持更多的大数据高级特性，经过专业的性能优化和软硬件集成测试，保证平台的高性能与稳定可靠运行。教学平台包含3个子系统：深信服大数据超融合系统、德拓计算分析系统、德拓大数据可视化系统。3．科研平台通过DANA大数据分析平台，可以充分匹配教师科研需求，提升教师的科研创新能力，有效提升科研成效。4．硬件环境基于业界最先进的硬件平台，以超融合构建的企业级云，每个基础单元都包含计算、网络、存储资源，通过软件定义数据中心的模式，利用标准基础单元搭建硬件平台，具备高效简单、安全稳定、性能卓越、敏捷易用等特点。3.3.2.产品优势1.真机实验训练实验室各模块相对独立，交互式的实验任务、实验指导、项目上机操作，教学视频、考试评分、数据监控等，保障学生灵活、快速的掌握大数据核心技术及项目开发能力。2.完善的课程体系多年经验的沉淀，研发出行业领先的大数据课程体系，根据不同学历设置了本科、高职、职业三大方向，满足不同高校大数据教学及实训需求。典型大数据项目案例提供10大行业典型应用案例的数据包和视频包，以及配套实验手册，边学边练通过实际项目上机演练，多方位学习及训练，做到学生与企业需求无缝衔接，真正解决大数据人才缺口问题。交互式学习模式提供完善课程体系、在线学习系统，以大数据课程学习、在线视频、习题、线上测试、线上实验为主线，典型案例贯穿知识点的学习模式，确保学生掌握大数据项目技能。充分支撑科研工作整合了数据采集、质量监控、数仓建模、数据视图等，提供行业数据及案例用于基础研究，科研人员通过该系统方便对行业数据进行统计分析，按需求生成可视化数据报表。企业级硬件配置基于业界最先进的硬件平台，采用企业级融合架构，具备高效融合、安全稳定、性能卓越、敏捷易用等特点。大数据教学资源建设为了满足院校快速开设大数据相关课程实验的需求，实验室配置相关系列教材、配套实验手册、项目手册、在线视频、在线试题库等课程资源。3.4.1.大数据课程体系基于CDIO工程教育理念，设计了大数据工程型人才的教育解决方案，以研发到产品运行为载体，让学生以主动的、实践的方式掌握大数据专业技能，培养具备大数据基础知识、个人能力、人机团队能力和项目动手的综合型人才。大数据课程体系根据不同学历和职业方向设置不同的课程学习路线，针对每门课程提供教学实验指导手册、在线视频、资源包、实验示例代码等，让学生学以致用；不仅学习大数据技术有的基本理论和原理，学习大数据平台架构的技术实现及其在行业内的典型应用。通过在线学习、原理验证、实训应用、综合分析及自主设计等多层次的实验操作，为大数据教学提供一个完整的一体化的实验教学体系，快速提升实操技能，最终培养高素质、应用复合型大数据人才。3・4・1・1・数据科学与大数据技术专业（本科）"数据科学与大数据技术”专业（专业代码080910T）强调培养具有多学科交叉能力的大数据人才。该专业重点培养具有以下三方面素质的人才：一是理论性的，主要是对数据科学中模型的理解和运用；二是实践性的，主要是处理实际数据的能力。三是应用性的，主要利用大数据的方法解决具体行业应用问题的能力。＞专业课是为了让学生了解大数据概况，了解大数据产品、技术的特性、实现原理和应用方向。专业课程包括大数据概论、scala语言、Linux技术、JavaEE项目开发、大数据分析Python、概率论与数理统计、数据库技术七门课程。＞核心课是为了让学生了解并初步掌握目前流行的大数据主流技术、了解其特点以及使用的场景，具备一定的大数据系统架构能力，并能自行开展简单的大数据应用开发。核心课程包括基于Hadoop的应用开发技术、大数据挖掘技术、R语言、大数据实时计算技术与应用、Spark数据处理技术、大数据可视化技术、机器学习、数据分析技术八门课程。＞实训及实践课程针对每门课程提供教学实验指导手册、操作视频、实验资源包、实验示例代码等，让学生学以致用、用以促学；不仅学习大数据技术的基本理论和原理，还学习大数据平台架构的技术实现，以及其在行业内的典型应用等，如大数据应用开发综合项目、大数据平台搭建与管理综合项目、运营商数据分析、电商数据分析等。

3.4.2.系列教材教育部产学合作协同育人项目高等院校《数据科学与大数据技术》系列规划教材，清华大学出版社出版。50所高校共同研讨制定专业的大数据课程体系，¥知名企业技术骨干、高校教授联合编写。Spark大数据处理技术大数据离统分析图：教材）基于R语言的丈数据分析¥知名企业技术骨干、高校教授联合编写。Spark大数据处理技术大数据离统分析图：教材）基于R语言的丈数据分析■■■Mlfaloi■■f大数据槪论大数据实时计算与应用大数据挖掘技爪大数据分栃期¥[pythonKfi}3.4.3.配套实验手册与教育部产学合作协同育人项目高等院校《数据科学与大数据技术》系列规

划教材配套的实验手册。ARxl6SMf)$Ai(pVthon|8)柚和用■■K飯揺誑進凰子口谓言的划教材配套的实验手册。ARxl6SMf)$Ai(pVthon|8)柚和用■■K飯揺誑進凰子口谓言的ASfflEzillfSporkXKffiffiiiOXSicJgJSKKjR木蕊掘毎线分断实的汁聲弓应闱±9ippHH.«.ni：q■■（图：实验手册）3.4.4.在线视频提供教学使用的配套在线视频课程，详细讲解实验内容。3.4.5.在线试题库提供大数据专业考试用的配套试题库，老师可以在线发布考试题，了解学生的知识掌握情况。3.4.6.大数据行业项目案例提供行业典型项目案例及行业数据，项目涉及交管、医疗、公安、媒体、营销、教育、物业等10多个领域，每个项目案例都配备项目指导手册、讲解视频、行业数据及项目代码。每个教学项目案例包数据量均达到GB-TB以上，均为真实数据，每个案例有详细的分析步骤。通过完整的端到端到业务流程演示与上机操作训练，让学生真正了解大数据行业背景以及企业实施技术需求。通过极具针对性的训练，动手操作，使学生在最短时间内得到应用技术技能的提升，理进一步满足职业岗位对工作技能的需求。

.交管行业＞精准打击黑车黑车问题由来已久，如何识别和打击黑车，并将对居民的出行影响降低到最小是对政府一直以来的重要考验。利用交通大数据构建出了出租车的出行模型，分析研判出黑车的出行模型，掌握黑车的活动规律，从而实现了黑车精准打击，并为出租车增量提供精准参考。黑车识别分析的思路已得到全国综治大连会议的肯定，并作为经验向全国推广。＞号牌摇号小客车摇号流程涉及到两个业务系统：小客车专段号牌管理子系统负责管理车牌摇号的总体流程，该系统运行在互联网上；而具体车牌的发放是通过公安六合一子系统来完成，该系统运行在公安内网上。大数据融合平台通过不同的数据收集方式和策略分别获取这两个业务系统的数据，并进行分析、比对，找出未按摇号结果正常发放的牌照记录，打击黄牛号、黑牌照的违法现象。医疗行业＞医务人员诚信档案以每个医生为线索，将其在各个系统中产生的工作数据关联起来并加以分析，形成个人工作诚信档案，实时了解该医生的各项工作统计和业务趋势，医院对于人员的培养、任用等人事决策提供数据依据。＞健康档案分析通过患者ID对资源池进行摸排关联，从不同的维度对患者进行健康档案指数分析，包括患者的群体特征、区域分布、年龄趋势等，并形成了疾控区域提示，为后续的个人健康综合分析中的救治、预防、风险等提供基础模型。公安行业＞案事件系统监测案事件系统监测管理可以针对各类案事件和对象进行大数据统计和报表分析，生成人、事、物等各类对象的作战导图，并通过案情类别检测、异常数据趋势检测、统计趋势异常质量检测等多个方面来完善数据质量检测体系，帮助解决案事件系统等公安各个关联系统中存在的数据质量问题。系统监测管理可以帮助准确了解全局数据发展趋势，提高数据质量，提升平台综合应用的精准度。媒体行业在媒体行业进行新闻热点追踪、社交媒体动态分析，实时检测微博、微信的热搜排行，为数据新闻产品的制作，提供海量数据的采集分析服务，挖掘新闻线索，协助完成数据新闻的可视化制作。支持选题策划、事件分析、素材聚合等工作。营销行业＞消费者画像利用消费者的消费行为数据，多维度进行分析，建立群体消费者画像，帮助企业了解消费者真实的喜好和评价。＞消费者漏斗分析很多消费者可能并不会直接变成忠实客户，所以我们需要从泛用户、潜在客户、活跃用户、忠实客户的各个转化环节进行分析，通过解决关键问题提升转化率。＞精准营销我们在通过大数据管理平台沉淀和积累的数据、并且在各种相应的算法、分析等引擎的支撑下，根据业务的要求形成各种业务方向需要的数据模型、算法模型等，从而进行相应的深度的数据挖掘和分析、预测等能力。并最终通过精准营销方式触达客户产生转化。＞内容推广通过大数据分析，找出群体所在区域、范围、人员结构，进行内容推广，通过数据分析定位后的推广，效果应该有所提升。教育行业通过整合学习者知识、动机、元认知和态度等详细信息进行学习者模型的构建，预测学习者未来学习发展趋势。探索和改进包含最佳教学内容和教学顺序的领域模型。研究各种学习软件所提供的教学支持的有效性。通过构建包含学习者模型、领域模型和教育软件教学策略的数据计算模型，促进学习者有效学习的发生。＞学生学习轨迹分析对学生的学习过程进行分析评估，发现成绩背后的因素，并预测未来学习发展趋势；学习轨迹分析对学生飾学生的方方面面进行童面器敢据酉價，也I展趋势；学习轨迹分析对学生飾学生的方方面面进行童面器敢据酉價，也I舌.课内、课肚环冋附数锯来源采集务经tilSL刃炊据进齐廿曼和归纳.呼咸全j£目完覲的離合丸应曲中＞教师教学评估对教师进行教学评估，发现那些教学方式更容易被学生接受，提升教学方式优化教学流程；.物业行业＞风险预警建立全面风险预警机制。利用大数据挖掘技术对试点辖区内的安监消防、金融风险、人员聚集、突发事件等相关数据进行深入挖掘分析，建立全方位的风险预警机制，有针对性进行人员投入，防患与未然，有效提高政府资源的应用效率。3.4.7.项目手册企业项目手册是为学生的企业项目实战提供参考。以企业项目开发过程对学生进行培养和锻炼，让学生更快适应企业工作氛围，使高校教育和企业需求之间无缝衔接。企业项目手册按照不同专业的就职意向划分不同职业方向，如大数据开发、大数据运维、大数据数据分析，数据可视化岗位有针对性的进行培养，提供学生的就业率，以及高薪就业水准。大数据教学平台建设一站式大数据开发平台，模拟真实的数据采集、清洗，离线计算，实时计算Spark的开发工作环境，让学生更好更快的学习掌握大数据开发知识。数智是建立在虚拟化层上的一站式大数据开发平台，提供4大模块，数据融合模块，大数据存储管理模块，大数据计算分析模块,数据可视化模块；基于此平台，学员能在极短的时间内快速掌握各种Hadoop、Spark,Storm,Kafka,Greenplum项目以及Hadoop分布式文件系统（HDFS）、MapReduce、Pig、Hive、HBase、Zookeeper和其他各种组件的使用方法，并真正完成基于Hadoop框架的大数据应用开发。3.5.1.数据融合大数据时代下典型的数据特点包括：数据的多样性、数据来源的广泛性、数据类型的繁杂性等。这种复杂的数据环境给海量大数据的处理带来极大的挑战。想要处理大数据，首先必须对所需数据源的数据进行抽取和集成，并在数据集成和抽取的过程中对数据进行清洗，以保证数据质量及可信性。数据融合定位于大数据系统平台的数据入口位置,提供数据集成所需的工具和方法支持,解决大数据融合的问题。主要的功能包括：＞面向结构化数据源，通过定制化ETL工具，应用于从数据库源抽取数据；＞支持streaming形式的数据源，提供流式数据的输入入口，应用于日志文件抽取,流数据处理；＞根据业务需要结合Kafka消息队列技术实现灵活的数据处理流程，实现和消息队列的对接以及实现基于http的流式数据入口服务；＞网络爬虫服务，提供基于web页面的内容数据抓取。3.5.2.数据融合存储面向结构化，非结构化以及半结构化数据的全数据管理，数据存储平台实现对所有常见类型数据的统一管理。支持多种数据库数据的流转、管理和分析，支持对象存储，本地存储，云存储等多种形式的混合存储方式，支持多种数据访问协议，使数据生命过程更加的畅通。在文件系统（提供无限扩展、NAS协议标准文件存储服务）、块存储（提供高性能、高可靠的block级随机存储）等基本系统存储层服务的基础上，可以提供大数据时代稳定可靠、可弹性伸缩的数据库服务。包括关系型业务分析数据库，内存分析型数据库，以及分布式数仓分析型数据库等。关系型业务分析数据库引擎根据不同业务开发对各类数据库的需求，提供便捷统一的数据库管理、使用、监控、运维等服务；内存分析型数据库是基于内存存储的高性能结构化数据库，支持标准SQL语法，可提供每秒百万级别的交互事务，更提供高效的实时数据分析能力。面对大数据业务，可通过在线横向扩展来提高大数据的处理和分析能力，带来更快捷、高效、实时的数据体验。分布式数仓分析型数据库帮助构建PB级别的分布式OLAP数据仓库，支持行式、列式、

外部存储等多种数据存储型态，提供MPP海量并行查询处理框架与服务。另外，面向海量的非结构化数据（图片、视频、音频、文档等等）存储和管理，非结构数据仓库系统提供基于对象存储技术机制的高效率的非结构化数据管理和处理。&KXVS■对■載IEaRK*M-di-thiD-WiuttErMUQEk-U"ErtQTk'PM-di-thiD-WiuttErMUQEk-U"ErtQTk'P*•anBATM1■■‘HAH才m"CdLBWlE&罄空HUviCTrtaBd:WM«»V^HXTOMW■Priwfltwi,V-MiXFUTiW1V.W[vtWHKKflWVhhehWlflK*w1-r■■bnu^iKn1tel«TuHk£MrM^nMW廿*a:VBlETrtetll■fcr'■l丨M"iBKi4Matnv«W■MiaBIttAI9IMLI5Q1H|Hh%3T¥IFM|HH3.5.3.数据计算分析利用可靠、安全、易用的一站式大数据分析平台，可以轻松快速实现大数据计算分析，大大缩短开发时间，帮助用户和开发者专注于数据分析。烦（齢靳腐甜算烦（齢靳腐甜算作业瞬D-Mining大数据计算分析平台SQL离违分祈◎嘶亦1-^■于垃帀工弭H-.BSSQL.KbtWeduce<1走申祠I5ql2D>扫逢卡HlRe^lApiSfflt买时计算FffiDpW^环珂K.fiiMH：让曲I也虽1HF!El^e甘畐.近坯“帳期耳咖3S.D-MihirgTBEE=WK1^TntSfffflF.离践计算BI'rtW:PWSzt帧斋比5SSTI^n.上乍™\甩壬堆辻£htj堪抑且岀琏厅一.主要的功能包括：＞sql离线分析SQL离线分析是一种基于分布式内存计算的SQL分析方式，相比传统MapReduce的分析方式速度提升百倍，支持标准sQL2003语法和REsTfulApi来完成离线数据分析，支持数据缓存到内存提高查询效率、定期查询结果导出至存储数据库中方便上层应用快速查询结果；＞实时计算相对于传统分析方式中的批量计算模型，实时计算让数据在落地过程中完成数据分析，达到毫秒级别的分析结果。实时计算基于分布式技术，支持用户在线编写计算分析逻辑、在线调试、数据来源和结果导出轻松指定，数据专员只需专注于数据分析处理逻辑来完成具体需求，快速完成一套实时流数据分析业务；＞离线计算单节点计算自由度高，用户可以在线编辑计算逻辑并且在线运行调试，也可上传文件，支持shell脚本、python脚本、可执行程序等来完成所有计算分析作业；分布式计算基于分布式计算框架，提供多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，相对MapReduce计算性能提升几十倍至百倍，是TB、PB级数据计算分析的利器。3.5.4.数据可视化数据可视化模块将每一项数据作为单个图元的元素表示，大量的数据集构成数据图像，同时将数据的各个属性以多维数据的形式表示，便于用户从不同的维度观察和理解数据，从而对数据进行更深入的分析，利用数据进行更精准的决策。一个在线分析的数据可视化工具，是大数据系统开发平台中不可或缺的重要部分，数据可视化平台支持从多种数据源（包括在线数据库和离线文件CSV、sql等）加工出数据集，并通过拖拽式操作对数据进行处理，通过丰富的图表控件实现分析结果的可视化展现和发布。大数据云试验机学生实验终端计算机一方面可以采用普通终端PC机，组合成实验室局域网，支撑学生进行实验，另一方面随着云计算技术的发展，学生计算机可以采用虚拟桌面云终端的设计方式，通过采用专用云资源服务器及存云调度设备进行设计，利用服务器虚拟化的方法来对终端进行支撑，用户通过部署在实验台的客户端进行实验操作，所有应用、数据统一存放在后台服务器，虚拟桌面云终端不存放任何数据，可被管理工具统一管理，包括分发系统、更新软件、远程监控、审计等操作。虚拟桌面云平台也通过虚拟化平台的管理工具管理，大大降低维护人员的重复工作量。

云桌面接入控制系统平台(VDC)盯DJOOWWC软件VDC月轴器御诸虚拟化系统平台aSVForaUeskaSANForaDesk桌面云一Ml云桌面接入控制系统平台(VDC)盯DJOOWWC软件VDC月轴器御诸虚拟化系统平台aSVForaUeskaSANForaDesk桌面云一Ml统一管理甲台用户管理策略習理STD-500硬件勰STD-500德拓深入了解了教育行业在桌面建设中面临的困难，并借助其夯实的虚拟桌面技术能力以及针对教育行业的定制开发，为高校等教育用户提供了一套行业专用桌面解决方案。桌面云在底层一体机上部署服务器虚拟化、存储虚拟化及桌面虚拟化软件，提供一站式桌面解决方案，确保体验与性能，桌面云将所有数据存储在后端服务器上，确保数据安全性，web界面统一管理，部署高效，运维更简单。?!■MBSSMSHbJUsM•届ml134aw-uap?*aMSNF“srm^EdsEA--Mlat善^sss^ans_».san*H^HEW85—*-1詈-Er.M•ist-^ISaalpx^x-^3.313^iH4w_-Ml.sm

s^sHnlmlH.«mssss.*sa--^ss.i^s.fa•曹*sss13J^SEH^sfss5SSJ™5«5alM4As■?>腥口>^sisat_MV・・hr?kAn・MS&—rtcLtx-KiL3FS3a■>9?^«mff-M-3;«¥$tTlJa^mA*ESQ81-39k■黒mcdBr4BA•■Idp*H-c.—b■itH.^cff■KniewBfl・ULl-npg.9"教师和学生可使用多种终端登录和使用云桌面。终端类型包括：台式机、笔记本、一体机、瘦客户端、平板和手机等，实现移动式的教学和学习。3.7.可视化展示墙随着信息技术发展的日新月异，高科技手段应用信息显示中心辅助决策系统越来越普遍。作为各种大数据项目数据以及图像可视化的集中显示终端，大屏幕显示系统一定要具备高分辨率显示、色彩均匀稳定，并且能与各种信号良好兼容的特性。整套液晶拼接墙显示系统主要由以下几部分组成：＞机柜/机架（可选择壁挂式、立柜式机柜）；＞55"LCD拼接显示单元；LCD屏数量=任意行（M）X任意列（N）＞高端并行处理器；＞应用管理软件包；＞线材及配件；3.8.整体实验室建设实施方案多年来，公司秉承“用户至上”服务理念，为用户全面优质高效服务。我们为用户提供的不仅仅是单一的产品，更注重于从用户的实际情况及未来发展需求出发，提供一整套完美的解决方案。3.8.1.需求调研实验室建设目标调研、实验室规模、建设用地及资金、配套设施调研。德拓拥有一支专业的大数据技术服务队伍，包括有多年实际工作经验的资深大数据工程师、JAVA研发人员、售前技术人员、售后实施及维护人员，他们能够深入了解用户需求，以最佳方案真诚为用户提供优质服务。3.8.2.方案设计项目实施前，公司售前技术人员会根据用户需求提供一套系统建设方案，并在与用户分析现有的技术环境及长期建设目标的基础上，为用户设计出最佳解决此外，根据用户的具体情况，售前技术人员必要时可搭建演示环境，提供德拓相关解决方案产品的演示，以便用户更深了解项目建设情况；同时，售前技术人员还为用户提供相关的技术咨询和方案设计，为用户提供新建系统与已有系统的整合方案，保护用户已有的投资。3.8.3.硬件环境安装根据用户需求及合同规定的时间，售后技术人员将在用户现场进行项目实施，大数据实验室基础硬件环境安装主要包括计算节点服务器、管理节点服务器、交换机等硬件安装以及可视化展示墙安装。对由于硬件质量问题造成的硬件损坏，如在保修期内或与我方兼有相关技术服务合同的，德拓提供现场服务，维修更换相应的硬件。对有效合同内的软甲故障，用户应将故障现象及出错信息通过电邮、信件或传真等通知我们，我方根据故障等级做出不同时间级别的相应，并给予解答。不能远程解决问题时，我方将派技术人员到达现场进行实地解决。3.8.4.软件环境部署根据用户需求及合同规定的时间，售后技术人员将在用户现场进行项目实施，大数据实验室教学软件支撑平台系统安装主要包括大数据教学管理系统、普云云计算管理系统、大数据集群监控系统等系统安装。以及大数据教学实验课程包、大数据行业项目案例课程包的安装部署调试。3.8.5.产品使用培训针对德拓提供的解决方案，我们将在建设项目移交给用户运行前对最终用户进行相关的技术培训，此外，根据用户的要求，我们将提供不定期的技术培训服务。该类技术培训主要分为以下两部分：＞操作用户培训：针对系统日常运行操作进行集中培训，对于实训平台而言，培训对象主要是授课老师，内容为日常实验教学操作步骤等。＞系统管理用户培训：针对系统日常管理、维护、安装进行培训，对于实训平台而言，培训对象为实验技术管理人员，内容为系统常见技术问题处理方式等。3.8.6.项目验收实验室软、硬件运行调试项目竣工验收。3.8.7.售后服务体系德拓组建了一支专业的售后技术服务队伍，这支队伍包括大数据工程师、JAVA工程师、数据挖掘工程师等，他们负责进行用户项目的现场实施，同时接受用户系统日常运行过程中的技术咨询和维护服务，德拓的售后服务可以做到：＞应用咨询：免费提供应用咨询服务包括：教学计划的分析、实训流程设计、实训内容规划等。＞服务热线支持：用户在软件使用过程中，遇到任何应用、操作或技术上的问题，都可通过德拓客户服务中心的热线电话进行咨询；客服专员会耐心地向用户解答各类问题。服务热线电话：4008-212-852；＞远程网络技术支持：除服务热线支持外，德拓还提供远程的网络技术支持。远程网络的技术支持包括远程答复技术问题、远程桌面排除系统故障、即时通信工具支持及电子邮件支持等；

现场技术支持：当客户问题无法通过热线电话和远程网络技术支持解决时，德拓客户服务中心将委派专业的技术人员上门为用户现场解决问题。现场技术支持主要包括：排除软件使用故障、技术故障、软件bug、软件的优化升级、提供应用优化建议等工作。故障处理：德拓在正常的办公时间（星期一至星期五的9:00-18:00）,配备专门的全国客服热线和专职的技术工程师负责各类咨询及技术问题的处理。其他时间，由销售人员负责电话响应，值班工程师负责专业技术支持。在支持热线工作时间内，客服专员及客户代表会记录下客户的名称、联系人的全名、联系电话以及故障的详细记录。当故障登记后，我们将时刻与客户保持联系，直到问题被解决，并确保故障在最短时间内得到解决。>系统维护与升级：定期回访服务：每三个月定期与您沟通，了解软件、硬件和环境的运行状况，使您的系统处于最佳运行状态。分为电话回访和上门回访两种；5x8（工作日x小时）电话、电子邮件和网络在线技术支持；通过售后服务热线4008-212-852向客户提供咨询等服务。3.8.8.增值服务3.8.8.增值服务=1除了本项目的技术服务外，我司长期围绕高校客户开展各类型服务，本校今后也将与我司达成长期的合作，可视具体情况展开下列服务内容：.服务于学校1．“产学研”合作充分利用学校与企业、科研单位等多种不同教学环境、教学资源以及在人才培养方面的各自优势，把原先以课堂传授知识为主的学校教育与直接获取实际经验、实践能力为主的实验实训、科研实践有机结合的教育形式。依靠“产学研”的有效结合，从根本上解决高校教育与社会需求脱节的问题，缩小学校和社会对人才培养与需求之间的差距，增强学生的社会竞争力。2．特色专业建设通过对同类学校相同专业建设情况进行比较性调研，帮助本校在该专业的特色建设提供借鉴。示范性专业建设不但在特色选择上要和其它学校相同专业保持一定的差异性，同时要对拟建特色专业的校内校外可用教学资源的现状进行调研，以便在专业特色建设中扬长避短，把握机会，选择最适合的特色方向。3．精品课程建设以就业为导向，做好每年一次的专业市场调研，研究企业用人需求，划分各职业岗位的能力要求，依此设计课程模块，构建专业课程体系。根据IT业各岗位的能力要求，参照权威IT认证的资格标准，建立各专业课程评估办法，实现课程评价的标准化。4．课程置换依托于课程置换，把行业及厂商先进的职业教育课程和优质的师资力量专业化、系统化地引入高校，推进学校教育教学改革，提升学校综合教学水平，加快学校发展进程，进一步培养各个院校学子的学习能力、基本工作技能和社会适应能力。5．实验室合作共建本着“校企联合，共同推进，持续发展”的思想，协助高校在实验室建设规划、硬件建设、管理机制建设、实验技术队伍建设四个方面进行战略合作，建立长期的校企合作关系。利用实验教学系统，组建联合研发团队，进行实验系统及实验体系的共建开发，带动高校研发能力的提升，实现实验平台的可持续性发展。.服务于教师1．师资认证培训紧紧围绕社会人才就业导向形成培养合力，加强教师教学理念和教学策略。通过不同等级的师资培训，获得相应阶段的师资认证。授课知识更贴近企业和行业的需求，能够帮助老师知识体系迅速更新到与行