大数据实训室方案建议书

1、项目方案建议书 大数据实训室方案建议书20XX0424大数据实训室建设方案建议书杭州华三通信技术有限公司XXXX 年XX 月目录1. 大数据实训室建设背景 . . 3中国大数据产业空间高速增长 . . 3大数据人才紧缺 . . 3教学中存在的问题 . . 4大数据人才就业方向 . . 5H3C 大数据解决方案简介 . 7H3C 大数据实训室建设目标 . 10H3C 大数据实训室总体设计 . 10培养方向及目标 . . 10实训室方案设计 . . 11大数据实训室建设思路 . . 12实验平台建设原则 . . 12实验平台教材大纲 . . 14实训室课程目标 . . 15学员能力要求 . . 1

2、5实训室室的相关服务 . . 15华三培训中心介绍 . . 15师资培训 . . 17新技术、新应用定期交流 . . 17实验室设备维护服务 . . 18 2. 3. 4. 5.1. 大数据实训室建设背景中国大数据产业空间高速增长20XX 年 9 月 5 日，国务院印发促进大数据发展行动纲要。纲要首次从国家层面认定数据是国家基础性战略资源，将大数据行业定位到国家战略层面，大数据成为推动经济转型发展的新动力，成为重塑国家竞争优势的新机遇，成为提升政府治理能力的新途径。大数据发展，打破信息孤岛是关键。纲要指出，要加强顶层设计和统筹规划，形成公共数据资源合理适度开放共享的法规制度和政策体系。XX 年

3、底前，建成国家政府数据统一开放平台。2020年底前，逐步实现信用、交通、医疗等领域的政府数据集向社会开放。目前，信息孤岛问题依然是阻碍大数据前行的关键要素。目前，60%的主管部门认为数据分布和共享存在难题，这源于不同部门间数据开放标准的不统一，以及在早期建设中各自独立进行和外包导致数据格式标准等的不同。因而建立数据统一平台的前提就是打破信息孤岛，实现数据共享，这对于行业发展至关重要。大数据行业空间将逐步释放。纲要提出，到 2020 年，我国将形成一批具有国际竞争力的大数据处理、分析、可视化软件和硬件支撑平台等产品；并且培育 10 家国际领先的大数据核心龙头企业，500家大数据应用、服务和产品制

4、造企业。相关内容以及时间节点表明大数据产业行业空间将逐步加速释放。20XX 年全球大数据产业对 GDP 贡献约 270 亿美元，行业尚处于幼稚阶段。我国 20XX 年大数据产业市场约 80亿RMB ，这一数据正以接近年 30%的速度增长。大数据人才紧缺当下，大数据的趋势已逐步从概念走向落地，而在IT 人跟随大数据浪潮的转型中，各大企业对大数据高端人才的需求也越来越紧迫。这一趋势，也给想要从事大数据方面工作的人员提供了难得的职业机遇。伴随移动互联网、智能终端、云计算、物联网技术的发展，数据呈现爆炸式增长，大数据时代正向我们逐步展开一场意义深远的数据革命，对全球整合经济时代的业务和服务产生深远的影

5、响。大数据已经不再局限于技术领域，而是已经成为组织机构一项优先考虑的技术创新，因为它除了能够应对长期存在的业务挑战之外，大数据还为流程、组织、整个行业、甚至社会本身的转型激发了许多新的方式。国内各行业也都在积极投身到大数据应用的浪潮中，迎接“互联网+”带给我们的机遇和挑战。在大数据时代，企业之间正在为了吸引并留住大数据专业人才而展开竞争，不论是拓展大数据业务的百度、阿里、奇虎360等互联网公司，还是专业提供数据服务的大数据服务商，以及拥有大量数据的传统行业，对专业大数据人才都有着迫切的需求。据专业机构的调查预测，中国未来3-5年内的大数据人才需求总量将达到180万人，目前的人才缺口现状至少有1

6、50万人。在国家中长期教育改革和发展规划纲要中，教育信息化首次被纳入国家信息化发展整体战略，它的重要意义被提升到前所未有的高度。教育信息化已经开始为支撑学校的整体发展战略提供保障，并成为提升高校核心竞争力的重要手段。教学中存在的问题“知己知彼，百战百胜“，培养社会需求的人才，首要是了解目前的教学中存在的问题，从这些问题着手进行分析，得出结论，并有针对性的进行教学改革，当前，教学中大体有如下5个问题急需解决：1. 院校教学目标界定不清，无法满足“零距离”上岗的要求，很多学生在院校学习了IT 相关的基础课程，但进入工作岗位后仍需要到专门的培训机构进行培训后方可上岗。2. 教材内容严重与所学专业脱节

7、，教材中的知识已经满足不了当前行业的需求。如果更换教材，那么院校需要重新进行课程建设，而且还牵扯到课程体系建设，课程研发的问题，此类方式受各方面原因的影响无法实施。3. 师资力量薄弱，当前院校进行教学规划时，被一个硬指标制约着师资水平。但是，网络技术行业发展十分迅速，院校教师又无法及时的了解到当前最前沿的网络技术。4. 实践环节重视不够，学生动手能力明显不足，网络技术专业是典型的理论与实践结合的专业，学生光学不练，无法满足用人单位的需求。5. 校企合作力度不足，院校培养的毕业生最终要实现就业，接口单位就是用人公司。那么用人公司是最有权威提供其就业条件的机构，校企合作是提升人才培养效果的最佳实践

8、。新型实训室的建立，将会涉及相关课程教学方法与模式的改革，以及虚拟化、云计算和大数据等前沿技术的研究与开发，有力推进教学研究和教学改革工作的开展，促进校企合作、教学研究论文的发表与专利的申请。先进的实验环境也为学生提供了良好的科技创新和学科竞赛的环境与氛围。大数据人才就业方向在“互联网+”战略之下，互联网行业高速发展，百度、新浪、阿里、腾讯等大型互联网公司以及大众创业，万众创新的创业型公司都在部署各自的大数据战略，大数据相关人才十分亟需，同时互联网、政府、金融、电力等各企事业单位信息化部署都在向大数据全面转型，大数据行业毕业生作为服务区域经济IT 行业和企事业单位发展的重要力量大数据需要以下六

9、类人才：1. 大数据系统研发工程师。这一专业人才负责大数据系统研发，包括大规模非结构化数据业务模型构建、大数据存储、数据库构设、优化数据库构架、解决数据库中心设计等，同时，还要负责数据集群的日常运作和系统的监测等，这一类人才是任何构设大数据系统的机构都必须的。2. 大数据应用开发工程师。此类人才负责搭建大数据应用平台以及开发分析应用程序，他们必须熟悉工具或算法、编程、优化以及部署不同的MapReduce ，他们研发各种基于大数据技术的应用程序及行业解决方案。其中，ETL 开发者是很抢手的人才，他们所做的是从不同的源头抽取数据，转换并导入数据仓库以满足企业的需要，将分散的、异构数据源中的数据如关

10、系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库，成为联机分析处理、数据挖掘的基础，为提取各类型的需要数据创造条件。3. 大数据分析师。此类人才主要从事数据挖掘工作，运用算法来解决和分析问题，让数据显露出真相，同时，他们还推动数据解决方案的不断更新。随着数据集规模不断增大，企业对Hadoop 及相关的廉价数据处理技术如Hive 、HBase 、MapReduce 、Pig 等的需求将持续增长，具备Hadoop 框架经验的技术人员是最抢手的大数据人才，他们所从事的是热门的分析师工作。4. 数据可视化工程师。此类人才负责在收集到的高质量数据中，利用图形化的工具及手段

11、的应用，清楚地揭示数据中的复杂信息，帮助用户更好地进行大数据应用开发，如果能使用新型数据可视化工具如Spotifre ，Qlikview 和Tableau ，那么，就成为很受欢迎的人才。5. 数据安全研发人才。此类人才主要负责企业内部大型服务器、存储、数据安全管理工作，并对网络、信息安全项目进行规划、设计和实施，而对于数据安全方面的具体技术的人才就更需要了，如果数据安全技术，同时又具有较强的管理经验，能有效地保证大数据构设和应用单位的数据安全，那就是抢手的人才。6. 数据科学研究人才。数据科学研究是一个全新的工作，够将单位、企业的数据和技术转化为有用的商业价值，随着大数据时代的到来，越来越多的

12、工作、事务直接涉及或针对数据，这就需要有数据科学方面的研究专家来进行研究，通过研究，他们能将数据分析结果解释给IT 部门和业务部门管理者听，数据科学专家是联通海量数据和管理者之间的桥梁，需要有数据专业、分析师能力和管理者的知识，这也是抢手的人才。专业服务的职业岗位及典型工作任务如下表。2. H3C 大数据解决方案简介H3C DataEngine大数据平台采用Hadoop 和MPP 分布式数据库混搭的计算框架为用户提供一套完整的大数据平台解决方案，包括数据采集转换、计算存储、分析挖掘、共享交换、BI 展示以及运维管理等全系列功能，帮助用户构建海量数据处理系统，发现数据的内在价值，获取新的市场机会

13、。先进的混合计算架构采用Hadoop 和MPP 融合技术架构，对半结构化和非结构化数据支持并行计算和低成本存储，提供低时延、高并发的查询和分析功能；对结构化数据采用MPP 分布式列存储，支持分布式计算、智能索引等功能，实现高性能结构化数据分析处理。集成MapReduce 、Spark 、Storm 、Tez 等多种计算框架，利用YARN 资源管理做统一管理，可在同一份数据集上运行多种计算。离线计算、内存计算和流式计算并存，能满足高吞吐、大数据量和低时延实时处理等多方面的数据计算要求。 高性价比的分布式集群基于x86服务器本地的计算与存储资源，计算集群可以动态调整，从数台到数千台之间弹性扩展，按

14、需构建应用，减少总体成本；同时，在设计时充分考虑了硬件设备的不可靠因素，在软件层面提供计算和存储的高可靠保证，具备较强的容错性。云化ETL将不同业务系统中分散、零乱、标准不统一的各种源数据中的数据进行汇聚。支持从DBMS 、互联网、物联网、企业生产系统等各种数据源中提取数据。各类数据经过抽取、清洗和转化后。实现多对多地加载到包含但不限于大数据集群和各类关系型数据库中。该过程由一个统一的操作接口封装，经过无代码的可视化配置后，可实现自动化地、分布式地执行整个ETL 作业流程。数据分层和分级存储把数据按照不同阶段分为ODS数据、轻度汇总数据、信息子层数据和应用数据，分别存储在Hadoop 平台、M

15、PP 分布式数据库和数据仓库，满足不同阶段的计算需求；按照在线数据、历史数据等来管理数据生命周期，满足在线数据的高性能存储的需求；将核心模型数据通过改造融入到数据仓库的核心模型中，减少数据冗余，提升数据质量；将数据仓库中的历史数据迁移到低成本分布式数据库，减轻数据仓库的计算与存储压力并支撑深度数据分析。 数据分析挖掘支持R 语言，集成机器学习算法库Mahout 和Spark MLlib，包含聚类分析、分类算法、频度关联分析和推荐系统在内的常用机器学习算法。满足批处理统计分析、在线数据检索、R 语言数据挖掘、实时流处理、全文搜索等全方位需求。可帮助企业建立高速可扩展的数据仓库和数据集市，结合多种

16、报表工具提供交互式数据分析、即时报表和BI 可视化展示能力。数据服务接口提供交互式SQL 和可编程API ，提取数据存储计算平台的数据处理结果，屏蔽底层细节，为上层应用提供数据服务。主要包括SQL 接口、MapReduce/Spark/Storm计算接口等多种可编程API 、全文实时搜索接口、业务定向接口、关联查询接口，满足数据查询、可视化BI 展示、数据交换、数据分析、目录服务、综合查询等业务应用的需要。可视化运维管理提供Web 图形化界面实现运集群的管理和监控，集群的节点、主机和服务的运行状态都能在界面上显示，操作友好，功能丰富。提供集群快速安装部署、机架展示、用户权限管理、主机与服务管理

17、、监控及告警通知等多方面支持，在可管理性方面优势显著。3. H3C 大数据实训室建设目标提供先进的教学内容及先进的教学方法，提高教学质量；提升专业教师的技术水平；打造大数据相关专业；共同完善课程系统，联合开发更为实用的大数据范畴技术教材；完善院校实践条件，提高学生动手实践能力；4. H3C 大数据实训室总体设计培养方向及目标大数据人才培养方案是H3C 在网络学院十周年之际，推出的下一代人才培养计划。H3C 将响应国家号召，全力配合各类院校开展大数据人才培养工作，H3C 大数据实训室方案已就绪，将支持校方植入完整的H3C 课程体系，辅助高校全力培养“零距离”上岗，综合素质达到企业要求的优秀毕业生

18、。H3C 大数据实训室为学生制定了循序渐进的能力提升计划，理论与实验紧密结合，培养学生思考、动手能力，助力各个学校进行全流程、全方位、可持续的创新型大数据人才培养。人才培养计划如下：实训室方案设计实训室依据业务属性，共分为3个功能区：1） 实验区：学生学习大数据实训室课程内容和实际操作实验课程的区域，根据每组学生数量配置终端；2） 实验设备区：放置大数据实训室实验设备的区域，包括服务器、存储、网络设备和大数据、虚拟化软件，所有的实验内容均运行在该实验设备区内；3） 实验管理区：老师管理区和演示区，负责演示实验课程内容并对所有实验组的实验设备做监控和管理；管理区亦可作为校内大数据分析的实验过渡平

19、台，将学校数据导入该区域大数据集群，根据业务需求进行海量数据存储处理、分析挖掘。为校园大数据建设贡献力量学生可分为不同实验小组进行实战练习，每个小组内不超过5人，集群可将计算、存储资源隔离，使实验小组件底层隔离，互不影响；教师区实验设备性能较高，除带领学生实验外，还可承接校内大数据集中、应用开发等项目。实验平台所需软硬件如下：计算节点：可选用机架或刀片服务器存储节点：使用计算几点本地磁盘承载网络设备：连通整个实验环境与校园网络，可选二层、三层交换机PC 机：教师、学生终端虚拟化软件：为学生提供灵活的实验环境大数据平台软件：为学生提供大数据实验集群大数据实训室建设思路为实现建设目标要求，大数据实

20、训室设计构建中坚持以下设计原则：第一，高可靠性。大数据实验平台的稳定可靠是实验正常运行的关键保证，在大数据实验设备设计中选用高可靠性产品，合理设计大数据实验平台架构，制订可靠的备份策略，保证大数据实验平台具有故障自愈的能力，最大限度地支持系统的正常运行。第二，标准开放性。选用业界主流大数据处理系统，保证与生态内各组件之间的平滑集成与连接互通，以及将来的扩展；对外提供标准统一API 接口。第三，灵活性及可扩展性。根据未来业务的增长和变化，实验平台可以平滑地扩充和升级，最大程度地减少对现有实验平台的调整。现有设备可以在扩容过程中得到充分利用，从而保护用户现有投资。第四，可管理性。对实验平台实行集中

21、监测、分权管理，并统一分配资源管理。选用先进的大数据平台，具有对实验平台内的虚机资源创建、监控、迁移等管理能力。第五，统一标准、统一平台。大数据平台的建设要从长远角度出发，考虑平台的扩展能力，采用开放的技术和国际标准。实验平台建设原则从在方案设计思路上，针对大数据实验平台，我们从以下几个方面进行深思熟虑的设计：1. 技术标准开放当前阶段大数据整个产业化还不够成熟，相关标准还在不断完善中。目前H3C 选用业界使用最为广泛的Hadoop 作为平台当中一部分，能够与生态内各类常用组件无缝对接。此外，为保证方案的前瞻性，设备的选型应充分考虑计算、存储、网络节点的能力，保证良好的先进性，以适应未来的技术

22、发展。2. 开放接口为保证服务器、存储、网络等资源能够被大数据平台良好的调度与管理，要求系统提供开放的API 接口。同时大数据平台也提供开放的API 接口，未来可以在这些接口的基础上进行二次定制开放。3. 丰富、清晰的培训教材对于实验室承担的培训工作，比如基础课程的培训、行业应用培训，应该具有丰富、清晰的教材，包括教师指导书、学员课本和实验手册。这样可以充分提高教学培训的效率。但是不是所有标准化教材都能满足所有实验室，很多学校在承担特殊化的培训工作时，往往需要定制开发教材，这就需要实验设备提供商和学校联合开发相应的课程。4. 师资培训 新技术交流虽然多数科研人员和授课教师都有很深的学术功底，但

23、是不见得对实验设备了解非常深入，这就对科研进度和培训工作带来影响。供应商在提供实验设备的同时应该对科研人员和授课教师进行详细的设备使用培训，使他们能够更好的开展后续工作。为了使研究、培训内容跟上最新技术的发展，应当有业界技术领先的企业定期和科研人员、授课教师充分交流前沿技术的发展，已达到开拓科研视野、增加企业产品方案竞争力的双赢目的。5. 权威认证培训来到实验室接受培训和参加技术进修的学员，实际上对实验教学内容和实验设施比较挑剔的。这是非常现实的，因为每个人都不希望来到实验室还是学习很多过时的技术，也不希望学习一些非主流设备。除了自身技术技能的提升，另外一个学员关心的问题是能够拿到一个非常权威

24、的、被广泛认可的能力证明，这对学员个人今后的发展会有较大促进作用。6. 技术服务保障虽然实验室对设备的可靠性不及电信、金融系统对设备可靠性要求高，但是如果科研课题进度非常紧，或者学员是付费使用实验室，那么实验平台对可靠性以及厂家对故障的服务响应就非常重要了。另一个维度来讲，实验平台涉及多种高、精、尖技术，厂家服务人员对技术掌握的深度和范围也显得非常必要。实验平台教材大纲课程体系架构如下：课程大纲如下：第一篇 大数据概述大数据技术的起源、发展历程大数据技术流派、体系结构大数据典型应用、商用案例大数据发展业前景第二篇 大数据关键技术Hadoop 概术分布式计算概述数据分析挖掘算法数据仓库与商业智能

25、第三篇 大数据应用设计Mapreduce/Spark等编程实践HDFS/HBase等编程实践综合实训实训室课程目标掌握大数据的基本概念与解决方案。掌握大数据的基础平台部署掌握大数据常见计算框架原理及操作掌握数据采集工具使用掌握常用数据分析挖掘算法及使用掌握数据仓库与商业智能理论及使用掌握大数据产品维护学员能力要求熟悉windows 、Linux 业务服务器的配置，维护，监控，调优，故障排除等 具备数据库基础知识，熟悉数据库相关操作具备数学及统计学相关基础知识具备计算机编程能力具备数据结构、算法相关知识5. 实训室室的相关服务华三培训中心介绍H3C 培训中心是H3C 公司为客户、渠道合作伙伴、内

26、部员工和社会IT 从业人员提供全系列的网络产品培训和网络技术认证的专业培训机构，致力于向全球客户提供高品质、全方位的认证培训服务。H3C 培训中心完全继承了华为网络技术认证培训体系和资源平台，同时融合了3Com 公司的课程体系，并将充分考虑客户不同层次的需求，对华为认证培训体系进行完善和补充，增加行业解决方案认证培训和系列网络产品的专项认证培训，全力支持企业和院校培养优秀的网络技术人才，提升员工的工作技能，更好地提升客户投资的效益，给客户带来最大的收益。H3C 培训中心总部设在中国北京，在北京、杭州设立了大型的培训基地。目前H3C 在中国各大中心城市拥有40余家授权培训中心, 120多家H3C 网络