云计算大数据实验室建设解决方案.docx

北京易霖博信息技术有限公司 易霖博云计算大数据实验室建设解决方案北京易霖博信息技术有限公司2016年5月目录概述4第一章、云计算与大数据的发展趋势41.1.云计算与大数据41.2.云计算与大数据的关系51.2.1.当大数据遭遇云计算51.2.2.云计算环境作为大数据处理平台61.3.发展趋势：大数据逐步“云”化7第二章、云计算大数据人才现状分析92.1.我国云计算大数据人才紧缺92.2.云计算大数据人才培养情况102.3.云计算大数据人才培养面临的问题102.3.1.高职实验室设备落后，教学资源无法合理分配112.3.2.教学资源分散，共享程度低112.3.3.对云计算大数据技术认识不够，无法有效运用11第三章、云计算大数据人才培养需求分析123.1.云计算大数据岗位需求123.2.云计算大数据人才培养策略133.2.1.根据就业前景,加大人才培养力度133.2.2.德才兼修,开拓新型教学方式133.2.3.选择以工作过程为向导的教材133.3.云计算大数据带给高职实验室建设的前景143.3.1.建立统一信息平台来管理海量教学资源143.3.2.云计算降低维护和运营成本143.3.3.整合教学资源，加强资源共享，提高教学质量153.3.4.促进教师和学生的信息交互，进一步促进教学相长153.3.5.借助云计算大数据技术可以提升科研实力15第四章、云计算大数据实验室建设原则164.1.方便扩展164.2.自身安全164.3.业务高可用164.4.统一管理与自动化174.5.开放接口174.6.丰富、清晰的培训教材174.7.师资培训 新技术交流174.8.技术服务保障18第五章、云计算大数据实验室建设目标195.1.建设目标195.1.1.培养学生云计算大数据职业技能195.1.2.提供独立的用户实验环境195.1.3.提高系统资源的利用率195.1.4.系统具有良好扩展性205.2.建设内容205.2.1.云计算大数据实验平台部署205.2.2.云计算大数据实验环境学习及搭建20第六章、云计算大数据实验室解决方案226.1.云计算大数据实验室整体架构226.2.云计算大数据实验室物理布局236.3.云计算大数据实验平台部署246.3.1.实验平台基础设施256.4.云计算大数据实验环境学习及搭建286.4.1.云计算基本架构安装和部署286.4.2.云计算中间件环境部署296.4.3.基于分布式文件系统的大数据部署、挖掘和分析306.4.4.云计算应用层安装及使用316.4.5.云安全加固和防护31第七章、云计算大数据实验室课程体系33第八章、云计算大数据实验室方案优势358.1.Web 形式开展实验，实现无所不在的网络访问358.2.基于资源的负载均衡，实现实验资源弹性分配358.3.增量存储技术，实现用户实验环境的独立性和延续性368.4.项目驱动式实验设计，培养学生的综合云能力368.5.资源的开放性及复用性，可支持科研等其他用途368.6.完善的课程体系 丰富的教学内容36第九章、云计算大数据实验室校企合作389.1.课程与教材服务389.2.师资培训服务399.2.1.双师型教师培养399.2.2.企业讲师计划399.3.学生实习就业服务39第十章、云计算大数据实验室配置清单41第十一章、北京易霖博信息技术有限公司42概述云计算大数据技术是当今信息技术发展的一个主要方向，云计算大数据技术一经提出就得到人们的追捧，其应用领域也得到了快速的发展，已经在商业、政府、金融、教育等领域得到广泛应用。我国高职院校需要建设专业的云计算大数据实验室，尤其是要满足当下学生需求的实训系统，是一个比较重要和紧迫的工作。根据云计算与大数据行业对人才培养的需要，易霖博推出了一套面向高职院校的云计算大数据实验室建设解决方案，实验内容的设计来源于社会需求调研以及云计算业界专业人士的建议，实验内容涵盖的技术知识点能够与目前云计算大数据人才的技能需求贴合，实验设计以真实的工作场景为背景，培养学生的综合能力，增强学生对真实工作环境的体验感，适应社会人才发展的需要。第一章、 云计算与大数据的发展趋势1.1. 云计算与大数据云计算和大数据是一个硬币的两面，云计算是大数据的IT基础，而大数据是云计算的一个杀手级应用，云计算是大数据成长的驱动力，而另一方面，由于数据越来越多、越来越复杂、越来越实时，这就更加需要云计算去处理，所以二者之间是相辅相成的。30年前，存储1TB也就是约1000GB数据的成本大约是16亿美元，如今存储到云上只需不到100美元。但存储下来的数据，如果不以云计算进行挖掘和分析，就只是僵死的数据，没有太大价值。目前，云计算已经普及并成为IT行业主流技术，其实质是在计算量越来越大、数据越来越多、越来越动态、越来越实时的需求背景下被催生出来的一种基础架构和商业模式。个人用户将文档、照片、视频、游戏存档记录上传至“云”中永久保存，企业客户根据自身需求，可以搭建自己的“私有云”，或托管、或租用“公有云”上的IT资源与服务，这些都已不是新鲜事。可以说，云是一棵挂满了大数据的苹果树。大数据的出现，正在引发全球范围内深刻的技术与商业变革。在技术上，大数据使从数据当中提取信息的常规方式发生了变化。在技术领域，以往更多是依靠模型的方法，现在我们可以借用规模庞大的数据，用基于统计的方法，有望使语音识别、机器翻译这些技术领域在大数据时代取得新的进展。在搜索引擎和在线广告中发挥重要作用的机器学习，被认为是大数据发挥真正价值的领域在海量的数据中统计分析出人的行为、习惯等方式，计算机可以更好地学习模拟人类智能。随着包括语音、视觉、手势和多点触控等在内的自然用户界面越来越普及，计算系统正在具备与人类相仿的感知能力，其看见、听懂和理解人类用户的能力不断提高。这种计算系统不断增强的感知能力，与大数据以及机器学习领域的进展相结合，已使得目前的计算系统开始能够理解人类用户的意图和语境。“这使得计算机能够真正帮助我们，甚至代表我们去工作”。以往，移动运营商和互联网服务运营商等拥有着大量的用户行为习惯的各种数据，在IT产业链中具有举足轻重的地位。而在大数据时代，移动运营商如果不能挖掘出数据的价值，可能彻彻底底被管道化。运营商和更懂用户需求的第三方开发者互利共赢的模式，已取得一定共识。1.2. 云计算与大数据的关系本质上，云计算与大数据的关系是静与动的关系；云计算强调的是计算，这是动的概念；而数据则是计算的对象，是静的概念。如果结合实际的应用，前者强调的是计算能力，或者看重的存储能力；但是这样说，并不意味着两个概念就如此泾渭分明。大数据需要处理大数据的能力（数据获取、清洁、转换、统计等能力），其实就是强大的计算能力；另一方面，云计算的动也是相对而言，比如基础设施即服务中的存储设备提供的主要是数据存储能力，所以可谓是动中有静。如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器！1.2.1. 当大数据遭遇云计算从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。云计算为什么能盛行呢?在互联网领域应用系统的构建：客户群体是不确定的、系统规模不确定、系统投资不固定、业务应用有很清晰的并行分割特征、数据仓库系统的构建、数据仓库规模可估算、数据仓库的系统投资与业务分析的价值和回报相关、商业智能应用属于整体应用、Saas模式构建数据仓库系统。大数据管理，分布式进行文件系统，如Hadoop、Mapreduce数据分割与访问执行;同时SQL支持，以Hive+HADOOP为代表的SQL界面支持，在大数据技术上用云计算构建下一代数据仓库成为热门话题。从系统需求来看，大数据的架构对系统提出了新的挑战：1、集成度更高。一个标准机箱最大限度完成特定任务。2、配置更合理、速度更快。存储、控制器、I/O通道、内存、CPU、网络均衡设计，针对数据仓库访问最优设计，比传统类似平台高出一个数量级以上。3、整体能耗更低。同等计算任务，能耗最低。4、系统更加稳定可靠。能够消除各种单点故障环节，统一一个部件、器件的品质和标准。5、管理维护费用低。数据藏的常规管理全部集成。6、可规划和预见的系统扩容、升级路线图。1.2.2. 云计算环境作为大数据处理平台1.2.2.1. 云计算环境中基本计算单元的分化企业云计算平台上虽然有多个并行计算的CPU，但并没有创造出具有超强数据处理能力的超级CPU，因此云计算平台需要的是有并行运算能力的软件系统。同时，当所有用户的数据全部放在云端时，虽然存储容量可以很方便地扩充，但面对大量用户同时发起的海量数据处理请求，简单的数据处理逻辑已经无法满足需要。可以看到，国内有相当多的电商企业，用小型机和Oracle扛了好几年，并请了全国最牛的Oracle的专家不停优化他的Oracle和小型机，初期发展可能很快，但是后来由于数据量激增，业务开始受到严重影响，最典型的例子无疑是京东商城前段时间发生的大规模访问请求宕机事件，因此他们开始逐渐放弃了Oracle或者MS-SQL，并逐渐转向MySQL+X86的分布式架构。目前的基本计算单元常常是普通的X86服务器，它们组成了一个大的云，而未来的云计算单元里有可能有存储单元、计算单元、协调单元，总体的效率会更高。1.2.2.2. 对系统稳定性的需求在应对大规模访问的时候有一些系统稳定性的追求，来自很多方面，来自网络稳定性、数据库稳定性。对系统而言，需要把握一个大原则，需要消除任何单点故障。不光是网络上单点故障，还有来自你呼叫中心里的单点故障，只要有单点故障一定要消除掉。因为对于电商行业而言，每一秒都是钱，电子商务业务如果宕机一个小时，损失多少是可以算出来的，电商行业需要非常全面的技术系统监控报警系统。有时候你会发现你如果通过技术系统的监控去推导出你的技术发生问题已经晚了。1.3. 发展趋势：大数据逐步“云”化纵观历史，过去的数据中心无论应用层次还是规模大小，都仅仅是停留在过去有限的基础架构之上，采用的是传统精简指令集计算机和传统大型机，各个基础架构之间都相互孤立，没有形成一个统一的有机整体。在过去的数据中心里面，各种资源都没有得到有效充分地利用。而且传统数据中心资源配置和部署大多采用人工方式，没有相应的平台支持，使大量人力资源耗费在繁重的重复性工作上，缺少自助服务和自动部署能力，既耗费时间和成本，又严重影响工作效率。而当今越来越流行的云计算、虚拟化和云存储等新IT模式的出现，又再一次说明了过去那种孤立、缺乏有机整合的数据中心资源并没有得到有效利用，并不能满足当前多样、高效和海量的业务应用需求。在云计算时代背景下，数据中心需要向集中大规模共享平台推进，并且，数据中心要能实现实时动态扩容，实现自助和自动部署服务。从中长期来看，数据中心需要逐渐过渡到“云基础架构为主流企业所采用，专有架构为关键应用所采用”阶段，并最终实现“强壮的云架构为所有负载所采用”，无论大型机还是x86都融入到云端，实现软硬件资源的高度整合。数据中心逐步过渡到“云”，这既包括私有云又包括公有云。私有云，就是对企业现有的数据中心进行改造和架构调整 ，通过云计算对资源进行自动调度和分配，实现一个自动部署、自动管理和自动运维的数据中心架构。而公有云则是由服务商建立IT基础架构，并向外部用户提供商业服务，而用户可以在不拥有云计算资源的条件下通过网络访问这些服务。与私有云相比，公有云的所有应用程序、服务和数据都存放在云端，用户数据也并不存放在企业内部数据中心。正所谓“梅虽逊雪三分白，雪却输梅一段香”，相比之下，私有云会比公有云在数据安全性方面有更好的表现，但公有云却会比私有云有更“强壮的云架构”。因此，从数据中心演进的角度来看，讨论何种“云”并无实质意义，我们更应该重视的是数据中心在未来发展中所扮演的角色和出现的历史性变革。第二章、 云计算大数据人才现状分析2.1. 我国云计算大数据人才紧缺经过多年的技术发展和经验积累，云计算行业已经进入一个相对成熟的阶段。作为新一代信息技术变革、IT应用方式变革的重要支柱，云计算已经成为当前信息技术产业发展和应用创新的热点。在国内，大量的企业单位正逐步将自己的IT系统从传统架构向“云”架构迁移，越来越多的用户正在享受“云”服务带来的便利。云计算更多的是在描述一种技术框架和服务交付模式，与此同时大数据则是直接向客户提供业务发展的推动力和生产力。 大数据出现以后，云计算并没有因此落幕，反而大有用武之地。作为云计算核心技术的分布式布署和分布式计算也是大数据系统所需要的关键技术，正是因为这一层关系，大数据给云计算带来了一个美丽的春天。随之而来的是IT基础设施和应用模式的革新，这对企业单位的信息部门来说，既是提升自我价值的机会，也是严峻的挑战。但是，国内云计算和大数据相关技术人才的匮乏已是业内公认的事实。根据IDC的调查报告，从2012年至2015年的3年之间里，云计算大数据的相关工作需求将出现26%的年增长率，超过1/4的增长率再次证明了企业对云计算大数据人才的巨大需求。IDC的预测还表明，2012年有约170万的云计算大数据相关岗位出现真空，而这方面的求职者也都缺乏云计算大数据方面的实践经验，并且不具备完善的培训机制；值得警醒的是，到2015年，这个数字从170万上升到700万，云计算大数据产业面临着更大的人才缺口。 2.2. 云计算大数据人才培养情况在过去一段时间内，为了满足信息技术产业的发展，国内多数高校、职业院校开设了计算机通信相关专业，但毕业生的就业前景却日渐黯淡。究其原因，超过1/4的毕业生反馈在校学习的课程知识较为陈旧，面对云计算、大数据、移动互联网、数据挖掘等新型技术的兴起，自己所掌握的知识、技能和实践经验均无法满足行业需求。我国能否在云计算和大数据时代这一轮新的竞争中取得先机，人才是关键。面对如此巨大的云计算和大数据人才需求缺口，以中国现有的教育水平尤其是教育机构转变和改进教学方向和方法的效率来看，很难在短时间内满足市场需求。就目前收到的汇总信息来看，已经开设有云计算和大数据相关专业和方向的普通高校和高职院校还不到总数的10%，已经开始相关专业和方向的高校在专业建设、课程设计方面还没有统一标准，关于这个专业“怎么教？教什么？”是一个比较广泛存在的问题，困惑着这些已经开设或将要开设这个专业的学校老师。目前各学校基本上都是按照各自的理解在开设课程和建立实习实训体系，目前在整个专业领域，甚至还没有关于云计算和大数据的国家级规划教材。在这些已经开设云计算和大数据专业和方向的高校中，目前专业建设最快的是高职院校、本科和研究生教育层次的专业和方向建设速度较慢。在研究生教育领域，目前已经有十余所高校已经开始招收主攻云计算和大数据方向的硕士和博士研究生，北京大学信息科学技术学院、东北大学软件学院、中国科技大学、中国科学院成都计算机应用研究所等高校单位均开设了云计算和大数据相关的科研方向，培养这方面的高层次人才。中国科学院大学首批云计算方向的硕士和博士将于两年内毕业，这很可能是中国第一批云计算方向的研究生。在一个产业来说，高端科研和开发人才其实需求量并不大，市场需要的更多是基础开发、项目实施和维护人员，这就给我国的职教行业和偏重培养技能型人才的二本、三本院校提供了一个非常好的机会。2.3. 云计算大数据人才培养面临的问题对于高职院校的教学实践，其主要是指通过实验、实训进行实践教学，使学生在实践动手操作过程中学到相关的知识和技能，主要的教学方式包括实验、实训、课程设计和毕业设计等。高职院校的教学实践会根据社会对人才需求的变化而变化，各院校早已开始进行教学实践改革，但是由于实践教学涉及众多的因素，例如资金、软件、硬件、实验室、产学研基地等方面，因此各高职院校面临着各种不同的实际情况，存在的问题主要有：2.3.1. 高职实验室设备落后，教学资源无法合理分配近几年，虽然高职院校也有了较大的发展，但在高校资金方面还是无法和综合性大学相比。大多数的高职院校由于资金的不足，无法更换老化的设备，更新实验室资源，使得教学资源分配不均匀。2.3.2. 教学资源分散，共享程度低随着高职院校对教学资源的重视，不断整合现有的教学资源，特别是远程教育和网络教育的发展，使得课程资源在一定范围内得到了共享，而且各高校通过课程联合等方式达到了教学资源在高校之间再分配的效果，使得教学资源共享程度进一步扩大，但由于高校教学资源较多，而且比较分散，大部分软件和硬件资源仍然无法有效共享，使得高校教学资源重复投入，造成一定的浪费。2.3.3. 对云计算大数据技术认识不够，无法有效运用现在虽然对云计算技术已经做了大量研究，相关的文章与书籍也同步而出，但由于云计算技术起源于企业界而非学术界，并且与教育相关的文档不多，尤其是将云计算技术运用到高校实践教学中少之甚少，使得大多数教师对云计算技术认识不够，更谈不上将云计算技术在教学实践中广泛运用。第三章、 云计算大数据人才培养需求分析面对云计算与大数据风起云涌的产业浪潮，我们应该明确人才培养是提高产业竞争力、提升整体实力的关键措施；是我国在新的技术竞争格局下，能否取得先机，得到与国外一流企业相同的竞争机会，缩短差距，提升我国科技实力的重要推动力，应该得到全社会的广泛关注。建立专业的云计算和大数据实验室，尤其是要满足当下学生需求的实训系统，也是一个比较重要和紧迫的工作。3.1. 云计算大数据岗位需求云计算、虚拟化、大数据、数据挖掘，云安全等趋势的到来，诞生一批新的工作岗位，比如云计算大数据运维工程师、云计算大数据咨询顾问、云计算大数据开发工程师、云计算大数据挖掘分析师等。接下来为大家介绍相关技能所体现的热门工作岗位及其职能：云计算大数据运维工程师：在云计算大数据时代，可以在网络服务规划上，以最小成本提供更易维护的架构，以最小的成本快速扩容服务。对企业现有资金进行合理分配，让大集群去处理更多的业务，让小集群发挥最大的性能，企业重要数据进行分布式存储，保证企业应用和数据的安全。云计算大数据咨询顾问：任何业务部门和任何行业企业，都有IT系统在背后默默无闻地支撑着。在云计算大数据时代，业务面临的挑战和机遇也会给IT系统带来更多要求。在这种情况下，IT系统的规划部署，需要有云计算大数据咨询顾根据用户需求详细规划，是满足面向未来大数据分析、云计算服务应用的需要。云计算大数据开发工程师：PaaS、SaaS、数据挖掘和分析、数据管理和监控、虚拟化、应用开发等等，都是开发工程师大展身手的好舞台。相应的，这些技术领域也对软件工程师的要求会更高，尤其是虚拟化和面向BYOD、云计算、大数据、云安全等应用的开发和管理，都需要有更高深的技术支撑。云计算大数据数据挖掘工程师：也可以叫做“数据挖掘专家”。数据挖掘是通过分析每个数据，从大量数据中寻找其规律的技术。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。3.2. 云计算大数据人才培养策略我们要从战略高度重视云计算大数据人才培养工作,加强对云计算大数据教育的力度,不断寻找云计算大数据教育的新途径。3.2.1. 根据就业前景,加大人才培养力度云计算与大数据目前在业界持续火热，满世界几乎到处都在上演这哥俩的“二人转”，整个行业出现了井喷式的快速发展，两个概念叠加起来后产生了超千亿级的市场规模。我国能否在云计算和大数据时代这一轮新的竞争中取得先机，人才是关键。根据学生就业前景，建立专业的云计算大数据实验室，尤其是要满足当下学生需求的实训系统，是一个比较重要和紧迫的工作。易霖博根据云计算与大数据行业对人才培养的需要，开发了一款主要面向学校的云计算大数据专业的学生实训系统，系统整合了高性能计算和大数据的大部分功能，能够灵活地支持并行计算、虚拟化、大数据、云安全等系统的安装和维护调试实训。 3.2.2. 德才兼修,开拓新型教学方式云计算大数据是“技术+管理”的集合,学生通过云计算大数据的学习，提高学生对理论的认识,强调学生的动手能力以及实战经验的累积。要在沿袭普通高校大体教学模式的基础上，结合新的教改方案,提高专业课和实践教学内容在整个教学体系中的比重，加大实验室建设力度,加大实践教学力度。可以通过组建新型云计算大数据实验室，开展实践教学,借助企业多个环境和场景搭建模拟云计算大数据教学环境，增强学生的动手能力。在教学方法上,应摒弃教师讲学生记的传统模式,引入研究启发式、讨论式、互动式、演练式、现场教学等教学方法,选用各个阶段学生学习特点和需要的教学方法,提高教学质量。3.2.3. 选择以工作过程为向导的教材要选用项目驱动式、任务引领型的教材,因材施教,培养学生养成良好学习习惯,增强学习兴趣。所选用教材应该既强调基本概念和基础知识,又注意理论与实际应用相结合,并且对许多新技术和新的发展方向有不同程度的介绍。实验部分，每个实验项目即为一个真实案例，来源于真实项目。3.3. 云计算大数据带给高职实验室建设的前景高职院校作为教育领域的重要组成部分，在培养高级应用人才方面有着巨大的作用而高职实验室作为高职院校的教学实践的重要组成部分，为高职院校学生的技能培养起着关键的作用。现在已经是信息化的时代，如何对高职实验室进行信息化改革，从而更大地发挥高职实验室的教学实践作用，为高职院校培养更加适应社会的毕业生，是现在高职实验室建设的一个不可回避的问题。在众多的方案中，云计算大数据技术是提升高职实验室建设的一个有效办法，具备拥有提高效率、安全可靠、节约成本等诸多方面的优势。3.3.1. 建立统一信息平台来管理海量教学资源高职实验室拥有大量的教学资源，各实验室为了管理教学资源大多独自建立了网络信息平台，既花费了大量的人力，也花费了大量的物力，而且网络信息平台还给各实验室带来了更多运行压力，不仅要投入一定的维护费用，还要保证网络信息平台的正常运行和安全问题。如果与云计算大数据厂商合作，通过在厂商提供的云服务器上建立统一通用信息平台，就可以为高职实验室减少大量的软件和硬件资源投入，减少运行成本，同时可以建立以云计算大数据为基础并拥有强大计算、存储、网络、存储功能的统一信息平台，高效管理原本分散，不安全的海量教学资源。3.3.2. 云计算降低维护和运营成本对于高校实验室建设来说，资金是不容忽视的因素之一。大规模地更换设备和实验室改造，必然带来资金压力，而云计算技术可以有效解决这个问题。云服务商提供了资源丰富的跨平台的通用信息系统，只需将现有的课程资源放在该平台上，再购买一些价格便宜的管理终端和网络接入设备，就可以访问通用信息平台上共享的教学资源。对于高职实验室来说终端设备的配置无特定要求，而服务器建立于云服务商，不需要对服务器进行购买和维护，从而节约成本，同时服务器运行的可靠性和数据的安全性都由云服务商提供保证，降低了相应的系统管理、设备投入和人员安排的成本。3.3.3. 整合教学资源，加强资源共享，提高教学质量云计算大数据技术有利于各高职实验室建立共同的信息共享，在云计算大数据平台上整合教学资源，共享各实验室现有的教学资源，不仅可以节约大量的人力和物力成本，而且有利于提高教学质量。教师可以通过云技术在线编辑和修改云平台上的教学资源，将结果直接存储和发布在云平台上，对于学习者，则可以通过网络在任何地方连接到云平台，获取所需要的学习资源和服务，从而实现教和学。同时云计算大数据平台拥有高性能的服务器以及高速的网络带宽，可以满足大量频繁的访问。3.3.4. 促进教师和学生的信息交互，进一步促进教学相长通常教师和学生之间缺乏必要的信息交互，云计算大数据技术可以提供新的软件资源开发模式，利用该方法，建立一个云服务来实现师生以及师师之间的信息交流，数据层的数据交换可以使用XML技术，实现即时通信服务、在线答疑服务和电子邮件服务等。3.3.5. 借助云计算大数据技术可以提升科研实力科研也是各高职实验室建设的一个重要方面，随着科研对实验环境的要求越来越高，高职院校在实验室建设上已经投入了大量的资金，但还是会受到资金、时间和资源等因素的限制，而无法实施一些项目研究。高职实验室可以借助云计算大数据技术的优势，部分地改善这些问题，使这些项目和科研能够顺利地完成。第四章、 云计算大数据实验室建设原则本方案符合云计算大数据才培养的需要。云计算大数据是未来计算机发展的一个重要方向。目前全国信息化发展迅猛，但人才匮乏问题也随之凸显。对于各大高校而言，云计算大数据人才的培养就非常重要。云计算大数据才的培养是未来人才培养战略重点之一，建立一个完善的、科学的云计算大数据实验平台，才能形成云计算大数据人才培养的实践基础，本项目就是基于云计算大数据的发展大方向而进行建设的，希望能够借助新建的平台培养这方面的人才，同时提升各大高校对云计算大数据的学习和科研。云计算大数据实验室的建设应遵循以下原则来建设： 4.1. 方便扩展在架构设计上，要充分考虑可扩充性，为未来扩展留出空间。在初期研究工作不饱满的情况下，尽量让一台设备有多种用途。未来工作规模扩大，可以补充设备做到专项专用。考虑设备的更新换代以及后期维护的方便，同类设备尽量采购型号接近的产品，以便在个别设备出故障时，彼此容易替代。4.2. 自身安全云计算大数据实验室是与互联网相互连通的，因此实验室自身的网络安全建设也十分重要。实验室必须设置较强的远程访问控制手段和防护措施，避免因自身安全漏洞，导致研究结果的偏差，或被外部不法人员攻击。 4.3. 业务高可用云计算大数据平台作为承载未来政府信息中心应用的重要IT基础设施，承担着稳定运行和业务创新的重任。伴随着数据与业务的集中，云计算平台的建设及运维给信息部门带来了巨大的压力，因此云计算大数据实验室的建设从基础资源池（计算、存储、网络）、虚拟化平台、云平台等多个层面充分考虑业务的高可用，基础单元出现故障后业务应用能够迅速进行切换与迁移，用户无感知，保证业务的连续性。4.4. 统一管理与自动化云计算大数据的最终目标是要实现系统的按需运营，多种服务的开通，而这依赖于对计算、存储、网络资源的调度和分配，同时提供用户管理、组织管理、工作流管理、自助Portal界面等。从用户资源的申请、审批到分配部署的智能化。管理系统不仅要实现对传统的物理资源和新的虚拟资源进行管理，还要从全局而非割裂地管理资源，因此统一管理与自动化将成为必然趋势。4.5. 开放接口传统的管理系统与上层系统对接，注重故障的上报和信息的查询。而云计算大数据的管理系统更关注如何实现自动化的部署，在接口方面更关注资源调度和分配，这就需要管理系统在业务调度方面实现开放。为保证服务器、存储、网络等资源能够被云计算运营平台良好的调度与管理，要求系统提供开放的API接口，云计算运营管理平台能够通过API接口、命令行脚本实现对设备的配置与策略下发联动。同时云平台也提供开放的API接口，未来可以在这些接口的基础上进行二次定制开放，实现面向云计算的数据中心管理平台。4.6. 丰富、清晰的培训教材对于云计算大数据实验室承担的培训工作，比如基础课程的培训、行业应用培训，应该具有丰富、清晰的教材，包括教师指导书、学员课本和实验手册。这样可以充分提高教学培训的效率。但是不是所有标准化教材都能满足所有实验室，很多学校在承担特殊化的培训工作时，往往需要定制开发教材，这就需要实验设备提供商和学校联合开发相应的课程。4.7. 师资培训 新技术交流虽然多数科研人员和授课教师都有很深的学术功底，但是不见得对实验设备了解非常深入，这就对科研进度和培训工作带来影响。供应商在提供实验设备的同时应该对科研人员和授课教师进行详细的设备使用培训，使他们能够更好的开展后续工作。为了使研究、培训内容跟上最新技术的发展，应当有业界技术领先的企业定期和科研人员、授课教师充分交流前沿技术的发展，已达到开拓科研视野、增加企业产品方案竞争力的双赢目的。4.8. 技术服务保障虽然云计算大数据实验室对设备的可靠性不及电信、金融系统对设备可靠性要求高，但是如果科研课题进度非常紧，或者学员是付费使用实验室，那么实验平台对可靠性以及厂家对故障的服务响应就非常重要了。另一个维度来讲，实验平台涉及多种高、精、尖技术，厂家服务人员对技术掌握的深度和范围也显得非常必要。第五章、 云计算大数据实验室建设目标5.1. 建设目标云计算大数据实验室的设计是为了满足云计算大数据实验教学的需求，实验内容的设计来源于社会需求调研以及云计算业界专业人士的建议，实验内容涵盖的技术知识点能够与目前云计算大数据人才的技能需求贴合，实验设计以真实的工作场景为背景，培养学生的综合能力，增强学生对真实工作环境的体验感，适应社会人才发展的需要。云计算大数据实验室的建设目标体现在以下方面：5.1.1. 培养学生云计算大数据职业技能 目前市场上针对于云计算大数据的相关实验，大多以在云平台或者大数据分析平台的应用操作为主，以体验教学为主，并不能支持云计算技术本身的研究与 学习。而目前学校云计算相关的教学处于起步阶段，并无完善的课程体系标准， 云计算大数据实验室的实验内容设计以社会人才需求为导向，辅助 学校构建符合市场需求的云计算大数据人才培养课程体系及实验环境。实验内容设计来源于云计算大数据相关岗位人才技能要求的统计、分析及归纳，侧重于云计算大数据技术本身的学习、使用及研究，实验以真实项目为背景，实验内容和培养方式更贴合社会云计算大数据人才需求。5.1.2. 提供独立的用户实验环境 云计算大数据实验室为每个实验用户提供独立的实验环境，保证实验环境的独立性以及延续性。每位实验用户具有独立的实验环境，与其他用户互不干扰，培养用户独立完成实验的能力，对云计算的核心技术点能够全方位掌握，实验操作实时保存，能够保证实验的延续开展。5.1.3. 提高系统资源的利用率 云计算大数据技术的学习需要硬件服务器环境的支撑，为每位用户配置一到三台的物理服务器用于实验教学，成本过高，并且实验占用资源有限，服务器大量资源闲置。本系统采用虚拟化技术，将单个硬件资源虚拟为多个虚拟服务器，基于动态分配技术为用户分配虚拟服务器资源开展实验，可有效提高硬件设备的利用率。5.1.4. 系统具有良好扩展性 云计算大数据技术在不断的发展进步，平台应具有良好的扩展性，实验内容及虚拟机资源能够灵活添加，保证实验内容及虚拟机资源随着云计算技术的发展不断更新完善。同时，系统支持对其他课程实验环境或科研项目所需计算存储资源的添加及分配，硬件资源可得到充分复用。5.2. 建设内容5.2.1. 云计算大数据实验平台部署在实验室构建一套完整的云计算大数据平台，包括云计算服务器集群、云计算虚拟化管理平台。云计算大数据平台通过对底层服务器硬件、网络设备和存储资源实现虚拟化聚合部署，配合云计算虚拟化管理平台，实现云计算中基础设施即服务（IaaS）部分，为实验室开展云计算IaaS层的研究、教学、实验提供基础环境。同时该云计算大数据平台也为更高层次的云计算服务，如PaaS，SaaS服务提供了良好的基础平台，且具有很高的自适应性和扩展空间。5.2.2. 云计算大数据实验环境学习及搭建易霖博云计算大数据实验分为五个阶段，涵盖了从基础架构到中间件和saas应用层服务以及大数据分析和云安全实验，各阶段都有详细的课程讲解及配套教材。下面将对五个阶段进行介绍。云计算基本架构安装和部署阶段，让学生了解云计算的基础架构，熟悉OpenStack各组件的部署，掌握实例的创建及调度，学生能够通过自己部署的openstack平台对所有实例进行分配和管理，包括对实例资源、配额及网络的管理，充分发挥openstack的高效管理和可扩展性。 云计算中间件和环境部署阶段，基于openstack 的IAAS平台，构建完整的服务提供平台，平台主要面向开发者，能够根据开发环境的需求提供定制化的开发环境，完成一键化的开发平台部署。基于分布式文件系统的大数据部署、挖掘和分析阶段，通过对云计算分布式的部署，了解了分布式的概念，从而更快速的学习Hadoop 分布式文件系统，通过构建一个简单的集群，能够建立数据模型，进行数据挖掘和分析。 云计算应用层安装及使用阶段，通过PAAS平台提供的开发套件及工具，开发出可用的web应用平台和软件，如:电子商务系统，博客系统以及网盘等常见web端服务。云安全加固和防护阶段，通过学习openstack的部署和应用，还必须对云安全进行一定的了解，对实例的网络进行划分和管理，对安全组和规则进行调整，使得对实例和资源的控制更加有效。第六章、 云计算大数据实验室解决方案6.1. 云计算大数据实验室整体架构云计算大数据实验平台的实验内容设计均来源于社会人才需求技能调研及业界专家建议，力求云计算大数据专业人才培养符合社会人才需求现状，适用于云计算大数据、虚拟化、大数据、云安全等课程实验教学及实训，也可基于本产品的软硬件平台进行云计算大数据相关科研项目。易霖博云计算大数据实验平台架构图易霖博云计算大数据实验平台，包括云计算服务器集群，云计算大数据管理和应用，云安全等。平台通过对底层服务器硬件、网络设备和存储资源实现虚拟化聚合部署，配合云计算大数据管理，实现云计算中基础设施即服务（IaaS）部分，为实验室开展云计算IaaS、PaaS、SaaS、大数据管理和挖掘、云安全等提供了良好的基础平台，具有很高的自适应性和扩展空间。6.2. 云计算大数据实验室物理布局云计算大数据实验室的布局设计要以能够有效利用实验室场地，方便开展教学和实训为原则，这里我们推荐用目前最主流的布局方式-岛式布局。岛式布局是目前最流行的实验室布局方式，每个物理实训组成为一个小岛，每个组推荐6个学员使用，每组配置一个2m标准机柜。易霖博云计算大数据实验室每个实验组采取“4N+1”的教学架构平台，即一个资源平台，四个分布式节点（控制节点、网络节点、计算节点、存储节点）让学生通过实际部署从而理解分布式的概念和掌握各节点功能以及核心组件。6.3. 云计算大数据实验平台部署云计算大数据实验平台提供了一个功能完整的、标准开放的方便集成的IaaS服务层。这层提供的动态基础架构是整个云计算服务的核心支撑层，最核心的部分包括采用了服务器、存储设备、网络设备和易霖博云计算管理平台构建的云计算服务基础架构。该基础架构具备良好的性能、可用性和可靠性。虚拟化软件实现对底层的服务器硬件、存储资源和网络设备的虚拟化，然后通过虚拟化管理平台，将计算资源、存储资源、网络资源进行聚合，构建新一代的资源中心，形成统一的云计算大数据实验平台。在实验平台，所有资源整合后在逻辑上以单一整体（虚拟机）的形式呈现，这些资源根据需要进行动态扩展和配置，各信息系统业务按需使用资源。易霖博云计算虚拟化管理平台提供自服务功能和基本的服务管理能力。6.3.1. 实验平台基础设施6.3.1.1. 服务器集群云计算大数据实验平台的服务器按照功能和作用的不同分为管理节点服务器和计算节点服务器。管理节点服务器用于安装易霖博云计算大数据管理软件，是整个云计算平台的指挥中枢。易霖博云计算大数据管理软件采用集中式管理架构，负责整个云计算大数据实验平台服务请求的处理，包括硬件、虚拟机和网络的管理操作，并发送给对应的计算节点和系统虚拟机去执行。同时，易霖博云计算大数据管理软件还会在数据库中记录整个云计算大数据实验平台的所有信息，并监控计算节点、存储和虚拟机的状态，以及网络的使用情况，从而帮助用户了解整个云计算大数据实验平台各个部分的运行情况。在小规模应用环境中，可以将易霖博云计算大数据管理软件和数据库安装在同一台服务器上；在大规模应用环境中，可以部署多台管理服务器，并搭建实时同步的从属数据库，实现分摊压力和提高可靠性。计算节点服务器承担着云计算大数据实验平台的“计算”功能。对于云计算大数据实验平台上的计算节点服务器，通常都是将相同或者相似类型的服务器组合在一起，作为资源分配的母体，即所谓的计算资源池。在这个计算资源池上，再安装虚拟化软件，使得其计算资源能以虚拟机的方式被不同的应用使用。6.3.1.2. 存储系统云计算大数据实验平台中的存储用于保存虚拟机的操作系统、模板文件、应用程序文件、配置文件以及与活动相关的其它数据，是虚拟机正常工作的基本前提条件。支持本地存储和共享存储两种存储类型。访问存储空间有三种主流方式：基于数据块(FC SAN或iSCSI)、基于文件(CIFS/NFS)、或通过Web服务，基于块和文件的访问方式在企业应用中最常见，能更好地控制性能、可用性和安全性。6.3.1.2.1. 本地存储将存储服务器作为被管理资源对象添加到云计算大数据实验平台之后，该主机默认使用本地磁盘介质作为存储。支持在存储服务器上搭建NFS服务，云计算大数据实验平台中的服务器和虚拟机通过NFS的方式访问存储。6.3.1.2.2. 共享存储1）共享存储往往比本地存储提供更好的I/O性能（尤其在多虚拟机环境下）。2）云计算大数据实验平台中的在线迁移和高可用性功能需要共享存储作为先决条件，例如HA和动态资源调整等。3）云计算大数据实验平台中的虚拟机文件系统是一种优化后的高性能集群文件系统，允许多个云计算节点同时访问同一虚拟机存储。由于虚拟架构系统中的虚拟机实际上是被封装成了一个档案文件和若干相关环境配置文件，通过将这些文件放在SAN存储阵列上的文件系统中，可以让不同服务器上的虚拟机都可以访问到该文件，从而消除了单点故障。6.3.1.3. 网络设备云计算大数据实验平台网络是云计算数据的传输通道，将数据的计算和数据存储有机的结合在一起。云计算大数据实验平台网络架构设计的重点为保证云计算平台的高可用、易扩展、易管理。作为未来网络的核心，要求核心交换区设备具有高可靠性，优先选用采用交换引擎与路由引擎物理分离设计的设备，从而在硬件的体系结构上实现高可靠性。若对网络的高可用性有更高要求，可在网络整体设计和设备配置上按照双备份要求进行设计。双备份配置可在网络连接上消除单点故障，提供关键设备的故障切换。关键网络设备之间的物理链路采用双路冗余连接，按照负载均衡方式或active-active方式工作。关键主机可采用双路网卡来增加可靠性。全冗余的方式使系统达到99.999%的电信级可靠性。云计算大数据实验平台的网络采用“扁平化”设计，核心与接入层之间采用二层进行互联，省去了中间汇聚层，实现大二层组网。网络的二、三层边界在核心层，安全部署在核心层。在接入层构建计算和存储资源池，满足资源池内虚拟机可在任意位置的物理服务器上迁移与集群。随着网络交换技术的不断发展，交换机的端口接入密度也越来越高，“扁平化”组网的扩展性和密度已经能够很好的满足实验室IaaS云平台服务器接入的要求。同时在服务器虚拟化技术应用越来越广泛的趋势下，扁平化二层架构更容易实现VLAN的大二层互通，满足虚拟机的部署和迁移。相比传统三层架构，扁平化二层架构可以大大简化网络的运维与管理。防火墙是网络系统的核心基础防护措施，它可以对整个网络进行网络区域分割，提供基于IP地址和TCP/IP服务端口等的访问控制；对常见的网络攻击方式，如拒绝服务攻击（ping of death, land, syn flooding, ping flooding, tear drop）、端口扫描（port scanning）、IP欺骗(ip spoofing)、IP盗用等进行有效防护；并提供NAT地址转换、流量限制、用户认证、IP与MAC绑定等安全增强措施。防火墙部署在核心交换机之上，对整个云计算大数据实验平台提供安全防护。6.4. 云计算大数据实验环境学习及搭建6.4.1. 云计算基本架构安装和部署让学生了解云计算的基础架构，熟悉OpenStack各组件的部署，掌握实例的创建及调度，学生能够通过自己部署的openstack平台对所有实例进行分配和管理，包括对实例资源、配额及网络的管理，充分发挥openstack的高效管理和可扩展性。在第一阶段，我们主要进行的是IAAS 平台的搭建和部署工作。通俗点说，我们通过一系列组件的部署和安装配置工作，最后我们要完成的是可以分配使用的实例，即虚拟机资源。我们可以通过下图做一个了解。客户端的请求就是运行一台虚拟机，之后服务端接受到请求后便开始按照工作流程进行认证和调度等相关的操作。其中认证、读写数据库、消息传送、镜像调用、磁盘分配、网络划分、实例启动都是由内部的各组件完成。通过上面的简单描述，大家都应该明白了我们部署openstack 云计算平台的用途和我们的需求。一句话概括，就是我们需要使用一台高效、稳定、可扩展、可迁移的虚拟机资源。所以我们就需要通过openstack 来实现我们的需求。采用4N+1的模式，即一台资源服务器，四个节点（控制节点、计算节点、网络节点、存储节点）。用户可以在一台机器上进行单节点安装部署openstack ，即all-in-one 部署，我们提供了自动化安装系统，自动化部署openstack 脚本。能够快速完成从系统安装到平台搭建的全部过程。为了让用户更好的感受云计算平台，我们也采用了分部署部署方案，便于用户更加直观的感受什么是分布式部署。将各组件分别部署到不同的物理服务器上，通过控制节点进行管理，根据不同服务器资源的使用情况，合理分配实例（虚拟机）到对应的机器上运行，从而达到资源的最大利用。安装部署所需要的安装包和相关文档及视频教程都可以从资源服务器获取。其中，资源服务器上有安装文档、PPT、视频教程、镜像文件、安装包文件、shell脚本等一切安装部署所需要的资源。本阶段的实验内容可以划分为四个模块，及openstack基础实验（ALL