云计算大数据实验室建设方案

云计算大数据实验室建设方案（此文档为word格式，下载后您可任意修改编辑！）云计算人数据实验室建设方案云计算人数据实验室建设方案目录TOC\o"1-5"\h\z\o"CurrentDocument"概述 4\o"CurrentDocument"第一章、 云计算与大数据的发展趋势 4\o"CurrentDocument"1. 云计算与大数据 4\o"CurrentDocument"云计算与大数据的关系 5\o"CurrentDocument"1.2.1.当大数据遭遇云计算 6\o"CurrentDocument"2.云计算环境作为大数据处理平台 6\o"CurrentDocument"发展趋势：大数据逐步“云”化 7\o"CurrentDocument"第二章、 云计算大数据人才现状分析 9\o"CurrentDocument"1. 我国云计算大数据人才紧缺 9\o"CurrentDocument"2. 云计算大数据人才培养情况 10\o"CurrentDocument"3. 云计算大数据人才培养面临的问题 11\o"CurrentDocument"3. 1.高职实验室设备落后，教学资源无法合理分配 11\o"CurrentDocument"3. 2.教学资源分散，共享程度低 11\o"CurrentDocument"3. 3.对云计算大数据技术认识不够，无法有效运用 11\o"CurrentDocument"第三章、 云计算大数据人才培养需求分析 13\o"CurrentDocument"1. 云计算大数据岗位需求 13\o"CurrentDocument"2. 云计算大数据人才培养策略 14\o"CurrentDocument"2.1.根据就业前景，加大人才培养力度 14\o"CurrentDocument"2.2.徳才兼修，开拓新型教学方式 14\o"CurrentDocument"2.3.选择以工作过程为向导的教材 15\o"CurrentDocument"3. 云计算大数据带给高职实验室建设的前景 15\o"CurrentDocument"3.3.1.建立统一信息平台来管理海量教学资源 15\o"CurrentDocument"3.3.2.云计算降低维护利运营成木 15\o"CurrentDocument"3.3.3.整合教学资源，加强资源共享，提高教学质量 16\o"CurrentDocument"3.3.4.促进教师和学生的信息交互，进一步促进教学相长 16\o"CurrentDocument"3.3.5.借助云计算大数据技术可以提升科研实力 16\o"CurrentDocument"第四章、 云计算大数据实验室建设原则 171. 方便扩展 172. 自身安全 17\o"CurrentDocument"3. 业务高可用 17\o"CurrentDocument"统一管理与自动化 18\o"CurrentDocument"5. 开放接口 18\o"CurrentDocument"6. 丰富、清晰的培训教材 18\o"CurrentDocument"7. 师资培训新技术交流 19\o"CurrentDocument"4.8. 技术服务保障 19\o"CurrentDocument"第五章、 云计算大数据实验室建设目标 20\o"CurrentDocument"1. 建设目标 20\o"CurrentDocument"1.1.培养学生云计算大数据职业技能 20\o"CurrentDocument"1.2.提供独立的用户实验环境 20\o"CurrentDocument"5.1.3.提高系统资源的利用率 21\o"CurrentDocument"1.4.系统具有良好扩展性 21\o"CurrentDocument"2. 建设内容 21\o"CurrentDocument"2.1.云计算大数据实验平台部署 21\o"CurrentDocument"2.2.云计算大数据实验环境学习及搭建 21\o"CurrentDocument"第六章、 云计算大数据实验室解决方案 23\o"CurrentDocument"1.云计算大数据实验室整体架构 23\o"CurrentDocument"2. 云计算大数据实验室物理布局 24\o"CurrentDocument"3. 云计算大数据实验平台部署 25\o"CurrentDocument"3.1.实验平台基础设施 26\o"CurrentDocument"4. 云计算大数据实验环境学习及搭建 29\o"CurrentDocument"4.1.云计算基木架构安装和部署 29\o"CurrentDocument"4.2.云计算中间件环境部署 30\o"CurrentDocument"6. 4.3.基于分布式文件系统的大数据部署、挖掘和分析 31\o"CurrentDocument"6. 4.4.云计算应用层安装及使用 326. 4.5.云安全加固和防护 32\o"CurrentDocument"第七章、 云计算大数据实验室课程体系 34\o"CurrentDocument"第八章、 云计算大数据实验室方案优势 36\o"CurrentDocument"1. Web形式开展实验，实现无所不在的网络访问 36\o"CurrentDocument"2. 基于资源的负载均衡，实现实验资源弹性分配 36\o"CurrentDocument"3. 增量存储技术，实现用户实验环境的独立性和延续性 37\o"CurrentDocument"4. 项目驱动式实验设计，培养学生的综合云能力 37\o"CurrentDocument"&5. 资源的开放性及复用性，可支持科研等其他用途 37\o"CurrentDocument"6. 完善的课程体系丰富的教学内容 38\o"CurrentDocument"第九章、 云计算大数据实验室校企合作 39\o"CurrentDocument"1. 课程与教材服务 39\o"CurrentDocument"2. 师资培训服务 40\o"CurrentDocument"2.1.双师型教师培养 40\o"CurrentDocument"2.2.企业讲师计划 41\o"CurrentDocument"3. 学生实习就业服务 41\o"CurrentDocument"第十章、 云计算大数据实验室配置清单 44\o"CurrentDocument"第十一章、某某信息技术有限公司 45概述云计算大数据技术是当今信息技术发展的一个主要方向，云计算大数据技术一经提出就得到人们的追捧，其应用领域也得到了快速的发展，已经在商业、政府、金融、教育等领域得到广泛应用。我国高职院校需要建设专业的云计算大数据实验室，尤其是要满足当下学生需求的实训系统，是一个比较重要和紧迫的工作。根据云计算与大数据行业对人才培养的需要，某某推出了一套面向高职院校的云计算大数据实验室建设解决方案，实验内容的设计来源于社会需求调研以及云计算业界专业人士的建议，实验内容涵盖的技术知识点能够与目前云计算大数据人才的技能需求贴合，实验设计以真实的工作场景为背景，培养学生的综合能力，增强学生对真实工作环境的体验感，适应社会人才发展的需要。第一章、云计算与大数据的发展趋势1.1.云计算与大数据云计算和大数据是一个硬币的两面，云计算是大数据的IT基础，而大数据是云计算的一个杀手级应用，云计算是大数据成长的驱动力，而另一方面，由于数据越来越多、越来越复杂、越来越实时，这就更加需要云计算去处理，所以二者之间是相辅相成的。30年前，存储1TB也就是约1000GB数据的成本大约是16亿美元，如今存储到云上只需不到100美元。但存储下来的数据，如果不以云计算进行挖掘和分析，就只是僵死的数据，没有太大价值。目前，云计算己经普及并成为IT行业主流技术，其实质是在计算量越来越大、数据越来越多、越来越动态、越来越实时的需求背景下被催生出来的一种基础架构和商业模式。个人用户将文档、照片、视频、游戏存档记录上传至“云”中永久保存，企业客户根据自身需求，可以搭建自己的“私有云”，或托管、或租用“公有云”上的IT资源与服务，这些都已不是新鲜事。可以说，云是一棵挂满了大数据的苹果树。

大数据的出现，正在引发全球范围内深刻的技术与商业变革。在技术上，大数据•使从数据当中提取信息的常规方式发生了变化。在技术领域，以往更多是依黑模型的方法,现在我们可以借用规模庞大的数据，用基于统计的方法，有望使语音识别、机器翻译这些技术领域在大数据时代取得新的进展。在搜索引擎和在线广告中发挥重要作用的机器学习，被认为是大数据发挥真正价值的领域在海量的数据中统计分析出人的行为、习惯等方式，计算机可以更好地学习模拟人类智能。随着包括语音、视觉、手势和多点触控等在内的自然用户界面越来越普及，计算系统正在具备与人类相仿的感知能力，其看见、听懂和理解人类用户的能力不断提高。这种计算系统不断增强的感知能力，与大数据以及机器学习领域的进展相结合，己使得目前的计算系统开始能够理解人类用户的意图和语境。“这使得计算机能够真正帮助我们，甚至代表我们去工作”。以往，移动运营商和互联网服务运营商等拥有着大量的用户行为习惯的各种数据，在IT产业链中具有举足轻重的地位。而在大数据时代，移动运营商如果不能挖掘出数据的价值，可能彻彻底底被管道化。运营商和更懂用户需求的第三方开发者互利共赢的模式，已取得一定共识。云计算与大数据的关系SaaSPaaSIaaS分布式数据挖掘厂 分布式处理 SaaSPaaSIaaS分布式数据挖掘厂 分布式处理 1、 分布式数据库 ‘云存储虚拟化如：Mahout如:MapReduce,JobKeeper如：lIBase,数据立方\ zk 如：1IDFS,cStor 如：VMware,OpenStack本质上，云计算与大数据的关系是静与动的关系；云计算强调的是计算，这是动的概念；而数据则是计算的对象，是静的概念。如果结合实际的应用，前者强调的是计算能力，或者看重的存储能力；但是这样说，并不意味着两个概念就如此泾渭分明。大数据需要处理大数据的能力（数据获取、清洁、转换、统计等能力），其实就是强大的计算能力；另一方面，云计算的动也是相对而言，比如基础设施即服务中的存储设备提供的主要是数据存储能力，所以可谓是动中有静。如果数据是财富，那么大数据•就是宝藏,而云计算就是挖掘和利用宝藏的利器！当大数据遭遇云计算从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须釆用分布式计算架构。它的特色在于对海量数据的挖掘，但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。云计算为什么能盛行呢?在互联网领域应用系统的构建：客户群体是不确定的、系统规模不确定、系统投资不固定、业务应用有很清晰的并行分割特征、数据仓库系统的构建、数据仓库规模可估算、数据仓库的系统投资与业务分析的价值和回报相关、商业智能应用属于整体应用、Saas模式构建数据仓库系统。大数据管理，分布式进彳亍文件系统，如Hadoop、Mapreduce数据分割与访问执行；同时SQL支持，以Hive+HADOOP为代表的SQL界面支持，在大数据技术上用云计算构建下一代数据仓库成为热门话题。从系统需求来看，大数据的架构对系统提出了新的挑战:1、 集成度更高。一个标准机箱最大限度完成特定任务。2、 配置更合理、速度更快。存储、控制器、I/O通道、内存、CPU、网络均衡设计，针对数据仓库访问城优设计，比传统类似平台高出一个数量级以上。3、 整体能耗更低。同等计算任务，能耗故低。4、 系统更加稳定可翥。能够消除各种单点故障环节，统一一个部件、器件的品质和标准。5、 管理维护费用低。数据藏的常规管理全部集成。6、 可规划和预见的系统扩容、升级路线图。云计算环境作为大数据处理平台1.2.2.1.云计算环境中基本计算单元的分化企业云计算平台上虽然有多个并行计算的CPU,但并没有创造出具有超强数据处理能力的超级CPU,因此云计算平台需要的是有并行运算能力的软件系统。同时，当所有用户的数据全部放在云端时，虽然存储容量可以很方便地扩充，但面对大量用户同时发起的海量数据处理请求，简单的数据处理逻辑己经无法满足需要。可以看到，国内有相当多的电商企业，用小型机和Oracle扛了好几年，并请了全国最牛的Oracle的专家不停优化他的Oracle和小型机，初期发展可能很快，但是后来由于数据量激增，业务开始受到严重影响，城典型的例子无疑是京东商城前段时间发生的大规模访问请求宕机事件，因此他们开始逐渐放弃了Oracle或者MS-SQL,并逐渐转向MySQL+X86的分布式架构。目前的基本计算单元常常是普通的X86服务器，它们组成了一个大的云，而未来的云计算单元里有可能有存储单元、计算单元、协调单元，总体的效率会更高。1.2.2.2. 对系统稳定性的需求在应对大规模访问的时候有一些系统稳定性的追求，来自很多方面，来自网络稳定性、数据库稳定性。对系统而言，需要把握一个大原则，需要消除任何单点故障。不光是网络上单点故障，还有来自你呼叫中心里的单点故障，只要有单点故障一定要消除掉。因为对于电商行业而言，每一秒都是钱，电子商务业务如果宕机一个小时，损失多少是可以算出来的，电商行业需要非常全面的技术系统监控报警系统。有时候你会发现你如果通过技术系统的监控去推导出你的技术发生问题已经晩了。1.3.发展趋势：大数据逐步“云”化纵观历史，过去的数据中心无论应用层次还是规模大小，都仅仅是停留在过去有限的基础架构之上，采用的是传统精简指令集计算机和传统大型机，各个基础架构之间都相互孤立，没有形成一个统一的有机整体。在过去的数据中心里面，各种资源都没有得到有效充分地利用。而且传统数据中心资源配置和部署大多采用人工方式，没有相应的平台支持，使大量人力资源耗费在繁重的重复性工作上，缺少自助服务和自动部署能力，既耗费时间和成本，又严重影响工作效率。而当今越来越流行的云计算、虚拟化和云存储等新IT模式的出现，又再一次说明了过去那种孤立、缺乏有机整合的数据中心资源并没有得到有效利用，并不能满足当前多样、高效和海量的业务应用需求。在云计算时代背景下，数据中心需要向集中大规模共享平台推进，并且，数据中心要能实现实时动态扩容，实现自助和自动部署服务。从中长期来看，数据中心需要逐渐过渡到“云基础架构为主流企业所采用，专有架构为关键应用所采用”阶段，并最终实现“强壮的云架构为所有负载所采用”，无论大型机还是x86都融入到云端，实现软硬件资源的高度整合。数据中心逐步过渡到“云”，这既包括私有云又包括公有云。私有云，就是对企业现有的数据中心进行改造和架构调整，通过云计算对资源进行自动调度和分配，实现一个自动部署、自动管理和自动运维的数据中心架构。而公有云则是由服务商建立IT基础架构，并向外部用户提供商业服务，而用户可以在不拥有云计算资源的条件下通过网络访问这些服务。与私有云相比，公有云的所有应用程序、服务和数据都存放在云端，用户数据也并不存放在企业内部数据中心。正所谓“梅虽逊雪三分白，雪却输梅一段香”，相比之下，私有云会比公有云在数据安全性方面有更好的表现，但公有云却会比私有云有更“强壮的云架构”。因此，从数据中心演进的角度来看，讨论何种"云”并无实质意义，我们更应该重视的是数据中心在未來发展中所扮演的角色和出现的历史性变革。第二章、云计算大数据人才现状分析1.我国云计算大数据人才紧缺经过多年的技术发展和经验积累，云计算行业已经进入一个相对成熟的阶段。作为新一代信息技术变革、IT应用方式变革的重要支柱，云计算己经成为当前信息技术产业发展和应用创新的热点。在国内，大量的企业单位正逐步将白己的IT系统从传统架构向"云”架构迁移，越來越多的用户正在享受“云”服务带來的便利。云计算更多的是在描述一种技术框架和服务交付模式，与此同时大数据则是直接向客户提供业务发展的推动力和生产力。大数据出现以后，云计算并没有因此落幕，反而大有用武之地。作为云计算核心技术的分布式布署和分布式计算也是大数据系统所需要的关键技术，正是因为这一层关系，大数据给云计算带来了一个美丽的春天。随之而来的是TT基础设施和应用模式的革新，这对企业单位的信息部门来说，既是提升自我价值的机会，也是严峻的挑战。但是，国内云计算和大数据相关技术人才的匮乏已是业内公认的事实。根据IDC的调查报告，从2012年至2015年的3年之间里，云计算大数据的相关工作需求将出现26%的年增长率，超过1/4的增长率再次证明了企业对云计算大数据人才的巨大需求。IDC的预测还表明，2012年有约170万的云计算大数据相关岗位出现真空，而这方面的求职者也都缺乏云计算大数据方面的实践经验，并且不具备完善的培训机制；值得警醒的是，到2015年，这个数字从170万上升到700万，云计算大数据产业面临着更大的人才缺口。云计算大数据人才培养情况在过去一段时间内，为了满足信息技术产业的发展，国内多数高校、职业院校开设了计算机通信相关专业，但毕业生的就业前景却日渐黯淡。究其原因，超过1/4的毕业生反馈在校学习的课程知识较为陈旧，面对云计算、大数据、移动互联网、数据挖掘等新型技术的兴起，自己所掌握的知识、技能和实践经验均无法满足行业需求。我国能否在云计算和大数据时代这一轮新的竞争中取得先机，人才是关键。面对如此巨大的云计算和大数据人才需求缺口，以中国现有的教育水平尤其是教育机构转变和改进教学方向和方法的效率来看，很难在短时间内满足市场需求。就目前收到的汇总信息来看，己经开设有云计算和大数据相关专业和方向的普通高校和高职院校还不到总数的10%,已经开始相关专业和方向的高校在专业建设、课程设计方面还没有统一标准，关于这个专业“怎么教？教什么？”是一个比较广泛存在的问题，困惑着这些已经开设或将要开设这个专业的学校老师。目前各学校基本上都是按照各自的理解在开设课程和建立实习实训体系，目前在整个专业领域，甚至还没有关于云计算和大数据的国家级规划教材。在这些已经开设云计算和大数据专业和方向的高校中，目前专业建设城快的是高职院校、本科和研究生教育层次的专业和方向建设速度较慢。在研究生教育领域，目前已经有十余所高校已经开始招收主攻云计算和大数据方向的硕士和博士研究生，某某大学信息科学技术学院、东北大学软件学院、中国科技大学、中国科学院成都计算机应用研究所等高校单位均开设了云计算和大数据相关的科研方向，培养这方面的高层次人才。中国科学院大学首批云计算方向的硕士和博士将于两年内毕业，这很可能是中国第一批云计算方向的研究生。在一个产业来说，高端科研和开发人才其实需求量并不大，市场需要的更多是基础开发、项目实施和维护人员，这就给我国的职教行业和偏重培养技能型人才的二本、三本院校提供了一个非常好的机会。3.云计算大数据人才培养面临的问题对于高职院校的教学实践，其主要是指通过实验、实训进行实践教学，使学生在实践动手操作过程中学到相关的知识和技能，主要的教学方式包括实验、实训、课程设计和毕业设计等。高职院校的教学实践会根据社会对人才需求的变化而变化，各院校早己开始进行教学实践改革，但是由于实践教学涉及众多的因素，例如资金、软件、硬件、实验室、产学研基地等方面，因此各高职院校面临着各种不同的实际情况，存在的问题主要有：3.1.高职实验室设备落后，教学资源无法合理分配近几年，虽然高职院校也有了较大的发展，但在高校资金方面还是无法和综合性大学相比。大多数的高职院校由于资金的不足，无法更换老化的设备，更新实验室资源，使得教学资源分配不均匀。2.3.2.教学资源分散，共享程度低随着高职院校对教学资源的重视，不断整合现有的教学资源，特别是远程教育和网络教育的发展，使得课程资源在一定范围内得到了共享，而且各高校通过课程联合等方式达到了教学资源在高校之间再分配的效果，使得教学资源共享程度进一步扩大，但由于高校教学资源较多，而且比较分散，大部分软件和硬件资源仍然无法有效共享，使得高校教学资源重复投入，造成一定的浪费。3.3.对云计算大数据技术认识不够，无法有效运用现在虽然对云计算技术已经做了大量研究，相关的文章与书籍也同步而出，但由于云计算技术起源于企业界而非学术界，并且与教育相关的文档不多，尤其是将云计算技术运用到高校实践教学中少之甚少，使得大多数教师对云计算技术认识不够，更谈不上将云计算技术在教学实践中广泛运用。云计算人数据实验室建设方案云计算人数据实验室建设方案云计算人数据实验室建设方案第三章、云计算大数据人才培养需求分析面对云计算与大数据风起云涌的产业浪潮，我们应该明确人才培养是提高产业竞争力、提升整体实力的关键措施；是我国在新的技术竞争格局下，能否取得先机，得到与国外一流企业相同的竞争机会，缩短差距，提升我国科技实力的重要推动力，应该得到全社会的广泛关注。建立专业的云计算和大数据实验室，尤其是要满足当下学生需求的实训系统，也是一个比较重要和紧迫的工作。云计算大数据岗位需求云计算、虚拟化、大数据、数据挖掘，云安全等趋势的到来，诞生一批新的工作岗位，比如云计算大数据运维工程师、云计算大数据咨询顾问、云计算大数据开发工程师、云计算大数据挖掘分析师等。接下来为大家介绍相关技能所体现的热门工作岗位及其职能：云计算大数据运维工程师：在云计算大数据时代，可以在网络服务规划上，以最小成本提供更易维护的架构，以最小的成本快速扩容服务。对企业现有资金进行合理分配,让大集群去处理更多的业务，让小集群发挥最大的性能，企业重要数据进行分布式存储,保证企业应用和数据的安全。云计算大数据咨询顾问：任何业务部门和任何行业企业，都有IT系统在背后默默无闻地支撑着。在云计算大数据时代，业务面临的挑战和机遇也会给IT系统带来更多要求。在这种情况下，IT系统的规划部署，需要有云计算大数据咨询顾根据用户需求详细规划，是满足面向未来大数据分析、云计算服务应用的需要。云计算大数据开发工程师：PaaS、SaaS、数据挖掘和分析、数据管理和监控、虚拟化、应用开发等等，都是开发工程师大展身手的好舞台。相应的，这些技术领域也对软件工程师的要求会更高，尤其是虚拟化和面向BYOD、云计算、大数据、云安全等应用的开发和管理，都需要有更高深的技术支撑。云计算大数据数据挖掘工程师：也可以叫做“数据挖掘专家”。数据挖掘是通过分析每个数据，从大量数据中寻找其规律的技术。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。云计算大数据人才培养策略我们要从战略高度重视云计算大数据人才培养工作，加强对云计算大数据教育的力度，不断寻找云计算大数据教育的新途径。3.2.1.根据就业前景，加大人才培养力度云计算与大数据目前在业界持续火热，满世界几乎到处都在上演这哥俩的“二人转”，整个行业出现了井喷式的快速发展，两个概念叠加起来后产生了超千亿级的市场规模。我国能否在云计算和大数据时代这一轮新的竞争中取得先机，人才是关键。根据学生就业前景，建立专业的云计算大数据实验室，尤其是要满足当下学生需求的实训系统，是一个比较重要和紧迫的工作。某某根据云计算与大数据行业对人才培养的需要，开发了一款主要面向学校的云计算大数据专业的学生实训系统，系统整合了高性能计算和大数据的大部分功能，能够灵活地支持并行计算、虚拟化、大数据、云安全等系统的安装和维护调试实训。3.2.2.德才兼修，开拓新型教学方式云计算大数据是“技术+管理”的集合，学生通过云计算大数据的学习，提高学生对理论的认识，强调学生的动手能力以及实战经验的累积。要在沿袭普通高校大体教学模式的基础上，结合新的教改方案,提高专业课和实践教学内容在整个教学体系中的比重,加大实验室建设力度，加大实践教学力度。可以通过组建新型云计算大数据实验室，开展实践教学，借助企业多个环境和场景搭建模拟云计算大数据教学环境，增强学生的动手能力。在教学方法上，应摒弃教师讲学生记的传统模式，引入研究启发式、讨论式、互动式、演练式、现场教学等教学方法，选用各个阶段学生学习特点和需要的教学方法，提高教学质量。3.2.3.选择以工作过程为向导的教材要选用项目驱动式、任务引领型的教材，因材施教,培养学生养成良好学习习惯，增强学习兴趣。所选用教材应该既强调基本概念和基础知识,又注意理论与实际应用相结合,并且对许多新技术和新的发展方向有不同程度的介绍。实验部分，每个实验项目即为一个真实案例，来源于真实项目。3.云计算大数据带给高职实验室建设的前景高职院校作为教育领域的重要组成部分，在培养高级应用人才方面有着巨大的作用而高职实验室作为高职院校的教学实践的重要组成部分，为高职院校学生的技能培养起着关键的作用。现在已经是信息化的时代，如何对高职实验室进行信息化改革，从而更大地发挥高职实验室的教学实践作用，为高职院校培养更加适应社会的毕业生，是现在高职实验室建设的一个不可回避的问题。在众多的方案中，云计算大数据技术是提升高职实验室建设的一个有效办法，具备拥有提高效率、安全可靠、节约成本等诸多方面的优势。3.1.建立统一信息平台来管理海量教学资源高职实验室拥有大量的教学资源，各实验室为了管理教学资源大多独自建立了网络信息平台，既花费了大量的人力，也花费了大量的物力，而且网络信息平台还给各实验室带来了更多运行压力，不仅要投入一定的维护费用，还要保证网络信息平台的正常运行和安全问题。如果与云计算大数据厂商合作，通过在厂商提供的云服务器上建立统一通用信息平台，就可以为高职实验室减少大量的软件和硬件资源投入，减少运行成本，同时可以建立以云计算大数据为基础并拥有强大计算、存储、网络、存储功能的统一信息平台，高效管理原本分散，不安全的海量教学资源。3.3.2.云计算降低维护和运营成本对于高校实验室建设来说，资金是不容忽视的因素之一。大规模地更换设备和实验室改造，必然带来资金压力，而云计算技术可以有效解决这个问题。云服务商提供了资源丰富的跨平台的通用信息系统，只需将现有的课程资源放在该平台上，再购买一些价格便宜的管理终端和网络接入设备，就可以访问通用信息平台上共享的教学资源。对于高职实验室来说终端设备的配置无特定要求，而服务器建立于云服务商，不需要对服务器进行购买和维护，从而节约成本，同时服务器运行的可靠性和数据的安全性都由云服务商提供保证，降低了相应的系统管理、设备投入和人员安排的成本。3.3.整合教学资源，加强资源共享，提高教学质量云计算大数据技术有利于各高职实验室建立共同的信息共享，在云计算大数据平台上整合教学资源，共享各实验室现有的教学资源，不仅可以节约大量的人力和物力成本,而且有利于提高教学质量。教师可以通过云技术在线编辑和修改云平台上的教学资源，将结果直接存储和发布在云平台上，对于学习者，则可以通过网络在任何地方连接到云平台，获取所需要的学习资源和服务，从而实现教和学。同时云计算大数据平台拥有高性能的服务器以及高速的网络带宽，可以满足大量频繁的访问。3.4.促进教师和学生的信息交互，进一步促进教学相长通常教师和学生之间缺乏必要的信息交互，云计算大数据技术可以提供新的软件资源开发模式，利用该方法，建立一个云服务来实现师生以及师师之间的信息交流，数据层的数据交换可以使用XML技术，实现即时通信服务、在线答疑服务和电子邮件服务等。3.3.5.借助云计算大数据技术可以提升科研实力科研也是各高职实验室建设的一个重要方面，随着科研对实验环境的要求越来越高，高职院校在实验室建设上己经投入了大量的资金，但还是会受到资金、时间和资源等因素的限制，而无法实施一些项目研究。高职实验室可以借助云计算大数据技术的优势，部分地改善这些问题，使这些项目和科研能够顺利地完成。第四章、云计算大数据实验室建设原则本方案符合云计算大数据才培养的需要。云计算大数据是未来计算机发展的一个重要方向。目前全国信息化发展迅猛，但人才匮乏问题也随之凸显。对于各大高校而言，云计算大数据人才的培养就非常重要。云计算大数据才的培养是未来人才培养战略重点之一，建立一个完善的、科学的云计算大数据实验平台，才能形成云计算大数据人才培养的实践基础，本项目就是基于云计算大数据的发展大方向而进行建设的，希望能够借助新建的平台培养这方面的人才，同时提升各大高校对云计算大数据的学习和科研。云计算大数据实验室的建设应遵循以下原则来建设：1.方便扩展在架构设计上，要充分考虑可扩充性，为未来扩展留出空间。在初期研究工作不饱满的情况下，尽量让一台设备有多种用途。未来工作规模扩大，可以补充设备做到专项专用。考虑设备的更新换代以及后期维护的方便，同类设备尽量采购型号接近的产品，以便在个别设备出故障时，彼此容易替代。2.自身安全云计算大数据实验室是与互联网相互连通的，因此实验室自身的网络安全建设也十分重要。实验室必须设置较强的远程访问控制手段和防护措施，避免因自身安全漏洞，导致研究结果的偏差，或被外部不法人员攻击。4.3.业务高可用云计算大数据平台作为承载未来政府信息中心应用的重要IT基础设施，承担着稳定运行和业务创新的重任。伴随着数据与业务的集中，云计算平台的建设及运维给信息部门带來了巨大的压力，因此云计算大数据实验室的建设从基础资源池（计算、存储、网络）、虚拟化平台、云平台等多个层面充分考虑业务的高可用，基础单元出现故障后业务应用能够迅速进行切换与迁移，用户无感知，保证业务的连续性。4.4.统一管理与自动化云计算大数据的最终目标是要实现系统的按需运营，多种服务的开通，而这依赖于对计算、存储、网络资源的调度和分配，同时提供用户管理、组织管理、工作流管理、自助Portal界面等。从用户资源的申请、审批到分配部署的智能化。管理系统不仅要实现对传统的物理资源和新的虚拟资源进行管理，还要从全局而非割裂地管理资源，因此统一管理与自动化将成为必然趋势。5.开放接口传统的管理系统与上层系统对接，注重故障的上报和信息的查询。而云计算大数据的管理系统更关注如何实现自动化的部署，在接口方面更关注资源调度和分配，这就需要管理系统在业务调度方面实现开放。为保证服务器、存储、网络等资源能够被云计算运营平台良好的调度与管理，要求系统提供开放的API接口，云计算运营管理平台能够通过API接口、命令行脚本实现对设备的配置与策略下发联动。同时云平台也提供开放的API接口，未来可以在这些接口的基础上进行二次定制开放，实现面向云计算的数据中心管理平台。6.丰富、清晰的培训教材对于云计算大数据实验室承担的培训工作，比如基础课程的培训、行业应用培训，应该具有丰富、清晰的教材，包括教师指导书、学员课本和实验手册。这样可以充分提高教学培训的效率。但是不是所有标准化教材都能满足所有实验室，很多学校在承担特殊化的培训工作时，往往需要定制开发教材，这就需要实验设备提供商和学校联合开发相应的课程。4.7.师资培训新技术交流虽然多数科研人员和授课教师都有很深的学术功底，但是不见得对实验设备了解非常深入，这就对科研进度和培训工作带来影响。供应商在提供实验设备的同时应该对科研人员和授课教师进行详细的设备使用培训，使他们能够更好的开展后续工作。为了使研究、培训内容跟上最新技术的发展，应当有业界技术领先的企业定期和科研人员、授课教师充分交流前沿技术的发展，己达到开拓科研视野、增加企业产品方案竞争力的双贏目的。4.8.技术服务保障虽然云计算大数据实验室对设备的可靠性不及电信、金融系统对设备可靠性要求高，但是如果科研课题进度非常紧，或者学员是付费使用实验室，那么实验平台对可靠性以及厂家对故障的服务响应就非常重要了。另一个维度来讲，实验平台涉及多种高、精、尖技术，厂家服务人员对技术掌握的深度和范围也显得非常必要。第五章、云计算大数据实验室建设目标5.1.建设目标云计算大数据实验室的设计是为了满足云计算大数据实验教学的需求，实验内容的设计来源于社会需求调研以及云计算业界专业人士的建议，实验内容涵盖的技术知识点能够与目前云计算大数据人才的技能需求贴合，实验设计以真实的工作场景为背景，培养学生的综合能力，增强学生对真实工作环境的体验感，适应社会人才发展的需要。云计算大数据实验室的建设目标体现在以下方面：5.1.1.培养学生云计算大数据职业技能目前市场上针对于云计算大数据的相关实验，大多以在云平台或者大数据分析平台的应用操作为主，以体验教学为主，并不能支持云计算技术本身的研究与学习。而目前学校云计算相关的教学处于起步阶段，并无完善的课程体系标准，云计算大数据实验室的实验内容设计以社会人才需求为导向，辅助学校构建符合市场需求的云计算大数据人才培养课程体系及实验环境。实验内容设计来源于云计算大数据相关岗位人才技能要求的统计、分析及归纳，侧重于云计算大数据技术本身的学习、使用及研究，实验以真实项目为背景，实验内容和培养方式更贴合社会云计算大数据人才需求。5.1.2.提供独立的用户实验环境云计算大数据实验室为每个实验用户提供独立的实验环境，保证实验环境的独立性以及延续性。每位实验用户具有独立的实验环境，与其他用户互不干扰，培养用户独立完成实验的能力，对云计算的核心技术点能够全方位掌握，实验操作实时保存，能够保证实验的延续开展。5・1・3・提高系统资源的利用率云计算大数据技术的学习需要硬件服务器环境的支撑，为每位用户配置一到三台的物理服务器用于实验教学，成本过高，并且实验占用资源有限，服务器大量资源闲置。本系统采用虚拟化技术，将单个硬件资源虚拟为多个虚拟服务器，基于动态分配技术为用户分配虚拟服务器资源开展实验，可有效提高硬件设备的利用率。5.1.4.系统具有良好扩展性云计算大数据技术在不断的发展进步，平台应具有良好的扩展性，实验内容及虚拟机资源能够灵活添加，保证实验内容及虚拟机资源随着云计算技术的发展不断更新完善。同时，系统支持对其他课程实验环境或科研项目所需计算存储资源的添加及分配，硬件资源可得到充分复用。2.建设内容云计算大数据实验平台部署在实验室构建一套完整的云计算大数据平台，包括云计算服务器集群、云计算虚拟化管理平台。云计算大数据平台通过对底层服务器硬件、网络设备和存储资源实现虚拟化聚合部署，配合云计算虚拟化管理平台，实现云计算中基础设施即服务（IaaS）部分，为实验室开展云计算IaaS层的研究、教学、实验提供基础环境。同时该云计算大数据平台也为更高层次的云计算服务，如PaaS,SaaS服务提供了良好的基础平台，且具有很高的自适应性和扩展空间。5.2.2.云计算大数据实验环境学习及搭建某某云计算大数据实验分为五个阶段，涵盖了从基础架构到中间件和saas应用层服务以及大数据分析和云安全实验，各阶段都有详细的课程讲解及配套教材。下面将对五个阶段进行介绍。云计算基本架构安装和部署阶段，让学生了解云计算的基础架构，熟悉OpenStack各组件的部署，掌握实例的创建及调度，学生能够通过自己部署的openstack平台对所有实例进行分配和管理，包括对实例资源、配额及网络的管理，充分发挥openstack的高效管理和可扩展性。云计算中间件和环境部署阶段，基于openstack的IMS平台，构建完整的服务提供平台，平台主要面向开发者，能够根据开发环境的需求提供定制化的开发环境，完成一键化的开发平台部署。基于分布式文件系统的大数据部署、挖掘和分析阶段，通过对云计算分布式的部署,了解了分布式的概念，从而更快速的学习Hadoop分布式文件系统，通过构建一个简单的集群，能够建立数据模型，进行数据挖掘和分析。云计算应用层安装及使用阶段，通过PAAS平台提供的开发套件及工具，开发出可用的web应用平台和软件，如：电子商务系统，博客系统以及网盘等常见web端服务。云安全加固和防护阶段，通过学习openstack的部署和应用，还必须对云安全进行一定的了解，对实例的网络进行划分和管理，对安全组和规则进行调整，使得对实例和资源的控制更加有效。第六章、云计算大数据实验室解决方案云计算大数据实验室整体架构云计算犬数据实验平台的实验内容设计均來源丁•社会人才需求技能调研及业界专家建议，力求云计算大数据专业人才培养符合社会人才需求现状，适用于云计算大数据、虚拟化、人数据、云安全等课程实验教学及实训，也可基于本产品的软硬件平台进行云计算大数据相关科研项目。某某云计算大数据实验平台架构图某某云计算大数据实验平台，包括云计算服务器集群，云计算大数据管理和应用，云安全等。平台通过对底层服务器硬件、网络设备和存储资源实现虚拟化聚合部署，配合云计算大数据管理，实现云计算中基础设施即服务（laaS）部分，为实验室开展云计算TaaS、PaaS、SaaS、大数据管理和挖掘、云安全等提供了良好的基础平台，具有很高的自适应性和扩展空间。2.云计算大数据实验室物理布局云计算大数据实验室的布局设计要以能够有效利用实验室场地，方便开展教学和实云计算大数据实验室的布局设计要以能够有效利用实验室场地，方便开展教学和实训为原则，这里我们推荐用目前最主流的布局方式-岛式布局。岛式布局是目前最流行的实验室布局方式，每个物理实训组成为一个小岛，每个组推荐6个学员使用，每组配置一个2m标准机柜。APT资源服务器控制节点计算节点网络节点存储节点APT资源服务器控制节点计算节点网络节点存储节点某某云计算大数据实验室每个实验组采取“4N+1”的教学架构平台，即一个资源平台，四个分布式节点（控制节点、网络节点、计算节点、存储节点）让学生通过实际部署从而理解分布式的概念和掌握各节点功能以及核心组件。6・3・云计算大数据实验平台部署云计算大数据实验平台提供了一个功能完整的、标准开放的方便集成的IaaS服务层。这层提供的动态基础架构是整个云计算服务的核心支撑层，最核心的部分包括采用了服务器、存储设备、网络设备和某某云计算管理平台构建的云计算服务基础架构。该基础架构具备良好的性能、可用性和可靠性。虚拟化软件实现对底层的服务器硬件、存储资源和网络设备的虚拟化，然后通过虚拟化管理平台，将计算资源、存储资源、网络资源进行聚合，构建新一代的资源中心，形成统一的云计算大数据实验平台。在实验平台，所有资源整合后在逻辑上以单一整体（虚拟机）的形式呈现，这些资源根据需要进行动态扩展和配置，各信息系统业务按需使用资源。某某云计算虚拟化管理平台提供自服务功能和基本的服务管理能力。6.3.1.实验平台基础设施6.3.1.1. 服务器集群云计算大数据实验平台的服务器按照功能和作用的不同分为管理节点服务器和计算节点服务器。管理节点服务器用于安装某某云计算大数据管理软件，是整个云计算平台的指挥中枢。某某云计算大数据管理软件釆用集中式管理架构，负责整个云计算大数据实验平台服务请求的处理，包括硬件、虚拟机和网络的管理操作，并发送给对应的计算节点和系统虚拟机去执行。同时，某某云计算大数据管理软件还会在数据库中记录整个云计算大数据实验平台的所有信息，并监控计算节点、存储和虚拟机的状态，以及网络的使用情况，从而帮助用户了解整个云计算大数据实验平台各个部分的运行情况。在小规模应用环境中，可以将某某云计算大数据管理软件和数据库安装在同一台服务器上；在大规模应用环境中，可以部署多台管理服务器，并搭建实时同步的从属数据库，实现分摊压力和提高可靠性。统一计算资源池刀片服务器 机架服务器 机架服务器 刀片服务關ApplicationOS刀片服务器 机架服务器 机架服务器 刀片服务關ApplicationOS计算节点服务器承担着云计算大数据实验平台的“计算”功能。对于云计算大数据实验平台上的计算节点服务器，通常都是将相同或者相似类型的服务器组合在一起，作为资源分配的母体，即所谓的计算资源池。在这个计算资源池上，再安装虚拟化软件，使得其计算资源能以虚拟机的方式被不同的应用使用。6.3.1.2.存储系统云计算大数据实验平台中的存储用于保存虚拟机的操作系统、模板文件、应用程序文件、配置文件以及与活动相关的其它数据，是虚拟机正常工作的基本前提条件。支持本地存储和共享存储两种存储类型。访问存储空间有三种主流方式：基于数据块（FCSAN或iSCSI）、基于文件（CIFS/NFS）、或通过Web服务，基于块和文件的访问方式在企业应用中城常见，能更好地控制性能、可用性和安全性。6.3.1.2.1.本地存储将存储服务器作为被管理资源对彖添加到云计算大数据实验平台之后，该主机默认使用本地磁盘介质作为存储。支持在存储服务器上搭建NFS服务，云计算大数据实验平台中的服务器和虚拟机通过NFS的方式访问存储。6.3.1.2.2.共享存储1） 共享存储往往比本地存储提供更好的I/O性能（尤其在多虚拟机环境下）。2） 云计算大数据实验平台中的在线迁移和高可用性功能需要共享存储作为先决条件，例如HA和动态资源调整等。3） 云计算大数据实验平台中的虚拟机文件系统是一种优化后的高性能集群文件系统，允许多个云计算节点同时访问同一虚拟机存储。由于虚拟架构系统中的虚拟机实际上是被封装成了一个档案文件和若干相关环境配置文件，通过将这些文件放在SAN存储阵列上的文件系统中，可以让不同服务器上的虚拟机都可以访问到该文件，从而消除了单点故障。6.3.1.3.网络设备云计算大数据实验平台网络是云计算数据的传输通道，将数据的计算和数据存储有机的结合在一起。云计算大数据实验平台网络架构设计的重点为保证云计算平台的高可用、易扩展、易管理。作为未来网络的核心，要求核心交换区设备具有高可靠性，优先选用采用交换引擎与路由引擎物理分离设计的设备，从而在硬件的体系结构上实现高可靠性。若对网络的高可用性有更高要求，可在网络整体设计和设备配置上按照双备份要求进行设计。双备份配置可在网络连接上消除单点故障，提供关键设备的故障切换。关键网络设备之间的物理链路采用双路冗余连接，按照负载均衡方式或active-active方式工作。关键主机可采用双路网卡来增加可靠性。全冗余的方式使系统达到99.999%的电信级可靠性。云计算大数据实验平台的网络采用“扁平化”设计，核心与接入层之间采用:层进行互联，省去了中间汇聚层，实现大二层组网。网络的二、三层边界在核心层，安全部署在核心层。在接入层构建计算和存储资源池，满足资源池内虚拟机可在任意位置的物理服务器上迁移与集群。随着网络交换技术的不断发展，交换机的端口接入密度也越来越高，“扁平化”组网的扩展性和密度已经能够很好的满足实验室IaaS云平台服务器接入的要求。同时在服务器虚拟化技术应用越来越广泛的趋势下，扁平化二层架构更容易实现VLAN的大二层互通，满足虚拟机的部署和迁移。相比传统三层架构，扁平化二层架构可以大大简化网络的运维与管理。防火墙是网络系统的核心基础防护措施，它可以对整个网络进行网络区域分割，提供基丁-IP地址和TCP/IP服务端口等的访问控制；对常见的网络攻击方式，如拒绝服务攻击(pingofdeath,land,synflooding,pingflooding,teardrop)^端口扫描(portscanning)、IP欺骗(ipspoofing)、IP盗用等进行有效防护；并提供NAT地址转换、流量限制、用户认证、IP与MAC绑定等安全增强措施。防火墙部署在核心交换机之上，对整个云计算大数据实验平台提供安全防护。6・4・云计算大数据实验环境学习及搭建云计算基本架构安装和部署让学生了解云计算的基础架构，熟悉OpenStack各组件的部署，掌握实例的创建及调度，学生能够通过白己部署的openstack平台对所有实例进行分配和管理，包括对实例资源、配额及网络的管理，充分发挥openstack的高效管理和可扩展性。在第一阶段，我们主要进行的是IAAS平台的搭建和部署工作。通俗点说，我们通过一系列组件的部署和安装配置工作，最后我们要完成的是可以分配使用的实例，即虚拟机资源。我们可以通过下图做一个了解。客户端的请求就是运行一台虚拟机，之后服务端接受到请求后便开始按照工作流程进行认证和调度等相关的操作。其中认证、读写数据库、消息传送、镜像调用、磁盘分配、网络划分、实例启动都是由内部的各组件完成。通过上面的简单描述，大家都应该明白了我们部署openstack云计算平台的用途和我们的需求。一句话概括，就是我们需要使用一台高效、稳定、可扩展、可迁移的虚拟机资源。所以我们就需要通过openstack來实现我们的需求。采用4N+1的模式，即一台资源服务器，四个节点(控制节点、计算节点、网络节点、存储节点）。用户可以在一台机器上进行单节点安装部署openstack,即all-in-one部署，我们提供了自动化安装系统，自动化部署openstack脚本。能够快速完成从系统安装到平台搭建的全部过程。为了让用户更好的感受云计算平台，我们也采用了分部署部署方案，便于用户更加直观的感受什么是分布式部署。将各组件分别部署到不同的物理服务器上，通过控制节点进行管理，根据不同服务器资源的使用情况，合理分配实例（虚拟机）到对应的机器上运行，从而达到资源的故大利用。安装部署所需要的安装包和相关文档及视频教程都可以从资源服务器获取。其中，资源服务器上有安装文档、PPT、视频教程、镜像文件、安装包文件、shell脚本等一切安装部署所需要的资源。本阶段的实验内容可以划分为四个模块，及openstack基础实验（ALL-IN-ONE平台构建）、openstack中级实验（平台管理与运维）、openstack高级实验（分布式环境构建）、openstack开发实验（API接口开发），根据不同的模块进行分类，并且提供对应的实验内容和实验课程。6.4.2.云计算中间件环境部署通过第一阶段的学习，我们已经明白了IAAS的架构，以及架构中的各种组件的关系。通过部署openstack我们已经可以启动一台或多台实例，并且可以将这些实例划分给不同用户使用，用户可以使用自己的实例进行环境的部署和网站的搭建。但是，这似乎还是不够高效，我们需要引用一些中间件来完善环境平台的部署。我们可以通过部署PAAS平台来实现这个需求。应用场景：某公司部署了自己的私有云IAAS平台，并给不同部门分配了对应的实例，但是这个部署的实例都是基于镜像模板安装的系统，并不能实现环境的定制，此时,研发部需要几台具有php环境的虚拟机，但是从虚拟机里面开始部署会大大降低工作效率，并且不能满足灵活性，此时我们可以通过PAAS平台为指定的虚拟机安装开发环境,用户可以通过分配到的实例访问PAAS平台的web端，选择自己需要的开发环境进行模块化安装，安装完成之后，即可使用安装好的环境进行开发工作，而不需要进行手工搭建环境，当开发工作完成之后，用户还可以将该开发模块卸载，安装新的开发模块。从PAAS平台的功能，我们可以看出，他是一个面向开发人员的开发平台。它支持用于Java、python>php、ruby^perl的开发框架,包括Spring、Seam、Weld、CDI>Ra订s、RackaDjango、JavaE。包含SQL和NoSQL数据存储和一个分布式文件系统。用户可以通过PAAS平台创建、部署、管理云端应用。它的组件包括：控制节点、应用套件、应用容器。组件说明：控制节点：应用管理活动的入口。负责管理用户登录、DNS、应用状态以及应用服务编排。用户和控制节点交互主要是通过WEB管理控制台、CLII具或者接口RESTAPTso应用套件：应用容器为应用运行提供了实际所需的功能。每个应用容器提不同的开发环境软件包，包括服务器，例如Tomcat、JBoos、Nodejs>Apache,同时提供运行环境支持库，比如JAVA、PHP、Python、Ruby、Perl,同时提供数据库支持，包括MySQL、MongDB等。应用容器：通过容器提供应用运行环境和隔离。容器：提供了给应用套件运行的容器。一个容器可以运行一个或多个应用。容器可以为应用套件提供按需分配的内存与磁盘空间。节点：一台物理机或虚拟机，其中包含多个容器。因为某些容器并不都是处于运行状态，所以一个节点通过会处于超配额状态，即放入了超过限额个数的容器。区域：区域定义了一些节点，其中的容器可以方便地进行基于节点的负载均衡。6.4.3.基于分布式文件系统的大数据部署、挖掘和分析本阶段主要通过Hadoop来讲述大数据的平台架构和分布式文件系统。将从以下几个方面做进一步阐述：Hadoop、HDFS、MapReduce、HIVE、HBase、Mahout、Pig。对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作。HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。Namenode是一个中心服务器，负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。集群中的Datanode一般是一个节点一个，负责管理它所在节点上的存储。HDFS暴露了文件系统的名字空间，用户能够以文件的形式在上面存储数据。从内部看，一个文件其实被分成一个或多个数据块，这些块存储在一组Datanode上。Namenode执行文件系统的名字空间操作，比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体Datanode节点的映射。Datanode负责处理文件系统客户端的读写请求。在Namenode的统一调度下进行数据块的创建、删除和复制。MapReduce使用主从(Master/Slaver)架构模式，由JobTracker作为MapReduce的Master角色，TaskTracker作为MapReduce的Slaver角色。JobTracker主要负责调度分配每一个子任务(Task)运行于某一个TaskTracker上，如果发现有失败的task就重新分配任务到其他节点。每一个hadoop集群中只有一个JobTracker。一般它运行在HDFS的Master节点上。TaskTracker主动与JobTracker通信，接收作业，并负责执行每一个任务oHive构建于Hadoop的IIDFS和mapred之上，用于管理和查询结构化/非结构化数据的数据仓库。HBase构建于Hadoop的HDFS和mapred之上，用于管理和查询结构化/非结构化数据的数据仓库。该部分的安装需要在Hadoop已经成功安装的基础上，并且要求Hadoop已经正常启动。6.4.4.云计算应用层安装及使用通过前面完成IMS、PAAS平台的部署，现在我们已经了解了架构，以及中间件的部署平台，通过启动实例，部署开发环境，下面我们就可以根据部署的开发环境，开发相应的应用和网络平台。我们将通过部署研发内部的git代码托管仓库，使研发人员能够将项目部署到平台上去，并且可以部署各种网站和应用：应用场景：我们需要将wordpress.博客、电子商务、网盘系统通过源代码部署的方式，基于paas平台实现快速部署安装和使用。实验将提供部分开源网站和web应用，通过演示部署过程，达到快速掌握对SAAS概念的理解和认识。6・4・5・云安全加固和防护在前面四个阶段我们主要讲述了各个架构的体系和部署过程，以及部署相关应用,但是在日常生产中，我们不得不考虑的一个问题就是安全的问题。我们在真正的部署过程中，涉及到的有管理、存储、数据业务传输等操作，如果对这些网络不进行控制，很容易造成安全的问题，也会对网络传输造成很大的压力。所以，我们采用网络隔离的方法对不同用途的网络进行划分。大致分为四类:部署网络、管理网络、业务网络、存储网络。使用这种方式，使数据流走不同的通道，做到安全有效的管理。此外，我们还可以根据不同部门或区域的需要，对网络进行划分，让多台实例运行于一个讥an中，作为一个集群，还可以通过路由进行转换和管理，通过策略进行协议的过滤等操作。在openstack中，我们还可以完成虚实结合的网络拓扑结构进行管理，即虚拟网络和物理设备共同设置完成整个体系的网络管理和控制。

第七章、云计算大数据实验室课程体系实验阶段实验模块实验分类1、云计算基本架构安装和部署阶段openstack基础实验（ALL-IN-ONE平台构建）基础环境准备自动化脚本安装实验openstack中级实验（平台管理与运维）普通用户（项目管理）管理员openstack高级实验（分布式环境构建）基础环境准备阶段MYSQL环境部署RabitMQ消息服务NTP时间同步身份验证服务部署与测试镜像服务模块安装与测试计算服务组件安装与配置及测试网络服务组件的部署云平台web服务环境部署openstak云平台应用开发openstack开发实验（API接口开发）openstack认证API开发实例openstack发送API请求实例openstack命令行客户端openstack开发API手册运用实例2、云计算中间件和环境部署阶段云计算PAAS服务平台（研发环境的搭建和部署）部署PAAS平台在PAAS平台上部署应用在PAAS平台上部署开发环境3、基于分布式文件系统的大数据部大数据分布式处理平台搭建与应用Hadoop、HDFS基础环境构建与管理

署、挖掘和分析Mapreduce分布式处理应用IlBase数据库环境构建与应用HIVE数据仓库管理应用4、云计算应用层安装及使用阶段云计算SAAS服务应用（公司私有云搭建与管理应用）云计算SAAS服务应用云平台搭建与部署云平台管理与应用云平台安全开发应用与维护5、云安全加固和防护阶段云安全技术应用管控网络隔离策略管理虚实结合第八章、云计算大数据实验室方案优势某某云计算大数据实验室设计充分考虑了资源利用率，用户实验环境，实验内容等方面，对系统架构及实验内容进行了大量的测试以及充分的市场调研，选择了城优的产品设计方案，在同类产品中，无论资源的利用率还是实验内容的设计都具有明显优势，具体体现在以下几个方面：&1・Web形式开展实验，实现无所不在的网络访问云计算大数据实验室的实验资源管理平台和学生实验门户均釆用B/S架构设计，所有实验资源包及实验环境均部署于云端，无需在用户在本地部署实验环境。实验用户只需保证网络环境的畅通即可通过Web页面访问系统，启动云端虚拟机进行实验。1） 此种实验模式可以改变现在学生实验受实验机房、实验时间限制的现状，学生实验具有更高的灵活性，自主性；2） 实验资源能够在各个时间点使用，不受实验课程时间的限制，资源得到高效利用；3） 实验资源部署于云端，便于教师进行统一的管理和维护；4） 所有的实验环境均部署于云端，学生实验PC无需安装实验环境，对其配置要求降低。2.基于资源的负载均衡，实现实验资源弹性分配云计算大数据实验室软硬件环境部署采用分散式部署，低耦合模式进行，即每个实验虚拟机资源的操作文件存储于存储服务单元设备内，虚拟机资源启动运行时，系统自动轮询所有计算服务单元设备，选取最优性能节点，为其分配相应的计算资源。1） 系统根据每台虚拟机资源的需求为其分配CPU、内存等资源；2） 系统内置轮询算法，对所有计算服务单元设备的CPU、内存、挂载虚机资源数等进行动态分析，选取最优性能节点进行分配;3）用户断开的虚拟机资源，系统自动将其占用的计算节点资源释放，供其他用户使用，计算节点得到最大化利用。&3.增量存储技术，实现用户实验环境的独立性和延续性云计算大数据实验室采用增量镜像存储模式对实验用户的操作进行存储，保证每位用户具有独立的实验环境，并实现用户实验操作的独立记录保存，以保障实验的跨课时衔接。1） 用户启动虚拟机资源，系统自动为其在对应母本资源基础上建立增量镜像资源进行启动；2） 每个母本资源下针对于不同用户都有其独立增量镜像，每位用户的实验环境独立，实验操作实时保持，支持实验的跨课时衔接；3） 增量镜像保存每个用户区别与母本资源的操作，能够极大的节省存储空间。4.项目驱动式实验设计，培养学生的综合云能力云计算大数据实验室包含的实验内容均以真实项目为背景进行设计，培养学生的职业技能。1） 项目的设计均是来自行业的真实项目需求2） 项目完成过成中所使用到的技术均是云计算的主流技术3） 项目难度循序渐进，逐步加大，利于提高学生的学习兴越&5.资源的开放性及复用性，可支持科研等其他用途云计算大数据实验室具有良好的开放性，支持管理员用户对实验内容、硬件资源池、镜像资源池进行自主添加。系统的设计采用云计算虚拟化技术做底层架构，所有的资源可以进行弹性按需分配。基于系统的开放性及复用性，用户可以利用系统的软硬件资源进行相关科研项目开展以及其他课程的实验环境支持。同时，系统提供的众多项目实训资源也可以为云计算技术的研究提供案例参考。

8.6•完善的课程体系 丰富的教学内容某某云计算大数据实验室的建设，为学校提供了完整的课程体系及相关教材。课程体系全面覆盖云计算、大数据、云安全的相关技术，并提供众多的实验案例。教师和学生可以使用某某云计算大数据平台开展云计算课程的授课。对于云计算大数据的每个实验课，学生都可以使用虚拟实验系统，在虚拟机上完成课程实验。第九章、云计算大数据实验室校企合作通过实验室的建立，学校可以和某某建立校企合作关系，以此增强学校与