能源大数据中心建设方案

大数据实验室建设方案

目录1 概述 31.1 建设背景 31.2 建设现状 32 总体设计 52.1 总体架构 52.2 分步实行方案 62.2.1 一期：实现大数据教学实验入口，建立稳定可靠的大数据实验平台 62.2.2 二期：基于大数据领域的进一步拓展研究 73 具体设计 93.1 一期建设内容 93.1.1 机房装修建议方案 93.1.2 云存储平台 253.1.3 大数据实验平台 303.1.4 桌面虚拟化 1063.1.5 教学云盘 1083.2 二期建设内容 1173.2.1 深度学习平台 1173.2.2 数据立方大数据库 1213.2.3 数据挖掘平台 1273.2.4 数据可视化 1353.2.5 物联网智能硬件服务平台 1404 建设意义 1455 规格配置 147

概述建设背景随着移动互联网、云计算、物联网的快速发展，特别是智能手机端博客、社交网络、位置服务（LBS）等信息发布方式的不断涌现，数据正以前所未有的速度在不断地增长和累积，全球在2023年正式进入ZB时代，根据IDC监测，人类自有史以来所有数据量大约每18个月翻一番，意味着人类在最近18个月产生的数据量相称于之前产生的所有数据量，预计到2023年，全球将总共拥有35ZB的数据量，是2023年的近30倍，大数据时代已经来到。在海量数据面前，大数据人才无疑是其中最关键环节之一，然而，不管国内外，大数据人才却紧缺相称稀缺，在未来5-2023，我国大数据市场规模年均增速将超过30%，而大数据人才缺口将突破150万，目前大数据人才平均月薪达1.5万，在BAT发布的招聘职位中，大数据人才超过60%。我校为顺应新形式的发展，着手建立大数据学院，创建大数据实验室、大数据实验平台，开设大数据教学培训，实现我校教学科研一体化流程，将为我校增长学生就业机会和薪资水平，提高师资水平，逐步培养当今互联网时代IT行业的大数据人才起到至关重要的作用。而大数据学科方向是一门交叉专业方向，与不同专业相结合可以发展成特定方向的专业或研究领域。经济金融学、应用数学、记录学、计算机科学等传统专业方向与大数据学科方向相结合表现出多样化的差异特性，涉及专业研究方向与社会需求岗位在内。除了课堂学习，通过实验来加深理解和提高实际应用操作能力也是重要途径。调查表白，当前大数据涉及到很多内容，如大数据实验、数据分析、数据挖掘、数据可视化等，其中的很多实验，都无法在我校现有的实验室中完毕。因此，我校建设专门的大数据实验室就显得非常重要。建设现状虽然目前我校也意识到开设大数据专业及相关课程，但是在专业课程开设的过程中也碰到了诸多问题，因此，我校着眼于未来，着手从全球的技术重点难点-大数据教学出发，拟打造高校大数据教学的标杆，建设新一代的大数据研究教学基地，建立一套具有高可靠、可在线弹性伸缩，提供数据内在关系和价值的大数据教学平台，目前我校大数据实验平台建设具体现状如下：基础实验环境薄弱，大数据实训开展难目前我校的大数据教学大都卡在了实验环节，缺少相应的基础实验环境，无法为每一个学生都提供一套实验集群，而虚拟化的网络配置与运维又十分复杂，同时大数据分布式软件系统安装、配置难度较大，在实验过程中很容易导致实验环境的破坏，实验数据、实验教案、实验手册缺少，难以开展相关的实验教学。课程体系待完善，大数据教学科研入门难当前我校的大数据专业处在起步阶段，人才培养课程体系缺少系统性，大数据教学资源匮乏，可配置和指导实验环境的专业师资局限性。项目实训缺失，教学效果与就业率打折扣在大数据教学过程中，缺少相应的实训项目，只有理论教育，难以培养实用型人才所需的专业项目能力，存在专业学习与实际应用脱轨的情况，使得教学效果与就业率打折扣。

总体设计总体架构大数据实验室总体架构重要涉及四个层面：（1）基础环境设施建设大数据实验室基础环境建设重要是支撑实验室教学运营的基本环境配套建设，涉及实验室机房装修、综合布线、网络通信、配电UPS、安防监控、实验室空调、学生实验桌椅、教学用投影音响器材等。通过这些基础支撑环境的建设，才干保证大数据实验室的建设提供基础。（2）IT环境配套建设在基础环境搭建完善的基础上，需要建设满足大数据实验平台的配套环境，重要涉及：各类服务器、互换机、路由器、投影仪、终端电脑等。（3）大数据实验平台层建设在满足大数据平台层所需的IT环境配套资源之上，建设存储资源池和计算解决资源池，提供大数据实验平台和深度学习平台，供师生科研教学使用，建立在数据立方大数据库高速运算、秒级解决基础上，数据挖掘分析平台对现有数据进行智能分析，最终通过数据可视化能将数据以更加直观的方式展现出来，使获取的数据更加客观、更具说服力。（4）服务层大数据平台的最终目的是为学校、师生提供服务，因此运用平台搭建可供大量老师、学生完毕大数据科研、教学实验的集成环境，该平台同步提供了配套的培训服务，对于科研教学组件的安装、配置，教材、实验手册等具体应用提供一站式服务，有助于高校更好地满足课程设计、课程上机实验、实习实训、科研训练等多方面需求，并在一定限度上缓解大数据师资局限性的问题。对于各大高校而言，即使没有任何大数据实验基础，该平台也能助其轻松开展大数据的教学、实验与科研。分步实行方案我校大数据实验室建设的各个环节互相关联，在建设的过程中，需要有计划、有环节地实行，以保证各项内容的协调发展；基于xxx股份有限公司在云计算、大数据领域积累的丰富经验并且结合学校的实际需求和业务特点，制定以下合理的分步实行方案。本次方案重要围绕大数据专业课程的开展，搭建大数据实验相关的软硬件平台，分期进行建设。一期：实现大数据教学实验入口，建立稳定可靠的大数据实验平台运用大数据、云计算技术构建统一的大数据实验平台，完善大数据教学课程体系，培养大数据实战型人才。重要建设内容如下：（1）云存储平台提供一套存储资源管理系统，采用分布式的存储机制，将数据分散存储在多台独立的存储服务器上；具有低功耗、超高性价比、高可靠、通用、免维护等优势。（2）大数据实验平台大数据实验平台通过应用容器技术，以少量机器虚拟大量实验集群，可供大量学生同时拥有多套集群进行Hadoop相关实验，而每个学生的实验环境不仅互相隔离，方便高效地完毕实验，并且实验彼此不干扰，即使某个实验环境被破坏，对其别人也没有影响，一键重启就可以拥有一套新集群，大幅度节省了硬件和人员管理的投入成本。同时配套提供大数据实验教材、PPT、视频、操作手册、实验数据等配套资源。（3）教学云盘通过教学云盘为师生构建私有云平台，为用户提供了安全、稳定、高效、性价比高的数据管理服务。（4）桌面虚拟化针对学校平常办公、大数据教学等环境建立一体化桌面虚拟化解决方案，学生师生用户可跨平台、跨终端、跨协议按需弹性配置自己的桌面、应用和数据。具有高可靠、高安全、多兼容、易管理等优势。二期：基于大数据领域的进一步拓展研究在一期大数据实验平台的建设基础上，突出大数据领域的多应用建设，进一步提高学校在大数据专业的核心竞争力和影响力。重要建设内容如下：（1）深度学习平台的建设根据国家和地方社会经济发展需要，结合区域相关产业和行业特点，以我校优势学科和特色专业为基础，重点从图像解决、视频挖掘、生物辨认和人工智能方面的创新实验、实习、实训以及深度学习为重点研究出发进行建设。提供一套涵盖大数据算法、接口、工具、平台等多方面内容，从大数据监测与收集、大数据存储与解决、大数据分析与挖掘直至大数据创新，帮助高校构建完善的大数据课程体系。（2）数据挖掘及可视化分析建立数据立方大数据库，实现EB级的数据可以秒级解决，支持数据仓库存储、数据深度挖掘和商业智能分析等业务。建立数据可视化，将数据的各个属性值以多维数据的形式表达，可以从不同的维度观测数据，从而对数据进行更进一步的观测和分析。（3）物联网智能硬件平台提供一个免费的物联网设备和应用的数据托管平台。学校现有的智能设备可使用多种协议轻松安全地向万物云提交所产生的设备数据，在服务平台上进行存储和解决，并通过数据应用编程接口向各种物联网应用提供可靠的跨平台的数据查询和调用服务。通过使用物联网智能硬件平台所提供的各项服务，学校可以收集、解决和分析互连智能设备生成的数据，在物联网应用中方便地调用这些设备数据，而无需投资，安装和管理任何基础设施，不仅大大减少了项目开发的技术门槛，缩短开发周期，并且研发和营运成本也成倍减少。

具体设计一期建设内容机房装修建议方案系统概述机房环境特点设计的机房参数如下：温度：21℃--25℃，最佳为23℃。相对湿度为45%--65%，最佳为55%。温度的变化率<5℃/h，不得结露。尘埃：机房在静态条件下，粒度≥0.5nm，个数<18000/m3。噪音：计算机停机时，主机房中心位置处<68db。静电电位≤1KV。照度：机房区≥300LX；其他房间≥200LX；应急照明＞5LX。交、直流工作地≤1Ω。设计思绪现代机房通常采用大面积的开敞空间，辅以功能完善的辅助设施，构成宽敞明亮的设备环境，具有工作交流迅捷、信息传递快、工作效率高、易于管理的特点。机房工程是以保证设备运营的安全性、可靠性为重要目的综合性项目，它涉及建筑装修、电气工程、综合布线、安防系统、监控系统、空调系统等几大系统。机房工程的目的：保证计算机设备运营的可靠性；保证机房运营的安全性；延长计算机设备的使用寿命；满足用户的特殊规定；保证场地工作人员的身心健康。我们的工作就是围绕这些主线任务来进行，在设计过程中采用超越的设计思想和先进的技术，并着眼于未来的发展，把各个系统等有机的结合起来，通过采用优质材料、合理的配置和先进的工艺保证环境指标的实现，为计算机设备和工作人员发明一个安全、可靠、宽松、舒适的工作场地。设计规划本次机房工程拟对学校已有的机房（约xx平米）改造，建设成为新的数据机房，重要涉及以下几个分项（可根据实际需要调整）：序号名称位置面积1中心机房约xx平米2监控室约xx平米3会议室约xx平米4办公室约xx平米机房装修（建议）机房吊顶吊顶是机房中重要的组成部分。吊顶上部安装着强电、弱电、线槽和管线，也安装着消防灭火的气体管路及新风系统风管等。在吊顶面层上安装着嵌入式灯具、风口、消防报警探测器、气体灭火喷头等。考虑机房吊顶必须防火、防尘、吸音性能好、无有害气体释放、抗腐蚀不变形、美观和易于拆装等方面。在安装天花之前，将原楼板底清理干净及刷环氧聚氨脂（防尘漆）。吊顶应当具有一定的承载能力，应可以承受住所有安装设备的重量及作为专用空调回风静压箱时的负压影响，并要留有一定的空间。所选用的吊顶板及其构件还应具有质轻、防火（A级）、防潮、吸音、不起尘、不吸尘等特点。架空地板工程在各类计算机房的组建中，活动地板是个很重要的结构件之一，可使机房地板下组建成一个地下空间。在活动地板上可安装各类计算机等设备，而在地板下的空间则可用来敷设联结各设备的电源、网络互联管线、集成监控信号线管等设施。同时可作为精密空调的送风静压风库。通过地板上设立的送风口，运用静压复得法，把冷却空气送至计算机设备，保障计算机的安全运营。活动地板因其具有可拆性，所以对网络的建设、设备的检修及更换都很方便。所有连接电缆都从地板下进入设备，便于设备的布局调整，同时减少了因设备扩充或更新而带来的建筑设施的改造。活动地板高度活动地板可以在活动地板下形成空调送风静压箱。为了获得最佳的通风效果，我们所建议的从机房地板到地面的高度为250mm，这样就可以有充足的通风空间。地板抗震动方面地板的质量和地板的施工保证：1. 地板平整度和尺寸精度高，以保证活动地板的整体抗震性。2. 地板支架应一次冲压成型，避免底座和支腿焊接减少其抗震性。3. 地板与墙面交接处应用柔性接触，采用减震橡胶垫作间隔。设备抗震动方面计算机设备、精密空调、UPS、配电柜等设备，建议采用角钢支架做为底座，角钢支架用地脚镙栓与地面固定，并采用强力减震橡胶垫。活动地板选择活动地板的抗静电技术指标及地板的质量好坏将直接影响到计算机系统的运营安全。在机房的建设中，活动地板的对的应用及使用，可以提高计算机及其微电子设备的运营可靠性和延长设备的使用寿命。地板楼面保温计算机机房的冬季保温、夏季隔热以及防凝露等技术问题是机房设计重要考虑的因素，特别夏季室外温度较高，空气的相对湿度也很高，由于机房内外存在较大的温差，机房的保温解决不妥，会导致机房区域两个相邻界面产生凝露，更重要的是下层天花结构面层的凝露会给相邻部分设施导致损坏而影响工作。同时会使机房区域的精密空调的负荷加大，导致能源的浪费。在冬季，由于机房的温/湿是恒定值，此时相对湿度高于室外，机房的内立面墙及天地平面产生凝露，使机房受潮，导致墙立面及天地平面建筑结构导致损坏，而影响机房的洁净度。由于界面的凝结水蒸发，导致局部区域空气含湿增大，给计算机及微电子设备的元器件和线缆插件导致损坏。因此，为了节约能源，减少日后的运营费用，根据以上分析计算机房相邻界面凝露应按其起因而采用相应的措施来控制平面、立面隔热及热量的散失。对于本方案计算机房的特点，采用在机房专用空调区域内房间的楼面铺设带防水防火的隔热材料来提高楼面的隔热功能。地板下面做保温层既能保持机房的温度恒定，又不至于使下一层楼顶结冷凝水，同时地板的灰尘又不至于被风吹进机器内。机房内墙、柱面机房内墙、柱面装修的目的是为了保证室内环境使用条件，发明一个舒适美观而整洁的环境。在一般的普通装修工程中，内饰面不承担墙体热工功能，但在计算机房装修过程中，当墙体自身热工性能不能满足计算机房环境使用规定期，就得在室内内侧面增长一道保温层来增长墙体的热工性能，避免出现结露现象。此外，机房内窗户由于其缝隙容易渗进灰尘和有害气体而引起计算机的故障。同时透过玻璃进入机房的太阳辐射热将会增长机房的热负荷，并影响机房内的照度控制和对显示设备的观测。在冬天，通过窗户散出的热量较大，并且机房内温度较高，室外温度较低，这样还会在玻璃上结露。因此，为了防止外界的干扰，在能保证诸机房空调和照明的情况下，在机房内不设窗户，而重要采用人工照明。该墙饰板在生产过程中，由于在其表面喷涂了一种有机高分子涂层，使得采用了该墙板装饰过的计算机房不仅增强了机房的防静电、防火性能，更由于这种墙板为高强度优质材料，在计算机房内安装使用后，它能与金属吊顶天花以及金属活动地板金属结构网架，经有效接地解决后，能初步形成一个六面都有屏蔽效果的屏蔽网，增强机房的屏蔽效果。在机房内增强屏蔽性能后，并具有以下特点：防止外界较强的电磁场干扰计算机房内计算机及其它电子信息解决设备；防止计算机房内的计算机及其它电子信息解决设备所产生的信息以电磁波形式泄漏出去，导致机密的丢失。机房防火门的设计门的开起方向要符合消防规定，大小要适于设备运装或人员出入，开门的位置要方便人员出入及设备的摆放，不影响设备操作，占用空间小，防火、防盗、隔音、隔热、美观、实用、经济。机房入口大门设立钢质压纹防火、防盗门，并安装闭门器，增长压纹后，不仅满足防火门规定，同时也更为美观。机房配电及ups系统机房供电为一级负荷，从大楼配电室引双路电源（TN-S系统）至机房UPS室，经互投开关切换后供应机房UPS、空调、照明及辅助插座供电。UPS（UninterruptiblePowerSupply），即不间断电源，是一种储能的装置（常用蓄电池储能），以逆变器为重要组成部分的恒压、恒频电源设备，重要用于给计算机、服务器、计算机网络系统、通信系统或其它电力电子设备提供不间断的电力供应。一种常见的错误概念认为：一般使用的市电除了偶尔发生断电事故之外，通常是连续并且稳定的。其实不然，市电系统作为公共电网，连接着成千上万个各种各样的负载，其中，一些较大的感性、容性、开关电源等负载不仅从电网获取电能，并且还会反过来对电网导致影响，恶化电网（或局部电网）的供电品质，导致市电电压波形畸变或频率漂移。此外，意外的自然或人为事故，如地震、雷击、输变电系统断路或短路都会危害电力的正常供应，从而影响负载的正常工作。根据电力专家的测试，电网中经常发生并且对计算机或精密仪器产生干扰或导致损坏的情况重要有以下几种：电涌、高压尖脉冲、暂态过电压、电压下陷、电线噪声、频率漂移、连续低电压、市电中断等。对计算机来说，其显示器和主机工作都需要正常的电力供应，忽然的非正常断电也许会对计算机硬盘导致损坏，过高的电压也许会导致计算机整流电源烧毁，并且电压尖脉冲和暂态过电压及电源杂波等干扰都也许通过计算机整流器进入主板，影响计算机的正常工作，甚至烧毁主板。总之，供电问题对于计算机工作的影响很大。因此，随着计算机和网络应用的日益重要和广泛，安全可靠的电源已是网络涉及和管理人员不得不认真面对的重要问题。在这种背景下，UPS应运而生，并随着电力电子技术的发展不断推陈出新。本项目需要UPS电源的区域涉及网络中心机房、监控中心机房。网络中心机房的UPS电源保护系统重要为网络设备及服务器主机提供统一的不间断电源供应。监控中心的UPS电源保护系统重要为弱电井设备、安防系统、一卡通系统、楼宇自控系统提供不间断电源供电。根据项目需求，规定在断电后，UPS应满足满负载供电2小时的规定，也为后期增长的设备留有的余量。防雷接地系统为了保护人的安全、供电的可靠性以及计算机设备、电子产品、电气设备等正常准确运营，必须要有良好的接地系统来保证。为保证大楼内计算机设备、电子产品等安全可靠的运营，大楼内应有稳定可靠的接地系统，才干避免因接地系统不可靠而损坏设备及伤害人员的事故发生。本次在每个机房内均设立防雷器及接地装置，每个机房设立一级防雷器1台，二级防雷器2台，三级防雷器2台，插座采用防浪涌插座。敷设田字形紫铜排。整个机房敷设玻化石全钢防静电地板。机房防雷设计由于电子设备雷电防护系统对所保护系统的业务正常运营具有非常重要的作用，因此，雷电防护系统应具有先进性、可靠性、易维护、易升级等方面的突出特性。防雷工程设计及设备的选择应遵从以下的原则：1）可靠性原则设计系统雷电防护工程应最先考虑的问题就是可靠性。防雷保护技术是不断发展变化的，所选产品必须符合国际标准、国家标准及行业标准。这样才干对网络的未来发展提供保证。2）先进性、可扩充性原则采用当今国内、国际上最先进和成熟的技术，使新建立的系统可以最大限度地适应此后技术发展变化和业务发展变化的需要，从目前国内发展来看，系统总体设计的先进性原则重要体现在以下几个方面：采用的系统结构应当是先进的、开放的体系结构；采用的技术应当是可扩充的，能满足此后日益扩充的需要。3）经济实用性原则本着一切从用户实际角度出发，配置防雷保护系统的目的，在保证系统的正常运营下，整个防雷保护的建设要坚持实用为主，根据投资的强度结合实用价值，应尽也许选择可靠性高，可维护性好的性能价格比高的产品，以便节省投资，以最低成本来完毕系统设备雷电防护的建设。防雷保护对象目前，经实际运营经验验证，由电源系统耦合进入的感应雷击导致设备的损坏占雷灾损失60％以上的概率。因此，对电源系统的避雷保护措施是整个防雷工程中必不可少的并且是非常重要的一个环节。1）电源系统第一级保护供电系统采用架空电缆（电缆未穿钢管做屏蔽）将一路市电引入至大楼总配电箱，大楼总配电箱又引出一路出线至机房或所在楼层配电箱，然后通过插排与机房用电设备连接。因机房所在建筑物总配电箱进线路大多从户外架空引入，所以极易遭感应雷击及远端的传导雷击，应加装电涌保护器加以保护，根据《建筑物防雷设计规范》和《建筑物电子信息系统防雷技术规范》的规定，在从室外引来的线路上安装的电源防雷器，其标称放电电流≥80kA（8/20μs）。因此，本方案设计在每个机房所在建筑物的总配电箱进线端各加装一套一级电源防雷模块，以此作为对楼层总电源的一级防护。其技术规定及配置情况如下：（1）安装位置：机房所在建筑物的总配电箱进线端（2）选用产品：三相电源防雷模块（如下图所示）。一级电源防雷模块（3）安装方法：将一级防雷器并联于电源系统中，L1、L2、L3为相线，N为零线，PE为地线，切勿错接。安装完毕后，合上自动断路器开关，检查工作状态是否正常。防雷模块在使用期间，应定期检测并查看故障显示窗口状态，当故障显示窗口呈红色或遥信端子输出报警信号时，表达防雷模块出现故障，应及时维修或更换。（4）一级防雷器设备参数：保护级别B级工作电压Un（V）380V标称放电电流In（KA）40KA(8/20μs)最大放电电流Imax（KA）80KA(8/20μs)电压保护水平Up(V)≤2500V最大连续运营电压Uc（V）385V响应时间（ns）＜20ns漏电流（μA）≤30μA保护模式L-PE、N-PE(4P)劣化指示劣化指示窗工作环境温度：-40℃～+80℃，相对湿度＜95%外壳材料阻燃材料规格尺寸90ⅹ72ⅹ62mm（5）接线示意图：一级防雷模块接线示意图2）电源系统第二级保护虽然在机房所在大楼总配电箱内加装了电源系统第一级电涌保护器，但是机房与总配室距离较远，雷电仍然会在连接总配电室与机房的电缆上产生感应过电压，击坏设备，故根据《建筑物防雷设计规范》的规定，本方案设计在机房或所在楼层配电箱内加装一套二级电源防雷模块，以此作为对机房电源的二级防雷保护。其技术规定及配置情况如下：（1）安装位置：机房配电箱或机房所在楼层配电箱。（2）选用产品：单相电源防雷模块（如下图所示）。二级电源防雷模块图（3）安装方法：将二级防雷器并联于电源系统中，L为相线，N为零线，PE为地线，切勿错接。安装完毕后，合上自动断路器开关，检查工作状态是否正常。防雷模块在使用期间，应定期检测并查看故障显示窗口状态，当故障显示窗口呈红色或遥信端子输出报警信号时，表达防雷模块出现故障，应及时维修或更换。（4）二级防雷器产品参数：保护级别C级工作电压Un（V）220V标称放电电流In（KA）20KA(8/20μs)最大放电电流Imax（KA）40KA(8/20μs)电压保护水平Up(V)≤1800V最大连续运营电压Uc（V）385V响应时间（ns）＜20ns漏电流（μA）≤30μA保护模式劣化指示劣化指示窗工作环境温度：-40℃～+80℃，相对湿度＜95%外壳材料阻燃材料规格尺寸90ⅹ36ⅹ62mm（5）接线示意图：二级电源防雷模块接线示意图3）电源系统第三级保护由于机房内都是一些精密的电子设备，耐冲击电压都比较低，一般在1.5KV以下，为了进一步减少残压，根据国标《建筑物防雷设计规范》的规定，本方案设计在UPS电源后端加装一套三级电源防雷模块，以此作为对信息机房电源的三级防雷保护。其技术规定及配置情况如下：（1）安装位置：UPS电源后端（2）选用产品：单相电源防雷模块（如下图所示）。三级电源防雷模块（3）安装方法：将三级防雷器并联于电源系统中，L为相线，N为零线，PE为地线，切勿错接。安装完毕后，合上自动断路器开关，检查工作状态是否正常。防雷模块在使用期间，应定期检测并查看故障显示窗口状态，当故障显示窗口呈红色或遥信端子输出报警信号时，表达防雷模块出现故障，应及时维修或更换。（4）三级防雷器产品参数：保护级别D级工作电压Un（V）220V标称放电电流In（KA）10KA(8/20μs)最大放电电流Imax（KA）20KA(8/20μs)电压保护水平Up(V)≤1200V最大连续运营电压Uc（V）385V响应时间（ns）＜20ns漏电流（μA）≤30μA保护模式L-PE、N-PE(2P)劣化指示劣化指示窗工作环境温度：-40℃～+80℃，相对湿度＜95%外壳材料阻燃材料规格尺寸90ⅹ36ⅹ62mm（5）接线示意图：三级电源防雷模块接线示意图4）、终端防雷因服务器耐冲击电压比较低，一般在1.5KV以下，根据《建筑物防雷设计规范》）的规定，本方案设计在终端设备前端即各墙壁插座处各加装一套电源防雷插座。其技术规定及配置情况如下：（1）安装位置：终端用电设备前端。（2）选用产品：电源防雷插座（如下图所示）。终端防雷模块（3）安装方法：应用于配电系统为220V电源第四级雷电防护，应用于设备前端，使用方法和一般插排相同。（4）防雷插座技术参数：保护级别D级额定电压Un（V）220V标称放电电流In（KA）10KA(8/20μs)最大放电电流Imax（KA）20KA(8/20μs)电压保护水平Up(KV)≤1.0KV(20KV8/20μs)最大连续运营电压Uc（V）320V电压保护水平（V）≤700V响应时间（ns）＜20ns漏电流（μA）≤20μA最大负载电流（A）13A保护模式L-PE、N-PE接口形式六孔三项工作环境温度：-40℃～+80℃，相对湿度＜95%规格尺寸(长×宽×高)393×67×35mm机房接地接地系统在机房是至关重要的，可以说没有良好的接地系统就没有好的防雷系统。接地系统建设做不好，不仅会引起设备故障，烧毁元器件，严重的还强危害工作人员的生命安全。并且接地系统的接地技术假如解决不妥，还会导致地电位反击。一个良好的接地系统又是计算机设备可靠工作的需要，防干扰的屏蔽系统的问题也要靠良好的接地系统来解决。机房接地系统是消除公共耦合阻抗，以及防止寄生电容耦合的干扰，保护设备和人身安全、减少火灾发生隐患、保证机房设备稳定可靠的运营的重要手段。计算机机房是弱电设备的核心所在地，机房所连接的均为数据解决系统，对电位的变化较为敏感，容易导致设备的损坏及系统运营的不稳定，因此对接地系统有较高规定。根据国家标准《计算机站场地技术规定》的规定，接地系统应涉及计算机系统的直流工作地、交流工作地、安全保护地、防雷保护地这四种。设计将机房各个金属物件（如主机金属外壳，UPS及电池柜金属外壳，金属地板，金属框架，设施管路，电缆桥架,金属吊顶，轻钢龙骨）和系统都进行等电位连接，等电位连接的目的，在于减小防雷的空间内的各金属物件的和系统之间的电位差，必要时，采用电涌（SPD）保护器做等电位连接，加强防电涌保护。机房接地一般应涉及计算机系统的直流工作地、交流工作地、安全保护地、防雷保护地这四种。四种接地宜共用一组接地装置，其接地电阻按其中最小值拟定；若防雷接地单独设立接地装置时，其余三种接地宜共用一组接地装置，其接地电阻不应大于其中最小值，并应按现行国标准《建筑防雷设计规范》规定采用防止反击措施。并且电子计算机系统的接地应采用单点接地并宜采用等电位措施。现行国标推荐计算机机房采用联合接方式，机房联合接地电阻应≤1Ω。我公司建议对大楼地实际测量后再采用相应的措施。假如现在大楼地合格，则直接将机房内的均压设备通过BVR10平方毫米电线接入机房所在楼层汇流排。假如大楼地不合格则重新进行防雷地的建设，措施有两种：一是打接地桩；二是用防雷接地模块或接地极制作高质量防雷地。机房内的接地网有三种接地敷设方法，串联接法、汇集法和并联接法。并联接法的优点在于既有汇集法的逻辑电位参考点一致的优点,又有串联法连接简朴的优点,并且还大大减少了计算机系统的内部噪声和外部干扰。因此计算机的工作接地系统中，机房内部一般采用并联接法。本机房内接地网采用并联接法。在监控机房和网络机房防静电活动地板下设专用均压环接地网，接地铜网采用30mm×3mm铜带连接。并从均压环通过接地引下线接至楼层汇流排，以起到等电位连接作用。机房安防监控为保证机房的安全，防止无关人员进入机房，需要对通讯机房总入口设立感应卡门禁系统，以及独立的视频监控系统。通过门禁管理系统可以实时读取门禁记录的资料。通过发卡器设立卡号、姓名、进出权限，并根据事件记录查看持卡人员的进出情况。本次机房门禁可在一卡通系统中综合考虑。机房空调系统设计本次机房空调设计采用VRV多联机空调一拖五，对整个项目的4个部分整体接入：中心机房采用2台VRV/5P空调，根据流体力学原理考虑到冷热风流向，安装位置如图所示；监控室采用1台VRV/2P空调；会议室采用1台VRV/2P空调；办公室1台VRV/2P空调。根据计算机机房A级建设标准及规范，机房对温度湿度及洁净度的规定如下：机房温度：规定温度在21℃每小时温度变化不能超过5℃。温度过高，半导体内离子的扩散或漂移加剧，会改变半导体的性能，并且会使半导体和机械装置内的腐蚀过程加速。高温亦会使磁介质导磁率发生变化，磁带、磁盘数据发生错误甚至于丢失。机房湿度：机房规定相对湿度在40%至70%之间，湿度过高和过低对计算机会产生下列影响：1. 高温度引起水蒸气附着于元件表面，影响元件电气性能2. 高湿度会影响磁性材料导磁率，导致读/写数据的瞬时错误3. 湿度过大，会使某些机械装置打滑，硬性规定稳定性4. 湿度过大，会使接插及各接触部分氧化生锈，导致接触不良5. 低湿度产生静电，人亦容易带电，以使信息丢失和破坏半导体元件机房洁净度：洁净度是指空气中尘埃，空气中所具有害气体也是机房洁净度指标之一。大气中灰尘呈布朗运动状态，在静止的空气中几乎完全不沉淀或者缓慢沉降。而漂浮在大气中的灰尘粒子很小，约99%的粒子其大小都在1微米以下0.5微米以下的粒子又占大约91%这种粒子对精密机械和接插影响最大。不管计算机机房的结构形式如何，机房内仍存在着大量的灰尘，因素如下：1. 机房不断补充鲜风，通过空调将灰尘带入2. 机房工作人员出入机房带进尘埃3. 机房墙壁、地面、天花或涂层脱落产生灰尘4. 计算机外围设备如打印机等产生的尘屑灰尘的危害有以下几点：1. 对磁盘、磁带等精密机械导致损坏2. 使集成电路和电子元件散热能力减少3. 灰尘容易吸潮，使元件潮湿而腐蚀故机房场地的尘埃粒子应达成B级标准，即每升不超过1000个，而机房场地应远离化学等有害气体污染的地方。从消防角度考虑，上述材料须阻燃或难燃，加装保温棉后，整个机房也增长了隔音能力。机房气体灭火系统机房气体灭火目前常规的做法是先用七氟丙烷灭火系统，也叫FM200来进行保护，它分为有管网和无管网二种型式，即小的机房或独立的保护区我们一般用一个柜式的七氟丙烷灭火装置，也叫七氟丙烷无管网灭火装置来保护；若是区域较大或较多，并且比较分散我们一般会用管网式的组合方式来进行保护，这样可以充足的运用资源，节约成本。对环境无污染，是安全有效的灭火系统。灭火速度快，能在十秒内迅速灭火。对敏感设备无损害。优异性能，是其他灭火系统无法比拟的。经全面的测试，无毒性。灭火时候不用屏住呼吸，气体灭火对人体更安全。节省时间，快速无比，当贵重的财产面临危险，每一秒钟都至关重要。解除隐忧，解决后顾之忧。价格优势，与火灾导致的财产与资料损失相比，气体灭火价值是显而易见的。每个保护区的地板下、室内空间层及吊顶天花内需设立喷嘴、烟感探测器和温感探测器。为了节省投资成本，保护区之间的气体采用共享设计，减少了灭火药剂用量，而烟感探测器和温感探测器则仍然保持警报的功效。所有间隔必须密闭固定，药剂喷放时无泄漏。系统采用组合分派方式，当某个保护区有火情发生时，烟、温两路探头把火警信号传至气体灭火控制盘及控制室，声、光自动报警并按照预定模式自动延时，启动电磁阀及方向阀，使FM-200储气钢瓶喷放气体至发生火情的保护区，也可以手动放气或进行机械紧急启动。气体喷放的延迟时间0-30秒可调，表达系统状态的所有信号都可以传输到本地的气体灭火控制盘或传到消防中央控制室。钢瓶的瓶头阀部位设有安全阀，在超压时可以自动泄压，从而起到保护作用。钢瓶的放气启动头及方向阀均采用24VDC电磁阀控制，由气体灭火控制屏给出放气信号，启动钢瓶。在断电或紧急情况下，可通过钢瓶上的手动启动头施行手动启动。手动及电动启动方式作用在钢瓶的瓶头阀上，而从属钢瓶则用主气瓶的压力通过压力启动头控制启动。系统喷放气体后，连接在管路系统上的喷气压力开关会给出放气返回信号到中心控制室。防护区应以固定的封闭空间划分，防护区内应有疏散信道和出口，保证人员在30秒内能撤离防护区，防护区内的疏散信道和出口，设应急照明与疏散指示标记，防护区内和防护区的人口处装有火灾声、光报警器。灭火系统设自动控制、手动控制和机械应急操作，手动控制装置、手动与自动转换装置设在防护区内和防护区疏散出口边便于操作的地方，机械应急操作装置设在储瓶间内。防护区的门应向外启动，并能自行关闭，疏散出口的门，必须能从防护区内打开，灭火时应保持封闭条件，除泄压口以外的开口以及用于该防护区的通风机和通风管道中的防火阀在喷放FM-200前应做到关闭。故防护区的门可做成装有外开门闭门器或弹簧的门，这样保护区可不设泄压口，而通风机和防火阀的关闭可通过气体灭火控制屏输出接口达成。防护区的围护构件和门的耐火极限不应低于0.5小时。云存储平台云存储简介cStor云存储系统是xxxx技股份有限公司自主研发的高科技产品，是一种软件与硬件相结合的系统，其中专有技术和软件是高附加值部分。与目前国际上知名的云存储技术相比，具有低功耗、超高性价比、高可靠、通用、免维护的优势，可以广泛应用于需要存储大量数据的应用场合，cStor每个标准机架的最高容量可达1024TB以上，是国际最高水平的3倍，拥有成本和运营成本都仅为同类产品的几分之一。cStor系列产品存储机柜云存储架构设计存储资源管理系统采用分布式的存储机制，将数据分散存储在多台独立的存储服务器上。它采用涉及卷管理服务器、元数据管理服务器（MasterServer）、数据存储节点服务器（ChunkServer）和挂接访问客户端以及管理监控中心服务器的结构构成虚拟统一的海量存储空间。在每个服务器节点上运营存储资源管理系统相应的软件服务程序模块，系统架构框图如下：存储资源管理系统架构图其中，MasterServer保存系统的元数据，负责对整个文献系统的管理，MasterServer在逻辑上只有一个，但采用主备双机镜像的方式，保证系统的不间断服务；ChunkServer负责具体的数据存储工作，数据以文献的形式存储在ChunkServer上，ChunkServer的个数可以有多个，它的数目直接决定了存储系统的规模；挂接访问客户端即为服务器对外提供数据存储和访问服务的窗口，通常情况下，客户端可以部署在ChunkServer上，每一个块数据服务器，既可以作为存储服务器同时也可以作为客户端服务器。由一对元数据服务器及其管理的存储服务器节点所提供的存储空间称为一个卷空间，不同的卷空间由卷管理服务器虚拟化统一管理，对外可提供统一的海量存储空间。管理监控中心提供统一易用的WEB配置管理监控平台，提供设备监控、空间监控、文献监控、服务监控、用户认证管理、配额管理、故障告警及预警等功能，实现智能化管理。这种分布式系统最大的好处是有助于存储系统的扩展和实现，在小规模的数据扩展时，只需要添加具体的ChunkServer即可，而不需要添加整套设备。在实现大规模扩展时也可方便地添加整个卷设备。管理监控中心管理监控中心为系统管理员配置和维护cStor云存储资源管理系统的有效工具，充足体现了系统的可维护性。管理监控中心提供帐户管理、设备管理、系统监控、卷管理、告警管理、故障管理等功能。以下为部分系统管理界面。设备管理系统监控告警信息平台优势特性高度可靠存储系统采用云架构，数据被分块存储在不同的存储节点上，数据采用先进的1:1容错机制进行容错，可在任意损坏一个存储服务器节点的情况下实现数据完整可靠，系统对外存储访问服务不间断。云存储的管理节点采用了主备双机镜像热备的高可用机制，在主管理节点出现故障时，备管理节点自动接替主管理节点的工作，成为新的主管理节点，待故障节点修复并重启服务后，它则成为新的备管理节点，保障系统的7×24小时不间断服务。优异性能cStor采用控制流与数据流分离的技术，数据的存储或读取事实上是与各个存储节点上并行读写，这样随着存储节点数目的增多，整个系统的吞吐量和IO性能将呈线性增长。同时，cStor采用负载均衡技术，自动均衡各服务器负载，使得各存储节点的性能调节到最高，实现资源优化配置。无限容量系统容量仅受限于卷管理服务器内存，可支撑的容量接近无限，经推算，理论容量为1024×1024×1024PB(1G个PB容量)。在线伸缩cStor云存储资源管理系统扩容非常方便，支持不断止服务的情况下，动态加入新的存储节点，无需任何操作，即实现扩容；同时，无需人为干预，也可以摘下任意节点，系统自动缩小规模而不丢失数据，存储在此节点上的数据将会重新备份到其他节点上。通用易用cStor云存储系统提供符合POSIX标准的通用文献系统接口，无论是哪种操作系统下的应用程序，都可以不经修改将云存储当成自己的海量磁盘来使用。同时，也提供专用的API接口，供开发人员调用。智能管理提供基于WEB的管理控制平台，所有的管理工作均由cStor管理模块自动完毕，使用人员无需任何专业知识便可以轻松管理整个系统。通过管理平台，可以对cStor中的所有节点实行实时监控，用户通过监控界面可以清楚地了解到每一个节点和磁盘的运营情况；同时也可以实现对文献级别的系统监控，支持损坏文献的查找和修复功能。系统提供用户安全认证及对不同用户进行配额设立与权限管理功能，满足应用的平常维护和安全管理需求。大数据实验平台平台简介大数据实验平台通过应用容器技术，以少量机器虚拟大量实验集群，可供大量学生同时拥有多套集群进行Hadoop相关实验，而每个学生的实验环境不仅互相隔离，方便高效地完毕实验，并且实验彼此不干扰，即使某个实验环境被破坏，对其别人也没有影响，一键重启就可以拥有一套新集群，大幅度节省了硬件和人员管理的投入成本。大数据实验平台秉承“产、学、研、用”一体化的思绪和模式，从教学、实践、科研和使用多方面注重专业人才和特色人才的培养。从理论与实践双管齐下，提高高校信息化管理水平和实验项目研究水平，真正在产业、学校、科研及实践项目中互相配合，发展优势，形成生产、学习、科学研究、实践运用的系统运作模式，从而建设大数据特色专业。大数据实验平台实物图硬件方面大数据实验平台采用cServer机架式服务器，其英特尔®至强®解决器E5产品家族的性能比上一代提高多至80%，并具有更杰出的能源效率。通过英特尔E5家族系列CPU及英特尔服务器组件，可满足扩展I/O灵活度、最大化内存容量、大容量存储和冗余计算等需求。整机一体化交付，系统根据学校的专业人数规模进行不同规格的配置，可进行同时满足30人、60人、150人实验规模的选择。软件层面有Hadoop、HBase、Ambari、HDFS、YARN、MapReduce、ZooKeeper、Spark、Storm、Hive、Pig、Oozie、Mahout、R语言等不同的大数据应用组件供各大高校根据具体应用进行选择实验部署。此外，作为一个可供大量学生完毕大数据与云计算实验的集成环境，大数据实验平台同步提供了配套的培训服务，对于教学组件的安装、配置，教材、实验手册等具体应用提供一站式服务，有助于高校更好地满足课程设计、课程上机实验、实习实训、科研训练等多方面需求，并在一定限度上缓解大数据师资局限性的问题。对于各大高校而言，即使没有任何大数据实验基础，该平台也能助其轻松开展大数据与云计算的教学、实验与科研。架构设计产品架构大数据实验平台架构大数据实验平台从软硬件、客户端及实验配套教材培训等方面考虑，针对大数据专业建设的课程体系不完善、基础实验环境薄弱、缺少实训项目三大难题，为各大高校量身定制的大数据软硬件一体化的教学科研解决方案。大数据实验平台整体设计是基于Docker容器集群技术搭建的Hadoop实验平台，并针对大数据实验的需求提供了完善的使用环境，可一键发明随时运营的实验环境，其中采用Mesos+ZooKeeper+Mrathon架构管理Docker集群，Docker平台架构如下图所示：Docker容器设计架构其中，Mesos是Apache下的开源分布式资源管理框架，它被称为是分布式系统的内核；ZooKeeper用来做主节点的容错和数据同步；Marathon则是一个Mesos框架，为部署提供RESTAPI服务，实现服务发现等功能。实验时，系统预先针对大数据实验内容构建一系列基于CentOS7的特定容器镜像，通过Docker在集群主机内构建容器，充足运用容器资源运用率高的特点，为每个使用平台的用户开辟属于自己完全隔离的Hadoop实验环境。容器内部，用户完全可以像使用linux操作系统同样的使用容器，并且不会被其他用户的集群导致任何影响，仅仅使用几台机器，就也许虚拟出可以支持几十个甚至上百个用户同时使用的隔离集群环境。Docker容器技术大数据实验平台最核心的部分采用Docker容器技术，Docker是一个开源的应用容器引擎，可以让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，互相之间不会有任何接口。大数据实验平台通过Docker在容器内部快速自动化部署应用，并通过内核虚拟化技术来提供容器的资源隔离与安全保障等，以此来为大量的学生虚拟发明出多个互相隔离的实验环境，及时实验环境破坏也不影响其别人的使用。同时由于Docker通过操作系统层的虚拟化实现隔离，所以Docker容器在运营时，不需要类似虚拟机（VM）额外的操作系统开销，提高资源运用率，并且提高诸如IO等方面的性能，使得大数据实验平台可以通过少量服务器即可构建出供大量学生进行实验的实验环境。Docker平台架构Docker平台架构图如下：Docker使用客户端-服务器(client-server)架构模式，Docker客户端会与Docker守护进程进行通信。Docker守护进程会解决复杂繁重的任务，例如建立、运营、发布Docker容器。Docker客户端和守护进程可以运营在同一个系统上，当然也可以使用Docker客户端去连接一个远程的Docker守护进程。Docker客户端和守护进程之间通过socket或者RESTfulAPI进行通信。如下图所示：Docker守护进程Docker守护进程运营在一台主机上，用户并不直接和守护进程进行交互，而是通过Docker客户端间接和其通信，历来带来安全性和隔离性。Docker客户端Docker客户端，事实上是docker的二进制程序，是重要的用户与Docker交互方式。它接受用户指令并且与背后的Docker守护进程通信，如此来回往复。Docker内部Docker内部分为三大部件：Docker镜像(Dockerimages)、Docker仓库(Dockerregisteries)、Docker容器(Dockercontainers)。Docker镜像是一个只读的模板，镜像是用来创建容器，Docker提供了简朴的放来来建立新的镜像或者升级现有的镜像一个镜像可以包含一个运营在Apache上的Web应用和其使用的Ubuntu操作系统。Docker仓库用来保存镜像，可以理解为代码控制中的代码仓库，分为公有和私有两种，提供了庞大的镜像集合供使用，这些镜像可以是自己发明的也可以在别人的镜像基础上进行发明。Docker容器和文献夹很类似，一个Docker容器包含了所有的某个应用运营所需要的环境。每一个Docker容器都是从Docker镜像创建的。Docker容器可以运营、开始、停止、移动和删除。每一个Docker容器都是独立和安全的应用平台，Docker容器是Docker的运营部分。工作模式构建镜像DockerImage是一个构建容器的只读模板，它包含了容器启动所需的所有信息，涉及运营哪些进程和配置数据。所有的镜像都会基于一个基本镜像构建，紧接着会根据Dockerfile中的指令创建模板，对于每个指令，在镜像上创建一个新的层。运营容器运营容器源于我们在第一步中创建的镜像。当一个容器被启动后，一个读写层会被添加到镜像的顶层；当分派合适的网络和IP地址后，最应用程序就可以在容器中运营了。网络环境的搭建Docker的原生态网络通信是通过NAT和Dockerproxy来实现的；运用端口映射和修改宿主机的iptables规则实现了不同容器间、容器与外界的互相访问。然而，这样的NAT方式（SNAT和DNAT）不仅影响效率，同时还使得容器内所看的自己的IP地址和外部所见的该容器IP地址不一致，阻碍了很多集群化功能的实现（如Redis集群、ElasticSearch集群的自动组播发现需要基于默认端口规则），使得一些现有的工具无法正常工作。例如，在一些自动服务注册和发现的应用中，容器中的应用在进行自动注册时只能看到自己内部的IP并将此IP注册，但是其他外部的模块却无法通过此IP来访问该容器应用。然而，大数据系统由于数据量大、计算量大的特性，必然需要由多个主机组成的一个集群来完毕计算分析任务。因此，基于Docker来搭建一个大数据分析系统的必要前提就是保证多个Docker的跨主机通信可以畅通无阻、保持高效。为了解决Docker原生态网络通信的上述问题，在云计算生态圈里涌现了一些优秀的分布式Docker网络配置和管理工具，如flannel、weave、socketplane等，其总体思想是基于物理网络在容器间构造一个overlay网络。从Docker的1.9版本开始，Docker的网络部分自成一块（libnetwork），并支持复杂的Overlay模式。Overlay网络的总体思想是对原生态的网络数据包进行封装，这里又可分为在用户层进行封装（如weave、flannel）和在内核层进行封装（如sockplane）。下面分别以flannel为例稍做讲解。Flannel的Overlay设计—镜像构建Flannel在每个节点（主机）上运营一个守护进程（flanneld）。这个守护进程负责为每一个节点分派一个子网段。该分派信息存储在etcd中（一种分布式存储方案）。同时，每个节点上的Dockerdaemon会从该子网段中为主机上运营的容器分派一个IP地址，如图12-3所示。因此，在容器中的应用所看到的IP地址和外部所看到的该容器的IP地址是一致的。在转发报文时，Flannel支持不同的后端策略，例如，主机网管模式、UDP模式等。以UDP模式为例，flannel形成了一个Overlay网络，通过TUN设备对每个IPfragment进行UDP包头封装，流程如图12-3所示。容器Overlay网络系统设计原理—容器运营介绍了Flannel工具后，我们透过现象看本质，讨论下设计一个Overlay网络系统的原理和要点。Flannel的Overlay网络实现模式ARP：在经典的物理网络中，当一个主机S访问另一个主机D的时候，S发出的第一个报文就是一个ARP请求的广播报文，互换机会在同一个子网内广播这个报文给所有的子网内节点。假如D在同一个子网内，它会接受到这个请求并将做出回复，使得S和D可以后续进行通信。在容器环境下，可以如实地把报文广播出去，并通过spanningtree等算法来避免广播回路。此外，还可以通过IP组播的功能来解决ARP请求和响应。最后，还可以基于SDN对全局的网络拓扑信息的把握，通过SDN控制器来实现ARP协议。IP层互通：在解决了二层网络的通信问题后，还需要解决的就是容器与容器之间、容器与外网的互通。对于容器内的应用可以访问容器外的外网，一般可以采用NAT方式，使得容器最终使用物理宿主机的网关。为了保证容器可以对外提供服务，可以采用类似Docker的端口映射方式实现DNAT，并通过将容器连接到负载均衡设备从而对外提供服务。Docker容器优势运营速度快系统运营时的性能可以获取极大提高，其管理操作（启动，停止，开始，重启等等）都是以秒或毫秒为单位的，可以在一瞬间创建随时运营的实验环境。部署简朴将应用和系统“容器化”，不添加额外的操作系统，和虚拟机同样部署非常简朴，支持一键发明和销毁实验集群，同时实验环境互不干扰，假如实验环境破坏，一键重启即可建立新集群安全隔离采用Mesos+ZooKeeper+Mrathon架构管理集群，实验集群完全隔离。轻量拥有足够的“操作系统”，仅需添加或减小镜像即可。在几台服务器上就可以虚拟出大量的实验环境，供上百师生进行教学实验工作。成本低以容器化应用作为交付的标准，立足于云，为开发者和公司提供了一个快速构建、集成、部署、运营容器化应用的平台，帮助高校和公司提高应用开发的迭代效率，简化运维环节，减少运维成本。云支持可认为不计其数的云服务提供创建和管理Linux容器框架。Hadoop实验平台Hadoop架构Hadoop可以在大数据解决应用中广泛应用，得益于其自身在数据提取、变形和加载(ETL)方面上的天然优势。Hadoop的分布式架构，将大数据解决引擎尽也许的靠近存储，对例如像ETL这样的批解决操作相对合适，由于类似这样操作的批解决结果可以直接走向存储。Hadoop的MapReduce功能实现了将单个任务打坏，并将碎片任务(Map)发送到多个节点上，之后再以单个数据集的形式加载(Reduce)到数据仓库里。Hadoop架构图通过上图我们可以看出，Hadoop由许多元素构成。其最底部是HadoopDistributedFileSystem（HDFS），它存储Hadoop集群中所有存储节点上的文献。HDFS（对于本文）的上一层是MapReduce引擎，该引擎由JobTrackers和TaskTrackers组成。通过对Hadoop分布式计算平台最核心的分布式文献系统HDFS、MapReduce解决过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。Hadoop关键技术下面我们将从HDFS、MapReduce、HBase三大部分具体介绍Hadoop的关键指数：HDFSHDFS架构图对外部客户机而言，HDFS就像一个传统的分级文献系统。可以创建、删除、移动或重命名文献，等等。但是HDFS的架构是基于一组特定的节点构建的（参见图1），这是由它自身的特点决定的。这些节点涉及NameNode（仅一个），它在HDFS内部提供元数据服务；DataNode，它为HDFS提供存储块。由于仅存在一个NameNode，因此这是HDFS的一个缺陷（单点失败）。存储在HDFS中的文献被提成块，然后将这些块复制到多个计算机中（DataNode）。这与传统的RAID架构大不相同。块的大小（通常为64MB）和复制的块数量在创建文献时由客户机决定。NameNode可以控制所有文献操作。HDFS内部的所有通信都基于标准的TCP/IP协议。MapReduceMapReduce架构图MapReduce重要功能如下：数据划分和计算任务调度系统自动将一个作业（Job）待解决的大数据划分为很多个数据块，每个数据块相应于一个计算任务（Task），并自动调度计算节点来解决相应的数据块。作业和任务调度功能重要负责分派和调度计算节点（Map节点或Reduce节点），同时负责监控这些节点的执行状态，并负责Map节点执行的同步控制。数据/代码互定位为了减少数据通信，一个基本原则是本地化数据解决，即一个计算节点尽也许解决其本地磁盘上所分布存储的数据，这实现了代码向数据的迁移；当无法进行这种本地化数据解决时，再寻找其他可用节点并将数据从网络上传送给该节点（数据向代码迁移），但将尽也许从数据所在的本地机架上寻找可用节点以减少通信延迟。系统优化为了减少数据通信开销，中间结果数据进入Reduce节点前会进行一定的合并解决；一个Reduce节点所解决的数据也许会来自多个Map节点，为了避免Reduce计算阶段发生数据相关性，Map节点输出的中间结果需使用一定的策略进行适当的划分解决，保证相关性数据发送到同一个Reduce节点；此外，系统还进行一些计算性能优化解决，如对最慢的计算任务采用多备份执行、选最快完毕者作为结果。犯错检测和恢复以低端商用服务器构成的大规模MapReduce计算集群中，节点硬件（主机、磁盘、内存等）犯错和软件犯错是常态，因此MapReduce需要能检测并隔离犯错节点，并调度分派新的节点接管犯错节点的计算任务。同时，系统还将维护数据存储的可靠性，用多备份冗余存储机制提高数据存储的可靠性，并能及时检测和恢复犯错的数据。HBaseHBace架构图HBase即HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，运用HBase技术可在便宜PCServer上搭建起大规模结构化存储集群。上图描述HadoopEcoSystem中的各层系统。其中,HBase位于结构化存储层，HadoopHDFS为HBase提供了高可靠性的底层存储支持，HadoopMapReduce为HBase提供了高性能的计算能力，Zookeeper为HBase提供了稳定服务和failover机制。此外，Pig和Hive还为HBase提供了高层语言支持，使得在HBase上进行数据记录解决变的非常简朴。Sqoop则为HBase提供了方便的RDBMS数据导入功能，使得传统数据库数据向HBase中迁移变的非常方便。Hadoop优势Hadoop是一个可以让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运营解决海量数据的应用程序。它重要有以下几个优点：高可靠性：按位存储和解决数据的能力值得人们信赖。高扩展性：在可用的计算机集簇间分派数据并完毕计算任务的，这些集簇可以方便地扩展到数以千计的节点中。高效性：可以在节点之间动态地移动数据，并保证各个节点的动态平衡，因此解决速度非常快。高容错性：可以自动保存数据的多个副本，并且可以自动将失败的任务重新分派。低成本：与一体机、商用数据仓库以及QlikView、YonghongZ-Suite等数据集市相比，Hadoop是开源的，项目的软件成本因此会大大减少。重要功能介绍登录界面大数据实验平台登录首页，输入大数据实验平台访问地址，输入相应账号与密码，点击登录即可。账号管理系统管理员和教师角色登录后，可以看到用户账户管理界面。系统管理员用户可以在该界面中查看或修改所有的教师和学生用户信息，并可以注册或销毁教师或学生用户账户；教师用户可以在该界面中查看或修改自己建立的所有学生用户信息，并可以注册或销毁自己的学生用户账户。实验管理此处的集群管理包含“开始实验”和“终止实验”，由于xxxxx据实验平台采用“Docker”技术，因此可以在几乎不占用系统资源情况下，实现大量机器快速创建与销毁，不必紧张资源消耗高、启动销毁慢、管理维护难等问题。（1）开始实验当需要开始实验时，直接点击实验界面相应实验面板上的启动按钮即可，后台会快速为用户新建五台可以支撑该实验的预装CentOS7操作系统的机器，并配置好各自的主机名和IP地址等。（2）终止实验若实验过程中，由于命令敲错等各种因素导致集群无法使用，可在实验页面中随时终止您的实验进程，销毁失效的集群，之后再重新启动该实验，创建新的集群。资源管理系统具有资源监控管理功能，可实时展示系统内的集群使用情况、人数上限和当前使用量情况，通过对实验平台状态的监控，以实现对资源的不断优化。学习资料大数据实验平台提供实验所需的学习资料，学生在做实验的同时可查看和下载每个实验环节的操作手册及大数据教材配套PPT。我的报告学生通过我的报告查看自己所做的每个实验过程及最终得分。相关下载大数据实验平台的相关下载界面提供了实验所需的软件及插件的下载，为避免软件版本不同导致实验环境配置错误，请尽量下载和使用此处指定的软件版本与插件。配套资源作为一个可供大量学生完毕大数据与云计算实验的集成环境，该平台同步提供了配套的培训服务，对于教学组件的安装、配置，教材、实验手册等具体应用提供一站式服务，有助于高校更好地满足课程设计、课程上机实验、实习实训、科研训练等多方面需求，并在一定限度上缓解大数据师资局限性的问题。对于各大高校而言，即使没有任何大数据实验基础，该平台也能助其轻松开展大数据与云计算的教学、实验与科研。具体资源如下：内容充实的课程体系在《实战Hadoop2.0——从云计算到大数据》和实验手册的指导之下，大数据实验平台解决方案涵盖大数据算法、接口、工具、平台等多方面内容，从大数据监测与收集、大数据存储与解决、大数据分析与挖掘直至大数据创新，帮助高校构建完善的大数据课程体系。课程体系多元化的大数据资源包大数据系列教材《实战Hadoop2.0》：国内第一本Hadoop编程书籍的升级版——《实战Hadoop2.0》及其配套PPT（国内知名云计算专家、中国信息协会大数据分会副会长刘鹏倾力打造）实战Hadoop2.0在此之前，刘鹏专家带领编著团队，相继出版了《云计算》、《大数据》（《云计算》已经被全国高校采用，其被引用量排名全国计算机图书第一名），并在教材之外，辅助提供相应的教学计划、课件、实验规划等。同时，xxxx数据团队联合全国各高校老师，为本科和高职院校分别准备了《大数据可视化》、《深度学习》、《数据挖掘》、《虚拟化与容器》以及《R语言》、《大数据基础》、《大数据实践》、《大数据系统运维》、《数据清洗》、《数据挖掘基础》、《云计算基础》两个系列教材，目前已经陆续进入定稿出版阶段。综合85个大数据实验的实验手册及配套高清视频课程：涵盖原理验证、综合应用、自主设计及创新的多层次实验内容，每个实验呈现具体的实验目的、实验内容、实验原理和实验流程指导，配套相应的实验数据和高清视频课程，参照手册即可轻松完毕每个实验。实验手册大纲网站资源：国内专业领域排名第一的网站——中国大数据、中国云计算、中国存储、中国物联网、中国智慧城市等提供全线支持，一网打尽各类优质资源。实验数据提供基于大数据实验需求，与大数据实验平台配套提供的尚有各种实验数据，其中不仅包含共用的公有数据，每一套大数据组件也有自己的实验数据，种类丰富，应用性强。实验数据将做打包解决，不同的实验将搭配不同的数据与实验工具，解决实验数据短缺的困扰，在实验环境与实验手册的基础上，做到有设备就能实验，有数据就会实验。专业培训培训简介众所周知，大数据迎来黄金发展期，面对百万级的大数据人才缺口，大数据专业建设早已提上日程。然而，大数据专业的人才培养计划、课程体系直至师资力量等还处在试错阶段，各高校老师对于相关专业的开展仍然处在茫然状态。为此，xx大数据提供以理论+实战的培训形式，为各大高校提供师资力量培训。xxx大数据提供的大数据专业师资力量培训由金陵科技学院与江苏省云计算论坛共同主办，英特尔（中国）公司与电子工业出版社协办，培训由清华大学博士、中国信息协会大数据分会副会长刘鹏专家倾情授课，致力于用高效的办法，在几天内为各大高校免费培养一大批大数据师资力量，帮助全国教师对大数据跨过从理论到实践、从知道到用过的门槛。往期培训介绍曹骝博士深度学习培训平台优势特性沙箱机制xx数据实验平台采用Docker容器技术，容器之间采用沙箱机制，互相之间没有任何接口，因此通过大数据实验平台发明出的实验环境是互相隔离的，即使由于部分学生的误操作导致实验环境被破坏，也不会影响到其他同学的实验，一键重启就可以拥有新的集群。Docker统一平台示意图快速部署xx大数据实验平台可快速部署实验环境，支持一键创建和销毁实验集群，可在一瞬间创建出供大量学生同时实验的实验环境，同时实验环境可快速销毁和重建，可供老师简朴便捷的进行大数据实验和教学工作，无需花大量时间进行每个学生的实验环境部署工作，大幅度的节省人员管理维护成本。一键创建和销毁实验集群多机实验环境系统采用分布式集群架构，多节点冗余架构设计，可面向大数据的分布式系统，为每个学生提供多机实验环境，整个系统理论支持用户数量无上限，可为每个学生分派5套实验虚拟集群，可满足大量学生同时进行多个实验，并进行各实验的互相对比学习。资源最大化运用大数据实验平台通过对Docker容器技术的深度应用，可将服务器资源的运用率发挥到最大，通过几台服务器便可构建出可供上百学生同时实验的实验平台，大幅度的节省了硬件投入成本。快速高效易扩展大数据实验平台采用分布式架构，支持性能横向扩展，只需增长节点服务器即可实现同时上机人数的扩容，同时也可以通过减少节点服务来减少同时上机人数，以实现设备的最高效运用。低运维成本xx数据实验平台可实现大数据实验集群的秒级创建、销毁，学生在校期间可独享自己的多个大数据集群；实验环境损坏只需销毁重建即可，无需专人维护，大数据实验平台只需几台服务就可以构建，设备运维成本很低。教学体系完善xxx数据实验平台不仅提供可供上百学生同时实验的教学平台，还提供了国内第一本Hadoop编程书籍的升级版——《实战Hadoop2.0》及其配套PPT（国内知名云计算专家、中国信息协会大数据分会副会长刘鹏倾力打造），以及实验相关的实验手册，同时可提供实验所需的大数据资源和公司实训项目，帮助高校打造完善的大数据教学体系。重要实验介绍快速搭建大数据实验环境大数据实验平台采用Docker容器技术，通过少量机器虚拟出成百上千的Hadoop、HBase、Spark、Storm、HDFS等实验集群，可快速同时为每个学生提供多套集群进行实验，搭建可供大量学生完毕所有大数据实验的集成环境。例如，60个学生同时在线做大数据实验，只需要小规模机器（11台）就可以同时为每个学生提供至少5套集群，每个学生的实验环境不仅互相隔离、彼此互不干扰，即使某个学生的实验环境出现问题，对其别人也没有影响，只需要重启就可以重新拥有一套新集群。因此在我校中心机房部署的大数据实验平台可以快速给全校各个院系的学生进行大数据的实验，同时各学科数据还可根据自己的需要导入实验数据进行实验、分析，大数据实验平台同时可提供外网地址，可提供校外机构使用，满足全校师生的教学需求。HDFS部署实验HDFS是一种可在通用硬件上运营的分布式文献系统，具有高容错性和支持便宜部署等特点，非常适合大规模数据集上的应用，是大数据实验非常重要的一环。通过HDFS部署的实验可以让学生了解和熟悉HDFS，从而实现以下几点目的:理解HDFS存在的因素理解HDFS体系架构理解master/slave架构理解为什么配置文献里只需指定主服务、无需指定从服务理解为什么需要客户端节点学会逐个启动HDFS和统一启动HDFS学会在HDFS存储器里新建文献夹，新建文献HDFS相关的实验如下图所示：HDFS实验过程YARN部署实验ApacheHadoopYARN（YetAnotherResourceNegotiator，另一种资源协调者）是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在运用率、资源统一管理和数据共享等方面带来了巨大好处。YARN部署实验，重要分为配置YARN配置文献、统一启动YRAN、验证YARN启动成功和提交简朴的任务。通过实验可让学生学会如何搭建YARN分布式集群，并可以使用YARN集群提交一些简朴的任务，理解YARN作为Hadoop生态中的资源管理器的意义。YARN部署实验过程如下图所示：YARN启动任务提交实验终端过程显示MapReduce实验MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的重要思想，都是从函数式编程语言里借来的，尚有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运营在分布式系统上。当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。MapReduce实验重要分为单词计数、二次排序、计数器、join操作和分布式缓存5个实验，具体如下：单词计数实验通过实验可实现以下目的：理解MapReduce编程思想会编写MapReduce版本WordCount会执行该程序自行分析执行过程本实验重要分为，确认前期准备，编写MapReduce程序，打包提交代码。查看运营结果这几个环节，具体如下：启动Hadoop执行命令启动前面实验部署好的Hadoop系统。[root@master~]#cd/usr/cstor/hadoop/[root@masterhadoop]#sbin/start-all.sh验证HDFS上目前没有生成wordcount的文献夹[root@client~]#cd/usr/local/hadoop/[root@clienthadoop]#bin/hadoopfs-ls/#查看HDFS上根目录文献/此时HDFS上应当是没有wordcount文献夹。上传数据文献到HDFS[root@client~]#cd/usr/local/hadoop/[root@clienth