大数据实验室建设项目详细设计方案

大数据实验室建设项目详细设计方案一期建设内容机房装修建议方案系统概述机房环境特点设计的机房参数如下：温度：21℃--25℃，最佳为23℃。相对湿度为45%--65%，最佳为55%。温度的变化率<5℃/h，不得结露。尘埃：机房在静态条件下，粒度≥0.5nm，个数<18000/m3。噪音：计算机停机时，主机房中心位置处<68db。静电电位≤1KV。照度：机房区≥300LX；其他房间≥200LX；应急照明＞5LX。交、直流工作地≤1Ω。设计思路现代机房通常采用大面积的开敞空间，辅以功能完善的辅助设施，构成宽敞明亮的设备环境，具有工作交流迅捷、信息传递快、工作效率高、易于管理的特点。机房工程是以保证设备运行的安全性、可靠性为主要目的综合性项目，它包括建筑装修、电气工程、综合布线、安防系统、监控系统、空调系统等几大系统。机房工程的目标：保证计算机设备运行的可靠性；保证机房运行的安全性；延长计算机设备的使用寿命；满足用户的特殊要求；保证场地工作人员的身心健康。我们的工作就是围绕这些根本任务来进行，在设计过程中采用超越的设计思想和先进的技术，并着眼于未来的发展，把各个系统等有机的结合起来，通过采用优质材料、合理的配置和先进的工艺确保环境指标的实现，为计算机设备和工作人员创造一个安全、可靠、宽松、舒适的工作场地。设计规划本次机房工程拟对学校已有的机房（约xx平米）改造，建设成为新的数据机房，主要涉及以下几个分项（可根据实际需要调整）：序号名称位置面积1中心机房约xx平米2监控室约xx平米3会议室约xx平米4办公室约xx平米机房装修（建议）机房吊顶吊顶是机房中重要的组成部分。吊顶上部安装着强电、弱电、线槽和管线，也安装着消防灭火的气体管路及新风系统风管等。在吊顶面层上安装着嵌入式灯具、风口、消防报警探测器、气体灭火喷头等。考虑机房吊顶必须防火、防尘、吸音性能好、无有害气体释放、抗腐蚀不变形、美观和易于拆装等方面。在安装天花之前，将原楼板底清理干净及刷环氧聚氨脂（防尘漆）。吊顶应该具有一定的承载能力，应能够承受住全部安装设备的重量及作为专用空调回风静压箱时的负压影响，并要留有一定的空间。所选用的吊顶板及其构件还应具有质轻、防火（A级）、防潮、吸音、不起尘、不吸尘等特点。架空地板工程在各类计算机房的组建中，活动地板是个很重要的结构件之一，可使机房地板下组建成一个地下空间。在活动地板上可安装各类计算机等设备，而在地板下的空间则可用来敷设联结各设备的电源、网络互联管线、集成监控信号线管等设施。同时可作为精密空调的送风静压风库。通过地板上设置的送风口，利用静压复得法，把冷却空气送至计算机设备，保障计算机的安全运行。活动地板因其具有可拆性，所以对网络的建设、设备的检修及更换都很方便。所有连接电缆都从地板下进入设备，便于设备的布局调整，同时减少了因设备扩充或更新而带来的建筑设施的改造。活动地板高度活动地板可以在活动地板下形成空调送风静压箱。为了获得最佳的通风效果，我们所建议的从机房地板到地面的高度为250mm，这样就可以有充足的通风空间。地板抗震动方面地板的质量和地板的施工保证：1. 地板平整度和尺寸精度高，以保证活动地板的整体抗震性。2. 地板支架应一次冲压成型，避免底座和支腿焊接降低其抗震性。3. 地板与墙面交接处应用柔性接触，采用减震橡胶垫作间隔。设备抗震动方面计算机设备、精密空调、UPS、配电柜等设备，建议采用角钢支架做为底座，角钢支架用地脚镙栓与地面固定，并采用强力减震橡胶垫。活动地板选择活动地板的抗静电技术指标及地板的质量好坏将直接影响到计算机系统的运行安全。在机房的建设中，活动地板的正确应用及使用，可以提高计算机及其微电子设备的运行可靠性和延长设备的使用寿命。地板楼面保温计算机机房的冬季保温、夏季隔热以及防凝露等技术问题是机房设计重要考虑的因素，尤其夏季室外温度较高，空气的相对湿度也很高，由于机房内外存在较大的温差，机房的保温处理不当，会造成机房区域两个相邻界面产生凝露，更重要的是下层天花结构面层的凝露会给相邻部分设施造成损坏而影响工作。同时会使机房区域的精密空调的负荷加大，造成能源的浪费。在冬季，由于机房的温/湿是恒定值，此时相对湿度高于室外，机房的内立面墙及天地平面产生凝露，使机房受潮，造成墙立面及天地平面建筑结构造成损坏，而影响机房的洁净度。由于界面的凝结水蒸发，造成局部区域空气含湿增大，给计算机及微电子设备的元器件和线缆插件造成损坏。因此，为了节约能源，减少日后的运行费用，根据以上分析计算机房相邻界面凝露应按其起因而采取相应的措施来控制平面、立面隔热及热量的散失。对于本方案计算机房的特点，采用在机房专用空调区域内房间的楼面铺设带防水防火的隔热材料来提高楼面的隔热功能。地板下面做保温层既能保持机房的温度恒定，又不至于使下一层楼顶结冷凝水，同时地板的灰尘又不至于被风吹进机器内。机房内墙、柱面机房内墙、柱面装修的目的是为了保证室内环境使用条件，创造一个舒适美观而整洁的环境。在一般的普通装修工程中，内饰面不承担墙体热工功能，但在计算机房装修过程中，当墙体本身热工性能不能满足计算机房环境使用要求时，就得在室内内侧面增加一道保温层来增加墙体的热工性能，避免出现结露现象。另外，机房内窗户由于其缝隙容易渗进灰尘和有害气体而引起计算机的故障。同时透过玻璃进入机房的太阳辐射热将会增加机房的热负荷，并影响机房内的照度控制和对显示设备的观测。在冬天，通过窗户散出的热量较大，而且机房内温度较高，室外温度较低，这样还会在玻璃上结露。因此，为了防止外界的干扰，在能确保诸机房空调和照明的情况下，在机房内不设窗户，而主要采用人工照明。该墙饰板在生产过程中，由于在其表面喷涂了一种有机高分子涂层，使得采用了该墙板装饰过的计算机房不但增强了机房的防静电、防火性能，更由于这种墙板为高强度优质材料，在计算机房内安装使用后，它能与金属吊顶天花以及金属活动地板金属结构网架，经有效接地处理后，能初步形成一个六面都有屏蔽效果的屏蔽网，增强机房的屏蔽效果。在机房内增强屏蔽性能后，并具有以下特点：防止外界较强的电磁场干扰计算机房内计算机及其它电子信息处理设备；防止计算机房内的计算机及其它电子信息处理设备所产生的信息以电磁波形式泄漏出去，造成机密的丢失。机房防火门的设计门的开起方向要符合消防要求，大小要适于设备运装或人员出入，开门的位置要方便人员出入及设备的摆放，不影响设备操作，占用空间小，防火、防盗、隔音、隔热、美观、实用、经济。机房入口大门设置钢质压纹防火、防盗门，并安装闭门器，增加压纹后，不仅满足防火门要求，同时也更为美观。机房配电及ups系统机房供电为一级负荷，从大楼配电室引双路电源（TN-S系统）至机房UPS室，经互投开关切换后供给机房UPS、空调、照明及辅助插座供电。UPS（UninterruptiblePowerSupply），即不间断电源，是一种储能的装置（常用蓄电池储能），以逆变器为主要组成部分的恒压、恒频电源设备，主要用于给计算机、服务器、计算机网络系统、通信系统或其它电力电子设备提供不间断的电力供应。一种常见的错误概念认为：一般使用的市电除了偶尔发生断电事故之外，通常是连续而且稳定的。其实不然，市电系统作为公共电网，连接着成千上万个各种各样的负载，其中，一些较大的感性、容性、开关电源等负载不仅从电网获取电能，而且还会反过来对电网造成影响，恶化电网（或局部电网）的供电品质，造成市电电压波形畸变或频率漂移。另外，意外的自然或人为事故，如地震、雷击、输变电系统断路或短路都会危害电力的正常供应，从而影响负载的正常工作。根据电力专家的测试，电网中经常发生并且对计算机或精密仪器产生干扰或造成损坏的情况主要有以下几种：电涌、高压尖脉冲、暂态过电压、电压下陷、电线噪声、频率漂移、持续低电压、市电中断等。对计算机来说，其显示器和主机工作都需要正常的电力供应，突然的非正常断电可能会对计算机硬盘造成损坏，过高的电压可能会造成计算机整流电源烧毁，而且电压尖脉冲和暂态过电压及电源杂波等干扰都可能通过计算机整流器进入主板，影响计算机的正常工作，甚至烧毁主板。总之，供电问题对于计算机工作的影响很大。因此，随着计算机和网络应用的日益重要和广泛，安全可靠的电源已是网络涉及和管理人员不得不认真面对的重要问题。在这种背景下，UPS应运而生，并伴随电力电子技术的发展不断推陈出新。本项目需要UPS电源的区域包括网络中心机房、监控中心机房。网络中心机房的UPS电源保护系统主要为网络设备及服务器主机提供统一的不间断电源供应。监控中心的UPS电源保护系统主要为弱电井设备、安防系统、一卡通系统、楼宇自控系统提供不间断电源供电。根据项目需求，要求在断电后，UPS应满足满负载供电2小时的要求，也为后期增加的设备留有的余量。防雷接地系统为了保护人的安全、供电的可靠性以及计算机设备、电子产品、电气设备等正常准确运行，必须要有良好的接地系统来保证。为保证大楼内计算机设备、电子产品等安全可靠的运行，大楼内应有稳定可靠的接地系统，才能避免因接地系统不可靠而损坏设备及伤害人员的事故发生。本次在每个机房内均设置防雷器及接地装置，每个机房设置一级防雷器1台，二级防雷器2台，三级防雷器2台，插座采用防浪涌插座。敷设田字形紫铜排。整个机房敷设玻化石全钢防静电地板。机房防雷设计由于电子设备雷电防护系统对所保护系统的业务正常运行具有非常重要的作用，因此，雷电防护系统应具备先进性、可靠性、易维护、易升级等方面的突出特性。防雷工程设计及设备的选择应遵从以下的原则：1）可靠性原则设计系统雷电防护工程应最先考虑的问题就是可靠性。防雷保护技术是不断发展变化的，所选产品必须符合国际标准、国家标准及行业标准。这样才能对网络的未来发展提供保证。2）先进性、可扩充性原则采用当今国内、国际上最先进和成熟的技术，使新建立的系统能够最大限度地适应今后技术发展变化和业务发展变化的需要，从目前国内发展来看，系统总体设计的先进性原则主要体现在以下几个方面：采用的系统结构应当是先进的、开放的体系结构；采用的技术应当是可扩充的，能满足今后日益扩充的需要。3）经济实用性原则本着一切从用户实际角度出发，配置防雷保护系统的目的，在保证系统的正常运行下，整个防雷保护的建设要坚持实用为主，根据投资的强度结合实用价值，应尽可能选择可靠性高，可维护性好的性能价格比高的产品，以便节省投资，以最低成本来完成系统设备雷电防护的建设。防雷保护对象目前，经实际运行经验验证，由电源系统耦合进入的感应雷击造成设备的损坏占雷灾损失60％以上的概率。因此，对电源系统的避雷保护措施是整个防雷工程中必不可少的而且是非常重要的一个环节。1）电源系统第一级保护供电系统采用架空电缆（电缆未穿钢管做屏蔽）将一路市电引入至大楼总配电箱，大楼总配电箱又引出一路出线至机房或所在楼层配电箱，然后通过插排与机房用电设备连接。因机房所在建筑物总配电箱进线路大多从户外架空引入，所以极易遭感应雷击及远端的传导雷击，应加装电涌保护器加以保护，根据《建筑物防雷设计规范》和《建筑物电子信息系统防雷技术规范》的要求，在从室外引来的线路上安装的电源防雷器，其标称放电电流≥80kA（8/20μs）。因此，本方案设计在每个机房所在建筑物的总配电箱进线端各加装一套一级电源防雷模块，以此作为对楼层总电源的一级防护。其技术要求及配置情况如下：（1）安装位置：机房所在建筑物的总配电箱进线端（2）选用产品：三相电源防雷模块（如下图所示）。一级电源防雷模块（3）安装方法：将一级防雷器并联于电源系统中，L1、L2、L3为相线，N为零线，PE为地线，切勿错接。安装完成后，合上自动断路器开关，检查工作状态是否正常。防雷模块在使用期间，应定期检测并查看故障显示窗口状态，当故障显示窗口呈红色或遥信端子输出报警信号时，表示防雷模块出现故障，应及时维修或更换。（4）一级防雷器设备参数：保护级别B级工作电压Un（V）380V标称放电电流In（KA）40KA(8/20μs)最大放电电流Imax（KA）80KA(8/20μs)电压保护水平Up(V)≤2500V最大持续运行电压Uc（V）385V响应时间（ns）＜20ns漏电流（μA）≤30μA保护模式L-PE、N-PE(4P)劣化指示劣化指示窗工作环境温度：-40℃～+80℃，相对湿度＜95%外壳材料阻燃材料规格尺寸90ⅹ72ⅹ62mm（5）接线示意图：一级防雷模块接线示意图2）电源系统第二级保护虽然在机房所在大楼总配电箱内加装了电源系统第一级电涌保护器，但是机房与总配室距离较远，雷电仍然会在连接总配电室与机房的电缆上产生感应过电压，击坏设备，故根据《建筑物防雷设计规范》的要求，本方案设计在机房或所在楼层配电箱内加装一套二级电源防雷模块，以此作为对机房电源的二级防雷保护。其技术要求及配置情况如下：（1）安装位置：机房配电箱或机房所在楼层配电箱。（2）选用产品：单相电源防雷模块（如下图所示）。二级电源防雷模块图（3）安装方法：将二级防雷器并联于电源系统中，L为相线，N为零线，PE为地线，切勿错接。安装完成后，合上自动断路器开关，检查工作状态是否正常。防雷模块在使用期间，应定期检测并查看故障显示窗口状态，当故障显示窗口呈红色或遥信端子输出报警信号时，表示防雷模块出现故障，应及时维修或更换。（4）二级防雷器产品参数：保护级别C级工作电压Un（V）220V标称放电电流In（KA）20KA(8/20μs)最大放电电流Imax（KA）40KA(8/20μs)电压保护水平Up(V)≤1800V最大持续运行电压Uc（V）385V响应时间（ns）＜20ns漏电流（μA）≤30μA保护模式劣化指示劣化指示窗工作环境温度：-40℃～+80℃，相对湿度＜95%外壳材料阻燃材料规格尺寸90ⅹ36ⅹ62mm（5）接线示意图：二级电源防雷模块接线示意图3）电源系统第三级保护因为机房内都是一些精密的电子设备，耐冲击电压都比较低，一般在1.5KV以下，为了进一步降低残压，根据国标《建筑物防雷设计规范》的要求，本方案设计在UPS电源后端加装一套三级电源防雷模块，以此作为对信息机房电源的三级防雷保护。其技术要求及配置情况如下：（1）安装位置：UPS电源后端（2）选用产品：单相电源防雷模块（如下图所示）。三级电源防雷模块（3）安装方法：将三级防雷器并联于电源系统中，L为相线，N为零线，PE为地线，切勿错接。安装完成后，合上自动断路器开关，检查工作状态是否正常。防雷模块在使用期间，应定期检测并查看故障显示窗口状态，当故障显示窗口呈红色或遥信端子输出报警信号时，表示防雷模块出现故障，应及时维修或更换。（4）三级防雷器产品参数：保护级别D级工作电压Un（V）220V标称放电电流In（KA）10KA(8/20μs)最大放电电流Imax（KA）20KA(8/20μs)电压保护水平Up(V)≤1200V最大持续运行电压Uc（V）385V响应时间（ns）＜20ns漏电流（μA）≤30μA保护模式L-PE、N-PE(2P)劣化指示劣化指示窗工作环境温度：-40℃～+80℃，相对湿度＜95%外壳材料阻燃材料规格尺寸90ⅹ36ⅹ62mm（5）接线示意图：三级电源防雷模块接线示意图4）、终端防雷因服务器耐冲击电压比较低，一般在1.5KV以下，根据《建筑物防雷设计规范》）的要求，本方案设计在终端设备前端即各墙壁插座处各加装一套电源防雷插座。其技术要求及配置情况如下：（1）安装位置：终端用电设备前端。（2）选用产品：电源防雷插座（如下图所示）。终端防雷模块（3）安装方法：应用于配电系统为220V电源第四级雷电防护，应用于设备前端，使用方法和一般插排相同。（4）防雷插座技术参数：保护级别D级额定电压Un（V）220V标称放电电流In（KA）10KA(8/20μs)最大放电电流Imax（KA）20KA(8/20μs)电压保护水平Up(KV)≤1.0KV(20KV8/20μs)最大持续运行电压Uc（V）320V电压保护水平（V）≤700V响应时间（ns）＜20ns漏电流（μA）≤20μA最大负载电流（A）13A保护模式L-PE、N-PE接口形式六孔三项工作环境温度：-40℃～+80℃，相对湿度＜95%规格尺寸(长×宽×高)393×67×35mm机房接地接地系统在机房是至关重要的，可以说没有良好的接地系统就没有好的防雷系统。接地系统建设做不好，不但会引起设备故障，烧毁元器件，严重的还强危害工作人员的生命安全。并且接地系统的接地技术如果处理不当，还会造成地电位反击。一个良好的接地系统又是计算机设备可靠工作的需要，防干扰的屏蔽系统的问题也要靠良好的接地系统来解决。机房接地系统是消除公共耦合阻抗，以及防止寄生电容耦合的干扰，保护设备和人身安全、减少火灾发生隐患、保证机房设备稳定可靠的运行的重要手段。计算机机房是弱电设备的核心所在地，机房所连接的均为数据处理系统，对电位的变化较为敏感，容易导致设备的损坏及系统运行的不稳定，因此对接地系统有较高要求。根据国家标准《计算机站场地技术要求》的规定，接地系统应包括计算机系统的直流工作地、交流工作地、安全保护地、防雷保护地这四种。设计将机房各个金属物件（如主机金属外壳，UPS及电池柜金属外壳，金属地板，金属框架，设施管路，电缆桥架,金属吊顶，轻钢龙骨）和系统都进行等电位连接，等电位连接的目的，在于减小防雷的空间内的各金属物件的和系统之间的电位差，必要时，采用电涌（SPD）保护器做等电位连接，加强防电涌保护。机房接地一般应包括计算机系统的直流工作地、交流工作地、安全保护地、防雷保护地这四种。四种接地宜共用一组接地装置，其接地电阻按其中最小值确定；若防雷接地单独设置接地装置时，其余三种接地宜共用一组接地装置，其接地电阻不应大于其中最小值，并应按现行国标准《建筑防雷设计规范》要求采取防止反击措施。并且电子计算机系统的接地应采取单点接地并宜采取等电位措施。现行国标推荐计算机机房采用联合接方式，机房联合接地电阻应≤1Ω。我公司建议对大楼地实际测量后再采取相应的措施。如果现在大楼地合格，则直接将机房内的均压设备通过BVR10平方毫米电线接入机房所在楼层汇流排。如果大楼地不合格则重新进行防雷地的建设，措施有两种：一是打接地桩；二是用防雷接地模块或接地极制作高质量防雷地。机房内的接地网有三种接地敷设方法，串联接法、汇集法和并联接法。并联接法的优点在于既有汇集法的逻辑电位参考点一致的优点,又有串联法连接简单的优点,而且还大大降低了计算机系统的内部噪声和外部干扰。因此计算机的工作接地系统中，机房内部一般采用并联接法。本机房内接地网采用并联接法。在监控机房和网络机房防静电活动地板下设专用均压环接地网，接地铜网采用30mm×3mm铜带连接。并从均压环通过接地引下线接至楼层汇流排，以起到等电位连接作用。机房安防监控为保证机房的安全，防止无关人员进入机房，需要对通讯机房总入口设置感应卡门禁系统，以及独立的视频监控系统。通过门禁管理系统可以实时读取门禁记录的资料。通过发卡器设置卡号、姓名、进出权限，并根据事件记录查看持卡人员的进出情况。本次机房门禁可在一卡通系统中综合考虑。机房空调系统设计本次机房空调设计采用VRV多联机空调一拖五，对整个项目的4个部分整体接入：中心机房采用2台VRV/5P空调，根据流体力学原理考虑到冷热风流向，安装位置如图所示；监控室采用1台VRV/2P空调；会议室采用1台VRV/2P空调；办公室1台VRV/2P空调。根据计算机机房A级建设标准及规范，机房对温度湿度及洁净度的要求如下：机房温度：要求温度在21℃每小时温度变化不能超过5℃。温度过高，半导体内离子的扩散或漂移加剧，会改变半导体的性能，并且会使半导体和机械装置内的腐蚀过程加速。高温亦会使磁介质导磁率发生变化，磁带、磁盘数据发生错误甚至于丢失。机房湿度：机房要求相对湿度在40%至70%之间，湿度过高和过低对计算机会产生下列影响：1. 高温度引起水蒸气附着于元件表面，影响元件电气性能2. 高湿度会影响磁性材料导磁率，造成读/写数据的瞬时错误3. 湿度过大，会使某些机械装置打滑，硬性规定稳定性4. 湿度过大，会使接插及各接触部分氧化生锈，造成接触不良5. 低湿度产生静电，人亦容易带电，以使信息丢失和破坏半导体元件机房洁净度：洁净度是指空气中尘埃，空气中所含有害气体也是机房洁净度指标之一。大气中灰尘呈布朗运动状态，在静止的空气中几乎完全不沉淀或者缓慢沉降。而漂浮在大气中的灰尘粒子很小，约99%的粒子其大小都在1微米以下0.5微米以下的粒子又占大约91%这种粒子对精密机械和接插影响最大。不管计算机机房的结构形式如何，机房内仍存在着大量的灰尘，原因如下：1. 机房不断补充鲜风，通过空调将灰尘带入2. 机房工作人员出入机房带进尘埃3. 机房墙壁、地面、天花或涂层脱落产生灰尘4. 计算机外围设备如打印机等产生的尘屑灰尘的危害有以下几点：1. 对磁盘、磁带等精密机械造成损坏2. 使集成电路和电子元件散热能力降低3. 灰尘容易吸潮，使元件潮湿而腐蚀故机房场地的尘埃粒子应达到B级标准，即每升不超过1000个，而机房场地应远离化学等有害气体污染的地方。从消防角度考虑，上述材料须阻燃或难燃，加装保温棉后，整个机房也增加了隔音能力。机房气体灭火系统机房气体灭火目前常规的做法是先用七氟丙烷灭火系统，也叫FM200来进行保护，它分为有管网和无管网二种型式，即小的机房或独立的保护区我们一般用一个柜式的七氟丙烷灭火装置，也叫七氟丙烷无管网灭火装置来保护；若是区域较大或较多，而且比较分散我们一般会用管网式的组合方式来进行保护，这样可以充分的利用资源，节约成本。对环境无污染，是安全有效的灭火系统。灭火速度快，能在十秒内迅速灭火。对敏感设备无损害。优异性能，是其他灭火系统无法比拟的。经全面的测试，无毒性。灭火时候不用屏住呼吸，气体灭火对人体更安全。节省时间，快速无比，当贵重的财产面临危险，每一秒钟都至关重要。解除隐忧，解决后顾之忧。价格优势，与火灾造成的财产与资料损失相比，气体灭火价值是显而易见的。每个保护区的地板下、室内空间层及吊顶天花内需设置喷嘴、烟感探测器和温感探测器。为了节省投资成本，保护区之间的气体采用共享设计，减少了灭火药剂用量，而烟感探测器和温感探测器则仍然保持警报的功效。所有间隔必须密闭固定，药剂喷放时无泄漏。系统采用组合分配方式，当某个保护区有火情发生时，烟、温两路探头把火警信号传至气体灭火控制盘及控制室，声、光自动报警并按照预定模式自动延时，启动电磁阀及方向阀，使FM-200储气钢瓶喷放气体至发生火情的保护区，也可以手动放气或进行机械紧急启动。气体喷放的延迟时间0-30秒可调，表示系统状态的所有信号都可以传输到当地的气体灭火控制盘或传到消防中央控制室。钢瓶的瓶头阀部位设有安全阀，在超压时可以自动泄压，从而起到保护作用。钢瓶的放气启动头及方向阀均采用24VDC电磁阀控制，由气体灭火控制屏给出放气信号，启动钢瓶。在断电或紧急情况下，可通过钢瓶上的手动启动头施行手动启动。手动及电动启动方式作用在钢瓶的瓶头阀上，而从属钢瓶则用主气瓶的压力通过压力启动头控制启动。系统喷放气体后，连接在管路系统上的喷气压力开关会给出放气返回信号到中心控制室。防护区应以固定的封闭空间划分，防护区内应有疏散信道和出口，保证人员在30秒内能撤离防护区，防护区内的疏散信道和出口，设应急照明与疏散指示标记，防护区内和防护区的人口处装有火灾声、光报警器。灭火系统设自动控制、手动控制和机械应急操作，手动控制装置、手动与自动转换装置设在防护区内和防护区疏散出口边便于操作的地方，机械应急操作装置设在储瓶间内。防护区的门应向外开启，并能自行关闭，疏散出口的门，必须能从防护区内打开，灭火时应保持封闭条件，除泄压口以外的开口以及用于该防护区的通风机和通风管道中的防火阀在喷放FM-200前应做到关闭。故防护区的门可做成装有外开门闭门器或弹簧的门，这样保护区可不设泄压口，而通风机和防火阀的关闭可通过气体灭火控制屏输出接口达到。防护区的围护构件和门的耐火极限不应低于0.5小时。云存储平台云存储简介cStor云存储系统是xxxx技股份有限公司自主研发的高科技产品，是一种软件与硬件相结合的系统，其中专有技术和软件是高附加值部分。与目前国际上知名的云存储技术相比，具有低功耗、超高性价比、高可靠、通用、免维护的优势，可以广泛应用于需要存储大量数据的应用场合，cStor每个标准机架的最高容量可达1024TB以上，是国际最高水平的3倍，拥有成本和运营成本都仅为同类产品的几分之一。cStor系列产品存储机柜云存储架构设计存储资源管理系统采用分布式的存储机制，将数据分散存储在多台独立的存储服务器上。它采用包括卷管理服务器、元数据管理服务器（MasterServer）、数据存储节点服务器（ChunkServer）和挂接访问客户端以及管理监控中心服务器的结构构成虚拟统一的海量存储空间。在每个服务器节点上运行存储资源管理系统相应的软件服务程序模块，系统架构框图如下：存储资源管理系统架构图其中，MasterServer保存系统的元数据，负责对整个文件系统的管理，MasterServer在逻辑上只有一个，但采用主备双机镜像的方式，保证系统的不间断服务；ChunkServer负责具体的数据存储工作，数据以文件的形式存储在ChunkServer上，ChunkServer的个数可以有多个，它的数目直接决定了存储系统的规模；挂接访问客户端即为服务器对外提供数据存储和访问服务的窗口，通常情况下，客户端可以部署在ChunkServer上，每一个块数据服务器，既可以作为存储服务器同时也可以作为客户端服务器。由一对元数据服务器及其管理的存储服务器节点所提供的存储空间称为一个卷空间，不同的卷空间由卷管理服务器虚拟化统一管理，对外可提供统一的海量存储空间。管理监控中心提供统一易用的WEB配置管理监控平台，提供设备监控、空间监控、文件监控、服务监控、用户认证管理、配额管理、故障告警及预警等功能，实现智能化管理。这种分布式系统最大的好处是有利于存储系统的扩展和实现，在小规模的数据扩展时，只需要添加具体的ChunkServer即可，而不需要添加整套设备。在实现大规模扩展时也可方便地添加整个卷设备。管理监控中心管理监控中心为系统管理员配置和维护cStor云存储资源管理系统的有效工具，充分体现了系统的可维护性。管理监控中心提供帐户管理、设备管理、系统监控、卷管理、告警管理、故障管理等功能。以下为部分系统管理界面。设备管理系统监控告警信息平台优势特性高度可靠存储系统采用云架构，数据被分块存储在不同的存储节点上，数据采用先进的1:1容错机制进行容错，可在任意损坏一个存储服务器节点的情况下实现数据完整可靠，系统对外存储访问服务不间断。云存储的管理节点采用了主备双机镜像热备的高可用机制，在主管理节点出现故障时，备管理节点自动接替主管理节点的工作，成为新的主管理节点，待故障节点修复并重启服务后，它则成为新的备管理节点，保障系统的7×24小时不间断服务。优异性能cStor采用控制流与数据流分离的技术，数据的存储或读取实际上是与各个存储节点上并行读写，这样随着存储节点数目的增多，整个系统的吞吐量和IO性能将呈线性增长。同时，cStor采用负载均衡技术，自动均衡各服务器负载，使得各存储节点的性能调节到最高，实现资源优化配置。无限容量系统容量仅受限于卷管理服务器内存，可支撑的容量接近无限，经推算，理论容量为1024×1024×1024PB(1G个PB容量)。在线伸缩cStor云存储资源管理系统扩容非常方便，支持不停止服务的情况下，动态加入新的存储节点，无需任何操作，即实现扩容；同时，无需人为干预，也可以摘下任意节点，系统自动缩小规模而不丢失数据，存储在此节点上的数据将会重新备份到其他节点上。通用易用cStor云存储系统提供符合POSIX标准的通用文件系统接口，无论是哪种操作系统下的应用程序，都可以不经修改将云存储当成自己的海量磁盘来使用。同时，也提供专用的API接口，供开发人员调用。智能管理提供基于WEB的管理控制平台，所有的管理工作均由cStor管理模块自动完成，使用人员无需任何专业知识便可以轻松管理整个系统。通过管理平台，可以对cStor中的所有节点实行实时监控，用户通过监控界面可以清楚地了解到每一个节点和磁盘的运行情况；同时也可以实现对文件级别的系统监控，支持损坏文件的查找和修复功能。系统提供用户安全认证及对不同用户进行配额设置与权限管理功能，满足应用的日常维护和安全管理需求。大数据实验平台平台简介大数据实验平台通过应用容器技术，以少量机器虚拟大量实验集群，可供大量学生同时拥有多套集群进行Hadoop相关试验，而每个学生的实验环境不仅相互隔离，方便高效地完成实验，而且实验彼此不干扰，即使某个实验环境被破坏，对其他人也没有影响，一键重启就可以拥有一套新集群，大幅度节省了硬件和人员管理的投入成本。大数据实验平台秉承“产、学、研、用”一体化的思路和模式，从教学、实践、科研和使用多方面注重专业人才和特色人才的培养。从理论与实践双管齐下，提升高校信息化管理水平和实验项目研究水平，真正在产业、学校、科研及实践项目中相互配合，发展优势，形成生产、学习、科学研究、实践运用的系统运作模式，从而建设大数据特色专业。大数据实验平台实物图硬件方面大数据实验平台采用cServer机架式服务器，其英特尔®至强®处理器E5产品家族的性能比上一代提升多至80%，并具备更出色的能源效率。通过英特尔E5家族系列CPU及英特尔服务器组件，可满足扩展I/O灵活度、最大化内存容量、大容量存储和冗余计算等需求。整机一体化交付，系统根据学校的专业人数规模进行不同规格的配置，可进行同时满足30人、60人、150人实验规模的选择。软件层面有Hadoop、HBase、Ambari、HDFS、YARN、MapReduce、ZooKeeper、Spark、Storm、Hive、Pig、Oozie、Mahout、R语言等不同的大数据应用组件供各大高校根据具体应用进行选择实验部署。此外，作为一个可供大量学生完成大数据与云计算实验的集成环境，大数据实验平台同步提供了配套的培训服务，对于教学组件的安装、配置，教材、实验手册等具体应用提供一站式服务，有助于高校更好地满足课程设计、课程上机实验、实习实训、科研训练等多方面需求，并在一定程度上缓解大数据师资不足的问题。对于各大高校而言，即使没有任何大数据实验基础，该平台也能助其轻松开展大数据与云计算的教学、实验与科研。架构设计产品架构大数据实验平台架构大数据实验平台从软硬件、客户端及实验配套教材培训等方面考虑，针对大数据专业建设的课程体系不完善、基础实验环境薄弱、缺乏实训项目三大难题，为各大高校量身定制的大数据软硬件一体化的教学科研解决方案。大数据实验平台整体设计是基于Docker容器集群技术搭建的Hadoop实验平台，并针对大数据实验的需求提供了完善的使用环境，可一键创造随时运行的实验环境，其中采用Mesos+ZooKeeper+Mrathon架构管理Docker集群，Docker平台架构如下图所示：Docker容器设计架构其中，Mesos是Apache下的开源分布式资源管理框架，它被称为是分布式系统的内核；ZooKeeper用来做主节点的容错和数据同步；Marathon则是一个Mesos框架，为部署提供RESTAPI服务，实现服务发现等功能。实验时，系统预先针对大数据实验内容构建一系列基于CentOS7的特定容器镜像，通过Docker在集群主机内构建容器，充分利用容器资源利用率高的特点，为每个使用平台的用户开辟属于自己完全隔离的Hadoop实验环境。容器内部，用户完全可以像使用linux操作系统一样的使用容器，并且不会被其他用户的集群造成任何影响，仅仅使用几台机器，就可能虚拟出能够支持几十个甚至上百个用户同时使用的隔离集群环境。Docker容器技术大数据实验平台最核心的部分采用Docker容器技术，Docker是一个开源的应用容器引擎，可以让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，相互之间不会有任何接口。大数据实验平台通过Docker在容器内部快速自动化部署应用，并通过内核虚拟化技术来提供容器的资源隔离与安全保障等，以此来为大量的学生虚拟创造出多个互相隔离的实验环境，及时实验环境破坏也不影响其他人的使用。同时由于Docker通过操作系统层的虚拟化实现隔离，所以Docker容器在运行时，不需要类似虚拟机（VM）额外的操作系统开销，提高资源利用率，并且提升诸如IO等方面的性能，使得大数据实验平台可以通过少量服务器即可构建出供大量学生进行实验的实验环境。Docker平台架构Docker平台架构图如下：Docker使用客户端-服务器(client-server)架构模式，Docker客户端会与Docker守护进程进行通信。Docker守护进程会处理复杂繁重的任务，例如建立、运行、发布Docker容器。Docker客户端和守护进程可以运行在同一个系统上，当然也可以使用Docker客户端去连接一个远程的Docker守护进程。Docker客户端和守护进程之间通过socket或者RESTfulAPI进行通信。如下图所示：Docker守护进程Docker守护进程运行在一台主机上，用户并不直接和守护进程进行交互，而是通过Docker客户端间接和其通信，从来带来安全性和隔离性。Docker客户端Docker客户端，实际上是docker的二进制程序，是主要的用户与Docker交互方式。它接收用户指令并且与背后的Docker守护进程通信，如此来回往复。Docker内部Docker内部分为三大部件：Docker镜像(Dockerimages)、Docker仓库(Dockerregisteries)、Docker容器(Dockercontainers)。Docker镜像是一个只读的模板，镜像是用来创建容器，Docker提供了简单的放来来建立新的镜像或者升级现有的镜像一个镜像可以包含一个运行在Apache上的Web应用和其使用的Ubuntu操作系统。Docker仓库用来保存镜像，可以理解为代码控制中的代码仓库，分为公有和私有两种，提供了庞大的镜像集合供使用，这些镜像可以是自己创造的也可以在别人的镜像基础上进行创造。Docker容器和文件夹很类似，一个Docker容器包含了所有的某个应用运行所需要的环境。每一个Docker容器都是从Docker镜像创建的。Docker容器可以运行、开始、停止、移动和删除。每一个Docker容器都是独立和安全的应用平台，Docker容器是Docker的运行部分。工作模式构建镜像DockerImage是一个构建容器的只读模板，它包含了容器启动所需的所有信息，包括运行哪些进程和配置数据。所有的镜像都会基于一个基本镜像构建，紧接着会根据Dockerfile中的指令创建模板，对于每个指令，在镜像上创建一个新的层。运行容器运行容器源于我们在第一步中创建的镜像。当一个容器被启动后，一个读写层会被添加到镜像的顶层；当分配合适的网络和IP地址后，最应用程序就可以在容器中运行了。网络环境的搭建Docker的原生态网络通信是通过NAT和Dockerproxy来实现的；利用端口映射和修改宿主机的iptables规则实现了不同容器间、容器与外界的互相访问。然而，这样的NAT方式（SNAT和DNAT）不仅影响效率，同时还使得容器内所看的自己的IP地址和外部所见的该容器IP地址不一致，阻碍了很多集群化功能的实现（如Redis集群、ElasticSearch集群的自动组播发现需要基于默认端口规则），使得一些现有的工具无法正常工作。例如，在一些自动服务注册和发现的应用中，容器中的应用在进行自动注册时只能看到自己内部的IP并将此IP注册，但是其他外部的模块却无法通过此IP来访问该容器应用。然而，大数据系统由于数据量大、计算量大的特性，必然需要由多个主机组成的一个集群来完成计算分析任务。因此，基于Docker来搭建一个大数据分析系统的必要前提就是保证多个Docker的跨主机通信能够畅通无阻、保持高效。为了解决Docker原生态网络通信的上述问题，在云计算生态圈里涌现了一些优秀的分布式Docker网络配置和管理工具，如flannel、weave、socketplane等，其总体思想是基于物理网络在容器间构造一个overlay网络。从Docker的1.9版本开始，Docker的网络部分自成一块（libnetwork），并支持复杂的Overlay模式。Overlay网络的总体思想是对原生态的网络数据包进行封装，这里又可分为在用户层进行封装（如weave、flannel）和在内核层进行封装（如sockplane）。下面分别以flannel为例稍做讲解。Flannel的Overlay设计—镜像构建Flannel在每个节点（主机）上运行一个守护进程（flanneld）。这个守护进程负责为每一个节点分配一个子网段。该分配信息存储在etcd中（一种分布式存储方案）。同时，每个节点上的Dockerdaemon会从该子网段中为主机上运行的容器分配一个IP地址，如图12-3所示。因此，在容器中的应用所看到的IP地址和外部所看到的该容器的IP地址是一致的。在转发报文时，Flannel支持不同的后端策略，例如，主机网管模式、UDP模式等。以UDP模式为例，flannel形成了一个Overlay网络，通过TUN设备对每个IPfragment进行UDP包头封装，流程如图12-3所示。容器Overlay网络系统设计原理—容器运行介绍了Flannel工具后，我们透过现象看本质，讨论下设计一个Overlay网络系统的原理和要点。Flannel的Overlay网络实现模式ARP：在经典的物理网络中，当一个主机S访问另一个主机D的时候，S发出的第一个报文就是一个ARP请求的广播报文，交换机会在同一个子网内广播这个报文给所有的子网内节点。如果D在同一个子网内，它会接收到这个请求并将做出回复，使得S和D可以后续进行通信。在容器环境下，可以如实地把报文广播出去，并通过spanningtree等算法来避免广播回路。此外，还可以通过IP组播的功能来处理ARP请求和响应。最后，还可以基于SDN对全局的网络拓扑信息的把握，通过SDN控制器来实现ARP协议。IP层互通：在解决了二层网络的通信问题后，还需要解决的就是容器与容器之间、容器与外网的互通。对于容器内的应用可以访问容器外的外网，一般可以采用NAT方式，使得容器最终使用物理宿主机的网关。为了保证容器能够对外提供服务，可以采用类似Docker的端口映射方式实现DNAT，并通过将容器连接到负载均衡设备从而对外提供服务。Docker容器优势运行速度快系统运行时的性能可以获取极大提升，其管理操作（启动，停止，开始，重启等等）都是以秒或毫秒为单位的，可以在一瞬间创建随时运行的实验环境。部署简单将应用和系统“容器化”，不添加额外的操作系统，和虚拟机一样部署非常简单，支持一键创造和销毁实验集群，同时实验环境互不干扰，如果实验环境破坏，一键重启即可建立新集群安全隔离采用Mesos+ZooKeeper+Mrathon架构管理集群，实验集群完全隔离。轻量拥有足够的“操作系统”，仅需添加或减小镜像即可。在几台服务器上就可以虚拟出大量的实验环境，供上百师生进行教学实验工作。成本低以容器化应用作为交付的标准，立足于云，为开发者和企业提供了一个快速构建、集成、部署、运行容器化应用的平台，帮助高校和企业提高应用开发的迭代效率，简化运维环节，降低运维成本。云支持可以为不计其数的云服务提供创建和管理Linux容器框架。Hadoop实验平台Hadoop架构Hadoop可以在大数据处理应用中广泛应用，得益于其自身在数据提取、变形和加载(ETL)方面上的天然优势。Hadoop的分布式架构，将大数据处理引擎尽可能的靠近存储，对例如像ETL这样的批处理操作相对合适，因为类似这样操作的批处理结果可以直接走向存储。Hadoop的MapReduce功能实现了将单个任务打碎，并将碎片任务(Map)发送到多个节点上，之后再以单个数据集的形式加载(Reduce)到数据仓库里。Hadoop架构图通过上图我们可以看出，Hadoop由许多元素构成。其最底部是HadoopDistributedFileSystem（HDFS），它存储Hadoop集群中所有存储节点上的文件。HDFS（对于本文）的上一层是MapReduce引擎，该引擎由JobTrackers和TaskTrackers组成。通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。Hadoop关键技术下面我们将从HDFS、MapReduce、HBase三大部分详细介绍Hadoop的关键指数：HDFSHDFS架构图对外部客户机而言，HDFS就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件，等等。但是HDFS的架构是基于一组特定的节点构建的（参见图1），这是由它自身的特点决定的。这些节点包括NameNode（仅一个），它在HDFS内部提供元数据服务；DataNode，它为HDFS提供存储块。由于仅存在一个NameNode，因此这是HDFS的一个缺点（单点失败）。存储在HDFS中的文件被分成块，然后将这些块复制到多个计算机中（DataNode）。这与传统的RAID架构大不相同。块的大小（通常为64MB）和复制的块数量在创建文件时由客户机决定。NameNode可以控制所有文件操作。HDFS内部的所有通信都基于标准的TCP/IP协议。MapReduceMapReduce架构图MapReduce主要功能如下：数据划分和计算任务调度系统自动将一个作业（Job）待处理的大数据划分为很多个数据块，每个数据块对应于一个计算任务（Task），并自动调度计算节点来处理相应的数据块。作业和任务调度功能主要负责分配和调度计算节点（Map节点或Reduce节点），同时负责监控这些节点的执行状态，并负责Map节点执行的同步控制。数据/代码互定位为了减少数据通信，一个基本原则是本地化数据处理，即一个计算节点尽可能处理其本地磁盘上所分布存储的数据，这实现了代码向数据的迁移；当无法进行这种本地化数据处理时，再寻找其他可用节点并将数据从网络上传送给该节点（数据向代码迁移），但将尽可能从数据所在的本地机架上寻找可用节点以减少通信延迟。系统优化为了减少数据通信开销，中间结果数据进入Reduce节点前会进行一定的合并处理；一个Reduce节点所处理的数据可能会来自多个Map节点，为了避免Reduce计算阶段发生数据相关性，Map节点输出的中间结果需使用一定的策略进行适当的划分处理，保证相关性数据发送到同一个Reduce节点；此外，系统还进行一些计算性能优化处理，如对最慢的计算任务采用多备份执行、选最快完成者作为结果。出错检测和恢复以低端商用服务器构成的大规模MapReduce计算集群中，节点硬件（主机、磁盘、内存等）出错和软件出错是常态，因此MapReduce需要能检测并隔离出错节点，并调度分配新的节点接管出错节点的计算任务。同时，系统还将维护数据存储的可靠性，用多备份冗余存储机制提高数据存储的可靠性，并能及时检测和恢复出错的数据。HBaseHBace架构图HBase即HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。上图描述HadoopEcoSystem中的各层系统。其中,HBase位于结构化存储层，HadoopHDFS为HBase提供了高可靠性的底层存储支持，HadoopMapReduce为HBase提供了高性能的计算能力，Zookeeper为HBase提供了稳定服务和failover机制。此外，Pig和Hive还为HBase提供了高层语言支持，使得在HBase上进行数据统计处理变的非常简单。Sqoop则为HBase提供了方便的RDBMS数据导入功能，使得传统数据库数据向HBase中迁移变的非常方便。Hadoop优势Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：高可靠性：按位存储和处理数据的能力值得人们信赖。高扩展性：在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。高效性：能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。高容错性：能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。低成本：与一体机、商用数据仓库以及QlikView、YonghongZ-Suite等数据集市相比，Hadoop是开源的，项目的软件成本因此会大大降低。主要功能介绍登录界面大数据实验平台登录首页，输入大数据实验平台访问地址，输入相应账号与密码，点击登录即可。账号管理系统管理员和教师角色登录后，可以看到用户账户管理界面。系统管理员用户可以在该界面中查看或修改所有的教师和学生用户信息，并可以注册或销毁教师或学生用户账户；教师用户可以在该界面中查看或修改自己建立的所有学生用户信息，并可以注册或销毁自己的学生用户账户。实验管理此处的集群管理包含“开始实验”和“终止实验”，由于xxxxx据实验平台采用“Docker”技术，因此能够在几乎不占用系统资源情况下，实现大量机器快速创建与销毁，不必担心资源消耗高、启动销毁慢、管理维护难等问题。（1）开始实验当需要开始实验时，直接点击实验界面对应实验面板上的启动按钮即可，后台会快速为用户新建五台能够支撑该实验的预装CentOS7操作系统的机器，并配置好各自的主机名和IP地址等。（2）终止实验若实验过程中，由于命令敲错等各种原因导致集群无法使用，可在实验页面中随时终止您的实验进程，销毁失效的集群，之后再重新启动该实验，创建新的集群。资源管理系统具备资源监控管理功能，可实时展示系统内的集群使用情况、人数上限和当前使用量情况，通过对实验平台状态的监控，以实现对资源的不断优化。学习资料大数据实验平台提供实验所需的学习资料，学生在做实验的同时可查看和下载每个实验步骤的操作手册及大数据教材配套PPT。我的报告学生通过我的报告查看自己所做的每个实验过程及最终得分。相关下载大数据实验平台的相关下载界面提供了实验所需的软件及插件的下载，为避免软件版本不同导致实验环境配置错误，请尽量下载和使用此处指定的软件版本与插件。配套资源作为一个可供大量学生完成大数据与云计算实验的集成环境，该平台同步提供了配套的培训服务，对于教学组件的安装、配置，教材、实验手册等具体应用提供一站式服务，有助于高校更好地满足课程设计、课程上机实验、实习实训、科研训练等多方面需求，并在一定程度上缓解大数据师资不足的问题。对于各大高校而言，即使没有任何大数据实验基础，该平台也能助其轻松开展大数据与云计算的教学、实验与科研。具体资源如下：内容充实的课程体系在《实战Hadoop2.0——从云计算到大数据》和实验手册的指导之下，大数据实验平台解决方案涵盖大数据算法、接口、工具、平台等多方面内容，从大数据监测与收集、大数据存储与处理、大数据分析与挖掘直至大数据创新，帮助高校构建完善的大数据课程体系。课程体系多元化的大数据资源包大数据系列教材《实战Hadoop2.0》：国内第一本Hadoop编程书籍的升级版——《实战Hadoop2.0》及其配套PPT（国内知名云计算专家、中国信息协会大数据分会副会长刘鹏倾力打造）实战Hadoop2.0在此之前，刘鹏教授带领编著团队，相继出版了《云计算》、《大数据》（《云计算》已经被全国高校采用，其被引用量排名全国计算机图书第一名），并在教材之外，辅助提供相应的教学计划、课件、实验规划等。同时，xxxx数据团队联合全国各高校老师，为本科和高职院校分别准备了《大数据可视化》、《深度学习》、《数据挖掘》、《虚拟化与容器》以及《R语言》、《大数据基础》、《大数据实践》、《大数据系统运维》、《数据清洗》、《数据挖掘基础》、《云计算基础》两个系列教材，目前已经陆续进入定稿出版阶段。综合85个大数据实验的实验手册及配套高清视频课程：涵盖原理验证、综合应用、自主设计及创新的多层次实验内容，每个实验呈现详细的实验目的、实验内容、实验原理和实验流程指导，配套相应的实验数据和高清视频课程，参照手册即可轻松完成每个实验。实验手册大纲网站资源：国内专业领域排名第一的网站——中国大数据、中国云计算、中国存储、中国物联网、中国智慧城市等提供全线支持，一网打尽各类优质资源。实验数据提供基于大数据实验需求，与大数据实验平台配套提供的还有各种实验数据，其中不仅包含共用的公有数据，每一套大数据组件也有自己的实验数据，种类丰富，应用性强。实验数据将做打包处理，不同的实验将搭配不同的数据与实验工具，解决实验数据短缺的困扰，在实验环境与实验手册的基础上，做到有设备就能实验，有数据就会实验。专业培训培训简介众所周知，大数据迎来黄金发展期，面对百万级的大数据人才缺口，大数据专业建设早已提上日程。然而，大数据专业的人才培养计划、课程体系直至师资力量等还处于试错阶段，各高校老师对于相关专业的开展仍然处于茫然状态。为此，xx大数据提供以理论+实战的培训形式，为各大高校提供师资力量培训。xxx大数据提供的大数据专业师资力量培训由金陵科技学院与江苏省云计算论坛共同主办，英特尔（中国）公司与电子工业出版社协办，培训由清华大学博士、中国信息协会大数据分会副会长刘鹏教授倾情授课，致力于用高效的办法，在几天内为各大高校免费培养一大批大数据师资力量，帮助全国教师对大数据跨过从理论到实践、从知道到用过的门槛。往期培训介绍曹骝博士深度学习培训平台优势特性沙箱机制xx数据实验平台采用Docker容器技术，容器之间采用沙箱机制，相互之间没有任何接口，因此通过大数据实验平台创造出的实验环境是相互隔离的，即使由于部分学生的误操作导致实验环境被破坏，也不会影响到其他同学的实验，一键重启就可以拥有新的集群。Docker统一平台示意图快速部署xx大数据实验平台可快速部署实验环境，支持一键创建和销毁实验集群，可在一瞬间创建出供大量学生同时实验的实验环境，同时实验环境可快速销毁和重建，可供老师简单便捷的进行大数据实验和教学工作，无需花大量时间进行每个学生的实验环境部署工作，大幅度的节省人员管理维护成本。一键创建和销毁实验集群多机实验环境系统采用分布式集群架构，多节点冗余架构设计，可面向大数据的分布式系统，为每个学生提供多机实验环境，整个系统理论支持用户数量无上限，可为每个学生分配5套实验虚拟集群，可满足大量学生同时进行多个实验，并进行各实验的相互对比学习。资源最大化利用大数据实验平台通过对Docker容器技术的深度应用，可将服务器资源的利用率发挥到最大，通过几台服务器便可构建出可供上百学生同时实验的实验平台，大幅度的节省了硬件投入成本。快速高效易扩展大数据实验平台采用分布式架构，支持性能横向扩展，只需增加节点服务器即可实现同时上机人数的扩容，同时也可以通过减少节点服务来减少同时上机人数，以实现设备的最高效利用。低运维成本xx数据实验平台可实现大数据实验集群的秒级创建、销毁，学生在校期间可独享自己的多个大数据集群；实验环境损坏只需销毁重建即可，无需专人维护，大数据实验平台只需几台服务就可以构建，设备运维成本很低。教学体系完善xxx数据实验平台不仅提供可供上百学生同时实验的教学平台，还提供了国内第一本Hadoop编程书籍的升级版——《实战Hadoop2.0》及其配套PPT（国内知名云计算专家、中国信息协会大数据分会副会长刘鹏倾力打造），以及实验相关的实验手册，同时可提供实验所需的大数据资源和企业实训项目，帮助高校打造完善的大数据教学体系。主要实验介绍快速搭建大数据实验环境大数据实验平台采用Docker容器技术，通过少量机器虚拟出成百上千的Hadoop、HBase、Spark、Storm、HDFS等实验集群，可快速同时为每个学生提供多套集群进行实验，搭建可供大量学生完成所有大数据实验的集成环境。例如，60个学生同时在线做大数据实验，只需要小规模机器（11台）就可以同时为每个学生提供至少5套集群，每个学生的实验环境不仅相互隔离、彼此互不干扰，即使某个学生的实验环境出现问题，对其他人也没有影响，只需要重启就可以重新拥有一套新集群。因此在我校中心机房部署的大数据实验平台可以快速给全校各个院系的学生进行大数据的实验，同时各学科数据还可根据自己的需要导入实验数据进行实验、分析，大数据实验平台同时可提供外网地址，可提供校外机构使用，满足全校师生的教学需求。HDFS部署实验HDFS是一种可在通用硬件上运行的分布式文件系统，具备高容错性和支持廉价部署等特点，非常适合大规模数据集上的应用，是大数据实验非常重要的一环。通过HDFS部署的实验可以让学生了解和熟悉HDFS，从而实现以下几点目的:理解HDFS存在的原因理解HDFS体系架构理解master/slave架构理解为何配置文件里只需指定主服务、无需指定从服务理解为何需要客户端节点学会逐一启动HDFS和统一启动HDFS学会在HDFS存储器里新建文件夹，新建文件HDFS相关的实验如下图所示：HDFS实验过程YARN部署实验ApacheHadoopYARN（YetAnotherResourceNegotiator，另一种资源协调者）是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。YARN部署实验，主要分为配置YARN配置文件、统一启动YRAN、验证YARN启动成功和提交简单的任务。通过实验可让学生学会如何搭建YARN分布式集群，并能够使用YARN集群提交一些简单的任务，理解YARN作为Hadoop生态中的资源管理器的意义。YARN部署实验过程如下图所示：YARN启动任务提交实验终端过程显示MapReduce实验MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。MapReduce实验主要分为单词计数、二次排序、计数器、join操作和分布式缓存5个实验，具体如下：单词计数实验通过实验可实现以下目的：理解MapReduce编程思想会编写MapReduce版本WordCount会执行该程序自行分析执行过程本实验主要分为，确认前期准备，编写MapReduce程序，打包提交代码。查看运行结果这几个步骤，详细如下：启动Hadoop执行命令启动前面实验部署好的Hadoop系统。[root@master~]#cd/usr/cstor/hadoop/[root@masterhadoop]#sbin/start-all.sh验证HDFS上目前没有生成wordcount的文件夹[root@client~]#cd/usr/local/hadoop/[root@clienthadoop]#bin/hadoopfs-ls/#查看HDFS上根目录文件/此时HDFS上应该是没有wordcount文件夹。上传数据文件到HDFS[root@client~]#cd/usr/local/hadoop/[root@clienthadoop]#bin/hadoopfs-put/root/data/5/word/编写MapReduce程序主要编写Map和Reduce类，其中Map过程需要继承org.apache.hadoop.mapreduce包中Mapper类，并重写其map方法；Reduce过程需要继承org.apache.hadoop.mapreduce包中Reduce类，并重写其reduce方法。importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Job;importorg.apache.hadoop.mapreduce.Mapper;importorg.apache.hadoop.mapreduce.Reducer;importorg.apache.hadoop.mapreduce.lib.input.TextInputFormat;使用Eclipse开发工具将该代码打包假定打包后的文件名为hdpAction.jar，主类WordCount位于包njupt下，则可使用如下命令向YARN集群提交本应用。[root@client~]#./yarnjarhdpAction.jarnjupt.WordCount/word/wordcount其中“yarn”为命令，“jar”为命令参数，后面紧跟打包后的代码地址，“njupt”为包名，“WordCount”为主类名，“/word”为输入文件在HDFS中的位置，/wordcount为输出文件在HDFS中的位置。程序运行成功二次排序通过实验可实现以下目的：基于MapReduce思想，编写SecondarySort程序。查看二次排序后结果。MR默认会对键进行排序，然而有的时候我们也有对值进行排序的需求。满足这种需求一是可以在reduce阶段排序收集过来的values，但是，如果有数量巨大的values可能就会导致内存溢出等问题，这就是二次排序应用的场景——将对值的排序也安排到MR计算过程之中，而不是单独来做。二次排序就是首先按照第一字段排序，然后再对第一字段相同的行按照第二字段排序，注意不能破坏第一次排序的结果。通过代码编写实验结果如下：输入数据输入数据如下：secsortdata.txt('/t'分割)（数据放在/root/data/6目录下）7444399997333422377777555366666038888411输出显示在client上执行对hdfs上的文件/user/mapreduce/secsort/out/part-r-00000内容查看的操作[root@clienthadoop]#bin/hadoopfs-cat/user/mapreduce/secsort/out/p*如果屏幕上显示如下：计数器通过实验可实现以下目的：基于MapReduce思想，编写计数器程序。基于MapReduce思想，能执行计数器程序和分析执行过程。通过代码编写和执行实验结果如下：输入数据输入数据如下：counters.txt（/t分割）（数据放在/root/data/7目录下）输出显示屏幕上将会输出如下信息：join操作通过实验可实现以下目的：基于MapReduce思想，编写两文件join操作的程序。基于MapReduce思想，能执行join程序和分析执行过程。通过代码编写和执行实验结果如下：输入数据输入数据如下：data.txt（数据放在/root/data/8目录下）：输入数据如下：info.txt（数据放在/root/data/8目录下）：输出显示在client上执行对hdfs上的文件/user/mapreduce/MRjoin/out/part-r-00000内容查看的操作：分布式缓存通过实验可实现以下目的：理解序列号与反序列化熟悉Configuration类学会使用Configuration类进行参数传递传递；学会在Map或Reduce阶段引用Configuration传来的参数；理解分布式缓存“加载小表、扫描大表”的处理思想通过实验将一个大为100G的大表big.txt和一个大小为1M的小表small.txt，通过MapReduce思想编程实现判断小表中单词在大表中出现次数。准备数据登录client机，使用“vi”命令新建文件“/root/big.txt”，接着在该文件里写入“aaa至zzz”，新建好后，使用cat命令确认文件内容：上传数据接着，使用命令将client机本地文件“/root/big.txt”和“/root/small.txt”上传至HDFS的“/user/root/mr/in”目录：通过编写和执行代码实现以下实验结果：Hive实验Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。HIVE实验分为部署Hive、新建Hive表、Hive分区，具体如下：部署Hive通过部署Hive实验可实现以下目的：理解Hive存在的原因理解Hive的工作原理理解Hive的体系架构学会如何进行内嵌模式部署将元数据存储在HDFS上安装部署 在client机上操作：首先确定存在hive：配置HDFS先为Hive配置Hadoop安装路径，待解压完成后，进入Hive的配置文件夹conf目录下，接着将Hive的环境变量模板文件复制成环境变量文件。实验结果如下：新建Hive表通过部署新建Hive表实验可实现以下目的：学会创建Hive表显示Hive中所有的表显示Hive表中所有的列项修改和删除Hive中的表启动Hive执行启动Hive命令 创建表创建一个有两个字段的pokes表，其中第一列名为foo，数据类型为INT，第二列名为bar，类型为STRING。显示表显示表列更改和删除表实验结果如下：Spark实验Spark被定义为一个开源的、基于内存计算的、运行在分布式集群上的、快速和通用的大数据并行计算框架。它提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量廉价硬件集群之上，以提供高性价比的大数据计算解决方案。Spark官网地址是S。通过Spark实验可以实现以下实验目的：了解Spark生态圈，理解Spark体系架构；学会部署和启动Spark集群；能够配置Spark集群使用HDFS实验过程如下：每位学生通过Spark实验构建出Spark集群，在master上部署主服务Master；slave0、1、2上部署从服务Worker；client上部署Spark客户端，搭建好集群后，提交并运行Spark示例代码WordCount，将client上某文件上传至HDFS里刚才新建的目录。配置Spark集群在master机上编辑Spark的slaves文件，通过文件编辑了解和熟悉Spark原理。配置HDFS通过配置HDFS将将Spark环境变量模板复制成环境变量文件，让学生可以具备配置HDFS使用Spark的能力。提交Spark任务通过在client机上操作，使用Shell命令向Spark集群提交Spark-App，学会部署和启动Spark集群。实验结果通过执行命令查看实验结果如下：综合实战实验交通大数据实验随着现代城市的发展进程，交通问题越发严峻，通过大数据手段解决交通问题是未来的必然趋势，通过交通大数据实验，增加学生在交通行业大数据的实战经验。具体实验目标：基于MaoReduce思绪，编写车牌识别程序；实现对某地监控图片中的车牌识别；基于大数据分析实现对外省车辆的统计；完成对套牌车辆的识别工作，并得出结果。实验过程如下：实验原理实验手册提供详细的编程示例，该实战实验主要是通过利用WordCount思想，在Reduce阶段不输入“苏”车牌即可，对于套牌车辆的识别，Map阶段与WordCount