智慧高校数字校园大数据中心及大数据平台建设方案

智慧高校数字校园大数据中心及大数据平台建设方案54/324智慧高校数字校园大数据中心及大数据平台建设方案

项目概述1.1建设背景遍布全球的互联网络正在无时无刻、无所不在地渗透到人们工作、生活和学习中，成为推动社会发展的强大动力。在商业化的世界中，众多企业正在把自己转变成一种称为“数字神经系统”的新型组织，让企业能够以数字神经系统的方式对内部业务流程、知识共享和网络商务进行整合，快速响应全球化的竞争。高校不仅承担着人才培养的重任，还承担了一些前沿科技和技术的研究。同样，作为培养和造就新世纪人才的教育系统和学校，也面临同样的社会环境变化趋势。然而，很多学校却明显落在了互联网络时代的后面，尽管学校已经采用了一些先进的设备和工具，但是还在沿用千百年来的传统教学方法和管理模式。电化教学设备、电脑乃至校园网都变成了利用率很低的简单摆设，真正起决定性变化的管理和教学的方法和模式却没有随着社会发展的大趋势进行相应变革。面对知识全球化和民族素质提高的教育要求，以及一系列的教育市场化竞争的挑战，“数字化校园”正在日臻成熟并发挥越来越重要的作用。“数字化校园”的目标就是为了使校园的使用者可以更有效的利用校园来开展教学、科研活动并更方便快捷地进行学习、生活。因此校园的主人：学生——教师——管理人员就成为数字化校园的服务对象，他们的主要校园活动：教学——科研——管理——生活就成为数字化校园的内容主体。“数字化校园”的目标用一个词来表示就是服务”，为学生、教师、管理人员提供更好的服务就是数字化校园的宗旨。目前云计算、互联网+、大数据分析、移动和物联网发展迅猛，数以亿计的用户通过互联网服务时时刻刻都产生大量的交互，这些交互通过手持设备、RFID、无线传感器产生大量的数据，IDC预计到2020年全球数据将增加到35ZB（1ZB=1024EB、1EB=1024PB），是2009年的45倍，其中80%以上为非结构化数据。这些需要处理的数据量越来越大、增长迅猛，而业务需求和竞争压力对数据处理的实时性、有效性又提出来更高的要求，常规的数据库技术手段根本无法应付与处理。由此而生产了BigData技术来处理此类问题。大数据技术将是IT领域新一代的技术与架构，他将帮助人类从大量、复杂的数据中提取价值，它可以帮助决策者在储存的海量信息中挖掘出需要的信息，并且对这些信息进行分析研究，从而发现重要的趋势信息。因此大数据的有效管理和挖掘将成为未来竞争和增长的基础，并日益成为企业的生产要素和战略资产，预计也将带来新一轮生产率的提升和消费者体验改善，类似工业革命的大数据时代已经来临，我们有理由相信未来大数据的产业规模将会至少以万亿美元来进行衡量。大数据将给IT行业开拓一个新的黄金时代，作为成都重要的高校我们有义务在这些前沿科技上做出对人类、社会、四川、成都有帮助的研究并造福人类、造福四川和成都。云计算是一种新型的信息资源管理和计算服务模式，是继大型计算机、个人电脑、互联网之后信息产业的一次革命。云计算可将分散的计算、存储、服务资源有机整合起来管理和服务，转变了传统IDC运行管理理念，是未来计算的发展方向。云计算以其资源动态分配、按需服务的设计理念，具有低成本解决海量信息处理的独特魅力。云计算+大数据将会为现有的数据中心增加可用性特点能高效地、安全地运营；另一方面，并能降低数据中心的能源消耗和运行成本；我们对云计算的理解是：云计算一种基于网络的支持异构设施和资源流转的服务供给模型，它提供给客户可自治的服务，实现资源的按需分配、按量计费。云计算导致资源规模化，促进分工的专业化，使得资源供应商和用户都更加关注于自己的业务，有利于降低单位资源成本，促进全社会的开拓创新。XXX从事教育行业已经有数十年经验，致力于帮助教育用户提供一体化的数字化校园解决方案，在教育行业有数量众多的成功案例，XXX承诺站在用户角度，寻求最为合理的解决方案，最大限度满足客户需求。1.2建设目标本次建设目标为：利用云计算技术打造XXX高校大数据分析、高性能应用等高校科研基础平台。云计算资源中心建设后，将包括校园云计算虚拟化中心、大数据分析、和高性能计算中心，并为此三个中心提供统一管理平台。通过云计算资源中心的建设，物理资源将被组织起来统一调配和供应，提供给学校各学院、部门、教师及学生使用。并且通过云数据中心为学校提供大数据分析和高性能计算服务。通过资源集中化，资源的共享得以实现，应用在资源之间的迁移也成为可能。当资源集中后，对于相同资源进行管理的代价将大幅度降低，而资源的使用率将成倍提升。从而解决数据中心当前面临的问题，更有效的推动信息化的发展。基于云计算的大数据和高性能中心建设目标主要有以下几个方面：1、资源纬度集约化。通过虚拟化方式，为各学院、部门和师生提供基础计算服务和数据存储。2、数据纬度一体化。方便数据共享，为大规模数据整合和交换提供可能。3、管理纬度服务化。利用云计算方式，实现基础软硬件资源的统一管理、按需分配、综合利用，降低各部门系统建设成本和日常运行维护费用。高校数字校园云计算平台建设着重点为：提供IAAS服务的服务器虚拟化中心，提供校园师生教学办公用的校园云盘中心和提供高性能计算服务的高性能计算中心。建设完成后的高校云计算平台实现以下功能：1、建设服务器虚拟化中心；为学校各大业务平台提供IAAS服务，以虚拟服务器的方式为校园各大业务平台提供业务支撑服务；2、建设大数据分析；为前沿的大数据分析和研究提供服务，为部分在校学生课题提供服务；3、建设校园高性能计算中心；为学校一些需要进行高性能计算的部门提供高性能计算基础平台，为业务部门高性能计算需求提供服务；4、建设云计算中心统一管理平台；为校园云计算中心中的业务云平台、大数据分析系统、高性能计算中心提供统一的管理平台，为不同管理用户和业务用户提供统一入口；5、通过建设云计算平台，学校实现对资源的大集中统一管理并提升整体计算能力；通过虚拟化技术提高资源利用率，避免重复建设，节约整体成本。1.3建设原则结合本项目的实际应用和发展要求，在进行云计算+大数据+高性能平台方案设计过程中，应始终坚持以下原则：（1）可扩展性原则为了保护已有的投资以及不断增长的业务需求，系统必须具有灵活的结构并留有合理的扩充余地，以便根据需要进行适当的变动和扩充；主要业务平台系统应采用开放的结构，符合国际标准、工业标准和行业标准，适应技术的发展和变化。（2）合理性原则在一定的资金条件下，以适当的投入，建立性能价格比高的、先进的、完善的业务系统。所有软硬件的选型和配置要坚持性能价格比最优原则，同时兼顾与已有设备和系统的互联互通能力，以及与目前操作系统和应用系统的兼容性。在满足系统性能、功能以及考虑到在可预见的未来不失去先进性的条件下，尽量取得整个系统的投入合理性，以构成一个性能价格比优化的应用系统。系统架构的设计应尽可能地运用虚拟化、云计算等新技术，以符合未来的技术发展方向。这种设计方法可以最大化地利用投资，并在利用率、管理、能源等各方面提高用户投资的效率，降低总体拥有成本，减少浪费的发生。结合新技术的运用，也可以让各应用系统更好地融入未来整体IT建设规划中，避免发生推到重建的现象，从而更好地保护学校在信息系统上的投入。（3）可靠性原则系统要具有高可靠性及强大的容错能力。该系统必须保证7×24全天候不间断地工作，核心设备比如数据库服务器和存储设备具有全容错结构，并具有热插拔功能，可带电修复有关故障而不影响整个系统的工作，设计应保持一定数量的冗余以保证整体系统的高可靠性和高可用性。即便是在系统建设初期也要着重考虑系统可用性、可靠性问题，防止出现系统停顿等问题造成信息系统的中断服务。通过结合云计算等新技术，可以更好地提高系统的可靠性和可用性。（4）可管理性原则选择基于国际标准和开放的技术，采用标准化、规范化设计；同时采用先进的设备，易于日后扩展，便于向更新技术的升级与衔接，实现系统较长的生命力；保证在系统上进行有效的开发和使用，并为今后的发展提供一个良好的环境；在设计、组建中心机房系统时，采用先进的、标准的设备；在选购服务器、存储和连接设备时，选用同一家公司的系列产品，确保系统部件间的严密配合和无缝联接，并获得良好的售后服务和技术支持；整个系统建成后按照整理一套完整的文档资料，以便提高整个系统的可管理性与可维护性。1.4云平台技术打造高校数字化校园优势通过建立云计算平台，通过服务的方式交付对物理硬件的需求，代替传统硬件设备跟随着应有系统的增加而增加的模式，对现有应用系统进行整合，实现IT服务的快速交付，节能响应国家号召，提升业务系统安全。整理制作郎丰利1、合理利用硬件资源，减少运行消耗云计算平台可将服务器物理资源转换成池化的可动态分配的计算单元，从学校业务具体需求出发，在资源池中划分出适合具体业务需要的服务计算单元，不再受限于物理上的界限，从而提高资源的利用率，简化系统管理，让信息化建设对学校业务工作的变化更具适应力，从而构建出信息系统平台的基础。云平台建成后，可减少物理服务器数量至原有数量的一半以上，机房空间占用面积大大减少，机房相应配套设施建设也可能够相应减少，在实际工作中预计可节省能源达到70%以上，响应国家节能减排的要求。整理制作郎丰利2、增强业务部署速度，提高即时响应能力云平台能够对学校业务系统提出的建设需求做到快速响应、快速部署，部署更新工作时间由原来数天或数星期缩短为只需几分钟即可完成。如果总资源池中的硬件计算资源告急，只需要添加相应的物理服务器，简单的将新购的服务器部署到资源池集群中，云平台会根据整体资源池的动态资源平衡来自动分配新增加的计算资源给应用程序，真正的实现新服务器的即插即用。3、完善应急安全机制云平台可以自动监控资源池中计算单元和应用单元的可用性，检测物理服务器故障，如果检测到故障，可重新在资源池中其他物理服务器上重新启动相关业务，整个过程无需人工干预。通过专线光纤将同城异地的两个云平台连接起来，既可形成一个稳定的基于云平台技术的容灾系统。可以实现应用级数据备份和业务系统的应用级容灾，容灾系统切换时间可以实现分钟级，并且能进行容灾演练操作。4、提供便捷的管理运维方式。云平台可以通过一个统一的管理平台，来进行对平台中运行的各项业务设立不同权限的管理账号，根据工作需要设置不同的管理权限，并可通过其管理日志追溯操作过程。还可以通过在平台上安装第三方安全软件的方式，一次性解决平台内所有计算单元的病毒防护、木马查杀、补丁升级等工作。

需求分析2.1现状分析随着信息技术的不断发展，学校在信息化建设方面加大投入，各部门陆续购置了相关业务软件和服务器，越来越多的业务实现了信息化。学校目前使用的服务器多数为一路、两路的小型PC架构服务器，每台服务器仅仅只能运行单一操作系统和单个应用程序，且服务器使用时间基本上都在5年以上。目前的平台建设模式导致服务器数量越来越多，产生了如下问题：1．服务器使用效率低。由于一台物理服务器对应一个应用系统，服务器的计算、存储等资源得不到充分利用。2．系统存在安全隐患。大多数服务器购置于5、6年前，设备老化，可靠性下降；相当一部分服务器管理权在学院或者部门，缺乏技术人员管理；除学校一卡通服务器采用双机热备模式以外，其余的应用没有做任何保护，每周需要做一次手工备份，数据丢失危险时刻存在。3．机房空间紧张。4.电力系统告急，能耗增加，空调功率跟不上。5．系统不便管理，新业务部署时间长。6.校园师生对云盘的应用需求日益强烈，对移动办公、数据备份等需求明显。7.一些院系有高性能计算的业务需求，自建高性能中心涉及重复投资且高性能计算中心维护复杂，分散维护困难。2.2总体建设现有应用系统与底层硬件之间存在的“竖井式”结构，需要根据海量数据处理、实现应用弹性、构建多活数据中心等关键技术的发展，渐进式的对基础架构进行全方位规划。现有的服务器、网络、存储、终端需要根据云计算平台的发展需求，对硬件资源进行动态的统筹划分，充分发挥了现有硬件的整体效能，以满足云计算平台的发展需要。通过云计算中心平台建设，利用虚拟化技术、集中建设服务器虚拟化中心、大数据分析系统和高性能计算中心，为校园提供弹性，即时，可定制的云计算服务。节约建设成本，提升云计算服务质量，为校园内广大师生和业务部门提供基于云计算的IAAS，云盘，高性能计算等业务支撑服务。2.2.1XXX高校数字化校园云平台需求在信息化建设的不断发展过程中，校园中业务不断发展，对服务器数量需求不断增加，同时各部门各院系分散申购服务器，浪费极大，维护不方便，集中部署服务器又造成机房空间压力不断增大，维护难度不断增大，服务器数量不断增加等一系列问题。基于服务器虚拟化技术为基础的服务器虚拟化中心提供弹性、可扩展、可定制的虚拟服务器系统，即IAAS服务。2.2.2XXX高校常见业务系统分析需求一卡通业务系统校园“一卡通”系统是指利用智能卡技术、网络技术、数据存储技术、数据加密技术、系统与网络安全技术、计算机控制技术和软件工程等技术；采用银行卡社会金融功能与校园卡校务管理功能相结合的方式；遵循国家金融、技术标准和行业规范；在校园内提供身份认证和金融服务的管理信息系统。一卡通系统（以下简称“一卡通”）是数字化校园的基础工程和重要的有机组成部分，旨在为广大师生员工的教学、科研和生活提供方便、快捷的电子化服务，使其既可以代替学校目前使用的各种证件，又可以应用于各个消费场所，还可以应用于需要身份认证的场所，同时又可通过银行转帐系统与指定的银行进行转帐、圈存，实现校园无现金流通，从根本上实现“一卡在手，走遍校园”的设想。给师生带来一种全新方便的现代生活，从而有效提升工作效率，提高学校的现代化管理水平。“一卡通”系统是以软件、硬件集成的综合信息集成系统，构建在数字化校园之上的统一身份认证、数据中心平台、统一信息门户等基础平台，与学校其它业务管理信息系统紧密结合，实现数据共享和交换，组成数字化校园的重要信息采集网络，为学校提供实时可靠的信息来源和决策依据。综合信息服务系统综合信息服务系统以学校数据中心为基础，将分散在各部门的数据集中到一起，以师、生角色为主线，提供跨部门立体式的人事、教学、学工、科研、设备资产、财务经费等综合查询服务。查询服务以学校基表（由教育部制定的，用以反映高等教育的各级各类学校基本情况的基层统计报表）为基础，支持面向主题的多维查询。个人用户也可以查询自身相关基本情况（个人数字档案）。同时通过全面的数据分析，给院系领导、校领导决策提供数据支持，可以对学校的基本情况有一个全面的了解，通过其掌握学校发展的宏观情况。校园网站系统校园网站系统主要提供Web页面的浏览服务。整个网站系统提供了对外及对外接口。对外访问接口提供了外界了解学校的途径，展示学校形象以及师资力量，招生最新信息等。对内接口的主要适用对象为校内师生，为在校师生提供内部信息展示，课程安排，最新活动咨询等相关信息。另外，目前Web、FTP、BBS三类应用有极大的相关性，方便教师和学生进行课内外交流和授课内容、课外辅导资料等的下载等。同时，可以将图书馆供公开使用的资料在Web服务器上公布，即整合图书馆信息系统和校园网系统。邮件系统E-Mail服务器是一套电子邮局系统和信件发送、接收系统，主要为校园广大的教师及学生提供方便、及时的电子通信手段。邮件系统主要使用对象为校内教师，如果应用资源条件允许，可以考虑为学生开设独立的邮箱账户，方便师生沟通。办公OA系统办公自动化服务器只为学校日常办公服务，现在的OA技术能够提供文字处理、表格制作、公文流转、会议安排等等服务。教务系统主要承担教务处日常新闻发布、学生没学期课程安排和选课等应用，考虑峰值同时选课学生在线人数。数据库系统数据库系统是整个系统中的核心业务系统，推荐使用两台物理服务器做RAC部署，保证业务的连续稳定以及性能的充足。数据库主要存放师生注册信息，一卡通消费信息记录，日常报表学生成绩等校园核心信息，是整个系统最为关键的部分，推荐采用OracleRAC。2.2.3大数据分析需求当前中国正面临从粗放到可持续发展方式的转变挑战。大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来，为人类的社会经济活动提供依据，从而提高各个领域的运行效率，大大提高整个社会经济的集约化程度。在我国，大数据将重点应用于以下三大领域：商业智能商务智能可有效提高企业运营活动的效率。如在零售行业，由于同类产品的差异小，可替代性强的特点，零售企业销售收入的提高离不开出色的购物体验和客户服务。零售企业需要根据销售有特色的本地化商品并增加流行款式和生命周期短的产品，零售企业需要运用最先进的计算机和各种通信技术对变化中的消费需求迅速做出反应。通过对大数据的挖掘，零售企业在选择上架产品时，为确保提供式样新颖的商品，需要对消费者的消费行为以及趋势进行分析；在制定定价、广告等策略时，需进行节假日、天气等大数据分析；在稳定收入源时，需要对消费群体进行大数据分析，零售企业可以利用电话、Web、电子邮件等所有联络渠道的客户的数据进行分析，并结合客户的购物习惯，提供一致的个性化购物体验，以提高客户忠诚度。同时，从微博等社交媒体中挖掘实时数据，再将它们同实际销售信息进行整合，能够为企业提供真正意义上的智能，了解市场发展趋势、理解客户的消费行为并为将来制定更加有针对性的策略。政府决策通过对大数据的挖掘，可有效提高政府决策的科学性和时效性。如：日本大地震发生后仅9分钟，美国国家海洋和大气管理局（NOAA）就发布了详细的海啸预警。随即，NOAA通过对海洋传感器获得的实时数据进行计算机模拟，制定了详细的应急方案，并将制作的海啸影响模型发布在YouTube等网站。公共服务一方面，政府利用大数据技术把积累的海量历史数据进行挖掘利用，可以提供更为广深的公共服务，另一方面，政府可以通过对卫生、环保等领域的大数据实时分析，提高危机的预判能力，为实现更好、更科学的危机响应提供了技术基础。如在交通系统，随着汽车工业的发展，车辆保有量的不断攀升，车与路，车与环境之间的矛盾日趋加剧，诸如交通堵塞、事故增多、能源浪费和环境污染等问题的恶化，需要通过对历史以及现在的车辆情况、路网情况的实时大数据分析，制定更为优化的系统方案，使车辆行驶在最佳路径上，缩小行车时间、节省燃料、减少环境污染，提高路网通行能力和服务质量。大数据虽然极具价值，但由于类型复杂、规模巨大，不论传统的OLAP数据仓库技术还是新兴的分布式处理技术等单一方案都有特定的短板，不可能满足所有的需求，因此，要真正释放大数据的能量，推动大数据应用并非易事，主要面临着以下问题和挑战。挑战一：基础设施的持续扩展问题IDC公司2012年发布的数据显示，数据总量每两年至少增长一倍，但是硬件基础设施由于摩尔定律失效很难进行无限制扩展，即使是MapReduce等分布式技术的扩展性比OLAP等技术有了重大的提高，但是仍存在扩展上限，如OracleRAC最大支持100个节点，Hadoop集群技术理论支持4000个节点，并且其设计初衷是建立在大量廉价、低端服务器上的，在充分横向扩展架构的同时也需要纵向扩展才能进一步提升整体性能。与此同时，基础设施规模不断增大也会带来其他的问题，首先是系统的可用性，因为大规模分布系统只要其中一个节点出现故障，就会引起整个系统的恢复，所以分布式系统应该采取多副本、检查点等容错技术。另外，随着系统节点规模的扩展，网络流量的增加是指数级的，网络瓶颈也会制约系统性能的提升，限制系统的可扩展性。挑战二：数据处理的个性化、一体化需求问题大数据时代同时催生了多种数据类型结构，无论是结构化、半结构化还是非结构化的数据，从采集到挖掘都需要精细划分，形成准结构化数据，并在此基础上进行关联性分析，最后呈现挖掘后的结果。在上述过程中，每一个环节对于数据、软件和硬件的要求是不一样的，用单一的软硬件无法满足所有类型应用。更为重要的是，作为大数据应用的主体的行业用户并非都是IT方面的专家，不可能独立实现上述过程以及大数据相关技术方案的整合部署和应用的移植、二次开发，因此就需要一个涵盖数据采集、归类、挖掘、呈现、部署和移植的一体化解决方案。总之，多类型、多维度数据处理环节的复杂性决定了无法依靠单一类型的设备完美处理，为不同的应用类型和数据处理阶段提供针对性的软硬件一体化方案也是大数据应用面临的挑战。挑战三：天价成本问题目前数据存储越来越频繁，相对于存储的低廉价格，大规模数据处理成本仍然较高，特别采用传统的方法，比如构建数据仓库技术通常需花费几千万元，而能够处理数据规模不过是TB级的，平均每TB的成本超过十万元。以此推算，若要处理PB级数据大概需100亿元，这个成本对于很多用户来说无法接受。如何寻找低成本的方案帮助用户实现大数据的处理技术，也将为大数据的应用带来挑战。研究大数据领域对社会和人类、还有学校都具有很大的意义，所以XXX高校建立大数据分析系统是很有必要性的。2.2.4高性能需求XXX高校作为人才培训和学术研究的重要机构，学科主要研究方向有：“网络与通信技术”研究新型网络体系架构，转发与控制分离技术系列标准、关键设备、产业化应用；“信息安全与量子通信”研究量子信息、密码技术、网络和系统安全；“系统建模和先进控制”研究系统建模、智能检测、综合自动化、非线性控制、Petri网；“信息传输与无线网络”研究泛在网络、计算机视觉、融合网络；“信号检测与智能信息处理”研究信号检测、RFID、人工智能、模糊神经系统等。随着研究的加深和项目的增多，现有的设备无法满足教学和研究的需求，有效提升了和增加设备迫在眉睫。郎丰利整理制作。

数据中心总体规划云资源中心加大数据分析与高性能主要分为计算资源、内存资源、存储资源、网络资源，大数据分析系统，高性能作业调度系统，本项目在充分整合XXX高校数据中心资源的基础上，配置必要软硬件设备，为XXX高校信息系统提供统一的基础设施服务，在IaaS层构建较为完整的XXX高校云计算平台。建设内容包括以下几部分：硬件设备：服务器、存储、、SAN交换机、交换机、负载均衡、VPN网关。软件设备：物理服务器和虚拟服务器的操作系统、虚拟化软件、中间件、大型数据库系统、云计算管理平台、Hadoop组件、高性能管理软件、高性能作业调度软件、高性能集群存储系统。安全系统：防火墙、入侵防御、防毒墙、网页防篡改、身份认证系统、运维安全审计系统、数据库安全审计系统、漏洞扫描系统。同时采购专业机构提供的云安全服务等。机房配套设备：UPS、精密空调、标准机架。如上图，XXX高校云计算中心将建设三大块业务中心，分别是云平台虚拟化中心、大数据分析系统和高性能计算中心。并且通过统一管理平台提供对整体云计算中心的统一软硬件管理，为学校云平台虚拟化应用、大数据分析系统、高性能计算业务和管理提供统一界面入口，对服务器虚拟化中心软硬件设施、大数据分析平台硬件设施、高性能计算软硬件设施以及三大业务中心的业务管理提供统一管理运维平台。为学校云计算用户提供业务发布、业务使用、业务管理等功能。服务器虚拟化云中心：在校园云计算资源中心中利用服务器虚拟化技术、存储虚拟化技术和网络虚拟化技术等建设集中统一的服务器虚拟化中心，利用高性能云计算服务器组成虚拟化集群，为各院系提供数以百计，数以千计的弹性虚拟服务器架构，并且提供虚拟服务器的生命周期管理、利用服务器虚拟化的高可用技术提供业务连续性保障。为各院系和校园各业务系统提供弹性可扩展、快速可恢复、安全可靠的服务器基础架构。为旧业务的迁移、新业务的部署提供快速、安全、自动化的业务部署模式。大数据分析系统：高校研究项目众多，教师教学任务等很多都会用到大数据分析平台，大数据将给IT行业开拓一个新的黄金时代，作为成都重要的高校我们有义务在这些前沿科技上做出对人类、社会、四川、成都有帮助的研究并造福人类、造福四川和成都，为提高资源利用率所一建议建立统一的大数据分析平台供学校各学科教学和个科研方向研究使用。高性能计算中心：高校有很多院系都存在需要进行高性能计算的相关业务需求，比如水文分析、化学分子分析、机械模型分析、数据建模等都有高性能计算的需要。如果各院系都自己建设高性能计算平台的话，会造资源的极大浪费。通过在云数据中心建设一套统一的高性能平台，在各院系需要进行相关计算时，进行对应的软件部署，并进行相关业务运算。即可以提高硬件的使用效率，又可以节约资源。本期方案将为学校在云数据中心建设一套高性能计算中心，以便为学校各院系服务。统一管理平台：高校云计算资源中心包括服务器虚拟化中心、校园云盘系统、高性能计算中心等云计算系统，这些系统的维护均有自己的维护页面，再加上云计算中心的硬件设施，维护会非常复杂，为了降低维护和使用难度，提供统一管理平台，为各系统管理员提供统一管理的界面。对各系统进行统一维护，且提供安全保障。在硬件上实现散热、电源、管理功能等非IT资源的集中化和模块化，并利用软件虚拟化技术实现计算、存储等IT资源的池化和集中管理；将非计算部分的存储、网络等IO设备进行池化，机柜内采用高速网络互联，并以软件定义的计算、软件定义的存储和软件定义的网络来满足业务需求，并实现完全的软件定义；将CPU、内存等所有的IT资源完全池化，从硬件上可实现任意组合，根据应用需求智能地分配和组合相关资源，实现完全意义上业务驱动的软件定义数据中心，软件上实现业务驱动和应用感知。

云数据中心建设规划云计算平台逻辑架构图云设施即服务(IaaS，CloudInfrastructureasaService)：系统供应商可以向用户提供同颗粒度的可度量的计算、存储、网络和单机操作系统等基础资源，用户可以在之上部署或运行各种软件，包括客户操作系统和应用业务。云平台即服务(PaaS，CloudPlatformasaService)：云计算平台供应商将业务软件的开发环境、运行环境作为一种服务，通过互联网提交给用户。云平台即服务，需要构建在云基础设施之上。用户可以在云平台供应商提供的开发环境下创建自己业务应用，而且可以直接在云平台的运行环境中上运营自己的业务。云软件即服务(SaaS，CloudSoftwareasaService)：运营商通过互联网，向用户提供软件服务的一种软件应用模式。传统的SaaS与云SaaS，在客户体验上基本类似，如新浪邮箱和Gmail邮箱，客户感受是类似的。但传统的SaaS直接构建在硬件设备之上，不能实现后台资源的多租户共享，也无法实现资源的动态流转，实际并不属于云计算的范畴。云SaaS，要求这些软件业务运行在云平台服务层或构建在云基础设施层之上。云SaaS的优势，体现在后台资源的动态伸缩和流转上，资源可扩展性更强，这一重大优势是传统SaaS所不具备的。本方案中云计算平台由资源池、虚拟化平台、云管理平台组成。资源池部分主要有物理设备组成，包括服务器，存储和网络等基础架构资源，通过虚拟化平台对基础架构设备进行池化，从而形成资源池；虚拟化平台就是将物理资源进行池化的软件组合；云计算管理平台就是对底层资源池和虚拟化软件进行管理，并且，针对管理和运维需要，云计算管理平台实现云计算服务的交付和云计算中心用户和流程的管理以及数据中心的监控。4.1资源池规划什么是资源池云计算的核心特性是利用规模化效应降低单位资源的管理成本和使用成本，而规模化的一个前提是资源的物理集中，因此被管理的资源最好集中在少数几个中心，而不是分布在很多物理位置。云计算资源池是采用池化的办法，把服务器、存储、网络等资源按照不同的标准组织成不同的资源池。通过资源池的管理模式，云计算管理员无需去考虑具体的服务器、存储和网络配置。在一个资源池内，通常可以包括服务器、存储空间、网络端口等，这样，在一个资源池中我们就可以为某一个应用系统提供它所需要的所有计算资源。通过云计算的自动化功能，云计算平台管理员可以方便、快速的在资源池中定制化的选择应用系统需要的计算资源数目,根据业务的应用类型进行云计算平台资源的分配。资源池的特征（1）多实例通过服务器虚拟化，在一个物理服务器上可以运行多个虚拟服务器，即可以支持多个客户操作系统。服务器虚拟化将服务器的逻辑整合到虚拟机中，而物理系统的资源，如CPU，内存，硬盘和网络等，是以可控方式分配给虚拟机的。（2）隔离性在多实例的服务器虚拟化中，一个虚拟机与其他虚拟机完全隔离。通过隔离机制，即便其中的一个或者多个虚拟机崩溃，其他的虚拟机也不会受到影响，虚拟机之间也不会泄露数据。如果多个虚拟机内的进程或者应用程序之间想互相访问，只能通过所配置的网络进行通信，就如同采用虚拟化之前的几个独立的物理服务器之间需要通过网络来访问一样。（3）封装性即相对硬件独立性。在采用了服务器虚拟化智慧，一个完整的虚拟机环境对外表现为一个单一的实体（例如一个虚拟机文件、一个逻辑分区），这样的实体非常便于再不同的硬件间备份、移动和复制等。同时，服务器虚拟化将物理机的硬件封装为标准化的虚拟硬件设备，提供给虚拟机内的操作系统和应用程序，保证了虚拟机的兼容性。（4）高性能与之间在物理机上运行的系统相比，虚拟机与硬件之间多了一个虚拟化抽象层。虚拟化抽象层通过虚拟机监视器VMM或者虚拟化平台来实现，并会产生一定的开销。这些开销为服务器虚拟化的性能损耗。服务器虚拟化的高性能是指虚拟机监视器VMM的开销要被控制在可承受的范围之内。（5）兼容性随着技术的不断推进，新的服务器无法运行原来比较古老的操作系统，例如，某客户很久之前在某个服务器上安装了win2000的操作系统，应用的开发团队因为某些原因解散了，因而用户失去了应用升级的支持。随着时间的发展，原来的服务器已经损耗非常严重，用户希望对服务器进行升级。在没有做相应新的驱动开发的情况下，无法在新的服务器上安装win2000。通过虚拟化技术可以虚拟出一个标准的虚拟硬件设备，兼容稍微陈旧的操作系统。这样就能实现用户应用运行在原有的系统环境中，但是支持用户应用系统是最新架构的、性能强劲的新的服务器。资源池规划要素（1）硬件类型。应该支持同样的虚拟化引擎。例如X86服务器和Power服务器的虚拟化技术不同，它们不能划入同一资源池。（2）性能差异。高端和低端服务器在性能上存在较大差异，如果划入统一资源池，会导致上面的应用体验到不同的性能指标。因此，应该采用统一档次、统一类型的服务器。（3）网络分区。同一资源池应该位于一个局域网，这样可以避免大量数据的跨局域网传输。因此，对于多个数据中心的资源，推荐为每个数据中心独立创建一个资源池。（4）灵活扩展。能够对云计算平台进行设备的热添加。在业务不中断的情况下对资源池进行扩充、对业务进行扩展，确保云计算平台资源池满足当下应用及未来三至五年业务增长的需求。（5）安全隔离。生产系统一般对应用的安全性有很强的要求，因此对服务器及存储资源进行不同程度的隔离，如物理隔离、逻辑隔离（如VLAN）等。云计算的引入不能破坏现有的安全要求，因此资源池的组织也需要按照相应的规则进行。4.2资源池规划内容资源池建设硬件部分围绕着计算、存储和网络三个方面进行，包括服务器、存储空间、网络端口等。资源池示意图计算资源池建设规划方案规划为用户云计算平台建设一个高性能计算能力的虚拟机的云计算平台，从而满足用户业务的IT需求。云计算平台要求具备超高的扩展性，动态地对云计算平台进行扩展，以满足业务快速增长的需求。方案采用虚拟化技术，在虚拟化技术中物理服务器计算能力影响着虚拟机性能。将单台物理服务器的计算能力最大化，以便于进行资源池资源动态分配，有别于传统的部门级和企业级服务器。云计算中心的数据库较传统模式更大，所处理的数据规模也将会十倍于、甚至百倍千倍于现在的系统，这些系统需要更大的集中式处理的服务器，而不是集群系统。因此对于底层的硬件资源我们应该从更大规模和尺度去考虑，系统需要有更高的计算性能、更大的内存、更好的可扩展性，本方案中我们建议选择性能更加强劲、扩展性更好的x86八路服务器平台。目前XXX4路服务器服务器，具备60个计算核心、120个逻辑核心，是传统服务器计算能力的20倍以上。服务器整机采用模块化设计，支持物理分区，具备高性能、高可靠、高扩展、高可用等特性。在性能及可靠性等方面均可与IBM、HP、SUN等传统UNIX小型机竞争，填补了国产品牌的空白，是构建云计算和物联网的最佳选择。存储资源池建设规划统一SAN存储系统：成熟的SAN网络技术，使用存储虚拟化技术进行不同SAN协议和网络的融合，最终向云计算平台提供统一的数据存放接口。目前主流采用8GbFC主机接口，提供海量存储空间，适合于对于海量数据存放的性能和安全性有较高要求的高校业务应用系统。业务高可用建设规划业务高可用示意图由上图可以看出，系统采用多台x86服务器，每台服务器运行多个业务系统，后端共同连接一个磁盘阵列。高可用方案能够不间断地监控资源池中的所有服务器并监测服务器故障。放置在每台服务器上的代理会不断向资源池中的其他服务器发送“心跳信号”，而心跳信号的中止会导致所有受影响的业务应用在其他服务器上重新启动。高可用方案确保资源池中始终有充足的资源，以便能够在出现服务器故障时在不同的物理服务器上重新启动业务应用。当服务器上的任意一个业务系统运行出现故障的时候，通过高可用方案管理节点可以在其他两台服务器上按照资源利用情况，重启一个故障的业务应用环境，使业务继续运行下去。即使当一台服务器出现故障的时候，其他两台服务器仍然能够根据资源利用的情况，通过高可用方案管理节点重启已宕服务器上的所有业务应用环境，这样就使整个系统都处于一种HA状态，进而保证了整个系统业务运行的连续性。同时减少了硬件投入数量和开销。4.3虚拟化软件选型规划虚拟化技术的诞生已经有将近30年的历史。它曾经用于一些大规模的、预算充足的单位，而如今已经应用于计算机的方方面面，包括硬件、软件、通信等等方面。在许多情况下，这项技术是免费的、开源的，或者是包含在一些收费的产品中，例如操作系统或存储硬件中。在应用软件和硬件之间加入了一层抽象的层。能够降低IT设施的成本和复杂度。提供相互独立的计算资源，从而增加稳定性和安全性。提高服务层次以及服务质量（QoS）。能够使IT流程与单位目标相一致。尽可能减少IT设施中的冗余，最大化IT设施的利用率。当今最常见的虚拟化形式都聚焦于服务器硬件平台的虚拟化，而这项技术的实现及其实现目标其实对数据中心中关键而昂贵的组件也很有意义，例如存储和网络基础设施。虚拟化技术能够允许在一台计算机上同时运行多个操作系统实例。每个操作系统实例都共享了同一物理硬件上的一定量的资源，就像下图所展示的那样。一个称作虚拟机监视器（VirtualMachineMonitor,VMM）的软件控制着底层CPU、内存、存储和网络资源的使用和许可。虚拟化示意图作为中国领先的云计算服务提供商，和业界领先的云计算解决方案供应商，XXX和vmware在2006年就开始在云计算领域进行深度合作，并于2008年与VMware公司正式签订战略合作伙伴关系。与此同时，XXX近些年投入强大的研发科技力量着力进行云计算软件的开发，目前已开发出XXX云海平台。其中iVirtual3.2是XXX云海虚拟化管理软件。XXX虚拟化产品架构图XXX云海•服务器虚拟化系统是数据中心虚拟化基石，是业界最完善的虚拟化平台。该产品不仅仅将IT硬件转变为可靠的云计算数据中心后台，而且还能为用户的应用服务提供最高级别的可用性，安全性和扩展性。XXX云海·服务器虚拟化系统基于服务器，存储和网络设备构建资源池，在资源池上通过资源的管理、调度和镜像管理实现系统的各种高级功能，例如计算层面的系统负载均衡和虚拟机高可用，存储层面的镜像复制和冗余。系统支持以主机或者虚拟群集为单位管理资源，虚拟群集为一组共享存储资源的物理主机。

XXX云海·服务器虚拟化iVirtual3.2系统为B/S架构，用户可以通过浏览器访问并使用系统。具体系统使用功能包括：概览、主机、虚拟机、集群、网络、日志、系统拓扑等等。另外系统对外提供API，支持用户进行二次开发。4.4云管理平台建设规划本方案中推荐采用XXX云计算操作系统云海OSV3.2作为云计算平台的云管理平台。XXX云海OSV3.2产品架构图XXX云海OSV3.2是云数据中心资源管理及资源交付软件，兼容不同的虚拟化架构，监控、管理云资源和数据中心软、硬件资源，实现基础设施的服务化。平台提供丰富的功能组件和API接口，帮助用户快速部署企业服务，有效提升云数据中心管理运维效率。XXX云海OSV3.2为用户构建一个资源共享、安全可控的云计算平台，对云计算平台内异构资源进行统一管理。通过添加VMWarevCenter、iVirtualcenter，实现对异构虚拟化资源池的集中管理，可横向、动态扩展云资源规模和容量，以适应未来发展的需求。XXX云海OSV3.2以模块化的设计理念，涵盖云数据中心的所有需求：云海OSV3.2涵盖了服务提供所需各个环节的管理，可轻松实现用户对数据中心各类资源的统一管理，提供一站式运维，便于用户维护，降低维护成本；通过云资源管理主要实现对数据中心云资源的统一管理，包括虚拟控制中心管理、集群管理、存储管理、虚拟数据中心管理、虚拟网络管理及镜像管理；通过云海OSV3.2平台采用开放、灵活的架构设计和模块化设计，客户可以功能模块按需组合，满足不同层次用户需求，便于扩展及定制化开发；云海OSV3.2具备大规模、细粒度、高精度的监控系统，对资源进行完善的监控管理、故障报警、日志记录等；系统支持自定义角色类型，可定义拥有不同权限的角色，实现灵活而安全的系统权限管理，且拥有基于权限的用户控制技术和组织网络隔离技术，可以保持多租户环境下的安全性和可靠性。针对用户业务，云海OSV3.2提供灵活的业务审批流程，可自定义业务流程，实现业务申请审批流程的可视化、自动化管理；精确的计费管理，终端用户可以通过Web界面在线自助申请所需的计算、存储、网络资源，实现资源的按需获取并通过实时的资源使用情况统计，让用户精确掌控自身资源和费用使用情况。

4.5数据中心统一管理平台规划计算资源中心包括硬件基础设施、服务器虚拟化中心、大数据分析系统和高性能计算中心，采用统一管理平台统一管理接口，保证统一管理平台，实施基于ITIL的运维流程非常重要，同时，云计算资源中心提供包括IAAS、PASS（高性能计算业务）和SAAS（云盘业务）等多种云业务，通过统一管理平台提供业务发布平台，所有的云业务均通过业务发布平台进行业务发布，为用户提供统一访问入口，将为用户提供极大的方便性。统一管理平台方统一管理平台基础架构如下：统一管理平台通过配置数据库，调用底层各应用系统的API接口，和底层各应用系统进行对接。运维人员通过统一界面对各业务系统进行监控和维护，调用各业务系统的功能，进行相关业务发布。通过工作流引擎定义运维流程和发布流程，为用户提供云业务。云计算中心统一管理平台提供了管理框架，通过此管理框架，可以集成多种不同的云业务，并通过集成工作流引擎，灵活配置管理和发布流程，和企业OA和ERP平台进行集成，提供符合公司企业业务流程的管理平台。统一管理平台基础功能底层平台多云配置及管理添加和管理平台支持的多个云业务平台，其中云业务平台接口集成需要定制开发；管理每个客户项目需要的虚拟化平台；Openstack接口集成集成Openstack的常规管理接口，封装成可以直接被业务层调用的API。通过API调用具体云平台业务。虚拟化层监控组件监控平台计划中包括物理层、虚拟化层和应用层监控，其中虚拟化层监控的功能从底层平台接入，物理层通过第三方厂商业务集成接入，应用层通过业务定制组件集成接入。需要管理的监控项通过虚拟化平台接口集成实现客户自服务中心云业务管理分数据中心、分不同云业务类型对云业务平台进行管理。对所有的云业务管理提供三个维度的标签管理，业务类型、监控优先级管理功能分类如下：日常运维管理类当前用户权限范围内的已有资源数量、使用情况、资源池总量和使用情况、报警信息、历史记录、操作日志网络类网络相关的设置和管理，VPN、子网等配置资源变化类资源池内资源的新建、扩容和销毁。提供申请“资源扩容”的入口，低级管理员向高级管理员申请，顶级管理员不提供功能入口物理层管理数据中心、机柜、服务器、交换机等物理资源的管理和关系建立。建立虚拟化平台和物理层的关联关系。监控展现监控工具的功能展现，包括①报警项列表及管理②分资源监控页面用户及权限对应到用户、角色、权限组的管理，包括角色之间的层级关系。系统内各功能权限的设定基于角色建立，资源池配额基于用户建立。工单管理系统提供工单和工作流管理，为用户发现问题，提交问题，云业务中心管理员解决问题提供了跟踪流程。为业务上线、业务发布、业务回收提供了完整的流程管理。配置管理系统管理员具备权限，设定系统内可以操作的虚拟化资源配置模板以及非标模板资源的关联关系（CPU、内存、硬盘等的限制条件）大数据建设规划5.1大数据平台规划本次计划将分散在网络中的数据归集起来，为分析机构提供数据提取和查询服务；本项目计划实现网络信息的综合查询与分析，实现综统报表、监管报表、业务日报表、综合报表的信息共享；信息预警系统，实现网络信息的联动查询统计。通过建立逻辑数据模型，并建立适合各类专题分析需要的数据集市，形成企业级中央数据仓库，以中央数据仓库为纽带完成业务数据向管理信息的过渡；大数据ETL和数据仓库随着信息技术运用的不断深入，互联网上积累了大量原始数据，而这些数据是按照关系型数据库结构存储，在更新，删除，有效存储(少冗余数据)方面表现出色，但在复杂查询方面效率却十分低下。为充分利用已有数据，提供复杂查询，提供更好的决策支持，就需要采用数据仓库(DataWarehouse)技术。数据仓库与数据库(这里的数据库指关系型数据库)的区别在于，数据仓库以方便查询(或称为按主题查询)为目的，打破关系型数据库理论中标准泛式的约束，将数据库的数据重新组织和整理，为查询，报表，联机分析等提供数据支持。数据仓库建立起来后，定期的数据装载(ETL)成为数据仓库系统一个主要的日常工作。数据仓库的数据组织是商业智能中最重要的课题，中央数据仓库不是各系统数据简单的堆积，而是业务数据的有组织的存储，来支持异源异构数据的联动分析和挖掘。它必须具有灵活性和可扩展性，适应将来的业务需求的增加和变动。1、数据仓库的逻辑结构在数据层前是数据源和转换区，数据源是业务信息库中的原始数据，转换区用于存放从数据源抽取到的数据，并在转换区进行转换，是ETL的工作区域。数据层负责所有数据的持久存储，包含中央数据仓库（DW），数数据源据集市（DM）和多维模型OLAP(MDB)。中央数据仓库(DM)存放从各个数据源抽取的数据，是经过转换后的细节数据。数据集市（DM)存放的是面向业务应用宏观的汇总数据,基于实用化和运行效率的考虑，数据集市ETL采用数据库存储过程来实现。多维模型（MDB)是将数据数据集市中的数据加载到OLAPSERVER中,为多维分析提供数据。2、逻辑数据模型逻辑数据模型LDM是数据仓库体系结构的基础。数据模型的设计既要满足本项目的业务需求，同时要充分考虑未来业务发展的需要，也就是说，数据模型应具有较强的扩展性；数据模型的设计应充分考虑最终用户的查询/分析效率和数据抽取、转换和加载的速度，保证系统具有较高的运行效率；数据模型的设计应充分考虑当今数据库技术和数据建模技术的发展动态，保证数据模型的设计方法、设计过程、设计结果的科学性和先进性；数据模型的设计应具有较强的可读性，数据模型应便于业务人员和技术人员理解，项目投入运行后，数据模型便于技术人员维护。中央数据仓库存储所有最详细的业务数据，数据的组织方式依关系型数据库的第三范式规则。数据仓库逻辑数据模型主要包括六个主题域：客户、产品、帐户、交易、渠道和机构。3、数据集市模型根据业务需求将中央数据仓库数据分类成几个不同的数据集市，每个数据集市完成不同的分析和查询需求，数据集市中的数据通常由中央数据仓库的数据聚合而来，根据数据聚合程度的不同包含轻度聚合、中度聚合和高度聚合三种不同的层次。汇总的方式将依据数据量的大小和使用频率综合考虑。4、ETL的设计ETL指源系统数据经过数据抽取、转换和加载处理进入数据仓库的整个过程。ETL流程主要包括以下主要步骤：数据抽取：数据抽取就是将数据仓库需要的业务数据抽取到数据转换区的过程；数据检查和出错处理：在数据转换区中，对源系统数据质量进行检查，形成检查报告，并进行相应的出错处理，对于严重错误，需要系统维护人员现场做出相应的处理。数据转换：数据转换包括对源系统数据进行整理、剔除、合并、验证等一系列转换工作，最后形成数据仓库物理数据结构所需的数据，存放在转换区的数据表中。数据加载：数据加载将数据转换的结果数据加载到数据仓库，并形成数据加载情况的报告。ETL工具需包括下列模块：EXTRACT模块（数据抽取），TXTLOAD模块（文本装载），TRANSFER模块（数据转换），DWLOAD模块（数据仓库装载），QUALITY模块(质量检查），CODEMANAGER模块（标准代码管理）和WADMIN模块(总控）。从各个数据源到中央数据仓库的ETL可以由ETL工具实现。首先在各个源系统安装extract模块，将源数据抽取为文本数据，打包后通过ftp传送到数据仓库主机上。在数据仓库主机上通过txtload将文本数据装入交换区，然后通过在交换区内通过Transfer模块进行数据转换，最后将交换区的数据通过dwload装入中央数据仓库。ETL每个模块都是现了参数化配置，通过配置相应的ini配置文件实现。从中央数据仓库到数据集市的数据装载利用存储过程实现。在开发过程中针对每个数据集市设计相应的存储过程，实现数据从中央数据仓库到数据集市的装载。BI体系构建通过引入先进的商业智能工具，提高数据挖掘水平，是迅速改变信息工作无法满足业务发展需要的必由之路。数据挖掘系统将以原始数据为基础，以先进的数据建模理论对业务信息库进行重新规划，建立信息管理的基础数据支持平台。随着数据量的不断扩大以及新的应用系统不断上线，一期建设的大数据系统在不能满足需求的情况下，需要对大数据系统进行扩容。XXX云海大数据一体机采用ShareNothing架构，可以灵活扩展，并且在扩展的基础上能够保证性能的近线性提升。XXX目前支持两种扩容方式：一：增加节点实现扩容，将节点添加到原有系统中，实现整个系统性能和存储能力的提升。二：增加新的大数据一体机，与原有系统形成互相独立的两套大数据系统。方式一适用的场景：数据量增大，原有系统存储量无法满足要求。方式二适用的场景：客户需要重新搭建一套大数据平台，实现业务和数据的隔离。5.2大数据架构介绍本次大数据平台系统包括硬件、操作系统层和软件层三部分。1）、硬件层大数据一体机硬件层分为计算、存储和网络三个模块，其主要特征包括：①适用于大数据处理的计算单元。针对视频数据挖掘、在线交易这样的应用，由于这类应用对于计算量要求高，因此采用CPU多、内存多的重载节点，并增加专用的加速芯片，针对对计算、存储和IO均衡的应用，采用通用数据单元，第三类则是针对对数据处理快速响应的应用场景，提供轻量计算单元。②适用于大数据处理的存储单元。采用整体一体解决方案，充分发挥新型存储节制的作用，比如闪存盘的技术，将闪存盘放在整个计算缓存里面做高速缓存，针对不同应用类型，实现全局的算法，降低冗余率。③大数据互联交换芯片。互连核心交换融合了数据通信与存储网络，实现对系统级消息通信、数据交换、以及I/O操作的统一支持，提高系统通信性能和扩展能力。④全局交换网络。互连核心交换融合了数据通信与存储网络，实现对系统级消息通信、数据交换、以及I/O操作的统一支持，提高系统通信性能和扩展能力。2）、操作系统层大数据一体机采用专门面向关键应用业务开发的操作系统，不仅针对架构进行了专门的优化，性能大幅提升，而且在安全性和容错性方面能力突出。3）、软件层大数据一体机软件层包括分布式文件系统HDFS、分布式数据库HBase、并行数据处理引擎MapReduce，数据仓库Hive、数据分析、挖掘工具Mahout和管理系统等几个模块。本次在开源Hadoop之上开发了管理和监控工具，可简化Hadoop集群的安装、部署、使用与管理，主要功能包括：①节点动态增减②集群部署卸载③MapReduce作业管理④平台配置与参数更改⑤集群监控报警系统5.3新型分布式处理技术基础XXX云海大数据一体机所采用的分布式处理技术核心基础包含两部分：1）是用于海量数据存储与吞吐的分布式文件系统；2）是用于海量数据处理的分布式运算框架。5.4分布式文件系统HDFS分布式文件系统是一个高度容错性的系统，适合部署在廉价的机器上，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS的特点主要包括：使用低成本存储和服务器构建，能够存放PB以上级数据高可扩展性，实际生产环境可扩展至4000个节点高可靠性和容错性，数据自动复制，可自我修复高带宽，支持高并发I/O访问分布式文件系统HDFS运行在使用低端通用服务器构建的大规模集群之上，采用键值对（key/value）模型进行数据存储。整个HDFS系统采用元数据集中管理、数据块分布存储的架构，包括一个主服务器和多个块服务器，支持多个客户端访问。大规模数据被分割成固定大小的块（64MB或128MB），块服务器将块以文件形式保存至硬盘，并根据块句柄和字节范围读写数据。为了实现容错以确保可靠性，每个块被缺省的复制3个备份。主服务器采用B+树管理文件系统的名字空间、文件映射、块物理位置等元数据。此外，HDFS的设计充分考虑了互联网应用负载和环境特征，通过服务端与客户端的联合设计，使性能和可用性达到最优，主要体现在四个方面：1)考虑到节点的失效问题，以软件方式实现系统故障恢复功能；2)采用特殊的文件系统参数，文件大小以GB计并支持大量小文件；3)适应应用特征，增加追加写文件操作以优化磁盘顺序读写速度；4)部分文件操作不再透明，由应用程序完成。5.5MapReduce计算框架为满足对海量数据的智能分析和深度挖掘需求，采用HadoopMapReduce并行计算框架对各类结构化、非结构化数据进行离线分析。Hadoop是一个利用key/value数据并行性进行分布运算而后汇总结果的计算框架，适合作用于具有可划分属性（时间、空间等）的数据集合的，利于线性扩展；采用数据本地化处理优化，通过移动计算，而非移动数据来实现高效数据处理；同时，Hadoop通过与HDFS配合使用和容错设计，具有高可靠性。为了简化集群环境下的并行编程负担，Hadoop实现了MapReduce编程模型，使得程序员只需关注应用处理逻辑，而由运行环境负责集群应用的任务调度、数据通信、可靠性和可伸缩性保障等底层处理细节。MapReduce把数据处理过程分解为Map阶段和Reduce阶段两个阶段，程序员只需编写map和reduce方法即可实现对海量数据的并行处理。map方法处理key/value键值对数据生成一系列key/value中间结果，reduce方法合并具有相同键值的中间结果得到最终结果。MapReduce的执行过程如图1.6所示，首先对数据进行分块并分配给多个Map任务执行map方法，然后根据某种规则对中间结果进行划分（partition）并写入本地硬盘；Map阶段完成后进入Reduce阶段，具有相同key值的中间结果被从多个Map任务节点收集（shuffle）到Reduce节点进行合并排序（sort），并执行reduce方法，输出结果写入分布式文件系统。MapReduce模型为Map:k1,v1List(k2,v2)Reduce:k2,List(v2)list(v2)其中，Map方法将key/value数据[k1,v1]转换为[k2,v2]，Reduce方法针对每个k2的值列表List(v2)做list操作。此外，MapReduce模型中还包括partition、combine和sort等方法，可根据需要进行定制。将已有智能分析和挖掘应用MapReduce化的一般过程为：分析问题并行性，即输入数据集是否可被切分处理编写Map函数，在第一阶段计算<Key,Value>对。Map方法可以完成选择、投影等运算编写Reduce函数，在第二阶段用于汇总Map函数的结果，Reduce方法可以完成表中定义的其他key/value代数运算5.6数据管理与分析为满足海量数据的分布式计算和处理需求，采用基于无共享集群架构的并行化数据处理方式完成海量数据的组织、检索、传输等工作，提高业务效率。同时，建立标准统一的开发平台向编成人员屏蔽底层分布式计算细节，提高业务实现效率。5.7分布式数据库HBase是一个分布式的、按列存储的、多维表结构的实时数据库,为高速在线数据服务而设计，HBase的特点主要包括：1）采用NoSQL数据库结构面向列存储、可压缩，有效降低磁盘I/O，提高利用率多维表结构，在四个维度中三个维度可变，适合描述复杂嵌套关系灵活的表结构，可动态改变和增加（包括行、列和时间戳）支持单行的ACID事务处理2）基于分布式架构高性能，支持高速并发写入和高并发查询可扩展，数据自动切分和分布，可动态扩容，无需停机高可用性，建立在HDFS分布式文件系统之上为了支持互联网应用的格式化和半格式化数据，可构建了弱一致性要求的大规模数据库系统HBase。HBase数据模型包括行、列以及时间戳，多个行组成一个子表（Tablet），保存在子表服务器中。为使性能最大程度地适应需求，HBase体系结构也是基于客户端和服务器架构设计的（如图-HBase体系结构）。HBase依赖于集群任务调度器、HDFS文件系统以及分布式锁服务ZooKeeper。HBase使用具有鲁棒性的分布式锁ZooKeeper来保存根元数据表的指针，客户端应用首先通过程序库从ZooKeeper中获得根表的位置，然后与主服务器进行元数据通信，进而与子表服务器进行数据通信。HBase使用一台服务器作为主服务器管理元数据，并对子表服务器进行监控、故障处理和负载调度。图-HBase体系结构5.8Hive数据仓库为支持进一步开发针对海量数据的智能分析和深度挖掘应用，在HDFS/HBase之上建立数据仓库Hive。Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。Hive的主要特点包括：采用HDFS进行数据存储，采用Map/Reduce进行数据操作提供类似于SQL的查询语言高扩展性(scale-out)，动态扩容无须停机针对海量数据的高性能查询和分析系统提供灵活的语言扩展，支持复杂数据类型，扩展函数和脚本等5.9大数据调优服务在本次项目中需要具有软硬一体化、专业化方面的优势，借鉴大量实际案例和生产实践经验，提供下列增值服务。1）、Hadoop调优XXX在Hadoop发行版提供的平台之外，还具备进一步优化的能力，具体包括硬件优化、操作系统优化、Hadoop配置优化和应用优化。硬件优化：采用硬件加速技术，包括采用FPGA卡将某些功能通过微码的形式固化，直接与硬件交互，大大提高处理速度。还可以采用存储加速技术，将某些频繁使用、直接影响性能的操作进行存储加。操作系统优化：采用内核优化，提高内存访问速度，减少进程切换和减少使用非本地内存，以及缓存技术等进行操作系统层面的优化。Hadoop配置优化：对Hadoop底层及应用的精通帮助进行Hadoop配置优化，优化方向包括操作系统参数优化、网络优化、HDFS优化、Map/Reduce优化、HBase优化等。在大的集群规模和数据量的实际场景下的优化经验是十分宝贵的，是实测得出的经验。应用优化：包括数据模型优化和应用逻辑重构，由于非常熟悉Hadoop技术的优势所在，将针Hadoop的特点对数据模型进行优化。另外的一个优化方面是将针Hadoop的特点对应用逻辑重构，保障应用逻辑正确的条件下，结合对银行应用的精确理解，进行应用逻辑重构，优化系统性能。2）、Hadoop数据导入工具从本地磁盘导入到Hadoop集群和HBase数据库，是一个非常复杂的过程，如果没有工具支持，很难保证性能，而且容易出错。根据过去的项目经验，XXX开发了Hadoop数据导入工具，实现高性能的数据导入。具体功能包括：任务调度：以pipe的方式，进行任务调度。按批次导入的方法的缺点是系统利用率无法达到最优，会出现资源浪费。按pipe方式导入可以避免按批次导入的方法的缺点，最大限度利用资源。另外，通过对任务资源代价排序，可以实现集群资源的平衡使用。数据分发：根据各节点的资源列表，将数据平均分发到各节点。并发控制：以可配置方式，实现并发数的控制，提供并行执行任务的能力。配置工具：提供参数配置，以参数形式控制导入的过程，避免硬编码带来的灵活性问题。日志管理：提供丰富的日志信息，对于出错日志单独记录，便于分析问题和采取纠正措施。3）、HBase开发工具采用面向对象的设计和开发方法，并采用分层模型，对HBase的操作进行封装，想HBase的复杂性对开发者透明，并提高开发效率，减少开发中的BUG。具体特点包括：Java对象化将HBase的数据进行Java对象化，开发者只要定义JavaBean，并通过HBase开发工具提供的简单接口就可以实现select,insert,update,delete.HBase底层抽象把HBase的会话连接，HTable操作，SCAN操作等进行抽象，形成dbo类和query类，结合Java对象化实现优雅地开发HBase应用程序。HBase表维护进行HBase表创建、删除等。特别是进行HBaseRegion预分配等增值服务。其他工具类如文件操作，日期操作等4）、Hadoop应用开发能力XXX利用多个项目的积累形成了很强的Hadoop的应用开发能力。体现如下：多个大型项目经验：包括几个大型国有银行、省级交通局、公安局的大型项目，在海量数据量和集群规模上具备了实战经验，能完成大型客户的复杂需求。开发流程：积累和提炼出Hadoop应用开发，特别是HBase开发的流程规范，形成一套方法论，对于指导未来的Hadoop应用项目具有很好的指导作用。有经验的开发团队（规模）：XXX形成了一个具有相当规模的有经验的开发团队，并且是本地开发，具有人员的规模效应和成本优势。

高性能建设规划6.1高性能平台建设内容XXX集团针对此次高性能项目需求，并结合多年来对科学计算领域高性能应用的深刻理解，特别推出了基于22nm制程工艺的全新英特尔®微体系架构（代码IvyBridge）的英特尔®至强®E5-2600v3系列处理器的TS10000高性能集群系统，本集群具有计算性能优越、功耗控制领先、监控管理系统方便易用、系统开放易于扩展、服务体系完善等特点。除此之外，颇受广大用户认可的XXX高性能集群培训服务体系，将为此次项目锦上添花，免除用户的后顾之忧。建设一下内容：普通的计算机节点GPU的计算机节点具有强大性能的8路计算节点6.2高性能平台总体性能要求此次建设规划中，遵循业主方高校重点基础设施实施建设，为XXX高校计算机学院日常教学、科研和承担政府项目运行支撑系统提供保障。其中XXX高校计算机学院高性能项目将采用云的方式进行搭建，XXX高校计算机学院高性能项目将主要采用高性能机架式集群的方式进行搭建。分别从云高性能平台个模块对XXX高校计算机学院支撑介绍。高性能总体要求:在采用“机架式计算节点”的架构，浮点运算能力的峰值计算需同时考虑CPU的核心数、核心主频及时钟频率（按照浮点计算峰值＝核心数×核心主频×时钟周期的计算方式（此为单核的值，还需要乘以总核数量），因此，配置目前x86体系中计算速度最快的IntelXeonE52600v3（及以上）系列处理器，双精度浮点计算能力达到12Tflops（11.9万亿次/秒），Linpack测试不低于70%。针对跨网格及紧急任务的处理，配置了少量功能更强大的八路机架式计算节点，双精度浮点计算能力达到7Tflops（7.06万亿次/秒）。同时，配置GPU的双精度浮点，双精度浮点计算能力达到23Tflops（23.18万亿次/秒），目前一张TESLAGPUK80理论峰值为2.91Tflops，所以我们需要配置8个K80的GPU计算机节点。同时，高性能内部计算网络采用全线速、无阻塞的56GbFDRInfiniband，是目前最先进的通信网络，能极大提升数值模式计算的速度和扩展性。建成后的高性能计算系统将支持XXX高校的各科研教学的数值模型计算，满足XXX高校分梯度的教学任务和科研项目，实现在小时级别内计算出各位科研和教学的算法，并可展望未来几年我们学校新设置的一些教学和科研项目。6.3节点配置详解6.3.1计算节点（大数据DataNode节点）作为整套集群的主体结构，计算节点是整套系统的基础，其性能直接决定了整套系统的整体性能。为此，我们这次采用基于全新的IntelE5-2600V3处理器。其凭着架构上的进步，在相同的芯片大小下能容纳更多的运算核心，使得CPU具有八个或十个运算核心；每个时钟周期的浮点运算次数有原来的8次提升为16次，从而使其浮点运算性能翻倍提升；同时功耗表现亦得到改善。在高性能计算中，为了节省空间、降低能耗、简化管理，采用刀片服务器已经是大势所趋。而NF5280M4服务器是面向高性能计算（HighPerformanceComputing）而量身打造的高性能刀片服务器。计算刀片采用基于IntelE5-2600v3系列处理器，强劲性能无与伦比。每个计算节点都是一个完整的计算系统，离不开各个部件的协同工作。所有的高性能计算，都需要CPU与内存频繁通信，超高性能的CPU只有匹配了相应的内存才可以发挥最佳的优势。在全新的架构中，Intel集成的是DDR4内存控制器，显著地提高了内存带宽，降低了内存延迟，提升了性能，从而为每个CPU提供了访问本地内存资源的快速通道。GPU节点目前，使用GPU+CPU异构系统来执行通用科学与工程计算已经成为一个比较热门的研究方向，GPU（图形处理器）计算模型在一个异构计算模型中同时使用了CPU和GPU。应用程序的顺序部分在CPU上运行，计算密集型部分在GPU上运行。虽然应用程序使用了GPU的卓越性能来提升运行性能，但对用户而言，他们所能感知到的将仅仅是运行速度更快的应用程序。NVDIAK80是新一代CUDA架构，包含有专为科学应用程序优化的特性，如IEEE标准双精度浮点硬件支持、以分布于GPU中的共享内存形式存在的本地数据高速缓存、以及结合内存访问的P2P技术等。利用GPU做并行计算，可以大幅度提高计算效率，但是目前也存在着一些问题，比如，这需要对客户的CUDA编程能力有很高的要求，需要客户对目前的软件进行移植，而这对于大多数的客户要求还是比较高的。但是，不容否认，CPU+GPU异构计算，在未来会有一个比较快速的发展。NF5568M4服务器是面向高性能计算（HighPerformanceComputing）而量身打造的高性能服务器，其采用2颗IntelXeonE5-2620v3(2.4GHz/6c)/8GT/15ML3/1866处理器；64GB内存，1张八通道高性能SASRAID卡（512M缓存），配置8块900G2.5"10KrpmSAS硬盘，2口千兆网卡，配置1张双端口10Gbps万兆卡含SFP+模块，配置1张双端口FC8GbpsHBA卡，配置配置单端口FDR56GbpsHCA卡，配置1张NvidiaK80GPU加速卡，配置2000W1+1冗余服务器电源。八路胖节点一套完善的高性能计算系统要考虑不同的应用，针对不同的应用来设计相应的应用平台。通用计算节点是用来处理普通的计算任务，而对于计算化学类的某些应用，比如Gaussian、VASP，随着计算规模的扩大，内存需求会随基函数数量的平方而增加，特别是对于Gaussian而言，其支持Open-MP和TPC-Linda两种并行方式，前者的并行效率要远远高于后者，另外Gaussian在选择MP2计算方法时，会产生大量临时文件常驻内存，此时，通用计算节点就不能满足要求。而胖节点的设计主要是用来处理此类任务。此方案中的1台胖节点采用XXXTS860八路服务器，能够提供512GB的共享内存来运行Open-MP程序，从而大幅提高程序的运行效率。我们为胖节点配置8U机架式服务器；配置8颗IntelXeonE7-8850v2(2.3GHz/12c)/7.2GT/24M3处理器；512GBDDR3内存，1张八通道高性能SASRAID卡（1GB缓存），2口千兆网卡，配置1张双端口10Gbps万兆卡含SFP+模块，配置单端口FDR56GbpsHCA卡，配置1块300G2.5"SAS硬盘，配置800W6+2冗余服务器低功耗电源。6.