云计算和大数据基础知识

1、云计算与大数据基础知识一、 云计算是什么?云计算就是统一部署的程序、统一存储并由相关程序统一管理着的数据！云计算cloud computing是一种基于因特网的超级计算模式，在远程的数据中心里，成千上万台电脑和服务器连接成一片电脑云。因此，云计算甚至可以让你体验每秒超过10万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心，按自己的需求进行运算。云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问， 进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供

2、，只需投入很少的管理工作，或与服务供应商进行很少的交互。通俗的理解是，云计算的“云”就是存在于互联网上的服务器集群上的资源，它包括硬件资源（服务器、存储器、CPU等）和软件资源（如应用软件、集成开发环境等），所有的处理都在云计算提供商所提供的计算机群来完成。用户可以动态申请部分资源，支持各种应用程序的运转，无需为繁琐的细节而烦恼，能够更加专注于自己的业务，有利于提高效率、降低成本和技术创新。云计算的核心理念是资源池。二、 云计算的基本原理云计算的基本原理是，在大量的分布式计算机集群上，对这些硬件基础设施通过虚拟化技术构建不同的资源池。如存储资源池、网络资源池、计算机资源池、数据资源池和软件资源

3、池，对这些资源实现自动管理，部署不同的服务供用户应用，这使得企业能够将资源切换成所需要的应用，根据需求访问计算机和存储系统。打个比方，这就好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通，就像煤气、水电一样，取用方便，费用低廉。最大的不同在于，它是通过互联网进行传输的。三、 云计算的特点1、支持异构基础资源云计算可以构建在不同的基础平台之上，即可以有效兼容各种不同种类的硬件和软件基础资源。硬件基础资源，主要包括网络环境下的三大类设备，即：计算(服务器)、存储(存储设备)和网络(交换机、路由器等设备);软件基础资源，则包括单机操作系统、中间件、数据

4、库等。2、支持资源动态扩展支持资源动态伸缩，实现基础资源的网络冗余，意味着添加、删除、修改云计算环境的任一资源节点，或者任一资源节点异常宕机，都不会导致云环境中的各类业务的中断，也不会导致用户数据的丢失。这里的资源节点可以是计算节点、存储节点和网络节点。而资源动态流转，则意味着在云计算平台下实现资源调度机制，资源可以流转到需要的地方。如在系统业务整体升高情况下，可以启动闲置资源，纳入系统中，提高整个云平台的承载能力。而在整个系统业务负载低的情况下，则可以将业务集中起来，而将其他闲置的资源转入节能模式，从而在提高部分资源利用率的情况下，达到其他资源绿色、低碳的应用效果。3、支持异构多业务体系在云

5、计算平台上，可以同时运行多个不同类型的业务。异构，表示该业务不是同一的，不是已有的或事先定义好的，而应该是用户可以自己创建并定义的服务。这也是云计算与网格计算的一个重要差异。4、支持海量信息处理云计算，在底层，需要面对各类众多的基础软硬件资源;在上层，需要能够同时支持各类众多的异构的业务;而具体到某一业务，往往也需要面对大量的用户。由此，云计算必然需要面对海量信息交互，需要有高效、稳定的海量数据通信/存储系统作支撑。5、按需分配，按量计费按需分配，是云计算平台支持资源动态流转的外部特征表现。云计算平台通过虚拟分拆技术，可以实现计算资源的同构化和可度量化，可以提供小到一台计算机，多到千台计算机的

6、计算能力。按量计费起源于效用计算，在云计算平台实现按需分配后，按量计费也成为云计算平台向外提供服务时的有效收费形式。四、 云计算按运营模式分类1、公有云 公有云通常指第三方提供商为用户提供的能够使用的云，公有云一般可通过 Internet 使用，可能是免费或成本低廉的。优点：A、安全。云计算提供了最可靠、最安全的数据存储中心，用户不用再担心数据丢失、病毒入侵等麻烦。B、方便。云计算对用户端的设备要求最低，使用起来也最方便。C、数据共享。云计算可以轻松实现不同设备间的数据与应用共享。D、无限可能。云计算为我们使用网络提供了几乎无限多的可能。2、私有云私有云(Private Clouds)是为一个

7、客户单独使用而构建的，因而提供对数据、安全性和服务质量的最有效控制。该公司拥有基础设施，并可以控制在此基础设施上部署应用程序的方式。私有云可部署在企业数据中心的防火墙内，也可以将它们部署在一个安全的主机托管场所。优点：A.数据安全；B.服务质量稳定；C.充分利用现有硬件资源和软件资源 ；D. 不影响现有IT管理的流程假如使用公有云的话，将会对IT部门流程有很多的冲击，比如在数据管理方面和安全规定等方面。3、混合云混合云融合了公有云和私有云，是近年来云计算的主要模式和发展方向。私有云主要是面向企业用户，出于安全考虑，企业更愿意将数据存放在私有云中，但是同时又希望可以获得公有云的计算资源，在这种情

8、况下混合云被越来越多的采用，它将公有云和私有云进行混合和匹配，以获得最佳的效果，这种个性化的解决方案，达到了既省钱又安全的目的。五、 云计算按服务模式分类一般来讲，云计算平台服务模式为如下的架构，如图 1 所示。图1 云计算平台架构最下的一层是 IaaS(Infrastructure-as-a- Service)：基础设施即服务，提供 CPU，网络，存储等基础硬件的云服务。再上一层是 PaaS(Platform-as-a- Service)：平台即服务，提供类似于操作系统层次的服务与管理。最后一层是 SaaS(Software-as-a- Service)：软件即服务，就是我们所熟悉的软件即服

9、务。事实上 SaaS 的概念的出现要早于云计算，只不过云计算的出现让原来的 SaaS 找到了自己更加合理的位置。本质上，SaaS 的理念是：有别的传统的许可证付费方式 ( 比如购买 Windows Office)，SaaS 强调按需使用付费。六、 云计算基础架构1、传统的IT部署架构是“烟囱式”的，或者叫做“专机专用”系统。图2 传统IT基础架构这种部署模式主要存在的问题有以下两点：硬件高配低用。考虑到应用系统未来35年的业务发展，以及业务突发的需求，为满足应用系统的性能、容量承载需求，往往在选择计算、存储和网络等硬件设备的配置时会留有一定比例的余量。但硬件资源上线后，应用系统在一定时间内的负

10、载并不会太高，使得较高配置的硬件设备利用率不高。整合困难。用户在实际使用中也注意到了资源利用率不高的情形，当需要上线新的应用系统时，会优先考虑部署在既有的基础架构上。但因为不同的应用系统所需的运行环境、对资源的抢占会有很大的差异，更重要的是考虑到可靠性、稳定性、运维管理问题，将新、旧应用系统整合在一套基础架构上的难度非常大，更多的用户往往选择新增与应用系统配套的计算、存储和网络等硬件设备。这种部署模式，造成了每套硬件与所承载应用系统的“专机专用”，多套硬件和应用系统构成了“烟囱式”部署架构，使得整体资源利用率不高，占用过多的机房空间和能源，随着应用系统的增多，IT资源的效率、扩展性、可管理性都

11、面临很大的挑战。2、云计算基础架构图3云计算基础架构云基础架构在传统基础架构计算、存储、网络硬件层的基础上，增加了虚拟化层、云层：虚拟化层：大多数云基础架构都广泛采用虚拟化技术，包括计算虚拟化、存储虚拟化、网络虚拟化等。通过虚拟化层，屏蔽了硬件层自身的差异和复杂度，向上呈现为标准化、可灵活扩展和收缩、弹性的虚拟化资源池;云层：对资源池进行调配、组合，根据应用系统的需要自动生成、扩展所需的硬件资源，将更多的应用系统通过流程化、自动化部署和管理，提升IT效率。相对于传统基础架构，云基础架构通过虚拟化整合与自动化，应用系统共享基础架构资源池，实现高利用率、高可用性、低成本、低能耗，并且通过云平台层的

12、自动化管理，实现快速部署、易于扩展、智能管理，帮助用户构建IaaS(基础架构即服务)云业务模式。七、 桌面云（桌面虚拟化）1、桌面虚拟化是指：支持企业级实现桌面系统的远程动态访问与数据中心统一托管的技术。一个形象的类比，就是今天，我们可以通过任何设备、在任何地点，任何时间访问在网络上的我们的邮件系统，或者网盘；而未来我们可以通过任何设备，在任何地点，任何时间访问在网络上的属于我们个人的桌面系统。2、桌面虚拟化是在物理服务器上安装虚拟主机系统，由虚拟主机系统模拟出操作系统运行所需要的硬件资源，如：CPU、内存、网卡、存储等。操作系统运行在这些虚拟的硬件资源之上，可以达到多个操作系统共享物理服务器

13、的硬件资源，从而提高资源利用率。虚拟桌面的存储和执行（包括操作系统、应用程序和用户数据）都集中在数据中心，用户使用终端设备通过远程协议（如：RDP、ICA、PCoIP）进行访问。桌面虚拟化将所有桌面虚拟机在数据中心进行托管并统一管理；同时用户能够获得完整PC的使用体验。用户可以通过瘦客户端，或者类似的设备在局域网或者远程访问获得与传统PC一致的用户体验。是一种仅将操作系统桌面呈现在用户面前的技术，由服务器端完成运算。可以结合服务器虚拟化和应用虚拟化进行。3、特点（1）快速、灵活部署：按需申请、快速发放、无需搬运沉重的PC主机，统一接入、随时随地访问； （2）提高资源利用率：统一管理后台数据中心

14、资源，并统一进行调度管理，将资源的利用率最大化； （3）数据存放安全可靠：数据存放在后台数据中心，安全可靠。并且访问虚拟桌面时在网络上传输的都是图片信息，不易被他人通过网络窃取信息； （4）维护便利：瘦终端无须软件维护；虚拟桌面维护工作可在后台统一进行，非常便利； （5）节能减排：采用桌面虚拟化系统，因“瘦终端”功耗很低，同时，数据中心的资源利用率又较高，因此，可达到节省成本、节能减排的目标。八、 什么是大数据？“大数据”是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据技术的

15、战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。大数据需要特殊的技术，以有效地处理大量的数据。适用于大数据的技术，包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。九、 大数据的特征大数据特征定义为4V，即规模性（Volume）、高速性（Velocity）、多样性（Variety）和价

16、值性（Value）。1.规模性（Volume） 数据巨大的数据量以及其规模的完整性，非结构化数据规模比结构化数据增长快，数据的存储量和产生量巨大，数据具有完整性。 2.高速性（Velocity） 实时分析产生的数据流以及大数据。现实中对数据的实时性要求较高，能够在第一时间抓到事件发生的信息。当有大量数据输入或必须做出反应时能够迅速对数据进行分析。 3.多样性（Variety） 多样性指有多种途径来源的关系型和非关系型数据。有很多不同的形式，除了简单的文本分析外，还可以对机器数据、图像、视频、点击流以及其他任何可用的信息进行分析。利用大数据多样性的原理就是：保留一切对你有用的你需要的信息，丢弃那

17、些你不需要的信息。发现那些有关联的数据，加以收集、分析、加工，使其变成可以利用的信息。 4.价值性（Value） 合理利用低密度价值的数据并对其进行正确、准确的分析，将会带来很高的价值回报。十、 大数据相关的技术1、云技术大数据常和云计算联系到一起，因为实时的大型数据分析需要分布式处理框架来向数十、数百或甚至数万的电脑分配工作。可以说，云计算充当了工业革命时期的发动机的角色，而大数据则是电。两者的关系：没有大数据的信息积淀，则云计算的计算能力再强大，也难以找到用武之地；没有云计算的处理能力，则大数据的信息积淀再丰富，也终究只是镜花水月。图4 大数据与云计算的关系2、分布式处理技术分布式处理系统

18、可以将不同地点的或具有不同功能的或拥有不同数据的多台计算机用通信网络连接起来，在控制系统的统一管理控制下，协调地完成信息处理任务。3、存储技术大数据存储要求实现存储虚拟化。存储虚拟化是目前为止提高存储效率最重要、最有效的技术手段。它为现有存储系统提供了自动分层和精简配置等提高存储效率的工具。拥有了虚拟化存储，用户可以将来自内部和外部存储系统中的结构化和非结构化数据全部整合到一个单一的存储平台上。当所有存储资产变成一个单一的存储资源池时，自动分层和精简配置功能就可以扩展到整个存储基础设施层面。在这种情况下，用户可以轻松实现容量回收和容量利用率的最大化，并延长现有存储系统的寿命，显著提高IT系统的

19、灵活性和效率，以满足非结构化数据增长的需求。4、感知技术大数据的采集和感知技术的发展是紧密联系的。以传感器技术，指纹识别技术，RFID技术，坐标定位技术等为基础的感知能力提升同样是物联网发展的基石。全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，都会产生海量的数据信息。十一、 工业大数据工业大数据是指在工业领域信息化应用中所产生的大数据。随着信息化与工业化的深度融合，信息技术渗透到了工业企业产业链的各个环节，条形码、二维码、RFID、工业传感器、工业自动控制系统、工业物联网、ERP、CAD/CAM/CAE/CAI等技

20、术在工业企业中得到广泛应用，尤其是互联网、移动互联网、物联网等新一代信息技术在工业领域的应用，工业企业也进入了互联网工业的新的发展阶段，工业企业所拥有的数据也日益丰富。工业企业中生产线处于高速运转，由工业设备所产生、采集和处理的数据量远大于企业中计算机和人工产生的数据，从数据类型看也多是非结构化数据，生产线的高速运转则对数据的实时性要求也更高。因此，工业大数据应用所面临的问题和挑战并不比互联网行业的大数据应用少，某些情况下甚至更为复杂。工业大数据应用将带来工业企业创新和变革的新时代。通过互联网、移动物联网等带来的低成本感知、高速移动连接、分布式计算和高级分析，信息技术和全球工业系统正在深入融合

21、，给全球工业带来深刻的变革，创新企业的研发、生产、运营、营销和管理方式。这些创新不同行业的工业企业带来了更快的速度、更高的效率和更高的洞察力。工业大数据的典型应用包括产品创新、设备故障诊断与预测、工业生产线物联网分析、工业企业供应链优化和产品精准营销等各个方面。工业生产线物联网分析大数据应用：现代化工业制造生产线安装有数以千计的小型传感器，来探测温度、压力、热能、振动和噪声。因为每隔几秒就收集一次数据，利用这些数据可以实现很多形式的分析，包括设备诊断、用电量分析、能耗分析、质量事故分析（包括违反生产规定、零部件故障）等。例如，在能耗分析方面，在设备生产过程中利用传感器集中监控所有的生产流程，能

22、够发现能耗的异常或峰值情形，由此便可在生产过程中优化能源的消耗，对所有流程进行分析将会大大降低能耗。十二、 大数据对企业管理的影响1、大数据对企业管理思想的影响 大数据时代的来临改变了企业的内外部环境，引起了企业的变革与发展。企业越来越智能化，管理实现了信息化。企业中的数据收集、传输利用需要现代管理思想的支撑。 大数据环境下的企业管理应当以人为本，在实践的基础上运用现代信息化技术，采用柔性管理，将数据当作附加资产来看待。企业运营离不开数据的支撑，企业管理当中如果不能够深刻认识到大数据的重要性，仅仅以公司短期盈利作为目标，是缺乏战略性的思考。有效的利用数据分析结果，提前进行预测，抓住市场先机、顾

23、客需求，就能主动赢得市场，才能在企业管理与销售业绩上创造出更大的财富。 2、大数据对企业管理决策的影响 大数据背景下的数据分析利用是企业决策的关键。首先，大数据的决策需要大市场的数据。基于云计算的大数据环境影响到企业信息收集方式、决策方案选择、决策方案制定和评估等决策实施过程，对企业的管理决策产生影响。大数据决策的特点体现在数据驱动型决策，大数据环境下的管理决策对于企业不仅是一门技术，更是一种全新的决策方式、业务模式，企业必须适应大数据环境对管理决策的新挑战。 其次，大数据对决策者和决策组织提出了更高的要求。大数据时代改变了过去依靠经验、管理理论和思想的决策方式。管理决策层根据大数据分析结果发

24、现和解决问题、预测机遇与挑战、规避风险。这就要求决策层具有较高的决策水平。由于大数据背景下需要企业全员的参与，动态变动环境下，决策权力更加分散才有利于企业做出正确的决策。这就要求企业的组织更加趋于扁平化。 3.大数据对企业人力资源管理的影响 人力资源是企业中最宝贵的资源，是企业创造核心竞争力的基础。基于大数据技术，企业将大大提高人力资源管理的效率和质量。有效的加快人力资源工作从过去的经验管理模式向战略管理模式的转变。 公司从员工招聘到绩效考核与培训，积累了大量的各类非线性数据，这些数据都是无形的资产，利用大数据技术，将这些数据进行整合分析利用，能够为企业带来巨大贡献。首先，在员工招聘上，只需将

25、单位用人要求与员工各项能力数据相匹配，结合人力资源招聘的经验，便可轻松选出符合要求的员工。其次，在绩效考核上，进行标准化管理，将员工日常的各类数据进行分析，设定等级标准，即可得出客观公正的考核结果。这大大排除了绩效管理的主观性与不全面性。最后，根据大数据的分析结果，针对不同员工区别培训，更有效率的提高了培训水平。 4.大数据对企业财务管理的影响 大数据使财务管理的模式和工作理念颠覆性的改变。首先，财务管理更加稳健。公司将各类财务数据在大数据技术下进行发掘，提纯出更多有用的财务信息，及早的发现财务风险，为管理决策者提供重要的决策依据，做出正确的决断。其次，财务数据的处理更加及时高效。财务数据在企

26、业日常运营当中举足轻重，企业的各项交易都依赖于财务数据的分析，企业基于大数据，通过对财务数据的分析和处理，能够改进财务管理工作的运行模式，并且是有效率的，企业资金资本运作成本降低和压缩了，利润相应提高了。企业资源最丰富的积累，最基础的财务数据，通过大数据技术进行对财务数据整理和分析，实现了企业价值增值。十三、 服务器分类1、台式服务器（塔式服务器）台式服务器也称为“塔式服务器”。有的台式服务器采用大小与普通立式计算机大致相当的机箱，有的采用大容量的机箱，像个硕大的柜子。低档服务器由于功能较弱，整个服务器的内部结构比较简单，所以机箱不大，都采用台式机箱结构。这里所介绍的台式不是平时普通计算机中的

27、台式，立式机箱也属于台式机范围，这类服务器在整个服务器市场中占有相当大的份额。图5 台式服务器优点：塔式服务器它的外形以及结构都跟我们平时使用的立式PC差不多，由于服务器的主板扩展性较强、插槽也多出一堆，所以个头比普通主板大一些，因此塔式服务器的主机机箱也比标准的ATX机箱要大，一般都会预留足够的内部空间以便日后进行硬盘和电源的冗余扩展。由于塔式服务器的机箱比较大，服务器的配置也可以很高，冗余扩展更可以很齐备，所以它的应用范围非常广，应该说目前使用率最高的一种服务器就是塔式服务器。缺点：目前常见的入门级和工作组级服务器基本上都采用这一服务器结构类型，不过由于只有一台主机，即使进行升级扩张也有个

28、限度，所以在一些应用需求较高的企业中，单机服务器就无法满足要求了，需要多机协同工作，而塔式服务器个头太大，独立性太强，协同工作在空间占用和系统管理上都不方便，这也是塔式服务器的局限性。不过，总的来说，这类服务器的功能、性能基本上能满足大部分企业用户的要求，其成本通常也比较低，因此这类服务器还是拥有非常广泛的应用支持。2、机架式服务器机架式服务器的外形看来不像计算机，而像交换机，有1U（1U=1.75英寸）、2U、4U等规格。机架式服务器安装在标准的19英寸机柜里面。这种结构的多为功能型服务器。图6 机架式服务器优点：作为为互联网设计的服务器模式，机架服务器是一种外观按照统一标准设计的服务器，配

29、合机柜统一使用。可以说机架式是一种优化结构的塔式服务器，它的设计宗旨主要是为了尽可能减少服务器空间的占用，而减少空间的直接好处就是在机房托管的时候价格会便宜很多。很多专业网络设备都是采用机架式的结构（多为扁平式，就像个抽屉），如交换机、路由器、硬件防火墙这些。机架服务器的宽度为19英寸，高度以U为单位（1U=1.75英寸=44.45毫米），通常有1U，2U，3U，4U，5U，7U）几种标准的服务器。机柜的尺寸也是采用通用的工业标准，通常从22U到42U不等；机柜内按U的高度有可拆卸的滑动拖架，用户可以根据自己服务器的标高灵活调节高度，以存放服务器、集线器、磁盘阵列柜等网络设备。服务器摆放好后，

30、它的所有I/O线全部从机柜的后方引出（机架服务器的所有接口也在后方），统一安置在机柜的线槽中，一般贴有标号，便于管理。缺点：机架式服务器因为空间比塔式服务器大大缩小，所以这类服务器在扩展性和散热问题上受到一定的限制，配件也要经过一定的筛选，一般都无法实现太完整的设备扩张，所以单机性能就比较有限，应用范围也比较有限，只能专注于某一方面的应用，如远程存储和Web服务的提供等 3、刀片式服务器刀片式服务器是一种HAHD（High Availability High Density，高可用高密度）的低成本服务器平台，是专门为特殊应用行业和高密度计算机环境设计的，其中每一块“刀片”实际上就是一块系统母板

31、，类似于一个个独立的服务器。在这种模式下，每一个母板运行自己的系统，服务于指定的不同用户群，相互之间没有关联。不过可以使用系统软件将这些母板集合成一个服务器集群。在集群模式下，所有的母板可以连接起来提供高速的网络环境，可以共享资源，为相同的用户群服务。刀片式服务器目前最适合群集计算和IxP提供互联网服务。图7 刀片服务器优点：（1）大大降低运行管理费用（2）高处理能力密度，节省宝贵空间和占地费用（3）耗电低，降低电费（4）可靠性设计更加完善，减少停机时间（5）电缆连接点大大减少（6）冗余交换模块和电缆连接缺点：（1）刀片服务器比机架式服务器更节省空间，同时，散热问题也更突出，往往要在机箱内装上

32、大型强力风扇来散热。（2）工具成本高昂：刀片机箱成本昂贵，可以插入14块或16块服务器，适合10台服务器以上的应用环境。十四、 云存储云存储系统是指通过集群技术、网格计算或分布式文件系统等技术，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统，云存储就是将存储资源放到云上供人存储的技术，使用者可以在任何时间、任何地方，透过任何可联网的装置连接到云上方便存取数据。云存储系统的所有设备对用户来说都是透明的，任何地方的任何一个经过授权的使用者都可以通过任何接入线缆与云存储连接，对云存储进行数据访问。存储层是云存储最基础的部分。存储设备可以是

33、FC光纤通道存储设备，可以是NAS和 iSCSI等IP存储设备，也可以是 SCSI或SAS等 DAS存储设备。云存储中的存储设备往往数量庞大且分布在不同地域。彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。存储方式主要有：DAS、NAS、SAN。 1、DAS存储 （直连式存储Direct-Attached Storage） 图8 DAS存储DAS存储在我们生活中是非常常见的，尤其是在中小企业应用中，DAS是最主要的应用模式，存储系统被直连到应用的服务器中，在中小企业中，许多的数据应用是必须安装在直连的DAS存储器上。DAS存储更多的依赖服务器主机操作系统进行数据的IO读写和存储维护管

34、理，数据备份和恢复要求占用服务器主机资源（包括CPU、系统IO等），数据流需要回流主机再到服务器连接着的磁带机（库），数据备份通常占用服务器主机资源20-30%，因此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进行，以免影响正常业务系统的运行。直连式存储的数据量越大，备份和恢复的时间就越长，对服务器硬件的依赖性和影响就越大。直连式存储与服务器主机之间的连接通道通常采用SCSI连接，随着服务器CPU的处理能力越来越强，存储硬盘空间越来越大，阵列的硬盘数量越来越多，SCSI通道将会成为IO瓶颈；服务器主机SCSI 的ID资源有限，能够建立的SCSI通道连接有限。无论直连式存储还是服务器主

35、机的扩展，从一台服务器扩展为多台服务器组成的群集(Cluster)，或存储阵列容量的扩展，都会造成业务系统的停机，从而给企业带来经济损失，对于银行、电信、传媒等行业724小时服务的关键业务系统，这是不可接受的。并且直连式存储或服务器主机的升级扩展，只能由原设备厂商提供，往往受原设备厂商限制。2、NAS存储 （网络接入存储Network-Attached Storage） 图9 NAS存储NAS存储也通常被称为附加存储，顾名思义，就是存储设备通过标准的网络拓扑结构(例如以太网)添加到一群计算机上。NAS是文件级的存储方法，它的重点在于帮助工作组和部门级机构解决迅速增加存储容量的需求。如今用户采用

36、NAS较多的功能是用来文档共享、图片共享、电影共享等等，而且随着云计算的发展，一些NAS厂商也推出了云存储功能，大大方便了企业和个人用户的使用。NAS产品是真正即插即用的产品。NAS设备一般支持多计算机平台，用户通过网络支持协议可进入相同的文档，因而NAS设备无需改造即可用于混合Unix/Windows NT局域网内，同时NAS的应用非常灵活。但NAS又一个关键性问题，即备份过程中的带宽消耗。与将备份数据流从LAN中转移出去的存储区域网（SAN）不同，NAS仍使用网络进行备份和恢复。NAS 的一个缺点是它将存储事务由并行SCSI连接转移到了网络上。这就是说LAN除了必须处理正常的最终用户传输流

37、外，还必须处理包括备份操作的存储磁盘请求。3、SAN存储 （存储区域网络Storage Area Network） 图10 SAN存储存储区域网络，从名字上我们也可以看出，这个是通过光纤通道交换机连接存储阵列和服务器主机，最后成为一个专用的存储网络。SAN经过十多年历史的发展，已经相当成熟，成为业界的事实标准（但各个厂商的光纤交换技术不完全相同，其服务器和SAN存储有兼容性的要求）。SAN提供了一种与现有LAN连接的简易方法，并且通过同一物理通道支持广泛使用的SCSI和IP协议。SAN不受现今主流的、基于SCSI存储结构的布局限制。特别重要的是，随着存储容量的爆炸性增长，SAN允许企业独立地增

38、加它们的存储容量。SAN的结构允许任何服务器连接到任何存储阵列，这样不管数据置放在那里，服务器都可直接存取所需的数据。因为采用了光纤接口，SAN还具有更高的带宽。如今的SAN解决方案通常会采取以下两种形式：光纤信道以及iSCSI或者基于IP的SAN，也就是FC SAN和IP SAN。光纤信道是SAN解决方案中大家最熟悉的类型，但是，最近一段时间以来，基于iSCSI的SAN解决方案开始大量出现在市场上，与光纤通道技术相比较而言，这种技术具有良好的性能，而且价格低廉。SAN真正的综合了DAS和NAS两种存储解决方案的优势。例如，在一个很好的SAN解决方案实现中，你可以得到一个完全冗余的存储网络，这

39、个存储网络具有不同寻常的扩展性，确切地说，你可以得到只有NAS存储解决方案才能得到的几百T字节的存储空间，但是你还可以得到块级数据访问功能，而这些功能只能在DAS解决方案中才能得到。对于数据访问来说，你还可以得到一个合理的速度，对于那些要求大量磁盘访问的操作来说，SAN显得具有更好的性能。利用SAN解决方案，你还可以实现存储的集中管理，从而能够充分利用那些处于空闲状态的空间。更有优势的一点是，在某些实现中，你甚至可以将服务器配置为没有内部存储空间的服务器，要求所有的系统都直接从SAN（只能在光纤通道模式下实现）引导。这也是一种即插即用技术。SAN确实具有这些伟大的优点，那么，SAN的缺陷在哪里

40、？SAN有两个较大的缺陷：成本和复杂性，特别是在光纤信道中这些缺陷尤其明显。使用光纤信道的情况下，合理的成本大约是1TB或者2TB大概需要五万到六万美金。从另一个角度来看，虽然新推出的基于iSCSI的SAN解决方案大约只需要两万到三万美金，但是其性能却无法和光纤信道相比较。在价格上的差别主要是由于iSCSI技术使用的是现在已经大量生产的头发千兆以太网硬件，而光纤通道技术要求采用特定的设备，价格昂贵。因为SAN解决方案是从基本功能剥离出存储功能，所以运行备份操作就无需考虑它们对网络总体性能的影响。SAN方案也使得管理及集中控制实现简化，特别是对于全部存储设备都集群在一起的时候。最后一点，光纤接口

41、提供了10公里的连接长度，这使得实现物理上分离的、不在机房的存储变得非常容易。SAN网络最重要的三个组成部分就是：设备接口(如SCSI、光纤通道、ESCON等)、连接设备(交换机、网关、路由器、Hub等)和通信控制协议(如IP和SCSI等)。这三个组件再加上附加的存储设备和服务器，构成一个SAN系统。十五、 网络设备1、 交换机交换机（switch）是一种在通信系统中完成信息交换功能的设备。交换机的主要功能包括物理编址、网络拓扑结构、错误校验、帧序列以及流控。目前交换机还具备了一些新的功能，如对VLAN（虚拟局域网）的支持、对链路汇聚的支持，甚至有的还具有防火墙的功能。（1）核心交换机核心交换

42、机并不是交换机的一种类型，而是放在核心层（网络主干部分）的交换机叫核心交换机。核心交换机应当全部采用模块化结构，必须拥有相当数量的插槽，具有强大的网络扩展能力，以保护原有的投资。在企业网和教学网中，一般会将三层交换机用在网路的核心层，用三层交换机上的千兆埠或百兆埠连接不同的子网或VLAN。不过应清醒认识到三层交换机出现最重要的目的是加快大型区域网内部的数据交换，所具备的路由功能也多是围绕这一目的而展开的，所以它的路由功能没有同一档次的专业路由器强。毕竟在安全、协议支持等方面还有许多欠缺，并不能完全取代路由器工作。图11 核心交换机（2）光纤交换机光纤交换机是一种高速的网络传输中继设备，它较普通交换机而言采用了光纤电缆作为传输介质。光纤传输的优点是速度快、抗干扰能力强。光纤交换机特别适合于信息点接入距离超出五类线接入距离、需要抗电磁干扰以及需要通信保密等场合适用的领域包括：住宅小区FTTH宽带接入网络；企业高速光纤局域网；高可靠工业集散控制系统（DCS）；光纤数字视频监控网络；医院高速光纤局域网；校园网络。图12 光纤交换机（3）接入层交换机常将网络中直接面向用户连接或访问网络的部分称为接入层，将位于接入层和核心层之间的部分称为分布层或汇聚层。接入交换机一般用于直接连接电脑，汇聚交换机一般用于楼宇