云计算和大数据基础知识

1、云计算与大数据基础知识 云计算就是统一部署的程序、统一存储并由相关程序统一管理着的数据！云计算cloud computing 是一种基于因特网的超级计算模式，在远程的数据中心里，成千上万台电脑和 服务器连接成一片电脑云。因此，云计算甚至可以让你体验每秒超过10 万亿次的运算能力，拥有这么强大 的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据 中心，按自己的需求进行运算。云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问， 进入可配置的 计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需

2、投入 很少的管理工作，或与服务供应商进行很少的交互。 ）， 己的业务，有利于提高效率、降低成本和技术创新。云计算的核心理念是资源池。 作为一种商品进行流通，就像煤气、水电一样，取用方便，费用低廉。最大的不同在于，它是通过互联网进 础资源，主要包括网络环境下的三大类设备，即：计算(服务器)、存储(存储设备)和网络(交换机、路由器等 设备);软件基础资源，则包括单机操作系统、中间件、数据库等。支持资源动态伸缩，实现基础资源的网络冗余，意味着添加、删除、修改云计算环境的任一资源节点， 机制，资源可以流转到需要的地方。如在系统业务整体升高情况下，可以启动闲置资源，纳入系统中，提高 转入节能模式，从而在

3、提高部分资源利用率的情况下，达到其他资源绿色、低碳的应用效果。在云计算平台上，可以同时运行多个不同类型的业务。异构，表示该业务不是同一的，不是已有的或事 先定义好的，而应该是用户可以自己创建并定义的服务。这也是云计算与网格计算的一个重要差异。4、支持海量信息处理云计算，在底层，需要面对各类众多的基础软硬件资源;在上层，需要能够同时支持各类众多的异构的 业务;而具体到某一业务，往往也需要面对大量的用户。由此，云计算必然需要面对海量信息交互，需要有 高效、稳定的海量数据通信/存储系统作支撑。5、按需分配，按量计费 用计算，在云计算平台实现按需分配后，按量计费也成为云计算平台向外提供服务时的有效收费

4、形式。 公有云通常指第三方提供商为用户提供的能够使用的云，公有云一般可通过 Internet 使用，可能是免 优点： A、安全。云计算提供了最可靠、最安全的数据存储中心，用户不用再担心数据丢失、病毒入侵 私有云(Private Clouds)是为一个客户单独使用而构建的，因而提供对数据、安全性和服务质量的最有效 心的防火墙内，也可以将它们部署在一个安全的主机托管场所。 流程假如使用公有云的话，将会对IT 部门流程有很多的冲击，比如在数据管理方面和安全规定等方面。混合云融合了公有云和私有云，是近年来云计算的主要模式和发展方向。私有云主要是面向企业用户， 决方案，达到了既省钱又安全的目的。 一般来

5、讲，云计算平台服务模式为如下的架构，如图 1 所示。 最下的一层是 IaaS(Infrastructure-as-a- Service)：基础设施即服务，提供CPU，网络，存储等基础硬件的云服 再上一层是 PaaS(Platform-as-a- Service)：平台即服务，提供类似于操作系统层次的服务与管理。最后一层是 SaaS(Software-as-a- Service)：软件即服务，就是我们所熟悉的软件即服务。事实上SaaS 的概念 理念是：有别的传统的许可证付费方式 ( 比如购买 Windows Office)，SaaS 强调按需使用付费。 1、传统的IT 部署架构是“烟囱式”的，或

6、者叫做“专机专用”系统。 这种部署模式主要存在的问题有以下两点：硬件高配低用。考虑到应用系统未来35 年的业务发展，以及业务突发的需求，为满足应用系统的性 能、容量承载需求，往往在选择计算、存储和网络等硬件设备的配置时会留有一定比例的余量。但硬件资源 上线后，应用系统在一定时间内的负载并不会太高，使得较高配置的硬件设备利用率不高。 重要的是考虑到可靠性、稳定性、运维管理问题，将新、旧应用系统整合在一套基础架构上的难度非常大， 更多的用户往往选择新增与应用系统配套的计算、存储和网络等硬件设备。这种部署模式，造成了每套硬件与所承载应用系统的“专机专用”，多套硬件和应用系统构成了“烟囱 式”部署架构

7、，使得整体资源利用率不高，占用过多的机房空间和能源，随着应用系统的增多，IT 资源的效 率、扩展性、可管理性都面临很大的挑战。 云基础架构在传统基础架构计算、存储、网络硬件层的基础上，增加了虚拟化层、云层：虚拟化层：大多数云基础架构都广泛采用虚拟化技术，包括计算虚拟化、存储虚拟化、网络虚拟化等。 通过虚拟化层，屏蔽了硬件层自身的差异和复杂度，向上呈现为标准化、可灵活扩展和收缩、弹性的虚拟化 资源池;云层：对资源池进行调配、组合，根据应用系统的需要自动生成、扩展所需的硬件资源，将更多的应用 系统通过流程化、自动化部署和管理，提升IT 效率。 帮助用户构建IaaS(基础架构即服务)云业务模式。 1

8、、桌面虚拟化是指：支持企业级实现桌面系统的远程动态访问与数据中心统一托管的技术。一个形象的类 而未来我们可以通过任何设备，在任何地点，任何时间访问在网络上的属于我们个人的桌面系统。2、桌面虚拟化是在物理服务器上安装虚拟主机系统，由虚拟主机系统模拟出操作系统运行所需要的硬件资 源，如： CPU、内存、网卡、存储等。操作系统运行在这些虚拟的硬件资源之上，可以达到多个操作系统共 享物理服务器的硬件资源，从而提高资源利用率。虚拟桌面的存储和执行（包括操作系统、应用程序和用户 化将所有桌面虚拟机在数据中心进行托管并统一管理；同时用户能够获得完整PC 的使用体验。用户可以通 过瘦客户端，或者类似的设备在局

9、域网或者远程访问获得与传统PC 一致的用户体验。是一种仅将操作系统 桌面呈现在用户面前的技术，由服务器端完成运算。可以结合服务器虚拟化和应用虚拟化进行。（1 ）快速、灵活部署：按需申请、快速发放、无需搬运沉重的PC 主机，统一接入、随时随地访问；（2）提高资源利用率：统一管理后台数据中心资源，并统一进行调度管理，将资源的利用率最大化；（3 ）数据存放安全可靠：数据存放在后台数据中心，安全可靠。并且访问虚拟桌面时在网络上传输的都是 图片信息，不易被他人通过网络窃取信息；（4）维护便利：瘦终端无须软件维护；虚拟桌面维护工作可在后台统一进行，非常便利；（5 ）节能减排：采用桌面虚拟化系统，因“瘦终端

10、”功耗很低，同时，数据中心的资源利用率又较高，因 此，可达到节省成本、节能减排的目标。 “大数据”是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据 集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。 处理、分布式数据库和云存储、虚拟化技术。大数据需要特殊的技术，以有效地处理大量的数据。适用于大数据的技术，包括大规模并行处理数据库、数 据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。 1.规模性（Volume） 大，数

11、据具有完整性。2.高速性（Velocity） 当有大量数据输入或必须做出反应时能够迅速对数据进行分析。3.多样性（Variety） 机器数据、图像、视频、点击流以及其他任何可用的信息进行分析。利用大数据多样性的原理就是：保留一切对 你有用的你需要的信息，丢弃那些你不需要的信息。发现那些有关联的数据，加以收集、分析、加工，使其变成 4.价值性（Value）合理利用低密度价值的数据并对其进行正确、准确的分析，将会带来很高的价值回报。 电脑分配工作。可以说，云计算充当了工业革命时期的发动机的角色，而大数据则是电。两者的关系：没有大数据的信息积淀，则云计算的计算能力再强大，也难以找到用武之地；没有云计

12、算的处 理能力，则大数据的信息积淀再丰富，也终究只是镜花水月。图4 大数据与云计算的关系分布式处理系统可以将不同地点的或具有不同功能的或拥有不同数据的多台计算机用通信网络连接起来，在 控制系统的统一管理控制下，协调地完成信息处理任务。 存储系统中的结构化和非结构化数据全部整合到一个单一的存储平台上。当所有存储资产变成一个单一的存储资 回收和容量利用率的最大化，并延长现有存储系统的寿命，显著提高IT 系统的灵活性和效率，以满足非结构化 4、感知技术大数据的采集和感知技术的发展是紧密联系的。以传感器技术，指纹识别技术， RFID 技术，坐标定位技术 等为基础的感知能力提升同样是物联网发展的基石。全

13、世界的工业设备、汽车、电表上有着无数的数码传感器， 随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，都会产生海量的数据信息。 CAD/CAM/CAE/CAI 等技术在工业企业中得到广泛应用，尤其是互联网、移动互联网、物联网等新一代信息技术 临的问题和挑战并不比互联网行业的大数据应用少，某些情况下甚至更为复杂。 移动连接、分布式计算和高级分析，信息技术和全球工业系统正在深入融合，给全球工业带来深刻的变革，创新 企业的研发、生产、运营、营销和管理方式。这些创新不同行业的工业企业带来了更快的速度、更高的效率和更 高的洞察力。工业大数据的典型应用包括产品创新、设备故障诊断与预

14、测、工业生产线物联网分析、工业企业供 应链优化和产品精准营销等各个方面。 用电量分析、能耗分析、质量事故分析（包括违反生产规定、零部件故障）等。例如，在能耗分析方面，在设备 能源的消耗，对所有流程进行分析将会大大降低能耗。 1、大数据对企业管理思想的影响 息化。企业中的数据收集、传输利用需要现代管理思想的支撑。 司短期盈利作为目标，是缺乏战略性的思考。有效的利用数据分析结果，提前进行预测，抓住市场先机、顾客需 求，就能主动赢得市场，才能在企业管理与销售业绩上创造出更大的财富。2、大数据对企业管理决策的影响 种全新的决策方式、业务模式，企业必须适应大数据环境对管理决策的新挑战。 决策方式。管理决

15、策层根据大数据分析结果发现和解决问题、预测机遇与挑战、规避风险。这就要求决策层具有 出正确的决策。这就要求企业的组织更加趋于扁平化。3.大数据对企业人力资源管理的影响 源管理的效率和质量。有效的加快人力资源工作从过去的经验管理模式向战略管理模式的转变。 技术，将这些数据进行整合分析利用，能够为企业带来巨大贡献。首先，在员工招聘上，只需将单位用人要求与 员工各项能力数据相匹配，结合人力资源招聘的经验，便可轻松选出符合要求的员工。其次，在绩效考核上，进 行标准化管理，将员工日常的各类数据进行分析，设定等级标准，即可得出客观公正的考核结果。这大大排除了 绩效管理的主观性与不全面性。最后，根据大数据的

16、分析结果，针对不同员工区别培训，更有效率的提高了培训 4.大数据对企业财务管理的影响 据技术下进行发掘，提纯出更多有用的财务信息，及早的发现财务风险，为管理决策者提供重要的决策依据，做 出正确的决断。其次，财务数据的处理更加及时高效。财务数据在企业日常运营当中举足轻重，企业的各项交易 并且是有效率的，企业资金资本运作成本降低和压缩了，利润相应提高了。企业资源最丰富的积累，最基础的财 务数据，通过大数据技术进行对财务数据整理和分析，实现了企业价值增值。 1、台式服务器（塔式服务器）台式服务器也称为“塔式服务器”。有的台式服务器采用大小与普通立式计算机大致相当的机箱，有的 采用大容量的机箱，像个硕

17、大的柜子。低档服务器由于功能较弱，整个服务器的内部结构比较简单，所以机 围，这类服务器在整个服务器市场中占有相当大的份额。 优点：塔式服务器它的外形以及结构都跟我们平时使用的立式PC 差不多，由于服务器的主板扩展性较 强、插槽也多出一堆，所以个头比普通主板大一些，因此塔式服务器的主机机箱也比标准的ATX 机箱要大， 一般都会预留足够的内部空间以便日后进行硬盘和电源的冗余扩展。 非常广，应该说目前使用率最高的一种服务器就是塔式服务器。 机协同工作，而塔式服务器个头太大，独立性太强，协同工作在空间占用和系统管理上都不方便，这也是塔 式服务器的局限性。不过，总的来说，这类服务器的功能、性能基本上能满

18、足大部分企业用户的要求，其成 本通常也比较低，因此这类服务器还是拥有非常广泛的应用支持。 服务器安装在标准的19 英寸机柜里面。这种结构的多为功能型服务器。 占用，而减少空间的直接好处就是在机房托管的时候价格会便宜很多。很多专业网络设备都是采用机架式的结构（多为扁平式，就像个抽屉），如交换机、路由器、硬件防火 4U，5U，7U）几种标准的服务器。机柜的尺寸也是采用通用的工业标准，通常从22U 到42U 不等；机柜内 按U 的高度有可拆卸的滑动拖架，用户可以根据自己服务器的标高灵活调节高度，以存放服务器、集线器、 磁盘阵列柜等网络设备。服务器摆放好后，它的所有I/O 线全部从机柜的后方引出（机架

19、服务器的所有接口 ）， 的限制，配件也要经过一定的筛选，一般都无法实现太完整的设备扩张，所以单机性能就比较有限，应用范 围也比较有限，只能专注于某一方面的应用，如远程存储和Web 服务的提供等刀片式服务器是一种HAHD（High Availability High Density，高可用高密度）的低成本服务器平台，是专 门为特殊应用行业和高密度计算机环境设计的，其中每一块“刀片”实际上就是一块系统母板，类似于一个 个独立的服务器。在这种模式下，每一个母板运行自己的系统，服务于指定的不同用户群，相互之间没有关 供高速的网络环境，可以共享资源，为相同的用户群服务。刀片式服务器目前最适合群集计算和I

20、xP 提供互 （2）高处理能力密度，节省宝贵空间和占地费用（4）可靠性设计更加完善，减少停机时间（6）冗余交换模块和电缆连接（1 ）刀片服务器比机架式服务器更节省空间，同时，散热问题也更突出，往往要在机箱内装上大型强 通过任何接入线缆与云存储连接，对云存储进行数据访问。存储层是云存储最基础的部分。存储设备可以是FC 光纤通道存储设备，可以是NAS 和 iSCSI 等IP 存储 设备，也可以是 SCSI 或SAS 等 DAS 存储设备。云存储中的存储设备往往数量庞大且分布在不同地域。彼此 之间通过广域网、互联网或者FC 光纤通道网络连接在一起。 DAS 存储在我们生活中是非常常见的，尤其是在中小

21、企业应用中， DAS 是最主要的应用模式，存储系统被直 连到应用的服务器中，在中小企业中，许多的数据应用是必须安装在直连的DAS 存储器上。DAS 存储更多的依赖服务器主机操作系统进行数据的IO 读写和存储维护管理，数据备份和恢复要求占用服 占用服务器主机资源 20-30%，因此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进行，以免影 直连式存储与服务器主机之间的连接通道通常采用SCSI 连接，随着服务器CPU 的处理能力越来越强，存储 能够建立的SCSI 通道连接有限。无论直连式存储还是服务器主机的扩展，从一台服务器扩展为多台服务器组成的群集(Cluster)，或存储阵列 容量的扩

22、展，都会造成业务系统的停机，从而给企业带来经济损失，对于银行、电信、传媒等行业724 小时服 务的关键业务系统，这是不可接受的。并且直连式存储或服务器主机的升级扩展，只能由原设备厂商提供，往往 NAS 存储也通常被称为附加存储，顾名思义，就是存储设备通过标准的网络拓扑结构(例如以太网)添加到一 群计算机上。 NAS 是文件级的存储方法，它的重点在于帮助工作组和部门级机构解决迅速增加存储容量的需求。 如今用户采用 NAS 较多的功能是用来文档共享、图片共享、电影共享等等，而且随着云计算的发展，一些NAS 厂商也推出了云存储功能，大大方便了企业和个人用户的使用。 档，因而NAS 设备无需改造即可用

23、于混合Unix/Windows NT局域网内，同时NAS 的应用非常灵活。 就是说LAN 除了必须处理正常的最终用户传输流外，还必须处理包括备份操作的存储磁盘请求。 为一个专用的存储网络。 SAN 经过十多年历史的发展，已经相当成熟，成为业界的事实标准（但各个厂商的光纤 不受现今主流的、基于SCSI 存储结构的布局限制。特别重要的是，随着存储容量的爆炸性增长， SAN 允许企业 独立地增加它们的存储容量。 SAN 的结构允许任何服务器连接到任何存储阵列，这样不管数据置放在那里，服务 如今的SAN 解决方案通常会采取以下两种形式：光纤信道以及iSCSI 或者基于IP 的SAN，也就是FC SAN

24、 和 IP SAN。光纤信道是SAN 解决方案中大家最熟悉的类型，但是，最近一段时间以来，基于iSCSI 的SAN 解决方案 开始大量出现在市场上，与光纤通道技术相比较而言，这种技术具有良好的性能，而且价格低廉。SAN 真正的综合了DAS 和NAS 两种存储解决方案的优势。例如，在一个很好的SAN 解决方案实现中，你可 以得到一个完全冗余的存储网络，这个存储网络具有不同寻常的扩展性，确切地说，你可以得到只有NAS 存储 解决方案才能得到的几百T字节的存储空间，但是你还可以得到块级数据访问功能，而这些功能只能在DAS 解 SAN 显得具有更好的性能。利用SAN 解决方案，你还可以实现存储的集中管

25、理，从而能够充分利用那些处于空 闲状态的空间。更有优势的一点是，在某些实现中，你甚至可以将服务器配置为没有内部存储空间的服务器，要 求所有的系统都直接从SAN （只能在光纤通道模式下实现）引导。这也是一种即插即用技术。 美金。从另一个角度来看，虽然新推出的基于iSCSI 的SAN 解决方案大约只需要两万到三万美金，但是其性能却 无法和光纤信道相比较。在价格上的差别主要是由于iSCSI 技术使用的是现在已经大量生产的头发千兆以太网硬 件，而光纤通道技术要求采用特定的设备，价格昂贵。因为 SAN 解决方案是从基本功能剥离出存储功能，所以运行备份操作就无需考虑它们对网络总体性能的影 响。 SAN 方

26、案也使得管理及集中控制实现简化，特别是对于全部存储设备都集群在一起的时候。最后一点，光纤 接口提供了10 公里的连接长度，这使得实现物理上分离的、不在机房的存储变得非常容易。 交换机（switch）是一种在通信系统中完成信息交换功能的设备。交换机的主要功能包括物理编址、网络拓扑结构、错误校验、帧序列以及流控。目前交换机还具备了一些新 的功能，如对VLAN （虚拟局域网）的支持、对链路汇聚的支持，甚至有的还具有防火墙的功能。核心交换机并不是交换机的一种类型，而是放在核心层（网络主干部分）的交换机叫核心交换机。核心交换 机应当全部采用模块化结构，必须拥有相当数量的插槽，具有强大的网络扩展能力，以保

27、护原有的投资。 的子网或VLAN。不过应清醒认识到三层交换机出现最重要的目的是加快大型区域网内部的数据交换，所具备的 持等方面还有许多欠缺，并不能完全取代路由器工作。 的优点是速度快、抗干扰能力强。光纤交换机特别适合于信息点接入距离超出五类线接入距离、需要抗电磁干扰以及需要通信保密等场合适用 的领域包括：住宅小区FTTH 宽带接入网络；企业高速光纤局域网；高可靠工业集散控制系统（DCS光纤数字 视频监控网络；医院高速光纤局域网；校园网络。 （3）接入层交换机常将网络中直接面向用户连接或访问网络的部分称为接入层，将位于接入层和核心层之间的部分称为分布层 本地的汇聚交换机上交换，减少核心层的工作负担，使核心层只处理到本地区域外的数据交换。