云计算与大数据技术PPT全套完整教学课件

云计算与大数据技术终稿第1章云计算与大数据运维概论.pptx终稿第2章Linux操作系统.pptx终稿第3章OPENSTACK部署与运维.pptx终稿第4章Docker.pptx5大数据运维导论.pptx6大数据运维实操01.pptx6大数据运维实操02.pptx7大数据运维监控.pptx云计算与OpenStack.pptx第1章云计算与大数据运维概论知识地图本课目标掌握云计算基本概念、相关技术掌握云存储、云计算与大数据的关系了解大数据主要技术及应用场景理解云计算与大数据二者的区别和联系Coursecatalogue课程目录云计算产生背景1云计算基本概念2云计算技术3云存储4云计算与大数据的关系5大数据的基本概念6大数据技术7应用场景介绍8网络技术的成熟What’snew?What’simportant?政府政策的推动Thereareboundaries云计算产生背景云计算是传统计算机技术和网络技术发展融合的产物云计算的产生离不开互联网的助力，更离不开政府政策的推动云计算作为信息技术领域的一种创新应用模式，成为新一代信息技术发展与商业模式变革的核心力量，引起世界各国的广泛关注。

传统的信息化应用中，大学、政府、城市管理多按业务量大小、范围建立属于自己的独立的服务器或数据中心，每个本地服务器需要专门的人进行维护、管理，同时，各独立业务间需要进行信息共享时，需要通过互联网和本地服务器的授权进行信息公开，按独立业务应用的格式进行访问。而云应用时，资源可以整合，避免资源浪费云计算产生背景传统信息化与云应用信息化

大学、政府、城市管理所用服务器资源都有大量空闲，而在云应用时，硬件设置投入相对减少的情况下，资源得到充分利用。而且只需要一个团队维护一个云服务即可。大学、政府、城市管理只需要按自己需要向云服务购买自己需要的资源即可云计算产生背景资源共享云计算是继20世纪80年代大型计算机向客户端/服务器（C/S）模式大转变后，信息技术的又一次革命性变化。2006年8月9日，Google首席执行官EricSchmidt在搜索引擎大会（SESSanJose2006）上首次提出云计算概念。云计算是网格计算，分布式计算，并行计算、效用技术、网络存储、虚拟化和负载均衡等传统计算机和网络技术发展融合的产物。其目的是通过基于网络的计算方式，将共享的软件/硬件资源和信息进行组织整合，按需提供给计算机和其他系统使用。云计算可以说是互联网技术发达的今天，软硬件技术、虚拟化技术、网络通信技术，以及相关分布式存储、分布式计算、机器学习、神经网络等相关学科发展下的必然产物，2009年起世界各国从政策上也给云计算大力扶持，这些都催生了云计算的产生与快速发展。云计算的产生整合了资源，提升资源利用率，降低企业硬件建设及运营成本，同时开辟了信息化产业的新格局。云计算产生背景Coursecatalogue课程目录云计算产生背景1云计算基本概念2云计算技术3云存储4云计算与大数据的关系5大数据的基本概念6大数据技术7应用场景介绍81.2.1云计算定义1.2.2云能力类型1.2.3云服务类别1.2.4典型云计算部署模式1.2.5云计算基特征1.2云计算基本概念云计算基本概念——云计算定义云计算的定义有多种说法，细查起来，出现几十种上百种说法也不稀奇，但总体来讲表达的涵义极其相似，都在表述云计算基于互联网、或伸缩、按用户需求分配的资源。百度百科：“云计算（CloudComputing）是基于互联网的相关服务的增加、使用和交互模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。”美国国家标准与技术研究院：“云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。”ISOIEC17788在2014年的《INTERNATIONALSTANDARD》中表述云计算的术语解释为“云计算是一种支持网络访问的，将可伸缩、弹性、可共享的物理和虚拟资源池以按需自服务的方式供应和管理”。在维基百科（W）中，截止到2010年7月，“云计算”的词条被表述为是一种基于互联网的计算，在其中共享的资源、软件和信息以一种按需的方式提供给计算机和设备，就如同日常生活中的电网一样。除此之外，学术界的美国国家标准和技术研究院（NIST）、美国加州大学伯克利分校（UCBerkeley），企业界的Gartner、高德纳公司、Google、IBM，中国国务院，以及Google中国前总裁李开复、云计算专家刘鹏个人对“云计算”这个名词也提出了相应定义的描述方式。云计算基本概念——云能力类型应用能力类型基础设施能力类型平台能力类型应用能力类型：云服务客户能使用云服务提供者的应用的一类云能力类型。基础设施能力类型：云服务客户能配置和使用计算、存储和网络资源的一类云能力类型。平台能力类型：云服务客户能使用云服务提供者支持的编程语言和执行环境，部署、管理和运行客户创建或客户获取的应用的一类云能力类型。云计算基本概念——云服务类别云服务类别是拥有相同质量集的一组云服务。一种云服务类别可对应一种或多种云能力类型。参考自《云计算标准化白皮书》中描述，典型的云服务类别包括：通讯即服务（CaaS）。为云服务客户提供实时交互与协作能力的一种云服务类别。计算即服务（CompaaS）。为云服务客户提供部署和运行软件所需的配置和使用计算资源能力的一种云服务类别。数据存储即服务（DSaaS）。为云服务客户提供配置和使用数据存储相关能力的一种云服务类别。基础设施即服务（IaaS）。为云服务客户提供云能力类型中的基础设施能力类型的一种云服务类别。网络即服务（NaaS）。为云服务客户提供传输连接和相关网络能力的一种云服务类别。平台即服务（PaaS）。为云服务客户提供云能力类型中的平台能力类型的一种云服务类别。软件即服务（SaaS）。为云服务客户提供云能力类型中的应用能力类型的一种云服务类别。云计算基本概念——云服务类别

以IaaS、PaaS和SaaS应用最为广泛，也是大家比较公认的云计算基本模型划分模式云计算基础模型示意图云计算基本概念——云服务类别

IaaS主要包括计算机服务器、通信设备、存储设备等，能够按需向用户提供的计算能力、存储能力或网络能力等IT基础设施类服务，也就是能在基础设施层面提供的服务。PaaS定位于通过互联网为用户提供一整套开发、运行和运营应用软件的支撑平台。SaaS模式下，用户不需要再花费大量投资用于硬件、软件和开发团队的建设，只需要支付一定的租赁费用，就可以通过互联网享受到相应的服务。典型云计算服务应用举例层次国内举例国际举例SaaS电子商务云、中小企业云、医疗云、教育云等GoogleApps、SalesforceCRM等PaaSAPP开发环境、APP测试环境、应用引擎等GoogleAppEngine、、MicrosoftAzure等IaaS虚拟机租用服务、存储服务、负载均衡服务、防火墙服务等AmazonEC2、AmazonS3、Rackspacecloudserver等云计算基本概念——典型云计算部署模式

云计算有四类典型的部署模式：公有云、私有云、混合云和社区云。企业A与B以“托管式专用”模式，在公有云中申请私有云使用的资源

混合云百度百科描述“社区云是大的公有云范畴内的一个组成部分。是指在一定的地域范围内，由云计算服务提供商统一提供计算资源、网络资源、软件和服务能力所形成的云计算形式。”社区云云计算基本概念——云计算基本特征云计算实现了基于网络，将资源整合至大量的分布式计算机上，使企业、组织或个人等能够按需申请资源使用权限，达到按需访问计算机的目的。大体来讲，云计算具有如下的特征：广泛的网络接入可测量的服务多租户资源池化快速的弹性和可扩展性按需自服务364521Coursecatalogue课程目录云计算产生背景1云计算基本概念2云计算技术3云存储4云计算与大数据的关系5大数据的基本概念6大数据技术7应用场景介绍81.3.1云计算发展现状1.3.2云计算技术发展特点1.3.3云计算架构1.3.4云计算网络与安全1.3云计算技术

云计算技术——云计算发展现状

自2009年起，世界各国纷纷出台加快部署、推动云计算产业的战略规划和相关政策措施，期望在全球技术、经济竞争的格局中占据最大优势。2015年以IaaS、PaaS和SaaS为代表的典型云服务市场规模达到522.4亿美元，增速20.6%，预计2020年将达到1435.3亿美元，年复合增长率达22%，如图(a)所示。(a)全球云计算市场规模(b)中国专有云市场规模及增速(单位:亿元人民币)2015年亚洲云计算市场全球占比12%，保持快速增长，其中印度增速达35%，中国市场全球占比已由2012年的3.7%上升到5%。金砖国家巴西、俄罗斯、南非云计算市场占有率总和仅3%左右，如图(b)所示。云计算技术——云计算技术发展特点云计算产生，引领了第三次信息技术革命，同时带来了一场技术上和商业模式的革命。云计算最终目的可以让云计算服务提供商各尽所能，而用户则可各取所需。云计算建设中涉及的主要技术有：虚拟化、数据中心的建设、云存储、并行计算、用户交互、安全与隐私。随着信息化技术的发展，云计算技术发展产生一些变化。数据中心向整合化绿色节能方向发展虚拟化技术向软硬协同方向发展容器技术成为云计算主流技术软硬件协同设计是指对系统中的软硬件部分使用统一的描述和工具进行集成开发,可完成全系统的设计验证并跨越软硬件界面进行系统优化。云计算数据中心既要解决如何在短时间内快速、高效完成企业级数据中心的扩容部署问题，同时要尽量涉足高性能和高可靠性的要求。整合使数据中心高效运行所需的工具。容器技术可以在按需构建容器技术操作系统实例的过程当中为系统管理员提供极大的灵活性。以Docker为代表的技术快速迭代。同期，于2014年OpenStack社区决定开始支持容器和第三方容器支持者。VMware已经宣布将支持容器云计算技术——云计算架构云计算架构大体分为显示层、中间层、基础设施层和管理层。用于以友好的方式展现用户所需的内容和服务体验显示层中间层基础设施层HTMLJavaScriptCSSFlashSilverlight承上启下，在基础设施层资源的基础上提供多种服务云计算架构管理层REST多租户并行处理应用服务器分布式缓存给中间件层或者用户准备其所需的计算和存储等资源虚拟化分布式存储关系型数据库NoSQL为横向的三层服务，并提供多种管理和维护等方面的技术帐号管理SLA监控计费管理安全管理负载均衡运维管理云计算技术——云计算网络与安全云计算网络，不管它们是公共的、私有的或是混合的云，都必须能够在需要时增加和降低带宽，在存储网络、数据中心和LAN之间实现非常低延迟的吞吐能力，允许在服务器之间实现无阻断的连接，以支持虚拟机（VM）的自动迁移。能够管理面板上的功能能够延伸到企业和服务提供商网络中；能在不断变化的环境中始终提供可见性。云计算网络可以看成三个相互依赖的结构：前端，负责连接用户到应用；中间层，实现物理服务器互联和它们的虚拟机迁移；以及存储网络。较大型的云网络可以作为一个2层或3层网络创建。云计算网络有两个任务：将资源池变成一个虚拟资源，然后连接所有位置的用户到这些资源。云计算安全或云安全指一系列用于保护云计算数据、应用和相关结构的策略、技术和控制的集合，属于计算机安全、网络安全的子领域，或更广泛地说属于信息安全的子领域。云计算安全可以促进云计算创新发展，将有利于解决投资分散、重复建设、产能过剩、资源整合不均和建设缺乏协同等很多问题。Coursecatalogue课程目录云计算产生背景1云计算基本概念2云计算技术3云存储4云计算与大数据的关系5大数据的基本概念6大数据技术7应用场景介绍81.4.1数据中心构建与管理1.4.2虚拟化技术1.4.3云计算发展现状1.4云存储云存储——数据中心构建与管理数据中心是全球协作的特定设备网络，用来在internet网络基础设施上传递、加速、展示、计算、存储数据信息。维基百科给出的定义是“数据中心是一整套复杂的设施。它不仅仅包括计算机系统和其它与之配套的设备（例如通信和存储系统），还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置”。一个完整的数据中心在其建筑之中，由支撑系统、计算设备和业务信息系统这三个逻辑部分组成。数据中心技术发展产生一些变化：高密度、绿色化引发数据中心基础设施变革。模块化数据中心成为数据中心建设新模式。定制化成为数据中心设施设备的发展方向。更高的性能和速度成为数据中心IT设备技术发展趋势。大规模、高流量加速数据中心网络设备与技术演进。

云存储——虚拟化技术在计算机中，虚拟化（英语：Virtualization）是一种资源管理技术，是将计算机的各种实体资源，如服务器、网络、内存及存储等，予以抽象、转换后呈现出来，打破实体结构间的不可切割的障碍，使用户可以比原本的组态更好的方式来应用这些资源。这些资源的新虚拟部分是不受现有资源的架设方式，地域或物理组态所限制。一般所指的虚拟化资源包括计算能力和资料存储。在实际的生产环境中，虚拟化技术主要用来解决高性能的物理硬件产能过剩和老的旧的硬件产能过低的重组重用，透明化底层物理硬件，从而最大化的利用物理硬件。系统虚拟化是指将一台物理计算机系统虚拟化为一台或多台虚拟计算机系统。每个虚拟计算机系统（简称虚拟机）都拥有自己的虚拟硬件（如CPU、内存和设备等），来提供一个独立的虚拟机执行环境。系统虚拟化体系结构图云存储——虚拟化技术：系统虚拟化虚拟机可以看作是物理机的一种高效隔离的复制。虚拟机具有三个典型特征：同质、高效和资源受控。同质指的是虚拟机运行环境和物理机环境在本质上需求是相同的，但是在表现上有一些差异。高效指的是虚拟机中运行的软件需要具有接近在物理机上直接运行的性能。资源受控指的是VMM需要对系统资源有完全控制能力和管理权限，包括资源的分配、监控和回收。VMM对物理资源的虚拟可以归结为三个主要任务：CPU虚拟化、内存虚拟化和I/O虚拟化。CPU虚拟化是VMM中最核心的部分，决定了内存虚拟化和I/O虚拟化的正确实现。按照VMM提供的虚拟平台类型可以将VMM分为两类：完全虚拟化和半虚拟化。完全虚拟化下，VMM虚拟的是现实存在的平台。在客户机操作系统看来，虚拟的平台和现实的平台是一样的，客户机操作系统觉察不到运行在一个虚拟平台上。这样的虚拟平台无需对现有的操作系统做任何修改。半虚拟化下，VMM虚拟的平台在现实中是不存在的。这样的虚拟平台需要对客户机操作系统进行修改使之适应虚拟环境。操作系统知道自己运行在虚拟平台上，并且会主动去适应。云存储——虚拟化技术：虚拟化资源管理虚拟化资源是云计算中最重要的组成部分之一，对虚拟化资源的管理水平直接影响云计算的可用性、可靠性和安全性。虚拟化资源管理主要包括对虚拟化资源的监控、分配和调度。云资源池中应用的需求不断改变，在线服务的请求经常不可预测，这种动态的环境要求云计算的数据中心或计算中心能够对各类资源进行灵活、快速、动态的按需调度。云计算中的虚拟化资源与以往的网络资源相比，有以下特征：(1)数量更为巨大；(2)分布更为离散；(3)调度更为频繁；(4)安全性要求更高。通过对虚拟化资源的特征分析以及目前网络资源管理的现状，确定虚拟化资源的管理应该满足以下准则：(1)所有虚拟化资源都是可监控和可管理的；(2)请求的参数是可监控的，监控结果可以被证实；(3)通过网络标签可以对虚拟化资源进行分配和调度；(4)资源能高效地按需提供服务；(5)资源具有更高的安全性。在虚拟化资源管理调度接口方面，表述性状态转移（RepresentationalStateTransfer，简称REST）有能力成为虚拟化资源管理强有力的支撑。Coursecatalogue课程目录云计算产生背景1云计算基本概念2云计算技术3云存储4云计算与大数据的关系5大数据的基本概念6大数据技术7应用场景介绍81.5.1云计算与大数据的联系1.5.2云计算与大数据的区别1.5云计算与大数据的关系云计算与大数据的关系——云计算与大数据的联系从概念上来讲，云计算项目中是否应用大数据技术不是必要条件，但目前社会情况，大数据已经普及，信息量大，互联网发达，故当前社会实际云计算应用项目中，基本都离不大数据的应用。大数据主要解决的是分布存储、分布式计算的问题，是云计算的PaaS层的解决方案之一，并不等同于PaaS。大数据项目中应用云计算技术也不是必要条件，只要建立的数据中心满足大数据存储与计算问题就可以啦。同样当前社会的实际形式，互联网发达，所以大多大数据项目中也同样借助了云计算的知识。云计算与大数据的关系——云计算与大数据的区别云计算更强调的是资源共享、按需获取资源的一种业务模式，为了建立这样的模式，需要分布式计算、并行计算、网格计算、多核计算、网络存储、虚拟化、负载均衡等传统计算机技术和互联网技术相融合。大数据更强调的是按业务需求如何存储大数据和如何计算大数据的问题。主要技术更偏重于分布式存储、分布式计算、网络等相关的技术细枝末节的研究。Coursecatalogue课程目录云计算产生背景1云计算基本概念2云计算技术3云存储4云计算与大数据的关系5大数据的基本概念6大数据技术7应用场景介绍81.6.1什么是数据1.6.2大数据的定义1.6.3大数据的基本特征1.6大数据的基本概念大数据的基本概念——什么是数据百度百科中给出数据的定义描述”数据是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。它是可识别的、抽象的符号。”它不仅指狭义上的数字，还可以是具有一定意义的文字、字母、数字符号的组合、图形、图像、视频、音频等，也是客观事物的属性、数量、位置及其相互关系的抽象表示。例如，“0、1、2...`”、“阴、雨、下降、气温”“学生的档案记录、货物的运输情况”等都是数据。数据经过加工后就成为信息。在计算机科学中，数据是指所有能输入到计算机并被计算机程序处理的符号的介质的总称，是用于输入电子计算机进行处理，具有一定意义的数字、字母、符号和模拟量等的通称。现在计算机存储和处理的对象十分广泛，表示这些对象的数据也随之变得越来越复杂。大数据的基本概念——大数据的定义大数据概念早在1980年，著名未来学家阿尔文•托夫勒提出的概念。2011年，美国著名的咨询公司麦肯锡（Mckinsey）在研究报告《大数据的下一个前沿：创新、竞争和生产力》中给出了大数据的定义：大数据是指大小超出了典型数据库软件工具收集、存储、管理和分析能力的数据集。根据Gartner的定义，大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。美国国家标准技术研究所（NationalInstituteofStandardsandTechnology，NIST）的大数据工作组在《大数据：定义和分类》中认为：大数据是指那些传统数据架构无法有效地处理的新数据集。因此，采用新的架构来高效率完成数据处理，这些数据集特征包括：容量、数据类型的多样性、多个领域数据的差异性、数据的动态特征（速度或流动率，可变性）。维基百科（Wikipedia）给出的定义是：大数据，或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。百度百科给出的定义是：大数据，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理并整理成为帮助企业经营决策更积极目的的资讯。大数据的基本概念——大数据的定义亚马逊网络服务（AWS）、大数据科学家JohnRauser在2011年提到一个简单的大数据定义：任何超过了一台计算机处理能力的庞大数据量。EMC公司给出的定义是：数据集或信息，它的规模、发布、位置在不同的孤岛上，或它的时间线要求客户部署新的架构来捕捉、存储、整合、管理和分析这些信息以便实现企业价值。国内普遍的理解：具有数量巨大、来源多样、生成极快、且多变等特征并且难以用传统数据体系结构有效处理的包含大量数据集的数据。因此，从以上不同的大数据定义可以看出，大数据的内涵不仅仅是数据本身，还包括大数据技术以及大数据应用。从数据本身角度而言，大数据是指大小、形态超出典型数据管理系统采集、储存、管理和分析等能力的大规模数据集，而且这些数据之间存在着直接或间接的关联性，通过大数据技术可以从中挖掘出模式与知识。大数据技术是使大数据中所蕴含的价值得以挖掘和展现的一系列技术与方法，包括数据采集、预处理、存储、分析挖掘、可视化等。大数据应用，是对特定的大数据集、集成应用大数据系列技术与方法，获得有价值信息的过程。大数据技术的研究与突破，其最终目标就是从复杂的数据集中发现新的模式与知识，挖掘得到有价值的新信息。大数据的基本概念——大数据的基本特征

对大数据的完整理解应包含三个方面：数据特征、技术特征与应用特征。对于大数据的数据特征，业界通常引用国际数据公司IDC定义的4V来描述。阿姆斯特丹大学的YuriDemchenko等人提出了大数据体系架构框架的5V特征，如图所示，它在上述4V的基础上，增加了真实性（Veracity）特征。大数据的基本特征Coursecatalogue课程目录云计算产生背景1云计算基本概念2云计算技术3云存储4云计算与大数据的关系5大数据的基本概念6大数据技术7应用场景介绍81.7.1大数据采集1.7.2大数据存储技术1.7.3大数据计算技术1.7.4大数据分析1.7.5大数据可视化1.7.6大数据平台监控1.7.7大数据平台运维1.7大数据技术大数据技术——大数据采集数据采集（有时缩写为DAQ或DAS），又称为“数据获取”或“数据收集”，是指对现实世界进行采样，以便产生可供计算机处理的数据的过程。通常，数据采集过程之中包括为了获得所需信息，对于信号和波形进行采集并对它们加以处理的步骤。数据采集系统的组成元件当中包括用于将测量参数转换成为电信号的传感器，而这些电信号则是由数据采集硬件来负责获取的。Data大数据技术——大数据存储技术单机存储系统存储的数据量较小，且单机存储引擎多采取哈希表、B树等数据结构在机械磁盘、SSD等持久化介质上的实现。而且单机存储系统的理论主要来源于具备ACID属性的关系型数据库，难以满足大数据下可伸缩性、容错性、可扩展性、低成本的需求。InternetClientServerServer分布式存储系统是将数据分散存储在多台独立的设备上，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展，是大数据存储应用的主要模型形式。大数据技术——大数据计算技术大数据分析计算是大数据处理平台的核心功能，主要通过分布式计算框架来实现。针对数据分析计算的分布式计算框架不仅要提供高效的计算模型和简单的编程接口，而且要有很好的可扩展性、容错能力和高效可靠的输入输出（I/O），以满足大数据处理的需求。可扩展性是指系统能够通过增加资源来满足不断增加的对性能和功能需求的能力。计算框架的可扩展性决定了其可计算规模和计算并发度等重要指标。容错和自动恢复是指系统考虑底层硬件和软件的不可靠性，支持出现错误后自动恢复的能力。高效可靠的输入输出能够缓解数据访问的瓶颈问题，以提高任务的执行效率和计算资源的利用率。除了以上一些共性之外，针对不同类型的大数据，还需要一些专用的计算框架。根据数据的特性，常见的大数据有三种不同的类型：批量大数据、流式大数据和大规模图数据。批量大数据主要是指静态的大体量的数据。这些数据在计算前已经获取并保存，且在计算过程中不会发生变化。流式大数据主要是指按时间顺序无限增加的数据序列。这是一种动态数据，在计算前元法预知数据的到来时刻和到来顺序，也无法预先将数据进行存储。大规模图数据是指大规模的图结构数据，例如：互联网的页面链接图、社交网络图等。由于图数据存在较强的局部依赖性，使得图计算具有局部更新和迭代计算的特性。大数据技术——大数据分析AnalyticVisualizations（可视化分析）：不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果。1PredictiveAnalyticCapabilities（预测性分析能力）：数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。3SemanticEngines（语义引擎）：我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。4DataQualityandMasterDataManagement（数据质量和数据管理）：数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。5数据存储，数据仓库：数据仓库是为了便于多维分析和多角度展示数据按特定模式进行存储所建立起来的关系型数据库。6DataMiningAlgorithms（数据挖掘算法）：可视化是给人看的，数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值。这些算法不仅要处理大数据的量，也要处理大数据的速度。21231230CLICKTOADDCONTENTSCONTENTSCONTENTSTEXTTEXT大数据技术——大数据可视化数据可视化主要旨在借助于图形化手段，清晰有效地传达与沟通信息。数据可视化技术的基本思想，是将数据库中每一个数据项作为单个图元元素表示，大量的数据集构成数据图像，同时将数据的各个属性值以多维数据的形式表示，可以从不同的维度观察数据，从而对数据进行更深入的观察和分析。数据可视化主要是借助于图形化手段，清晰有效地传达与沟通信息。数据可视化与信息图形、信息可视化、科学可视化以及统计图形密切相关。数据可视化技术包含以下几个基本概念：①数据空间：是由n维属性和m个元素组成的数据集所构成的多维信息空间；②数据开发：是指利用一定的算法和工具对数据进行定量的推演和计算；③数据分析：指对多维数据进行切片、块、旋转等动作剖析数据，从而能多角度多侧面观察数据；④数据可视化：是指将大型数据集中的数据以图形图像形式表示，并利用数据分析和开发工具发现其中未知信息的处理过程。大数据技术——大数据平台监控大数据计算机系统的监控为系统的运维提供了数据基础，常常从系统的硬件展开，同时兼顾大数据系统的网络环境、配置环境、计算框架、上层服务等诸多层次。以便用户及时通过监控发现大数据平台潜在的问题，并能及时告警。可以说，大数据平台监控是故障诊断和分析的重要辅助利器，同样监控系统对大数据平台重要性不言而喻。在发生事故之前就能预警，最大限度降低系统故障率，是监控的终极目标和价值体现。大数据技术——大数据平台运维大数据运维主要从大数据系统的基础服务传输系统、计算调度以及存储系统层面开始考虑。运维系统中的批量作业平台，要解决运维中高频的批处理任务，确保稳定性和可靠性，尽量引入原生支持的组件，减少开发的工作量。而这些工作的展开离不开大数据平台监控指标值带来的信息参考，可以说，大数据平台运维与大数据平台监控是不可分割的有机整体，监控为系统的运维提供了数据基础，运维又提升了系统监控的意义。Coursecatalogue课程目录云计算产生背景1云计算基本概念2云计算技术3云存储4云计算与大数据的关系5大数据的基本概念6大数据技术7应用场景介绍8应用场景介绍美国华尔街“德温特资本市场”公司首席执行官保罗•霍廷每天的工作之一，就是利用电脑程序分析全球3.4亿微博账户的留言，进而判断民众情绪，再以“1”到“50”进行打分。根据打分结果，霍廷再决定如何处理手中数以百万美元计的股票。国际商用机器公司（IBM）估测，这些“数据”值钱的地方主要在于时效。对于片刻便能定输赢的华尔街，这一时效至关重要。曾经，华尔街2%的企业搜集微博等平台的“非正式”数据；如今，接近半数企业采用了这种手段。还有亚马逊、Facebook、Twitter的大数据应用，都取得了成功。应用场景介绍针对国内，人们熟悉的淘宝、京东等应用，取得了大数据巨大成功的应用。在城市建设上也有不同程度的应用。例如徐州智慧城市信息资源工程项目中，政务信息有效数据新源的最归集处理。通过数据交换服务、数据管理服务、数据监控服务、信息资产管理服务、大数据分析展示服务，有效归集和使用人口基础信息库，法人基础信息库、自然资源与空间地址信息库、宏观经济基础信息库。昆明国家经济技术开发区城市智能运营中心项目，定位从城市系统性的视角出发，通过城市动态连接、感知、分析、反应城市各个角落的状态，通过预警预报、自动控制、数据决策等形式，影射与服务实体城市管理的需要。金融领域的“勤智.数控金融”互联网金融监管大数据平台已运行超过15054小时，拥有超过200个分析模型，超过400张报表，具备300多个流程上百个角色，已经产生超过7000多项数据项。制造业的长安汽车智能制造技术研究所冲压质量大数据项目，通过建设大数据存储与处理平台，实现了工厂冲压车间的所有设备、模具、材料、生产制造过程数据、质量检验数据的集成、存储与统一管控。借助统计学、计算机科学、机器学习等学科，对数据进行统计分析，为冲压制造过程工艺优化和质量把控提供支持，为实现冲压产品质量的精确控制和优化提升提供确实的理论依据与参考。本章小结本章介绍了云计算与大数据基本概念，，并指出二者之间相互的联系与区别，大数据是云计算PaaS层的解决方案之一，并不等同于PaaS。云计算更偏重于业务模型，而大数据更偏重于对大数据的存储与计算的相关技术。云计算通过背景介绍，云计算定义、能力类型、部署模式和基本特征的描述，帮助学生理解云计算的基本概念，为后面云计算相关架构、网络安全、数据中心构建、虚拟化等技术的学习有个清醒的基本理论认知。通过云计算与大数据的关系，引出大数据的基本知识点，大数据的定义、基本特征及相关技术，使学生掌握大数据的基本知识点，为后面章节的学习打下基础。结束谢谢第2章Linux操作系统知识地图本课目标掌握操作系统的基本概念具备Centos独立安装能力掌握Linux用户与组的管理掌握文件系统的操作与管理与应用掌握Shell运用、进程和网络的管理Coursecatalogue课程目录Linux系统的安装与基本配置1Linux用户与组的管理2Linux文件管理3Shell的运用4Linux进程管理5Linux网络管理62.1.1操作系统的作用2.1.2Linux操作系统2.1.3实践任务：Centos7.4的安装与配置2.1.4磁盘分区2.1.6Swap（交换分区）2.1Linux系统的安装与基本配置操作系统的作用

操作系统是由特定语言编写的计算程序，用于管理计算机硬件与软件资源。操作系统处于计算机硬件及应用软件之间，架起了硬件与软件两者之间沟通的桥梁，如图所示操作系统功能典型示意图Linux操作系统Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。Linux最初由芬兰大学生LinusBenedictTorvalds发起，后来陆续加入的众多爱好者共同开发完成。Linus于1991年4月13日在comp.os.minix上发布说自己已经成功地将bash移植到了minix上。1991年10月5日上午11时53分，芬兰大学生LinusTorvalds在comp.os.minix新闻群组上发表帖子“Freeminix-likekernelsourcesfor386-AT”,标志了Linux操作系统的诞生。1991年年底，LinuxTorvalds公开了Linux内核源码0.02版，这个版本已经可以运行gcc、bash和很少的一些应用程序。Linux操作系统Linux操作系统的诞生和成长，依赖于UNIX操作系统、MINIX操作系统、GNU计划、POSIX标准和Internet网络五个重要的技术。UNIX操作系统，最早由KenThompson、DennisRitchie和DouglasMcIlroy于1969年在AT&T的贝尔实验室开发。于1972年用C语言进行了改写，使得UNIX系统在大专院校得到了推广。MINIX系统最初是由荷兰的AndrewS.Tanenbaum（AST）于1987年编制开发，Minix的名称取自英语MiniUNIX，是一个迷你版本的类Unix操作系统(约300MB)，主要用于学生学习操作系统原理。Linux的创始人Linus在学习MINIX时，自己开发一个操作系统，即Linux。GNU是自由的操作系统，其内容完全以GPL方式发布。GNU的设计类似Unix，不包含具著作权的Unix代码。POSIX（PortableOperatingSystemInterfaceofUNIX，缩写为POSIX）表示可移植操作系统接口，POSIX标准定义了操作系统应该为应用程序提供的接口标准，是IEEE为要在各种UNIX操作系统上运行的软件而定义的一系列API标准的总称，其正式称呼为IEEE1003，而国际标准名称为ISO/IEC9945。POSIX标准意在期望获得源代码级别的软件可移植性。Internet网络为Linux开发过程中的交流，以及后期的发展提供了信息和资源的交流平台。Linux操作系统

Linux在1999年发行中文版，这之后，基于服务平台、个人桌面用户以及大数据平台不或或缺的操作系统。发展至今，Linux存在着许多不同的Linux版本，但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中，比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机等。Linux发展历程Linux操作系统Linux这个词本身只表示Linux内核，但人们已经习惯称基于Linux内核的操作系统为Linux，Linux之所以应用越来越广泛，与其自己的特点分不开。开源免费：用户可以通过网络或其他途径免费获得并可以任意修改其源代码，而且Linux系统上有着大量免费可用的软件，例如Apache、PHP、MySQL等。多用户多任务：Linux可以使多个程序同时并行独立地运行，而且支持多个用户对于自己的文件设备有自己特殊的权利，保证了各用户之间互不影响。良好的界面：Linux桌面近年来越来越美观丰富，接近于Windows，方便用户快速学习和使用。可移植性：Linux支持几乎所有的CPU平台，可以将其安装至U盘、移动硬件等存储介质，或运行在多种硬件平台上，例如X86嵌入式的系统。支持几乎所有通用的网络协议，例如TCP/IP等。同时，Linux支持几乎所有的常用的开发语言，例如C++、Java、PHP等。Linux操作系统

Linux体系结构，如图所示，分为用户层、内核层和硬件层。其中系统硬件，严格讲，并不属于Linux操作系统范畴，它负责通过硬件控制程序向Linux操作系统提供硬件资料。Linux模块实践任务：Centos7.4的安装与配置磁盘分区Linux磁盘的分区主要分为基本分区（primarypartion）和扩充分区(extensionpartion)两种。其中，基本分区即刻可以应用且不能再分区，而扩充分区需要进行再次分区后方可使用，且扩展分区再次分区称为逻辑分区（logicalpartion），且逻辑分区没有数量上限制。本分区和扩充分区的数目之和不能大于四个。在Linux系统中，可以说一切皆文件，硬件设备也都将映射至文件中，对于硬盘、或SCSI设备等都不例外。针对不同的设备，分区的格式可能存在不同。hdx（x为从a~d）：是IDE设备驱动器标识符，“hd”表明分区设备的类型，“x”为盘号（a：基本盘，b：基本从属盘，c：辅助主盘，d：辅助从属盘）,“~”代表分区，数字1到4表示主分区或扩展分区，从5开始就是逻辑分区。例，hda3表示为第一个IDE硬盘上的第三个主分区或扩展分区。sdx（x为a~z）：SCSI，SATA，USB设备驱动器标识符。xvdx（x为a~z）：Xen虚拟机硬盘设备驱动器标识符。磁盘分区1.Fdisk查看当前磁盘分区，包括没有挂上的分区和设备[root@localhost~]#fdisk-l磁盘/dev/sda：64.4GB,64424509440字节，125829120个扇区Units=扇区of1*512=512bytes扇区大小(逻辑/物理)：512字节/512字节I/O大小(最小/最佳)：512字节/512字节磁盘标签类型：dos磁盘标识符：0x000eb81b设备BootStartEndBlocksIdSystem/dev/sda1*20482099199104857683Linux/dev/sda22099200125829119618649608eLinuxLVM磁盘/dev/mapper/centos-root：41.1GB,41120956416字节，80314368个扇区Units=扇区of1*512=512bytes扇区大小(逻辑/物理)：512字节/512字节I/O大小(最小/最佳)：512字节/512字节磁盘/dev/mapper/centos-swap：2147MB,2147483648字节，4194304个扇区Units=扇区of1*512=512bytes扇区大小(逻辑/物理)：512字节/512字节I/O大小(最小/最佳)：512字节/512字节磁盘/dev/mapper/centos-home：20.1GB,20073938944字节，39206912个扇区Units=扇区of1*512=512bytes扇区大小(逻辑/物理)：512字节/512字节I/O大小(最小/最佳)：512字节/512字节磁盘分区2.查看当前磁盘分区与目录挂载的关系的[root@localhost~]#df-h文件系统容量已用可用已用%挂载点/dev/mapper/centos-root39G3.8G35G10%/devtmpfs473M0473M0%/devtmpfs489M0489M0%/dev/shmtmpfs489M7.2M482M2%/runtmpfs489M0489M0%/sys/fs/cgroup/dev/sda11014M162M853M16%/boot/dev/mapper/centos-home19G40M19G1%/hometmpfs98M4.0K98M1%/run/user/42tmpfs98M28K98M1%/run/user/1000/dev/sr08.1G8.1G0100%/run/media/user/CentOS7x86_64其中文件系统记录磁盘分区文件，挂载点，记录目录与磁盘分区对应关系。例如挂载点/boot对应文件系统/dev/sda1，说明所有写在/boot目录下的文件都存储在/dev/sda1分区中。Swap（交换分区）Linux中Swap（即：交换分区），类似于Windows的虚拟内存，就是当内存不足的时候，把一部分硬盘空间虚拟成内存使用，从而解决内存容量不足的情况。一般来说可以按照如下规则设置swap大小：4G以内的物理内存，SWAP设置为内存的2倍。4-8G的物理内存，SWAP等亍内存大小。8-64G的物理内存，SWAP设置为8G。64-256G物理内存，SWAP设置为16G。Coursecatalogue课程目录Linux系统的安装与基本配置1Linux用户与组的管理2Linux文件管理3Shell的运用4Linux进程管理5Linux网络管理62.2.1Linux用户和组概念2.2.2实践任务：Linux用户的命令2.2.3实践任务：Linux组的命令2.2Linux用户与组的管理Linux用户和组概念

Linux是一个多用户、多任务的操作系统，可以让多个用户同时使用系统。Linux系统安装好后，系统默认的帐号为root，对系统有完全的控制权，可对系统进行任何设置和修改。对于普通用户来讲，任何一个要使用系统资源的用户，都必须首先向系统管理员申请一个账号，然后以这个账号的身份进入系统。每个用户账号都拥有一个惟一的用户名和各自的口令。实现用户账号的管理，完成的主要工作：用户账号的添加、删除与修改。用户口令的管理。用户组的管理。实践任务：Linux用户的命令——添加用户【命令格式】useradd【选项】<用户名>【常用参数】-ccomment指定一段注释性描述。-d目录指定用户主目录，如果此目录不存在，则同时使用-m选项，可以创建主目录。-g用户组指定用户所属的用户组。-G用户组，用户组指定用户所属的附加组。-sShell文件指定用户的登录Shell。-u用户号指定用户的用户号，如果同时有-o选项，则可以重复使用其他用户的标识号。增加用户账号就是在/etc/passwd文件中为新用户增加一条记录，同时更新其他系统文件如/etc/shadow,/etc/group等。【例2-2】新建用户testuser，该用户的登彔Shell是/bin/sh，它属于root用户组，同时又属于user，其中root用户组是其主组。[root@localhost~]#useradd-s/bin/sh-groot-Gusertestuser[root@localhost~]#tail-l/etc/passwd------省略------testuser:x:1002:0::/home/testuser:/bin/sh[root@localhost~]#tail-l/etc/shadow------省略------testuser:!!:18035:0:99999:7:::[root@localhost~]#实践任务：Linux用户的命令——修改帐号usermod命令用来修改用户账号属性，对于系统中已经存在的用户账号，可以使用usermod命令重新设置各种属性。【命令格式】usermod【选项】<用户名>【常用参数】-u：修改用户的UID号-L（大写）：锁定用户账号-U（大写）：解锁用户账号-l：更改用户账号的登录名称【例2-3】用户帐号修改小案例。使用usermod命令锁定用户账号testuser，确定状态后解除其锁定，如图所示。[root@localhost~]#usermod-Ltestuser[root@localhost~]#passwd-StestusertestuserLK2019-05-190999997-1(密码已被锁定。)[root@localhost~]#usermod-Utestuser[root@localhost~]#passwd-StestusertestuserPS2019-05-190999997-1(密码已设置，使用SHA512算法。)将用户账号的登录名称testuser更改为myuser，下次登录时生效，如图所示。[root@localhost~]#usermod-lmyusertestuser[root@localhost~]#grep"myuser"/etc/passwdmyuser:x:1002:0::/home/testuser:/bin/sh实践任务：Linux用户的命令——用户口令管理用户管理的一项重要内容是用户口令的管理。用户账号刚创建时没有口令，但是被系统锁定，无法使用，必须为其指定口令后才可以使用，即使是指定空口令。指定和修改用户口令是passwd命令。超级用户可以为自己和其他用户指定口令，普通用户只能用它修改自己的口令。【命令格式】passwd【选项】<用户名>【常用参数】-l锁定口令，即禁用账号。-u口令解锁。-d使账号无口令。-f强迫用户下次登录时修改口令。如果默认用户名，则修改当前用户的口令。【例2-4】指定用户名myuser作为参数，为该用户设置一个登录密码，重复输入两次进行确认，并查看shadow文件中该用户的密码字串信息。[root@localhost~]#passwd-umyuser解锁用户myuser的密码。passwd:操作成功[root@localhost~]#passwd-SmyusermyuserPS2019-05-190999997-1(密码已设置，使用SHA512算法。)[root@localhost~]#grepmyuser/etc/shadowmyuser:$6$2MMpch7W$RD95XXMacBKr4EVM3SPqRXDd/3Kyt8Ymkn/zqvrlSRkyEEJqfH9qDCY0jl8AUSvFXe.iwpTc3Z.Ua5F3x5aEL0:18035:0:99999:7:::实践任务：Linux用户的命令——删除用户如果一个用户的账号不再使用，可以从系统中删除。删除用户账号就是要将/etc/passwd等系统文件中的该用户记录删除，必要时还删除用户的主目录。删除一个已有的用户账号使用userdel命令。【命令格式】userdel【选项】<用户名>【常用参数】常用的选项是-r，它的作用是把用户的主目录一起删除。【例2-5】删除用户小案例。删除系统中的用户账号user，结果保留其宿主目录[root@localhost~]#userdeluseruserdel:useruseriscurrentlyusedbyprocess1963[root@localhost~]#ls-ld/home/userdrwx------.14useruser40965月1908:22/home/user删除系统中的用户账号testuser，同时删除其宿主目录。[root@localhost~]#userdel-rtestuser[root@localhost~]#ls-ld/home/testuserls:无法访问/home/testuser:没有那个文件或目录

实践任务：Linux组的命令1.添加一个用户组【命令格式】groupadd【选项】<用户组>【常用参数】-gGID指定新用户组的组标识号（GID）-o一般与-g选项同时使用，表示新用户组的GID可以与系统已有用户组的GID相同。【例2-6】创建组账号grouptest，并查看/etc/group文件中的变化[root@localhost~]#groupaddgrouptest[root@localhost~]#tail-l/etc/group------省略------grouptest:x:1001:2.删除用户组【命令格式】groupdel【选项】<用户组>【例2-7】用户组操作小案例。[root@localhost~]#groupdelgrouptest[root@localhost~]#tail-l/etc/group-----已经没有关于grouptest用户组的信息---【例2-8】用户组查询小案例。groups命令，查询当前用户所属的组账号信息。[root@localhost~]#groupsrootroot:rootid命令，查看root用户的信息[root@localhost~]#idrootuid=0(root)gid=0(root)组=0(root)3.用户和组账号查询查询当前用户所属的组账号信息。【命令格式】groups<用户组>查询某个用户账号所属的组【命令格式】whoami实践任务：Linux组的命令4.修改用户组属性【命令格式】groupmod【选项】<用户组>【常用参数】-gGID为用户组指定新的组标识号。-o与-g选项同时使用，用户组的新GID可以与系统已有用户组的GID相同。-n新用户组将用户组的名字改为新名字如果一个用户同时属于多个用户组，那么用户可以在用户组之间切换，以便具有其他用户组的权限。用户可以在登录后，使用命令newgrp切换到其他用户组，命令的参数就是目的用户组。【例2-9】修改用户组小例子。增加一个名这gr1的用户组[root@localhost~]#groupaddgr1[root@localhost~]#tail-l/etc/group------省略------gr1:x:1001:将用户组名gr1变更为gr2[root@localhost~]#groupmod-ngr2gr1[root@localhost~]#tail-l/etc/group------省略------gr2:x:1001:2.3 LiCoursecatalogue课程目录Linux系统的安装与基本配置1Linux用户与组的管理2Linux文件管理3Shell的运用4Linux进程管理5Linux网络管理62.3.1 Linux文件的概念2.3.2 Linux文件类型与权限2.3.3 实践任务：文件系统的命令2.3.4 实践任务：文件的压缩与打包2.3.5 实践任务：rpm软件包的安装2.3.6 实践任务：yum软件包的安装2.3.7 实践任务：从源码安装2.3 Linux文件管理Linux文件的概念

在Linux系统中，一切都以文件的方式存放在系统当中，例如目录、分区。目录也可以说是文件的单元，可以以层次结构这种文件存放在磁盘等存储设备上的组织方法进行存储。目录提供了管理文件的一个方便而有效的途径。Linux文件结构目录

Linux文件类型与权限

Linux文件，针对Linux系统多用户系统，可按不同用户、用户组分配权限进行存储。Linux文件类型与权限Linux文件权限管理命令【例2-10】修改图2-8中文件test.txt权限属性。（1）将文件test.txt所在群组root更改为user[root@localhost~]#chgrpusertest.txt[root@localhost~]#lltest.txt-rw-r--r--.1rootuser155月2007:27test.txt（2）将文件test.txt拥有者root更改为user[root@localhost~]#chownusertest.txt[root@localhost~]#lltest.txt-rw-r--r--.1useruser155月2007:27test.txt使用chmod和数字改变文件或目录的访问权限[root@localhost~]#chmod664test.txt[root@localhost~]#lltest.txt-rw-rw-r--.1useruser155月2007:27test.txt实践任务：文件系统的命令1.cd(切换目录)命令：Linux中用的最频繁的命令，经常需要进行目录的切换。常用的一些比较特殊的目录：.//代表当前目录..//代表上一层目录- //代表前一个工作目录~//代表目前用户身份所在的自家目录~account//代表account这个用户的自家家目录样例：[root@localhost~]#cd/home//进入到home目录[root@localhost~]#cd..//..表示上一层目录，进入到了/目录下[root@localhost~]#cd~//~表示目前用户身份所在的自家目录，当前用户就是root，所以就进入到了root目录下。[root@localhost~]#cd~/openscap_data//进入当前root用户主目录下openscap_data文件夹实践任务：文件系统的命令2.pwd(显示当前所在的目录)【命令格式】pwd[-P]-P：显示出确实的路径，而非使用链接(link)路径。(P是大写)样例：[root@localhost~]#pwd//显示出当前所在的目录/root[root@localhost~]#cd/var/mail[root@localhost~]#pwd/var/mail//显示出当前的目录路径[root@localhost~]#pwd-P/var/spool/mail//怎么回事？有没有加-P差很多？3.mkdir(建立新目录)[root@localhost~]#mkdir[-mp]目录名称-m：配置文件目录的权限，可以自己设定文件所需的权限，而不需要使用umask定义的默认权限。-p：递归建立目录。样例：[root@localhost~]#cd/home[root@localhosthome]#mkdirtest//建立test新目录[root@localhosthome]#mkdir-ptest1/test2/test3/test4//加-p的参数，可以递归建立多层目录。实践任务：文件系统的命令4.rmdir(删除"空"目录)[root@localhost~]#rmdir[-p]目录名称样例：[root@localhosthome]#rmdir-ptest1/test2/test3/test4///使用-p这个参数，立刻就可以将test1/test2/test3/test4一次删除，rmdir只能删除空的目录。5.ls(查看文件和目录)[root@localhost~]#ls[-aAdfFhilRS]目录名称[root@localhost~]#ls[--color={none,auto,always}]目录名称[root@localhost~]#ls[--full-time]目录名称示例1：以长格式显示所有的文件。[root@localhosthome]#ls-al~实践任务：文件的压缩与打包常用文件扩展名涵义：.Z：compress程序压缩的文件.gz：gzip程序压缩的文件.bz2：bzip2程序压缩的文件.tar：tar命令打包的数据，并没有压缩过.tar.gz：tar程序打包的文件，并且经过gzip的压缩.tar.bz2：tar程序打包的文件，并且经过bzip2的压缩Linux上常见的压缩/打包指令：gzip和bzip2，其中gzip比bzip2性能好，但bzip2可以获得更高压缩比。compress：已经基本不再使用了tar：可以将很多文件打包成为一个文件实践任务：文件的压缩与打包【例2-11】gzip压缩与解压缩举例。查询文件initial-setup-ks.cfg[root@localhost~]#llinitial-setup-ks.cfg-rw-r--r--.1rootroot20573月104:37initial-setup-ks.cfg将文件initial-setup-ks.cfg压缩成.gz格式[root@localhost~]#gzip-vinitial-setup-ks.cfginitial-setup-ks.cfg: 46.4%--replacedwithinitial-setup-ks.cfg.gz[root@localhost~]#llinitial-setup-ks.cfg-rw-r--r--.1rootroot11413月104:37initial-setup-ks.cfg.gz将initial-setup-ks.cfg.gz文件解压[root@localhost~]#gzip-dinitial-setup-ks.cfg.gz[root@localhost~]#llinitial-setup-ks.cfg-rw-r--r--.1rootroot20573月104:37initial-setup-ks.cfg实践任务：rpm软件包的安装RPM（Red-HatPackageManager，RPM软件包管理器），是RedHat公司开发的软件包管理器，使用它可以很容易地对RPM形式的软件包进行安装、升级、卸载、校验、和查询等操作。RPM内含已经编译过的程序不配置文件等数据RPM在被安装之前，会先检查系统的硬盘容量、操作系统版本等，可避免文件被错误安装RPM文件本身提供软件版本信息、相依属性软件名称、软件用途说明、软件所含文件等信息支持RPM安装的软件包一般都以.rpm扩展名结尾，例如：hadoop-mapreduce-2.5.0xx.rpm。【命令格式】rpm【选项参数】<安装包名>实践任务：rpm软件包的安装【例2-12】RPM应用举例。RPM安装举例假设存在a1.rpm、a2.rpm和a3.rpm三个工具，对它们进行安装举例。安装a1.rpm单个rpm包举例：rpm-ivha1.rpm安装多个rpm包：rpm-ivha1.rpma2.rpm使用通配符安装所有rpm包：rpm-ivh*.rpm安装网上名为a有rpm包：rpm-ivh/path/a.rpm其中ivh参数中，-i:install的意思；-v:察看更细部的安装信息画面；-h:以安装信息列显示安装进度。RPM升级与更新–rpm-Uvha1.rpma1.rpm如果没有安装过，系统会直接安装，若a1.rpm安装过但版本较旧，则更新至新版–rpm-Fvha1.rpma1.rpm如果未安装过，软件不升级，如果a1.rpm已安装，则a1.rpm会被升级RPM查询rpm-qa|grepa1查询是否安装了带a1字样的软件包rpm-qRa1查询a1需要的依赖yum软件包的安装Yum（YellowdogUpdater,Modified）是一个在Fedora和RedHat以及CentOS中的Shell前端软件包管理器。【例2-13】Yum应用举例。Yum安装a1.rpmyuminstalla1.rp2.RPM升级与更新yumupgradea1或者yumupdatea13.RPM查询查找vim相关软件包：yumsearchvim查看a1软件包功能：yuminfoa1列出yum服务器上面提供的所有软件名称：yumlist列出目前服务器上可供本机进行升级的软件列表：yumlistupdates卸载软件：yumremovea1实践任务：从源码安装Tarball安装的基本步骤通常如下：第1步：取得原始tar.gz文件第2步：查阅INSTALL与README等相关文件内容，了解软件安装说明第3步：依赖软件安装，根据查阅的安装说明安装需要的依赖软件第4步：检查makefile以及configure或config建立Makefile文件是否存在第5步：编译：执行make，默认使用Makefile，即指定make使用解压出来顶级目录中的Makefile作为其命令参数第6步：执行makeinstall安装软件，默认从解压目录中寻找Makefile作为make的操作定义文件。实践任务：从源码安装Tarball常用的安装命令：1.检查当前使用的Linux系统及相关软件是否满足安装要求参考命令：./configure2.移除之前的*.o等目标文件参考命令：makeclean3.编译参考命令：makemake会依据Makefile进行编译,编译的工作主要是进行gcc来将原始码编译成为可以被执行的objectfiles4.安装参考命令：makeinstallmake会依据Makefile这个文件里面关亍install的选项定义,将上一个步骤所编译完成的内容安装到设置好的系统目录中,完成安装Coursecatalogue课程目录Linux系统的安装与基本配置1Linux用户与组的管理2Linux文件管理3Shell的运用4Linux进程管理5Linux网络管理62.4.1文本编辑器2.4.2shellscript介绍2.4.3实践任务：shellscrip