鲲鹏智能计算导论 课件 第1章 绪论

第1章

绪论1.1计算产业发展历程1.2智能计算时代1.3鲲鹏计算生态学习要点1.1.1 计算时代1.0：专用计算大型计算机大型计算机又称为大型主机，最早是指装在体积较大的铁框盒中的大型计算机系统。大型计算机使用专用处理器及配套指令集、专用操作系统和专用应用软件。通常，业界提到的大型计算机特指国际商业机器（InternationalBusinessMachines，IBM）公司从System/360开始生产的系列计算机，有时也指由几个特定厂商，如日立数据系统（HitachiDataSystems，HDS）、阿姆达尔（Amdahl）制造的兼容计算机。1.1.1 计算时代1.0：专用计算20世纪80年代以来，一部分大型计算机和小型计算机的供应商顺应市场变化，放弃原有模式，加入以客户端/服务器（Client/Server，C/S）架构为主导的服务器阵营。随着时间的推移，在个人计算机（PersonalComputer，PC）集群的冲击下，无法适应这种变化的小型计算机已经完全被淘汰，唯独大型计算机（特指IBM系列产品）一息尚存，其核心原因在于，大型计算机具备极高的可靠性、可用性和可服务性（Reliability，AvailabilityandServiceability，RAS）特性及输入/输出（Input/Output，I/O）处理能力。可靠性：大型计算机能长时间正常运转可用性：大型计算机的重要数据都有备份机制，能进行一定的数据恢复，大型计算机能及时检测到可能出现的问题，并提前转移正在运行的计算任务到其他计算设备上可服务性：大型计算机能实时在线诊断，精确定位问题所在，做到准确无误地快速修复，进而快速恢复业务，降低故障影响RAS1.1.2 计算时代2.0：通用计算x86是英特尔通用计算机系列的标准编号缩写，也表示一套通用的计算机指令集，x与处理器本身没有任何关系，只是对所有型号带86系统的简单的通配符定义。经过多年发展，x86架构成为PC的主流选择。x86与i386、i486、i586、i686等86系列或80x86泛指英特尔开发、制造的一种微处理器体系结构。最早的名称都是以数字来表示的，并以“86”结尾，包括英特尔8086、80186、80286、80386及80486，因此其架构被称为x86。1965年，英特尔创始人戈登·摩尔提出“摩尔定律”，即“当价格不变时，集成电路上可容纳的晶体管数目大约每隔18～24个月便会增加一倍，性能也将提升一倍”。英特尔的通用计算机指令集x86架构使计算从专用走向了通用，开启了计算时代2.0。在个人计算机发展的历程中，x86架构几乎遍布整个计算生态系统，尤其是对服务器市场的发展而言，x86架构做出了重大贡献，并最终使得x86服务器市场成为全球最庞大的IT产品市场之一。在计算时代2.0，计算产业迎来更加开放、标准化和小型化的巨大变革。与此同时，单一计算架构（x86架构）也因其自身的局限带来了一些问题。1.1.3 计算时代3.0：智能计算该时代最显著的特征是计算架构从通用演变到异构。从通用计算开始，计算的核心应用场景经历了从桌面互联到移动互联的变革，目前正走向万物互联。随着下一代移动互联网、物联网（InternetofThings，IoT）和云计算技术的日趋成熟，当前的应用创新频率越来越高，数量和种类也越来越多，云计算加边缘计算配合移动端载体的“端、边、云”协同方式逐渐成为主流模式，综合应用的创新与变革对计算平台提出了新挑战。自2018年起，全球众多厂商陆续推出基于高级精简指令集机器（AdvancedRISCMachine，ARM）架构的服务器产品，打破了长期被x86架构主导的服务器市场。依赖单一CPU架构的时代已迎来变革，计算正在迈入“多样性时代”。当前，多种计算架构同时存在，包括CPU、数字信号处理（DigitalSignalProcessing，DSP）、通用处理器（GeneralProcessUnit，GPU）、AI场景下的现场可编程门阵列（FieldProgrammableGateArray，FPGA）、网络处理器（NetworkProcessor，NP）等。1.1计算产业发展历程1.2智能计算时代1.3鲲鹏计算生态学习要点1.2.1 后“摩尔定律”时代“摩尔定律”提出后的近60年里，计算产业的发展轨迹验证了其相对科学性，但它也有一定的局限性。2016年5月，《麻省理工科技评论》刊发的《摩尔定律终结》—文提出，要使摩尔定律继续有效，就必须使用复杂的制造工艺，而该工艺高昂的成本超过了由此带来的成本节约，在更快的速度、更低的能耗和更低的成本这3个因素中，芯片厂商只能三选二。虽然制造工艺还有一定的提升空间，但也将在15年后达到极限。在2018年“未来科学大奖颁奖典礼暨F²科学峰会”上，美国加利福尼亚大学洛杉矶分校电子工程系的萨勃拉曼尼亚·斯瓦米和杰森·吴两位专家也谈到了“摩尔定律终结”的问题，其中萨勃拉曼尼亚·斯瓦米提出使用系统级封装（SysteminPackage，SIP）技术来实现“MorethanMoore”。与此同时，业界也在积极探索碳基半导体材料，并研究其他计算技术，如量子计算、脱氧核糖核酸（DeoxyribonucleicAcid，DNA）计算、自旋波计算等，寻求后“摩尔定律”时代的发展。1.2.2 计算产业新时代计算产业是IT的基础，是每一次产业变革的驱动力，从云计算、大数据、AI到边缘计算、IoT，都离不开强大的算力支撑。当前，随着智慧场景的增加，智慧应用越来越普及，对算力的需求也日趋多样化，不仅有端、边、云不同的场景，还有更关注性能的、更关注能耗的、更关注时延的，以及更关注产品耐受性的场景。服务器的算力形态已经从传统应用自上而下的“前端主机-应用主机-数据库主机”的烟囱架构，发展到以共享为核心的虚拟化、云化架构，进而发展到现在的AI计算、边缘计算、高性能计算（HighPerformanceComputing，HPC）。计算架构正面临越来越多不同类型的计算需求，既要能适应不同的算力需求，又要在部署、管理、运维等方面予以优化和适配。在此情形下，计算产业面临着两大挑战：一是如何突破传统服务器的算力瓶颈，二是如何有效降低运维管理成本。1.2.2 计算产业新时代华为“无边界计算”服务器战略1.2.2 计算产业新时代华为智能计算通过加速部件来实现整个系统的性能优化，从计算到数据读写，再到网络的各个环节，都有相应的加速部件来实现系统层面的优化，具体包括以下3个层面。ACB处理器层面数据读写层面网络层面通过节点互连控制器，实现多个CPU互连、协同工作。通过研发智能固态硬盘（SolidStateDisk，SSD）控制器，提升读写I/O性能、降低读写时延。网络层面：通过研发智能网络控制器，把之前需要在CPU上完成的工作移交给网络控制器，从而提升系统整体性能。1.1计算产业发展历程1.2智能计算时代1.3鲲鹏计算生态学习要点1.3 鲲鹏计算生态鲲鹏计算生态是基于鲲鹏处理器的基础软硬件设施、行业应用及服务，涵盖从底层硬件、基础软件到行业应用的全产业链条。面向智能计算时代，华为和行业参与者一起构建鲲鹏计算生态，共同为各行业提供基于鲲鹏处理器的领先IT基础设施及行业应用。1.3.1

鲲鹏计算硬件体系概览智能加速引擎和智能管理引擎包含华为自研的SSD和智能网卡，以及跨平台管理的FusionDirector智能管理软件。鲲鹏通用计算平台包括鲲鹏处理器的TaiShan服务器、鲲鹏开发套件（KunpengDevKit）、鲲鹏主板和开源系列软件。其中，TaiShan服务器是华为自有品牌产品，而鲲鹏主板用于供应给参与鲲鹏计算生态建设的合作厂商。Atlas人工智能计算平台可为不同应用场景提供AI算力，包括板卡部件级产品Atlas200/300系列、小型工作站Atlas500系列、边缘和数据中心Atlas800系列、集群产品Atlas900系列等。1.3.2 鲲鹏开源软件概览openEuler操作系统01OPTION操作系统EulerOS的名称源自著名数学家莱昂哈德·欧拉，它是一款基于Linux内核的操作系统，支持x86和ARM等多种处理器架构。在十多年的发展历程中，EulerOS始终以安全、稳定、高效为目标，成功支持了华为的计算产品和解决方案，成为国际上颇具影响力的操作系统。EulerOS在华为内部已有十多年的技术积累，广泛应用于华为内部产品，并且华为已基于对鲲鹏处理器的深刻理解，在性能、可靠性、安全性等方面对其进行了深度优化，以保证这一操作系统为鲲鹏计算生态提供足够的支撑。为促进鲲鹏计算生态建设，华为将EulerOS开源为openEuler，简称“欧拉”，它适用于数据库、大数据、云计算、AI等应用场景，同时，它也是一个面向全球的操作系统开源社区。1.3.2 鲲鹏开源软件概览openEuler操作系统01OPTIONopenEuler操作系统主要面向服务器，通过创新架构、全栈优化，打造全场景协同的统一操作系统，为多样化架构释放算力。openEuler的主要组件包括基础加速库、虚拟化、内核、驱动、编译器、操作系统工具、OpenJDK等，具体介绍如下。应用中间层：提供了多种类型的中间件，提供数据库、桌面、机密计算等系统软件，支持openEuler上的应用软件共享资源。运行时及加速库：层提供了程序运行时库（如华为毕昇JDK）和加速库。其中，JDK是Java开发工具包的简称。虚拟化及容器层：提供了虚拟化和容器能力，用户可以根据需求选择使用。iSulad通用容器引擎是一种新容器技术，可提供统一架构设计来满足通信技术（CommunicationTechnology，CT）和IT领域的不同需求。内核层：为应用程序提供了多种对计算机硬件进行安全访问的系统调用，负责管理系统的进程、内存、设备驱动程序、文件和网络系统等。(1)(2)(3)(4)1.3.2 鲲鹏开源软件概览openGauss数据库02OPTIONopenGauss是一款开源关系数据库管理系统（RelationalDatabaseManagementSystem，RDBMS），采用木兰宽松许可证v2发行，支持鲲鹏和x86处理器，支持openEuler、Ubuntu等Linux操作系统。openGauss的内核源自PostgreSQL。openGauss深度融合华为在数据库领域多年的经验，结合企业级场景需求，持续构建竞争力特性。同时，它作为一个开源、免费的数据库平台，鼓励社区贡献与合作。openGauss是典型的单机数据库，支持一主多备部署，最多可支持8台备机。1.3.2 鲲鹏开源软件概览openGauss数据库02OPTIONopenGauss系统架构如图所示，业务数据存储在单个物理节点上，数据访问任务被推送到服务节点执行，通过服务器的高并发，实现对数据处理的快速响应。同时，可以通过日志复制把数据复制到备机上，提供数据的高可靠性和读扩展能力。1.3.2 鲲鹏开源软件概览openLooKeng数据虚拟化引擎03OPTIONopenLooKeng的LooKeng取自我国著名数学家华罗庚的英文名（威妥玛拼写）Loo-kengHua。同时，LooKeng的发音也与英文Looking相近，意为查询、分析各种数据，使大数据分析更简单。openLooKeng能支持数据探索、即席查询和批处理等操作，具有100+毫秒～1分钟级的近实时时延且无须移动数据。openLooKeng还支持层次化部署，使地理上远程的openLooKeng集群能参与同一个查询。利用跨区域查询的优化能力，openLooKeng使远程数据的查询可以接近本地查询的性能。openLooKeng是一个“开箱即用”的引擎，支持在任何地点（包括远程数据源）对任何数据进行原位分析。它通过SQL2003接口提供所有数据的全局视图。openLooKeng具有高可用性（HighAvailability，HA）、自动伸缩特性，支持内置缓存和索引等功能，为企业级工作负载提供所需的可靠性。openLooKeng使用业界著名的开源SQL引擎Presto来提