人工智能计算平台与存储器研究报告

人工智能计算平台与存储器研究汇报在物联网、大数据和人工智能的推进下,从交通运送、医疗保健到零售和娱乐等众多行业将走上转型之路,我们将其统称为Al计算时代。在此前的计算时代,大型机/小型机、PC/服务器和智能手机/平板电脑均受益于摩尔定律的进步,伴伴随2D微缩,产品的性能、功耗和面积/成本(也称为PPAC)得以同步提高。虽然Al时代的各类应用正在蓬勃发展,但摩尔定律却放缓了脚步;因此,行业需要在2D微缩以外获得突破,以全新方式推进PPAC的提高。详细而言,我们需要新的计算架构、新材料、新构造(尤其是节省面积的3D构造),以及用于芯片堆叠和异构设计的高级封装。人工智能时代的架构变化正在对逻辑和存储器产生影响，下图为人工智能时代推进半导体存储器发展的进程。我通过对目前常见的人工智能计算平台：阿里云的AI开发平台-机器学习PAI，华为云的AI开发平台-ModelArts，百度云的飞桨，科大讯飞的AIUUI。通过对4个平台的人工智能先进代表的平台进行配置和特点的理解，其中仅有华为云对云计算服务器设备有明确配置参数，因此我将着重对华为云鲲鹏、昇腾等的云存储器的配置进行查询，理解其特点，并对目前存储器未来发展做出论述。4个平台各有其优势，华为云依托华为强劲的科研能力，如今作为市场黑马，异军突起；而阿里云作为人工智能平台中其中布局较早，市场拥有率较高；百度云的飞浆平台在自动驾驶等应用方面有较多经验，并且在多方面均有扩展应用；科大讯飞的AIUI是深耕的强劲智能语音开发平台，是国内乃至世界人工智能语音领域的领导。1、人工智能计算平台一、阿里云的AI发开平台如下图所示，阿里云的PAI的业务架构分为五层：基础设施层：包括CPU、GPU、FPGA及NPU。计算引擎和容器服务层：包括MaxCompute、EMR、实时计算等计算引擎及容器服务ACK。计算框架层：包括Alink、TensorFlow、PyTorch、Caffe、MapReduce、SQL及MPI等计算框架，用于执行分布式计算任务。数据准备：PAI提供了智能标注，支持在多种场景下进行数据标注和数据集管理。模型开发和训练：PAI提供了可视化建模PAI-Studio、交互式编程建模PAI-DSW、云原生深度学习训练平台PAI-DLC及端到端自动学习PAI-AutoLearning，满足不一样的建模需求。模型布署：PAI提供了云原生在线推理服务平台PAI-EAS和模型推理加速工具PAI-Blade，协助您迅速地将模型布署为服务。同步，PAI提供了智能生态市场，您可以获取业务处理方案和模型算法，实既有关业务和技术的高效对接。阿里云的AI发开平台特点：1、丰富的机器学习算法PAI的算法都通过阿里巴巴集团大规模业务的沉淀，不仅支持基础的聚类和回归类算法，同步也支持文本分析和特性处理等复杂算法。2、支持对接阿里云其他产品PAI训练的模型直接存储在MaxCompute中，可以配合阿里云的其他产品使用。3、一站式的机器学习体验PAI支持从数据上传、数据预处理、特性工程、模型训练、模型评估到模型公布的机器学习全流程。4、支持主流深度学习框架PAI支持TensorFlow、Caffe及MXNet等主流的机器学习框架。5、可视化的建模方式PAI封装了经典的机器学习算法，具有如下优势：支持使用拖拽的方式搭建机器学习试验；支持使用内置的PAI-AutoML进行调参，实现模型参数自动探索、模型效果自动评估、模型自动向下传导及模型自动优化。6、一键式的模型布署服务PAI支持将PAI-Studio、PAI-DSW及PAI-Autolearning生成的训练模型一键式公布为RestfulAPI接口，实现模型到业务的无缝衔接。二、华为云的AI开发平台ModelArtsModelArts是一种一站式的开发平台，可以支撑开发者从数据到AI应用的全流程开发过程。包括数据处理、模型训练、模型管理、模型布署等操作，并且提供AI市场功能，可以在市场内与其他开发者分享模型。ModelArts支持应用到图像分类、物体检测、视频分析、语音识别、产品推荐、异常检测等多种AI应用场景，下图是ModelArts架构华为云的AI开发平台-ModelArts特点1、一站式开“箱”即用，涵盖AI开发全流程，包括数据处理、模型开发、训练、管理、布署功能，可灵活使用其中一种或多种功能。2、易上手提供多种预置模型，开源模型想用就用；模型超参自动优化，简朴迅速；零代码开发，简朴操作训练出自己的模型；支持模型一键布署到云、边、端。3、高性能自研MoXing深度学习框架，提高算法开发效率和训练速度；优化深度模型推理中GPU的运用率，加速云端在线推理；可生成在Ascend芯片上运行的模型，实现高效端边推理。4、灵活支持多种主流开源框架(TensorFlow、Spark_MLlib、MXNet、Caffe、PyTorch、XGBoost-Sklearn、MindSpore)；支持主流GPU和自研Ascend芯片；支持专属资源独享使用；支持自定义镜像满足自定义框架及算子需求。三、百度云的飞浆飞桨(PaddlePaddle)以百度数年的深度学习技术研究和业务应用为基础，集深度学习关键框架、基础模型库、端到端开发套件、工具组件和服务平台于一体，年正式开源，是全面开源开放、技术领先、功能完备的产业级深度学习平台。飞桨源于产业实践，一直致力于与产业深入融合。目前飞桨已广泛应用于工业、农业、服务业等，服务210多万开发者，与合作伙伴一起协助越来越多的行业完毕AI赋能，下图为其使用场景概览百度云飞浆的优势：1、开发便捷提高效率飞桨深度学习框架采用基于编程逻辑的组网范式，对于一般开发者而言更轻易上手，符合他们的开发习惯。同步支持申明式和命令式编程，兼具开发的灵活性和高性能。网络构造自动设计，模型效果超越人类专家。2、超大规模深度学习模型训练技术飞桨突破了超大规模深度学习模型训练技术，实现了支持千亿特性、万亿参数、数百节点的开源大规模训练平台，攻克了超大规模深度学习模型的在线学习难题，实现了万亿规模参数模型的实时更新。3、多端多平台布署的高性能推理引擎飞桨不仅兼容其他开源框架训练的模型，还可以轻松地布署到不一样架构的平台设备上。同步，飞桨的推理速度也是全面领先的。尤其通过了跟华为麒麟NPU的软硬一体优化，使得飞桨在NPU上的推理速度深入突破4、产业级开源模型库飞桨官方支持100多种通过产业实践长期打磨的主流模型，其中包括在国际竞赛中夺得冠军的模型；同步开源开放200多种预训练模型，助力迅速的产业应用四、科大讯飞的AIUIAIUI开放平台重要包括了语义技能（Skill）、问答库（Q&A）编辑以及AIUI应用（硬件）云端配置的能力，并为不一样形态产品提供了不一样的接入方式。目前有如下接入方式有，Android、iOS、Windows、LinuxSDK，基于HTTP协议的WebAPI，以及软硬一体的AIUI评估板（量产板）、讯飞魔飞智能麦克风，下图为AIUI产品框架。科大讯飞的AIUI特点：1、语音唤醒语音唤醒是指通过4-6个音节的唤醒词，将设备从不对外部声音进行识别的休眠状态唤醒为接受并识别外部声音的交互状态。讯飞的语音唤醒具有小尺寸，低功耗，高唤醒的特点。并且顾客可自定义唤醒词，单个设备最高支持8个唤醒词同步使用2、语音识别语音识别（ASR）是一种将人的语音转换为文本的技术。科大讯飞同步拥有中文、粤语、英语等21种语言/方言的识别引擎。3、语音降噪、回声消除、全双工交互语音降噪指减少环境噪音，提高人声辨识度，基于讯飞多麦克风阵列，AIUI在实现降噪的同步可以确定唤醒的方向，并克制其他方向的人声。回声消除指产品扬声器发声（TTS或播放音频）时，可以不关闭产品麦克风的拾音功能，扬声器的回声可以通过讯飞的降噪算法消除，不送入语音识别引擎。全双工交互指在设备扬声器发声时，且不关闭麦克风的状况下，顾客可以打断设备的播放，进行语音识别和语义理解。4、语义理解语义理解（NLP）指将一句自然语言转化为计算机可读的构造化数据。语义理解也是AIUI的关键功能。5、语音合成语音合成（TTS）是指将文字信息转化为声音信息，给产品配上“嘴巴”。讯飞提供了众多极具特色的发音人（音库）供您选择。其合成音在音色、自然度等方面的体现均靠近甚至超过了人声。拥有中英粤多语种、川豫多方言、男女声多风格的选择，音量、语速、音高等参数也支持动态调整，同步提供定制专属发言人。6、内容（信源）内容（信源）指语义理解后对客户真实有用的数据，例如天气详细状态，音乐的播放链接。AIUI技能商店中多数技能具有相对应的信源，在最终的构造化数据Json中体现为data字段。我们诚邀各类内容提供商与我们合作，包括但不限于音视频资源、流媒体、新闻、自媒体、小朋友故事与游戏、股票违章查询等功能类资源，讯飞提供了多种合作方案，和内容提供商共享AI时代的流量红利。2、存储器配置与技术特点一、科大讯飞的AIUI配置MT8516开发套件是一款基于MTK平台MT8516处理器和科大讯飞环形6麦阵列构造的语音整体处理方案。此外还提供红外、串口、ZigBee等多种接口，小巧易扩展，搭载iFLYOS生态，提供海量内容服务与定制化接口，满足多种远、近场语音交互场景，下图为MT8516芯片框图与芯片信息。产品特性：1、远/近场拾音方案前端采用科大讯飞6麦克风阵列，可以实现家居场景5-10m左右的顾客指令音频拾取，通过新一代神经网络降噪算法对拾取音频进行处理，提供高品质降噪后音频给到后端，以保障唤醒、识别效果。2、噪声克制该功能基于科大讯飞6麦克风阵列中的声源定位和波束增强等算法特性，通过采集指令声源（控制设备的发音人）所在波束范围内的声音，克制或者不处理其他波束所接受的声音，以提高采集声音的效果，为后续唤醒和命令词识别效果提供保障。3、回声消除支持顾客交互过程中，实现一次唤醒，多轮交互的控制方式，即顾客可以中断播报进程进行下一轮交互，让交互愈加自然，流畅。二、华为云昇腾Atlas800推理服务器Atlas800推理服务器是基于华为昇腾310处理器+Arm/x86架构处理器的AI推理服务器，提供强大的实时推理能力，广泛应用于AI推理场景。下图为Atlas800推理服务器，型号：3000。特点：•支持8张Atlas300I推理卡，满足多场景推理需求；整机可提供640路高清视频实时分析（1080P25FPS）•搭载64核架构、具有超强算力的鲲鹏920处理器，高效加速应用•发挥鲲鹏架构多核、低功耗优势，为推理场景构建高效能、低功耗的AI计算平台•Atlas300I单卡功耗仅67W，为AI服务器算力加速同步提供更优的能效比三、华为云昇腾Atlas800训练服务器Atlas800训练服务器（型号：9000）是基于华为鲲鹏920+昇腾910处理器的AI训练服务器，具有最强算力密度、超高能效与高速网络带宽等特点。该服务器广泛应用于深度学习模型开发和训练，合用于智慧都市、智慧医疗、天文探索、石油勘探等需要大算力的行业领域。特点：•4U高度提供2.24PFLOPSFP16超强算力•算力密度到达业界1.36倍•单机支持风冷和液冷两种散热方式•提供2.24PFLOPS/5.6kW超高能效比，到达业界1.21•8*100GRoCEv2高速接口•芯片间跨服务器互联时延缩短10~70%四、华为云昇腾Atlas900PoDAtlas900PoD（型号：9000）是基于华为昇腾910+鲲鹏920处理器的AI训练集群基础单元，具有超强AI算力、更优AI能效、最佳AI拓展等特点。该基础单元广泛应用于深度学习模型开发和训练，合用于智慧都市、智慧医疗、天文探索、石油勘探等需要大AI算力的领域。特点：•47U高度提供最高20.48PFLOPSFP16超强AI算力•提供20.48PFLOPS/43kW超高能效比•支持机柜单元扩展，最大可拓展至4096颗昇腾910芯片集群，总算力达1EFLOPSFP16五、华为云鲲鹏裸金属服务器裸金属服务器（BareMetalServer）提供专属的云上物理服务器，为数据库、大数据、容器、高性能计算、AI等企业关键业务提供高性能、高安全性、灵活性和弹性，加速企业关键业务上云进程。特点：1、极速型SSD云硬盘采用了结合全新低时延拥塞控制算法的RDMA技术，合用于需要超大带宽和超低时延的应用场景；单盘最大128,000IOPS、1000MB/s吞吐量，200μs时延2、超高IO云硬盘低时延、高性能，合用于高性能，高读写速率规定，读写密集型应用场景；单盘最大33,000IOPS、350MB/s吞吐量，1ms时延3、通用型SSD云硬盘高性价比SSD，合用于多种主流的高性能、低延迟交互应用场景，如经典的企业办公、IO密集型应用、大中型开发测试、高性能系统盘等；单盘最大20,000IOPS、250MB/s吞吐量，1ms时延4、高IO云硬盘高性能、高扩展、高可靠，合用于性能相对较高，读写速率规定高，有实时数据存储需求应用场景；单盘最大5,000IOPS、150MB/s吞吐量，1ms~3ms时延六、华为云TaiShan200服务器（5290存储型）5290存储型是基于华为鲲鹏920处理器的4U2路存储服务器，系统可以提供128核、2.6GHz主频的计算能力和最高1PB当地存储容量。5290存储型具有海量存储、高性能、低功耗以及易扩展的特点，适合为数据归档应用场景提供高可靠和高性价比的存储处理方案。七、华为云TaiShan服务器TaiShan服务器是基于华为鲲鹏处理器的数据中心服务器,具有高效能计算、安全可靠、开放生态优势,适合为企业应用提供高并发的多核算力。TaiShan服务器家族包括基于鲲鹏916处理器的TaiShan100服务器和基于鲲鹏920处理器的TaiShan200服务器,提供均衡型、存储型、高密型、高性能型和边缘型等不一样规格形态的产品。3、存储器总结与未来发展存储器总结其中内存是服务器中重要的部件之一，它是与CPU进行沟通的桥梁。服务器中所有程序的运行都是在内存中进行的，因此内存的性能对服务器的作用非常大。可以看到在内存方面，多数服务器的内存控制器为DDR4，DDR4SDRAM全称DoubleDataRateFourthSynchronousDynamicRandomAccessMemory，即第四代双倍数据率同步动态随机存取存储器，并且在服务器中大量使用，数量大概为16~32个。同步有的CUP支持RDIMM，RegisteredDIMM（RDIMM）也是常见的内存模块类型。RDIMM使用寄存器，从电力上将内存模块从剩余主板中隔离出来，其长处是，只需更少的电力负载支持，系统可以填充更多RDIMM，支撑内存容量。缺陷是的是缓冲组件增长了对内存转换的延迟，稍微减少了性能并增长了能耗需求。在内地储存硬盘方面，使用SAS(SerialAttachedSCSI)即串行连接SCSI，是新一代的SCSI技术，和目前流行的SerialATA(SATA)硬盘相似，都是采用串行技术以获得更高的传播速度，并通过缩短连结线改善内部空间等。SAS是并行SCSI接口之后开发出的全新接口。此接口的设计是为了改善存储系统的效能、可用性和扩充性，并且提供与SATA硬盘的兼容性，SAS的接口技术是可以向下兼容SATA。SATA，即SerialATA（串行ATA），全称是SerialAdvancedTechnologyAttachme-nt，是由Intel、IBM、Maxtor和Seagate等企业共同提出的硬盘接口新规范。由于采用串行连接方式，因此使用SATA接口的硬盘又叫串口硬盘。SATA规范将硬盘的外部传播速率理论值提高到了150MB/s，比UltraATA/100高出50%，比UltraATA/133也要高出约13%。最初的SAS原则提供了300MB/s或者3Gb/s的数据传播速度，而SATA原则的速度则最高只能到达150MB/s。同步硬盘尚有SSD与HDD之区别，固态硬盘（SolidStateDrives），简称固盘，固态硬盘（SolidStateDrive）用固态电子存储芯片阵列而制成的硬盘，由控制单元和存储单元（FLASH芯片、DRAM芯片）构成。新一代的固态硬盘普遍采用SATA-2接口、SATA-3接口、SAS接口、MSATA接口、PCI-E接口、NGFF接口、CFast接口和SFF-8639接口。HDD（HardDiskDrive）即硬盘驱动器的英文名，是最基本的电脑存储器，目前硬盘一般常见的磁盘容量为80G、128G、160G、256G、320G、500G、750G、1TB、2TB等等。硬盘按体积大小可分为3.5寸、2.5寸、1.8寸等；按接口可分为PATA、SATA、SCSI等。PATA、SATA一般为桌面级应用，容量大，价格相对较低，适合家用；而SCSI一般为服务器、工作站等高端应用，容量相对较小，价格较贵，不过性能很好，稳定性也较高。在硬件配置中尚有一种支持新型的协议的硬盘，NVMe全称Non-VolatileMemoryExpress，非易失性存储器原则，是使用PCI-E通道的SSD一种规范，NVMe的设计之初就有充足运用到PCI-ESSD的低延时以及并行性，尚有现代处理器、平台与应用的并行性。NVMe原则对比AHCI原则的优势，其中之一就是低延时，在软件层方面，NVMe原则的延时只有AHCI的二分之一不到，NVMe精简了调用方式，执行命令时不需要读取寄存器；而AHCI每条命令则需要读取4次寄存器，一共会消耗80