ABC基础技术与开放论坛-part3

刘军浪潮人工智能和高性能计算总经理主持人：谢谢，随着人工智能技术的发展，AI的计算能力也急剧攀升，浪潮与百度保持了多年的战略合作，双方在人工智能所需要的技术硬件架构、技术和产品等方面联合研发取得了诸多的成果，下面有请浪潮人工智能和高性能计算总经理刘军，为我们带来AI计算，赋能智慧世界，掌声有请。刘军：谢谢各位来宾，今天非常有机会能跟大家一起来分享在AI计算方面浪潮所做的工作，非常高兴今天上午的大会，我们看到有一个ABC一体机的发布，浪潮非常荣幸能够作为其中的合作伙伴，和百度一起来通过ABC一体机推动AI的服务在中国的落地。当然我们看到今天是高朋满座，今天上午有将近五千人来参加这样一个会议，这实际上代表着我们所有大家对于AI未来对整个社会价值推进的一个非常高的认可，当然我们也会看到说，从整个对全球AI市场增长，和我们想象AI在哪些行业，哪些场景方面能够获得非常好的应用，我们是充满了非常多的商业机会和空间。刚才我们看到在百度谢总报告上面有一个非常好的对于AI发展阶段的看法，我觉得这是非常棒的一个分析，现在AI大家可能比较多的听到的，比如像百度、Google这样一些巨头的公司，在为主推动整个AI应用技术在往前面走。接下来这个阶段我们会看到，AI如何能够与我们万千的行业能够结合起来，让我们更多的传统的企业、政府，更多能够实现AI的转型或者赋能，这是我们看到更加广阔的一个商业的想象空间，实际上我们今天上午所发布的ABC一体机瞄准的就是这样巨大无比商业的机会。谈到AI的计算这一块，浪潮是一个比较专注于做AI计算的公司，我们在讲AI计算的时候，我们讲说到计算是这一次AI非常重要的三大元素之一。，我们看到在目前AI整个数据处理流程，首先我们会拿到一个数据训练集，进入到模型训练的阶段，得到一个智能模型之后，我们会对它进行前端的推进和部署，再进行相应的推理，这是我们通常会用到的流程，在这里对技术的挑战主要来自于两个方面，一个来自于产品全理端的计算，另外一个来自于Intel的计算（英文），讲到性能的问题，对于AI来说无疑是非常非常重要的一个基础的要求，我们知道原来神经网络在二三十年前就提出了这样的一个方法，但是因为当时的计算机还是286，所以没有办法对于大规模的数据集进行计算，今天有了非常好的英特尔的处理器、GPU，包括一些加速的设备来推动计算大数的增长，才使得我们今天能有机会来处理到这样一个庞大的bigdata，使我们能够得到一个深层次的神经网络。在这个地方举一个小小的例子，我们看到（非常熟悉的（英文）ImageNet的一个数据集，包含了120万+张的图片，作为通常训练的时候，我们会对这个数据来进行一个数据的增强，通过各种方式。增强了之后会得到多少张图片，会得到24.57亿张的图片，每个图片都是24×24的大小，用我们现在非常熟悉会用到的ResNetresnet深度神经网络是152层的神经网络，有36亿个点连接这样在上面，要完成这样一个训练，我们用一个最通常的GPU的服务器，会花多长的计算量才能完成呢？这有一个计算量的估算，是2200亿亿次，这是什么概念，大家可能没有太多的感觉，百亿亿次叫（英文）的概念，（英文）相当于（英文）的1000倍，（英文）相当于（英文）的1000倍。现在中国我们建造见到全球最快的超级计算机，它的计算能力是125个（英文），对现在百亿次（英文）相当于8台的计算系统，可想所以而知我们仅仅是（英文）一个数量集就需要这么长的时间，但是现在全球还没有一个（英文）超级计算机出现，所以我们计算的时间非常长，用一个GPU的服务器可以算到40多天能够算完，所以如何来解决在整个AI应用当中计算的问题，这是我们要非常关注的。ImageNet从浪潮这边对整个AI计算做了一个从底往上的布局，首先看到我们客户需要什么，需要一个非常先进的硬件的AI的服务器的产品，有了硬件的服务器产品之后，我们需要一个非常好的综合的系统管理的平台，来帮助我们进行整个AI的深度学习的后续上线整个全流程的工作，同时我们需要一个优化的深度学习框架，上面举的那个例子用的是大家熟悉的雪耻chafecaffei这个来做的训练，chaffei，举的是大家用Training（英文）做的训练，但是（英文）大家知道有一个非常挑战性的问题，它现在是在一个单节点内运行，没有办法跨节点扩展，所以在这一块浪潮会有一个叫caffe-chafeiMPI+（英文）的多结节点的集群的（英文）版本，提升我们的框架学习。最上面一层叫端端解决方案，我们其实也是在AI（英文ServiceTransformaiton）里面，才能够更好的服务到真正的成千上万的行业客户，实现AI的转型。所以这样的话我们要提供给行业客户AI，所需要包含有AIBigCSP服务器、AIAppLeader（英文）系统、解决方案和AITransformation服务（英文），构建了这样一个（英文）AI的skylake解决方案（英文）之后，我们才能更好的服务好我们的客户，这也是今天浪潮和百度一起推出的ABC一体机，我们想要打造整个生态的价值。在这个地方我给大家介绍一下，我们今天在ABC一体机当中会使用到的，全球领先的计算硬件产品，这里面包含有支持单机4块GPU的通用AI服务器，支撑8GPU服务器，支持4×4GPU，4×16GPUBOX，。这款叫做AGX-2的产品，这是全球唯一一个可以在2U空间里面支持8颗NVLINK最强的超算朝酸的服务器，在这里面它不仅可以由有一种可以支持NVLINK，还可以支持PCI-E，有多种网络拓扑的感应，使得我们面向不同训练任务的时候，可以用不同的拓扑提升它的性能，我们实测的结果在拓扑不一样的情况下，对性能的影响最多达到20%性能的影响，最右边那一张给大家秀了一下为什么采用NVLINK的技术来再在做AI的训练，大家看到在同样的网络，我们用AGX-2（英文）来跑的8GPL服务器（英文），但我们用的是8块NvlinkGPU（英文）这样一个加速器，会比使用8块PCI-ED的性能会提升非常多，这是给大家推荐这款产品重要的原因。在另外一个我们叫GX4，实际上是一个弹性灵活扩展的计算架构，基本的方式，GPU设备不再跟原来的服务器在一个笼子里面，可能在另外一个单独的扩展箱里面，每个2U的扩展箱能支持4颗GPU，通过一个高速和一个服务器的投接点，一个服务器的投接点最多可以连接一个4个BOX，就是4×4，16块CPU计算机，所以它可以根据不同的需求，比如是做一个公有云的，还是希望做AI优化型的，还是希望做一个一个增强型的，整个拓扑结构可以根据应用需求来做调整。SR-AAI这是浪潮和百度一起联合开发的产品，这个产品已经在百度场景里面已经使用了一年半的时间，这也是全球第一个实现了在4U空间里面支持16块GPU的性能和扩展，总共可以支持到4台，我们在最右边也列举一下它在一个BOX里面扩展的时候整个性能接近线性的扩展，这是非常适合大规模的情况下，我们数据中心AI技术环境的布局。我们上午看到了ABC的一体机，实际上这里面我们说到，它实际上想承担的是一个我们如何把AI的能力能够赋予到传统的众多的企业，实现一个AI的转型的载体，这个载体上面它集成了浪潮全球领先的计算硬件品牌和百度领先从AI的应用、AI的工具和AI的管理这方面整个的集合，使得我们可以提供成为一个端到端、布局简单、扩展性强、高安全性性能强的AI的一体设备。这个ABC的一体机我们刚才说了，它的平台值就会采用到刚才所汇报领先的GPU的计算，CPU的设备，包括（英文）FPGA加速卡作为我们底层的一个AI的训练或者推理的基础设施，在管理层这里面，它有优化过的（英文）运行GPU的监控系统、集群的运维管理系统、作业的调度系统，通过分布式的存储，把我们AI所需要的bigdata进行并用行存储，在应用这一块，支持百度自己开发的PaddlePaddle，支持Google的TensorFlow，（英文）TensorFlow，也支持刚才前面汇报的现在全球应该说扩展性能最好的在，浪潮开发的开源的框架叫Caffe-MPI（英文）Caffe，如果大家有兴趣，在（英文）上可以去下载，在自己的平台上实现多节点的扩展，。在这个框架之上是运行，百度非常强的，我们在各个行业应用的解决方案，相应的一些工具，包含到人脸识别、语音识别、视频的分析，包括OCR。TensorFlowCaffe所以整个来说我们希望通过把浪潮全球领先AI的计算平台和百度领先的在AI这一块的应用，移动（英文）框架能够提供给我们的行业客户，一个软硬件一体化的解决方案，能够适配到客户的交付场景，在这里边因为它是一个面向行业客户的交付的方案，我们会考虑为什么有一个叫不是在云上，而是在线下的交付，我们考虑到目前AI转型，实际上有比较大的需求，大家会比较在乎我的数据是不是比较有安全的保证，当然我们说把这样一个数据放到云上也是很安全，但是从最开始的时候，我们的工作可以先从线下一体机开始，我们把一体机部署到公司或者是单位的现场，你的数据是完全为你所拥有和控制，在一体机的平台上面，百度和浪潮的专家会一起和用户成立一个服务的项目组，把这个项目从实施到应用的集成来完成，我们是希望通过ABC一体机真正使得我们的AI+、AI转型能惠及到成千上万的行业客户，这是我们推出一体机的特别重要的一个出发点。这是刚才我们说到的ABC一体机在整个AI转型过程当中，所发挥得的作用，我们看到说，我们客户拥有的最大价值，有各种各样的数据，来自于语音、图像采集的设备，、来自于可穿戴、移动终端，这些数据进来之后，会在ABC一体机里面，首先有一个样本数据的处理，这可以承接AI的数据，上午劳森讲到了非常重要对样本数据进行自动化的清理和整理，这是它非常重要的一个软件的功能。然后再进入到包含有多卡的GPU服务器，包括XeonPhi、FPGA（英文）所构建的计算平台，搭载了管理调度和优化计算的平台，承接了全面数据性，构建出来的AI的智能的模型，能够去支撑到我们各种行业的应用，从而真正把我们AI转型行业的目的能够达到。最后这一页是希望我们能够一起来打造智慧的生态，加速中国实现AI生态社会，这一块我们会跟百度，跟更多的合作伙伴构建AI生态，AI方案解决、包括AI实验室、AI应用示范和AI人才的培养，对AI人才培养给大家做一个汇报。实际上我们现在看到说，AI的需求同步蓬勃起来，但是我们现在面临最大的瓶颈不在于说，我们没有足够多的人才给客户讲清楚，AI怎么能搬到我的行业能够去升级转型，我怎么让我的系统能够把它运行起来，这是两个AI最大挑战性的问题，在这一块我们需要更多的优秀的熟悉AI的人才能够加入进来，在这一块实际上浪潮这边一直在发起主题，我们叫世界大学生超算竞赛的活动，就是全球目前最大的超级计算机竞赛，它已经办了有7年的时间，在今年2017年的时候是全球有230支全球高校