企业级AI平台架构

1、 m鹄学吧企业级AI平台架构人工智能已经成为一股强大的变革和推动趋势，慢慢进入了各行各业。特别在企业级用户领域，AI的融入与应用更为引人注目。政策利导下的企业级AI价值在哪里？IDC报告显示，未来三年，在中国，人工智能整体市场的年复合增长率将超过50%,到了2020年，中国人工智能市场的整体规模将到达150.2亿人民币，其中政府、金融、医疗、制造等行业将占整体人工智能应用市场规模的一半以上。如此重要的未来趋势，如此重要的市场潜力，自然受到了来自政府和行业的深切关注。从国家政策角度看，从2015年开始，务院和相关部委频繁发布相关政策，推动人工智能的发展。比如在中国制造2025、互联网+”行动计划

2、、十三五规划”中，纷纷将人工智能列为着重发展的领域，国家发改委2016年9月还将人工智能纳入互联网+”建设专项。2017年7月20日，国务院正式印发新一代人工智能发展规划，明确提出了中国人工智能三步走”战略、/八大关键技术研究、数十个产业落地、AI人才的培养和引进、以及成立人工智能规划推进办公室等战略规划。这一系列的国家政策发文的激励与引领下，人工智能已经从国家战略层面登上了中国的历史舞台，并逐渐在多个行业里面生根发芽”。以全球的眼光看重，尽管中国人工智能基础支撑能力还存在不足，但是，中国已经在深度学习技术及应用创新平台的构建上发力了。同时在支撑大规模密集型计算、海量数据训练、计算机视听觉、生

3、物特征识别、复杂环境感知、新型人机交互、机器翻译等技术的研发和工程化方面，不断进取，以提升深度学习算法的综合运用能力。不过，按照国家在AI领域的发展大规划，中国在AI人才培养上还需要下大力气，依托更为丰富、坚实的人才基础，然后构建中国的人工智能技术标准、服务体系和产业生态链。其最终目标就是要将人工智能核心产业规模发展到1500多亿元，并带动相关产业规模超过1万亿元。为此，国家AI层面也带动了行业AI转型，从“互联网+”到“人工智能+”，一个以人工智能为技术核心的新生态与新业态慢慢在形成。并且在几个重要的行业中，AI所能发挥出来的价值已经获得了业界的认可。比如在金融行业，人工智能在风险监测、反欺

4、诈、信用评估等方面发挥了重要等作用；在制造行业，工业物联网+实时数据分析则可用于故障诊断、个性化定制等。不仅如此，在医疗行业，利用深度学习等技术可进行诊疗图像处理、辅助诊断应用，未来还可以从就诊前交互环节向下延伸至临床诊疗、精准用药，向上拓展至新药研发环节，形成医疗AI生态链；在物流行业，仓储及物流环节的无人车、无人机也正在成为新潮流。业内专家评论道：国家政策利导，企业级AI的价值逐渐显现，并在未来的发展中将会发挥着前所未有的作用。企业级AI需要什么样的基础架构平台？行业在发展，企业级AI的价值如此重要，也如此引人注目，那么企业级AI到底需要什么样的基础架构平台来支撑呢？对此，中科院自动化所所

5、长徐波表示：“我们始终坚持以智能技术作为研究所战略发展的主要方向，并与戴尔中国共建联合实验室，将进一步加强研究所的计算平台优势，增强科研与产业的融合创新，助力研究所在人工智能领域的创新发展。”一个帮助企业实现基于深度学习的大数据分析，快速步入人工智能时代的先进人工智能深度学习平台诸葛深知”也就这样诞生了。台轉字吧作为中科院自动化所和戴尔联合开发对AI成果，诸葛深知”以业界领先的企业级深度学习应用与服务平台，帮助企业用户提供深度学习工具包的统一接口，以及众多成熟算法模型。这就明显方便了企业用户在AI领域的应用与进步。尤其是对于大量技术力量薄弱的中小企业来说更是需要“诸葛深知”这样的企业级AI平台

6、。因为当前深度学习框架、工具库众多，很多都是开源版本，适用场景各有不同，如何构建一个统一、高效的深度学习管理平台，满足多种深度学习框架及工具库的安装、配置、管理，以及多重框架的并行工作，这对多数企业和机构是一个巨大的挑战。诸葛深知”有着先进的基础架构支撑，将各种工具集成在一个AI平台上，对于企业用户的AI应用来说，可谓一步到位。兰魏学吧不过，要实现这样的企业级AI平台，其基础架构的构建却不是一步就可以到位的。事实上，“诸葛深知”对于基础设施的需求较高，针对中科院自动化所用户数量多、种类多、应用多的实际情况，系统对于计算能力和存储能力的需求都非常大。如在影像处理方面，要求800MB/S单线程带宽

7、访问，能够存储32GB的数据文件。在训练计算方面，要求GPU运算至少能支撑十几个应用并发等等，在计算和存储方面有着不同于传统企业级用户的需求。匸PU轴mi片LjsIhiWebPe帧art曲潺R&30230anPwerEd-jeRS30iJjMIPctb衍血MOJ4AC1SOnllPtxwirvjjr:切3血加企业级深度学习应用与服务平台第一、二期架构图从总体基础架构设计来看，诸葛深知”企业级深度学习应用与服务平台项目分为两期进行。第一期的目标是基础设施建设，即搭建先进的通用计算平台。第二期的目标是通过增强存储和计算能力、增强GPU能力等，满足深度学习和机器人平台的需求。从诸葛深知”实际建设的过

8、程来看，深度学习应用与服务平台真正需要满足的企业级AI基础架构有着三大关键。其一，先进性和高性能，能满足深度学习领域对高性能计算和算法优化等先进性的需求。其二，稳定性和高可靠性，可以保证深度学习平台IT架构的性能稳定和安全可靠。其三，可扩展性和灵活选择.IT平台具有可扩展性，能够满足未来应用的需求和提高IT投资回报率。同时，由于在深度学习领域有非常多的算法和框架企业或机构的用户使用时可能有多种选择，如何让用户按需加载他们需要的文件或学习库是深度学习应用平台需要解决的一大问题。诸葛深知”正式发布之后，随着一系列深度学习框架及工具集的推出，操作人员相比以往更容易在高性能计算集群上针对应用进行深度学

9、习建模、训练、测试和调优，并且可以利用GPU技术实现成倍的浮点计算性能加速。如何构建企业级AI应用的入口？不仅企业级AI的基础架构平台建设如此重要，同时AI对于企业用户业务与发展的重要性也得到了业界到肯定，AI自身市场的高复合增长也进一步加深了大家对构建企业级AI应用的最佳入口的重视。来自埃森哲的研究数据显示，到2035年，人工智能有望将企业盈利能力提升38%,同时可能为中国经济增长率增加1.6个百分点。另据预测，到2020年全球深度学习系统市场规模将超过13亿美元，20162020年间的复合年增长率将达到3873%。那么，如何构建企业级AI应用的入口，对戴尔、对中科院自动化所来说，无论是IT

10、技术厂商还是科研机构，还是直接的企业用户，这都显得非常重要。当前，“诸葛深知”为数据密集、价值型行业提供以深度学习为基础的大数据挖掘解决方案和计算平台，逐渐成为累企业级人工智能应用的入口。为了保障这个企业级AI应用入口的获得稳定、高效的运行，戴尔借助自身和合作伙伴在计算、存储、网络等多个领域等基础架构优势资源，与科研资源强强联合，推动人工智能跨越发展。在“诸葛深知”平台建设过程中，中科院自动化所采用了戴尔及合作伙伴的先进技术和产品，包括戴尔高性能服务器、NVIDIATeslaGPU、戴尔存储服务器和戴尔大容量存储设备、IntelLustre高性能并行存储、高性能Mellanox网络产品，以及业

11、界领先的BrightComputingHPC/DeepLearning软件，并由戴尔中国的专业服务实施团队进行安装部署。兰谄学吧“诸葛深知”软硬件基础架构图从软硬件系统的组成来看，硬件系统由CPU计算集群、GPU计算集群、大内存节点集群、高性能存储系统、网络系统等组成。软件系统由操作系统、集群管理和资源管理软件组成。可以提供高性能计算平台、大数据平台和云平台。用户的访问非常灵活，可以通过WebPortal、SSH登录和ftp文件访问。同时，通用计算平台特别构建了由用户设定的服务体系以及安全体系。企业级AI平台架构特别在哪里？企业级AI应用的入口需要的不只是某一个服务器或某几台服务器集群发挥出来

12、的价值，更需要的是一个整体的软硬件发挥出高性能。但是想要获得突出的高性能，一个成功的企业级AI平台架构，必然在具体的高性能计算与应用方面有着非常特别而又实用的设计。如前文所提到的诸葛深知”平台建设分为一期通用计算平台和二期针对深度学习和机器人应用的平台，这分步骤建设的平台架构中有所侧重，自然有着特别之处。在一期通用计算平台中，采用12台戴尔PowerEdgeC4130GPU服务器组成了高性能计算集群，同时搭建了容量为960TB的并行存储系统Lustre。其中，戴尔PowerEdgeC4130高性能服务器针对HPC作业和VDI环境，1U空间拥有高密度的PCI插槽，并且支持1TB大内存，以及最大4

13、个300W的加速器和2颗IntelXeonE5-2600v4CPU，增强了IO能力的同时，还支持InfiniBandFDR、NVIDIAGPUDIRECT和IntelOmni-Path架构，对计算加速和网络性能提供了更大的灵活性。PowerEdgeC4130GPU支持一Nuicha.Mti刃灵（FPiaj-NEW!VIEPOeV100hivihk7_5Tflop6T.STflops15.0TflopsTfiops1SOTflaps12JTFlops-|TAns-arCra口即诅DCO4)dOQGBisac愀直HBM216GBHBM2300W300WtFPitiAVIDIAlTeslaGPUsP

14、mNVIIr*P4CP4.TTflops5.3TflopsNANAQ.3Tflops1D.6TFIcps12Tflapm5_5TFiops107212NAMA346SB；ec192GBis-ecHBM2皿8GB250WMOW2SOW&075W此外，采用IntelLustre并行存储系统，可以通过单文件系统命名空间，存储容量和性能获得同步轻松扩展，满足PB级文件存储的高要求。其动态存储扩展功能，实现了18.5GB/S的读取速率和15.1GB/S的写入速率。与此同时，搭配了IntelHadoopAdapterforLustre（HAL）大数据工作负载的解决方案设计，将据处理速度得到大大提升。HPC

15、和Hadoop的数据融合到一整套存储系统中，为了配合高性能计算和并行存储获得更高至胶攵率，网络方面采用了基于IntelOmni-Path架构的戴尔NetworkingH系列交换机与每端口速率高达100Gb/s的MellanoxEDRInfiniBand高效网络方案。在二期主要针对深度学习和机器人应用方面针对深度学习和机器人应用进行了存储系统的分别配置，同样采用了12台戴尔PowerEdgeC4130GPU服务器组成集群，对应2个容量为480TB和240TB的NFS存储系统用于深度学习。采用另外2台C4130GPU服务器和一个240TB的NFS存储系统用于机器人应用平台。如一期工程那样采用多种计

16、算平台和多种高速网络结合的方案以满足深度学习和机器人浮点计算强度以及网络传输需求。其中，戴尔NFS解决方案的优化设计配置，是供最高的数据吞吐量和峰值可达6.07GB/2.23GB的读写性能，很好满足了深度学习和机器人平台的性能严苛需求。需要着重指出的是，戴尔BrightClusterManageBCM）集群管理软件与NVIDIAGPU这样性能加速的关键部件的很好配合，在直接集成了NVIDIA驱动、工具集及管理API的情况下，用户可以在各种深度学习框架下运行GPU，支持深度学习应用跨越多台物理设备的GPU资源。同时，BCM软件还对NVIDIAGPU卡运行状态、以及业界常用的人工智能与深度学习框架、工具集、函数库与硬件驱动进行有效管理。当然，既然“诸葛深知”平台由戴尔与中科院自动化所联合推出，因而也充分利用了双方的技术优势，中科院的成熟算法模型，以及深度学习工具包的灵活调用，对于企业AI应用与进阶之旅有着立竿见影的作用。企业级AI未来已来好的基础架构平台自然可以构建好的企业级AI应用，