深度学习技术介绍

深度学习技术介绍DeepLearningTechnology什么是深度学习■深度学习是机器学习中表征学习方法的一类。一个观测值（例如一幅图像）可以使用多种方式来表示，而某些特定的表示方法可以让机器学习算法更加容易进行学习。表征学习的目标是寻求更好的表示方法并建立更好的模型来学习这些表示方法；-通俗来讲,机器学习是一种算法険,通过此算法険,需要让机器具有类1以人类的智慧，学会认识世界的一种方式;-为人涓是供〃大数据+简单模型”的实现方式。深度学习的实际应用类型.语音识别.图像识别.自然语言处理纠正一个错误论点:机器学习是要制造一个超级大脑，能够具有人类一样的智慧。这是f非常典型的错误。机器学习是一t古老的计算机学科，而深度学习正是机器学习的f狭窄领域，并m噺生事物。持此观点的人一®都是对此学科t口半解的人。在工程上，深度学习的目的不是理解人脑的本质,也不是需要制造一个类人的生命体,而是构建有用的机器。神经网络(artificialneuralnetworks)能够帮助我们建立更好的计算机系统，用以处壬曲言息。人脑也是一种处理信息的装置,具有^凡的赣努力并且在视觉、语音、语义等方面都超过了目前的工程产品，目前研究的方向是用形式算法定义人脑处理这些任务的解，并在计算机上实珈匕过程。为什么说机器学习是一个古老的学科■1989年，计算机已经可以学习识SU人类讲话，并且用到了神经网络学习方法和隐马尔科夫模型学习方法；-1989年，机器学习方法已经被用于训练计算机控制车辆，实现无人驾驶；-1995年，决策树学习算法已经被NASA用来分类天体；-1995年，计算机已经可以通过学习，在博弈类游戏中击败人类。■人工神经网络的研究历史和数字计算机一样长。1943年，McCulloch和Pitts提出了人工神经网络的第一个数学模型。1962年提出了感知器和学习算法。1969年有人指出了单层感知器的局限性。1986年后，后向传播被发明，单层感知器局限性不复存在。和机器学习相关的学科.人工智能■贝叶斯方法-计算复杂性理论■控制论■信息论-屛-心理学和神经生物学.统计学理解人脑处理信息的过程根据Marr(1982)年理论，理解一个信息处理系统，具有三个被称为分析层面的内容：■计算理论(computationaltheory)对应计算目标和任务的抽象定义。■表示和算法(representationandalgorithm)是关于输人和输出如何表示和从输入到输出变换的算法说明。■硬件实现(hardwareimplementation)是系统的实物物理藏L什么是感知器(perceptron)■感知器(perceptron)是基本处理元素o它具有输人,其输人可能来自环境或者可以是其他感知器的输出。与每个输人中ER(j=l，…,d)相关联的是一个连接权重(connectionweight)或突触权重(synapticweight)wjeR(j=L…,d),而输出y在最简单情况下是输人的加权和。=2丿=1WjXj+Wo最简单的分离器设计O（Z］）最简单的分离器设计O（Z］）..・）釣2）n£w：x：i=0ifw（）+wi⑦iH 卜wnxn>0otherwise.训练感知器■書口器定义了一个超平面，而神经网络感知器事不过是实现超平面的一种方法。给定数据样本,权重可以离线计算，并且将其带入后，感知器就可以用来计算输出的值。■在训练神经网络时，若果未提供全部样本，而是逐个提供实例，则我们通常使用在线学习,并且在每个实例之后更新网络参数，让给网络缓慢的及时调整。这是目前比较常见的一种训练方式。■对于在线学习，不需要全部样本而是需要单个实例上的误差函凱从随机初始权重开始，每次迭代中，我们都对参数稍作调整,以最小化误差,而不是忘记先前学习的。若误差函数可微，则可以使用梯度下降方法。■具有单层权重的感知器,只宜融近输入的线性函数，不能解决XOR类型的问题,这些问题的判别式是非线性的。类1以的，这种感知器也不能用于非线性回归。鉴于此，MLP可以实吸排线性的判别。后向传播算法(backpropagationf1986)-这是在训练多层感知器时提出的一t概念。-训练多层麟口器与训练感知器是一样的。唯一区别是现在的输出是输入的非线性函数,这要归咎于隐藏单元中的非线性偏倚函数。-在对于多层感知器，计算梯度时误差就向传回到输出一样，所以创造了这个术语。具体应用■人脸识别■对于人脸识SlRfacerecognition).,输入是人脸图像，类是需要识^的人，并且学习程序应当学习人脸图像与身份之间的关联性。人脸会有更多的美,输入图像也更大一些，并且人脸是三维的，不同的姿势和光线等都会导致图像的显著变化。另外，对于特定人脸的输人也会出现问题，比如说眼镜可能会把眼睛和眉毛遮住,胡子可能会把下巴盖住等。具体应用■医学诊断回对于医学诊断(medicaldiagnosis).输人是关于患者的信息,而类是疾病。输入包括患者的年龄、性SU、既往病史、目前症状等。当然，患者可能还没有做过某些检查，因此这些输入将会缺失。检查需要时间，还可能要花很多钱，而目、也许还会给患者带来不便。因此，除非我们确信检查将提1共有价值的信息，否则我们将不对患者进行检査。在医学诊断的情况下，错误的诊断结果可能会导致我们采取错误的治疗或根本不进行治疗。在不自訓酗言诊断结果的情况下，分类器最好还是放弃判定，而等待医学专家来做决断。具体应用具体应用■语音识别■在语音识§U(speechrecognition)，输人是语音，美是可以读出的词汇。这里要学习的是从语音信号到某种语言的词汇的关联性。由于年龄、性SU或口音方面的差异，相同词汇的读音不同，这使得语音识别问题相当困难。语音识另的另f特点是其输入信号是时态的，词汇作为音素的序列实时读出，而且有些词汇的读音会较长一些。m然语言处理-在语音i賜呻，"语言模型“的集成是至关重要的，而且提供一i吾言模型的最好方法仍然是从实例数据的大型一1吾料库中学习。机器学习在自然语言处理(naturallanguageprocessing)方面的应用与日俱增。垃圾邮件过滤就是一种应用，其中垃圾邮件的制造者为一方，过滤者为另一方，一直都在寻找越来越精巧的方法以便超越对方,也许最吸弓I人的是机器翻译(machinetranslation),经历了数十年手工编写翻译规则的研究之后，最近人们认识到最有希望的办法是提供大量翻译文本实例对,并且让程序自动地提取，一个字符串映射到另一个字符串的规则。生物测定学■生物则定学（biometrics）使用人的生磨口行为特征来识别或认证人的身份，需要集成来自不同形态的输人。生理特征的例子是面部图像、指纹、虹膜和手掌；行为特征的例子是签字的力度、噪音、步态和击键。与通常的鉴别过程（照片、印刷签名或门令）相反,会有许多不同的（不相关的）输人，伪造歟骗）更困难并且系统更准确，不会对用户太不方便。机器学习既用于针对这些不同形态而构建不同的识^器，也考虑这些不同数据源的可靠性，用于组合它们的决策，以便得到接受或拒绝的总体决策。机器学习的额外用途■从数据中学习规则也为知识抽取(knowledgeextraction)提供了可能性。规则是一种解释数据的简单模型,而观察该模型我们能得到潜在数据处理的解释。例如,—旦我们学会了区分低风险客户和高风险客户的判别式，我们就拥有了关于低风险客户特性的知识。然后，我们就能够利用这些知识，通过比如广告等方式，更有效地争取那些潜在的低风险客户。■机器学习还可以进行压缩(compression)。用规则拟合数据，我们能得到比数据更简单的解释,需要的存储空间更少,处理所需要的计算更少，例如，一旦你掌握了加法规则，你就不必记忆每对可能数字的和是多少。-机器学习的另一种用途是离群点检测(outlierdetection)，即发现那些不遵守规则的例外实例。在这种情况下，学习规则之后，我们感兴趣的不是规则，而是规则未能覆盖的例外，他们可能暗示出我们需要注意的异常，如诈骗等。案例-ALVINN系统■ALVINN系统是ANN学习的一个典型实例，这个系统使用一个学习到的ANN以正常速度在高速公路上驾驶汽车。ANN的输入是一个30*32像素的网格，像素的亮度来自于T安装在车辆上的前向摄像头。ANN的输出是车辆行进的方向。这个ANN通过模仿驾驶时的操纵命令进行i川练，持续约5分钟。ALVINN用学到的网络在高速公路上以70英里的时速成功行驶了90英里。ALVINN系统的神经网络形而下者谓之器深度学习对计算的依赖■人工智能每一次沉寂后的爆发，有两个条件□理论算法的突破□计算能力的提升■HPC是深度学习的引擎nVidiaTeslaGPUGPUGPU的发展趋势MaxwellPascalVolta:JEM」&sdolu-oFermiFP6420082010KeplerHigherPerf/WattDynamicParallelism20122014UnifiedMemory

StackedDRAM

DirectInterconnect20162018GPUGPU产品路线TeslaGPUAcceleratorRoadmapif岫Kepler1

GK110Kepler2GK110BDoublePrecisionProductsK20X1.3TFDPPeak

1.22IFD^EMM

6GB,250GB/S(淑心)K4014TFDPPeak

12G8.288GB/S

235WPCIeGen3

(Servera<¥dWSIKepler3

GK210Stella-Duo

2xGPU,2xRegs/SM

2.O-2.2TFDP

24GBf*560GB/s

JOOW

佻EPascalGP100Hermes-Duo2xGPUs,NVlink

4TFDP

Board:32GBr2TB/s.

500W(5吋Volta-DPZxGPUs

InDefinition

300W

|$erver|ZH12SinglePrecisionProducts.K201.17TFDPPeak1.0TFDGEMM5GB,20OGB/s(ServerandWSJ4.5TFSPPeak2.7TF5GEMMMB,320G8/s225WIxGPU,ZxRegs/5M

•1.5TPDP12GB,Z8«GB/s

235W(StrwrarWW5)Hemes^SoloIkGPV,NVLink3IFDP

12GB,75QG8/S

235W

{ServerandW5|IxGPUInDefinition235W2014Maxwell-SP:GIV12007.6-7.8TFS-P

ZxGPUs24GB,-500GB/i

3O0WPascal-SPZxGPUs

SinglePrecision

InDefinitionS00W(Sprvef)201510162017GPU市场区分MarketSegmentKeyFeatureRecommendationSupercomputing,HigherEd.Research•DoublePrecisionPerf.K80,K40Oil&Gas•MemoryBandwidthK80DeepLearningTraining12GBMemoryperGPUSinglePrecisionPerf.perGPUM40AcceleratedVirtualDesktop•#ofConcurrentConnectedUsersM60,M6计算专用GPU可选型号特性TeslaM40GPU数量类型GM200双精浮点峰值-单精浮点峰值7T存储器带奏（ECC关闭）288GB/s存储器容量（GDDR5）12GBCUDA核心数3072TeslaK80TeslaK402xKeplerGK2101个GKllO2.91T（提速）1.66T（提速）1.87T（基础）1.43T（基础）8.74T(提園5T(M)5.6T4.29Tflops480GB/s288GB/s24GB(2xl2GB)12GB49922880主流主流GPU产品对比TeslaGK210-DuoPublicLaunch@SC14SystemsAvailability~Nov'2014i2GBGBOR512GBGDDR5GK210一| 「L.心」,5♦代GK210L_,iPCIeConnectorOEMAvailabilityProductionSamples:7/16,forOEMQualProductionEarlySept'14K40GK210-Duo(Mktgcodename)GPUGK110BGK210PeakSP4.29TFLOPS-5.6TFLOPS(Ba^e)(board@baseclock)PeakDPi.43TFLOPS-1.87TFLOPS(Base>(perboard>1.68TFLOPS(Boost)-2.7TFLOPS(Boost)#ofGPUst2#ofCUDACores/board28804992PCI&GenGen3Gen3GDDR5MemorySize(perboard)12GB24GBMemoryBandwidth28&GB/s-480GB/SGPUBoost2Levels>10levelsPower235W300WFormFactorsPCIeActivePCIePassivePCIePassiveGPUGM200Core3072PeakSP(GPUBoost)-7TFLOPSGDDR5Memoryperboard12GBMemoryBandwidthperboard288GB/sFormFactorPCIePassiveDualSlotPower250WGPUBoost技术-2.7Teraflops•BoostDP-2.7Teraflops•BoostDP-1.87Teraflops■BaseDP二/DGEMMHeavyApplicationsRun\atBaseClocks/MostCUDAApplicationsRunAt\\BoostClocks/40-50%moreflopswithBoostGPUinIdlestateGPUClockK80性能提升GK210-Duo:Appsrun1.2xto2xfastervs.K40EK40GK210-Duo任stimated)•2xRegisterFile&SharedMemoryRelative

toK40llllllllll•Dual-GPUBoard:2xMemory&MemoryB/W0.5•40-50%MorePerformancewithGPUBoostM40GPU加速特性CaffeTorchCaffeTorchSavedaysoneachtrainingiterationEnableuserstoiteratetofinalsolutionmuchfaster

InteilPentium'4Processor

ExtremeEditionGPU与CPU连接InteilPentium'4Processor

ExtremeEdition6.4GB^dlo150MB/b133MH/&4PCIExpress"■,500MB/b.60wa/i°InterMatrixSlorngftTachnologyPCIBIOSSupportsHTTechnQlogyInterWirelessr>»ctTachndogy通过PCIe与CPU连接,最大理论带宽8GB/s(gen2.0)、16GB/s(gen3.0)CPU称为主机(host),显卡(GPU)称为设备(device)

RomleyEP/ENPlatformsIntel^Xeon^ProcessorE5-26OOv2/2400v2ProductFamilies■vvBridgeCPUsSocketR:Upto12cores/RomleyEP/ENPlatformsIntel^Xeon^ProcessorE5-26OOv2/2400v2ProductFamilies■vvBridgeCPUsSocketR:Upto12cores/socket

SocketB2:Upto10cores/socketQPI：SocketR?2QPIlinks

SocketB2:1QPIlinkDDR3&DDR3LRDIMMS&UDIMMs,LRDIMMsSocketR;4channelspersocket,upto3DPC;speedsuptoDDR318GGSocketB2s3channelspersocket,upto2DPC;speedsuptoDDR31G00Intel1Intel1^C600

seriesehips&tmm睥chipsettNodeManagerEditionsInters-vProTM

Technology(forWS).intel®AMT、Technology(rorsvr)OptOptSocketR:40lanespersocket

SocketB2:2lanespersocketExtraGen2x4un2心CPU

目前的GPU使用方案MoreCustomersTrendingto4-GPUSystems%ofcustomersaskingfor>=4GPUsinabox■CY2014«CY2O15MedicalImaging/InstrumentationFinanceCAE/MFGM&EDeepLearning/WebHigher-Ed/ResearchDefenseOilandGasSupercomputing0* 10K0* 10K 20K 30* 4C*50ft6M7(1% 8«.3434CPU困境PeakMemoryBandwidthGB/S600500GK210-Duo40Q30020G1002008201020122014-•-NVIDIAGPU-*-x86CPUXMachineW580・G20机塔互换8块热插披3.5寸SATA硬盘最多8块热插披3.5寸SATA硬盘最多4个全高全长双堯GPU卡(PCIeX163.0)+3个标准PCIe^2000W白金级高效电8(1源，1+1冗余两颗Intel160WIntel®E5-2600v3family3x5%外设仓位最优的制冷方案16根内存檀，支持1TBDDR4内存天阔W740・G20天阔W740・G20服务器是专为高性能计算设计的高密度异构计算节点,在2U空间内置4颗主流加速卡，并支持Infiniband高速互联接口。W740I-G20适合在DeepLearning.MachineLearning环境下的应用。10个热插拔2.5寸SAS/SATA硬盘XMachineW740-G20服务器2U高度,两颗IntelIntel®E5-2600V3系列CPU,最大支持145W支持4颗GPU/MIC加速单元，4根PCI-E3.0xl6+1根PCI-E3.0x8(inXI6slot)最大支持:LTBDDR4Reg.ECC内存(16DIMM)可HBB2000W1+1冗余电源

XMachineW780-G20服务器天阔W780・G20服务器是专为MachineLearning市计的高密度异构计算节点，在4U空间内置8颗主流加速卡，每个CPU之间的GPU卡可以实现P2P。、NN・4U高度，两颗IntelIntel®E5-2600V3系列CPU,最大支持160W、NN・支持8颗GPU/MIC加速单元，8根PCI・E3.0xl6+3根PCI・E3.0x8扩展槽最大支持2TBDDR4ECC内存(24DIMM)24个遍拔2.5寸SAS/SATA硬盘巨阍置1600W2+2冗余电源CUDAMPIRDMA^araStorL ModelParalelismDataParallel