【倚天实例迁移课程】演讲材料合集

演讲材料合集杨平超平头哥倚天解决方案架构师倚天710芯片概述02倚天710的主要特点03倚天710应用落地介绍-里云VulcanVulcanCalxeda-里-里云-里云X16X16X16X16X16X16X16X16X16X16X16的指令，前面的电路模块都可以暂时由-里云字塔模型，如上图，L1最靠近•预取就是预先把程序需要的数据搬移到缓存中，而不必等到缓存指针追踪类应用的预取，提升了-里云>Gather-loadandscatter->HorizontalandserializedvectoroperationsinstructionFrequencyCPUutility9.639.599.599.59.5011.97 9.887.179.639.599.599.59.5011.97 9.887.17-里云fps/corefps/core8642 12.759.468.57─7.227.0212468-C8y-x2649.889.639.599.46-C7-x26412.7511.978.577.32AssistedFrequency倚天架构特点：独享物理corevcpu1vcpu2InstructionInstructionPipelinePipelineYitianvcpu1vcpu2InstructionPipelineAssistedinstructionFrequencyCPUutility倚天架构特点：独享L1/L2cacheL1/2CacheYitianL1/2CacheL1/2CacheAssistedFrequency3AssistedFrequency倚天重新定义安全水位—效率提升40%CPUutilityCPUutility-里云0.49870.9360.311-里云-里云应用构建工具倚应用构建工具倚天迁移适配工具圈ALBCFWZLIB/LZ4/ZSTDDragonwellJDKAlinux-里-里云ArmNeoverse软件生态介绍别再平安谋科技（ArmChina）高级软件经理-里云ArmNeoverseIntroduction02ArmNeoverseSoftwareEcosystemArmNeoverseSoftwareMigrations-里云01ArmNeoverseIntroductioncloudprovidersInfrastructure&IOTEdgeArmensuresacloudprovidersInfrastructure&IOTEdgeArmensuresacloud-nativeexperienceacrossadiverseandsecureIoTandedgeCassinifortelcooperatorsandvendorsGreaterperformanceandlowerpowerconsumptionFoundationfortheNextGenerationcloud-to-EdgeInfrastructureDeliveringhighperformance,secure,andscalableArmNeoversesolutionsTransformingTransformingthecloudtoedgeinfrastructurewithArmecosystemEnablingpartnerstoinnovateanddesignadiversesetofsolutionsthatsolvecomplexcomputechallengesRobustArmhardwareandsoftwareecosystemfromthebestdesigntoolstothemostadvancedprocessnodes-里云BestBest-in-classperformance,computedensity,andco-designaspectsmakeArm-basedFugakuthe#1supercomputerinthe-里云5GArmNeoverseAnnouncedVMwaredemonstratedEsxion64-bitARMmmwareNvidiabringscuDAstacktoArmplatformsNeoverseN1&E1platformsannouncedDockerandArmpartnerforcloud-nativesoftwareDevdockerAwsannouncesGraviton2cpuAmpereannouncedindustry's1st80-coreserversocsamsungpartnerwithMarvellandxilinxonsiliconTechnologyfor5G{XILINXNokiapartnerswithMarvellandBroadcomonsiliconfor5G"Reefshark〃Tencent腾讯TencentlaunchesArm-basedinstancesoraclecloudlaunchesAmpereAcomputeinstancesarmArmNeoverseAnnouncedVMwaredemonstratedEsxion64-bitARMmmwareNvidiabringscuDAstacktoArmplatformsNeoverseN1&E1platformsannouncedDockerandArmpartnerforcloud-nativesoftwareDevdockerAwsannouncesGraviton2cpuAmpereannouncedindustry's1st80-coreserversocsamsungpartnerwithMarvellandxilinxonsiliconTechnologyfor5G{XILINXNokiapartnerswithMarvellandBroadcomonsiliconfor5G"Reefshark〃Tencent腾讯TencentlaunchesArm-basedinstancesoraclecloudlaunchesAmpereAcomputeinstancesarmNeoversev1andN2platformsannouncedArmlaunches5GsolutionsLabGooglecloudannounces"MtEvans"DPUAlibabacloudunveilsArmv9-basedyitian710cpuAwsannouncestheGraviton3cpuandc7ginstancefamilyArm-poweredFugakuis#1onTOP500for4thtimeNVIDlAannouncesArm"Grace"cpusuperchipMicrosoftAzurelaunchespreviewofArm-basedinstances!-里云VMarvellcollaborateswithDellandHPEon5GopenRANJD.comlaunchesArm-basedcloudserviceNVIDlAannouncesArm"Grace"cpusuperchipandoEM/ODMsupportAzurelaunchesArm-basedinstancesandArmdevkitsGooglecloudintroducesArm-basedTauT2AVMsusingAmpereAltraCpusRedHatbringsopenshifttoArmAWSGraviton3-basedc7ginstancesgoGAArmexpandsNeoverseroadmapwithNeoverseVMarvellcollaborateswithDellandHPEon5GopenRANJD.comlaunchesArm-basedcloudserviceNVIDlAannouncesArm"Grace"cpusuperchipandoEM/ODMsupportAzurelaunchesArm-basedinstancesandArmdevkitsGooglecloudintroducesArm-basedTauT2AVMsusingAmpereAltraCpusRedHatbringsopenshifttoArmAWSGraviton3-basedc7ginstancesgoGAArmexpandsNeoverseroadmapwithNeoversev2(Demeter)platformarmHPEannouncesArm-basedproLiantRL300Gen11usingAmpereAltraCpusMicrosoftAzuremakesArm-basedvirtualmachinesgenerallyavailableNTTDOCOMO&NEcdemonstrate5Gcore72%powersavingsusingGraviton2NVIDIAreveals"Grace"cpusuperchipispoweredbyNeoversev2opencomputeprojectlaunchesArm-hostedOCPExperiencecenter,1stinNorthAmericaNeoverseN2-basedyitian710forecasttopower20%ofAlibabacloudNECMicrosoftAzure,GooglecloudandTencentcloudjoinworksonArmAwsannouncesGraviton3ECPU,Nitrov5andc7gn&HPC7ginstancesTencent腾讯V-里云CloudseverywherearedeployingArm-basedservers-里云EffcientThroughputEfficientperformanceN-seriesNextN2platformplatform2023+2019EEffcientThroughputEfficientperformanceN-seriesNextN2platformplatform2023+2019E-seriesE2platformplatform2023+2019NextMaximumMaximumperformanceandoptimalTCOperformanceposeidonplatformV2platformplatform2023+2020-里云-里云-里云CommercialSupportCI/CDBuildMinutesOptimizationMakeArmNeoversetheleadingarchitectureofchoicefromEdgetotheCloud-里云OPEN-SOURCESOFTWAREairbnbWNDRVRmmwareActions□LFEDGEetcd/\nsysAcceleratingSoftwareairbnbWNDRVRmmwareActions□LFEDGEetcd/\nsysAcceleratingSoftware-里云RAPID7uberelastcsearhSPDXelastcsearhSPDXCommercialSupportMAVENIRA(ellerancommagltyMAVENIRA(ellerancommagltyoo@PBuildkiteaslySIEMENSsnyk…aslySIEMENS·Architectureenablement·SVE2code-gen+%·Architectureenablement·SVE2code-gen+%and·Workloadspecifictuning·Architectureenablement·SVE2code-gen+%languages·NewLLVMFortranfrontecompiler·SVE/2improvements ArmArmCompiler ·+10%SpecInt17·Armv8.6-v9.0·SVE2support·Armv8.6-v9.0·N1supportworkloadsV1/N2V1/N2·SVE2improvements·V1andN2support·Armv8.7-v9.1·+2-5%SpecInt17·V1andN2support·SVE/2improvementsV1/N2V1/N2·Armv8.8-v9.3·SVE2code-gen+%·Auto-vecat-O2·Armv8.8-v9.3·+3%SpecInt17·SVE2auto-vectorization·V1support·SVE/2·improvements·BLAS/LAPACKimprovements·Armv8.9-v9.4·SVE2code-gen+%·Armv8.9-v9.4·SVE2corescheduling·Complexnumberauto-vec·Demetersupport·ArmPLBatched/Sparsefunctions•All%perfnumbersarebasedonbesObservability-里云Observability-里云-里云-里云Actions·partnerpages·Industryevents··Industryevents·Jointcase-studies·TurnkeysolutionsArmDeveloperprogramInnovationcoffee.Demos.Demoscommunity&DiscordForumssocialmediaReal-timecomm-channels·ArmDeveloperHub·Learningpaths·Developeractivation·EarlyhardwareaccessworksonArm-Aarch64bare-metalservers·ArmAmbassadorprogram·Developerspotlight·Digitalshowcasepackage-里云41-里云$gcchello_world.c-03mcpu=native$gcchello_world.c-o3-march=native$./hello.exe$./hello.exeHelloworldHelloworld-里云●ThesereleaseshavenameslikeArmv8.5-AandArmv8.6-Aandform"base"architectures.implementationTheyalsoallowforoptionalextensionssuchasthescalablevectorExtensions-SVEimplementationMicroarchitecturemarketsMicroarchitectureArchitectureTheThe-marchoptiontothecompilerprovidesexpertaccesstotweakthecompiler'scodegenerationtoexactlytherightarchitectureversion-里云--march=armv8.2-Ifyouknowyouwillonlyneedtoexecuteononecputype,youcanuse-mcpuwiththenameoftheVScoretotargetit-mcpu=nativesetsthearchitecturefeaturescorrectlyforthecpuonwhichyouarecurrentlyexecuting//compilerstocompilerstotakebestadvantageofyoursystem-里云allocatorscanbeaccessedusing-moutline-atomics●DefaultbehaviourfromGCC10.1outlineAtomicsuplift(EstimatedspEcjbb2015)40.00%MaxjOPSCriticalMaxjOPS-里云Compilingwithlowoptimizationlevelssuchas-O0and-O1producesineffBydefaultbothClangandGCCwillcompileat-O0.Thisisinappropriateformostreleasesoftware.Optimizationlevelscanbedividedintothoseforsize(suchas-Osand-Oz)andthoseforspeed(suchasOptimizationlevel-O3enablespowerfuloptimizationssuchasautomaticuseofArmNeonTechnologyperformance(LinkTimeoptimization)-里云TraditionalcompilationlooksatonefileatatimeLinkTimeOptimizationlooksacrossawholeprogramThiscanenablenewoptimizationopportunities-里云RegistersareconsideredasvectorsofelementsofthesamedatatypeDatatypescanbe:signed/unsigned8-bit,16-bit,32-bit,64-bit,single/doubleprec.Float(Armv8.2-AalsosupporthalfprecFloat)InstructionsperformthesameoperationinalllanesDestinationRegister Per-lanepredicationVectorpartitioningandsoftware- Per-lanepredicationVectorpartitioningandsoftware-managedspeculationExtendedfloating-pointhorizontalreductions234 ++7HOWSVEworksThehardwaresetsthevectorlength…Insoftware,vectorshavenolengthTheexactsamebinarycoderunsonhardwarewithdifferentvector improvesauto-vectorizationGather-loadandscatter-store1234++55551010predpred=6284INDEXin-1n1100 221+2+3+413-里云Auto-vectorizationandcompilerintrinsicsConsultaSoftwareOptimizationGuideforinstructionlatencies,etc.ToolsTools,SoftwareandIDEsblsogfmulfmulv1.4s,v0.4s,v0.4sfaddpv1.4s,v1.4s,v1.4sfaddpv1.4s,v1.4s,v1.4sfsqrts1,s1dupv1.4s,v1.s[0]fdivv0.4s,v0.4s,v1.4s-里云IntrinsicsareamanualinterfacetotheNeonandSVEinstructioTheycanbeenabledbyincluding<arm_neon.h>or<arm_sve.h>Theycanbeagoodsubstituteforinlineassembly,astheypermitcompilerstooptimisearoundthem#include<arm_neon.h>#include<arm_neon.h>float32x4_tnormalize(float32x4_ta){float32x4_tt=vmulq_f32(a,a);float32_tm=sqrtf(vaddvq_f32(t));}returnvdivq_f32(a,vdupq_n_f32(m));-里云倚天开启云原生算力新时代——倚天产品能力解析庞雄伟阿里云弹性计算产品专家01智能时代算力需求爆发及挑战02ECS倚天实例产品能力介绍03ECS倚天实例应用场景落地介绍-里云01智能时代算力需求爆发及挑战算力需求爆发对基础设施带来挑战-里云数据爆炸式增长海量数据分析处理并发要求高算力要求提升AI、视频等对算力要求高算力投入成本增加持续提升基础设施性价比-里-里云处理器性能迭代放缓•单服务器核数扩展降速功耗逐代上涨•硬件和芯片成本上涨算力密集业务比重增长-里云VVVC-JAlibabacloud●Tencent腾讯tsysemReadyVVVC-JAlibabacloud●Tencent腾讯tsysemReadyARMCPU架构以其开放性逐渐成为行业趋势-里云ARMARM服务器增长率最高全球范围内，以全球范围内，以Arm为核心架构的CPU已经开始显现出增长趋势。根据全球服务器趋势图VSAMD市场占有率国内外等大部分国内外等大部分IT公司均推出了基于Arm平台产品，依托ARM架构芯片优异的算力、低功耗等特性，有效帮助客户业务降本增效。丰富的ARM开源生态已经覆盖主流业务场景-里云完善的支持，典型负载覆盖Web、数据库、大数据、中间件等个场景。Container&VirtualizationOperatingSystemwep口penEBSgvisoropenAnolis互联网生命科学交通物流应用云原生处理器ARMv9物理核（无HT）互联网生命科学交通物流应用云原生处理器ARMv9物理核（无HT）vTPM特性低功耗•更高物理核性能•垂直场景加速代码零改造•视频编解码80%倚天实例大幅提升产品性价比-里云•仅需重新部署/编译•支持主流开源系统软件•原生支持多款PaaS产品48KB48KB共享1.28MB独享物理核，算力更加强劲•倚天710每一个vCPU是一个物理core。X86每个vCPU是一个HT，两个超线程共享一个物理Core。•倚天710CPUL1/L2/L3缓存Cache对比X86CPU均有提升，且L2cache独享。8c32g1物理core=1HT=1vCPU1物理core1物理core=1HT=1vCPU48M/64vcpuIntelIceLakeCPUYitian710CPU50%安全水位70%安全水位50%安全水位70%安全水位-重新定义CPU安全水位X86倚天fps/core11.979.639.599.599.59.50fps/core11.979.639.599.599.59.50-里云计算密集型计算场景，性能更加稳定•多任务高负荷场景，倚天性能线性度表现更好，支持高负载运行•低功耗设计，无睿频，随着用户业务压力增大性能稳定输出不下降8642倚天710倚天710 12.75 9.889.468.577.17 7.357.227.177.02X86X8612468-C8y-x2649.889.639.599.46-C7-x26412.7511.978.577.32倚天产品•核密度高：底层物理机架构设计以CIPU为核心，通过CIPU连接2颗倚天CPU，整机密度256core，未来更高•机柜密度高：采用1U紧凑设计，空间倚天产品•核密度高：底层物理机架构设计以CIPU为核心，通过CIPU连接2颗倚天CPU，整机密度256core，未来更高•机柜密度高：采用1U紧凑设计，空间降低50%，低功耗CPU，部署密度翻倍弹性裸金属容器容器•爆炸半径减半：采用独立双节点型设计方案，独立OS，降低爆炸半径，同时可以提升密度，保障产品稳A：VPC环境支持RDMA，比TCP时延降低一半•NVMe：采用NVMeESSD云盘，时延降低10%倚天710倚天710存储资源最新一代CIPU架构提升IO性能-里云VMVM神龙虚拟化DragonFly2.0VMVM以CIPU为核心系统架构倚天倚天底层架构软硬协同，全栈优软硬协同，全栈优化迁移工具加速适配云原生算力赋能业务电商、支付、大数据、数据库、视频云….行业场景技术复制应用软件基础软件操作系统虚拟化层基础设施-里-里云性能优化开箱即用性能优化开箱即用外部业务广告类、在线教育、广电传媒、生命科学等广告类、在线教育、广电传媒、生命科学等圈圈ALBCFWRDSACKWeb/安全数据库云原生大数据视频/图片智能识别智能识别ARM指令弱内存增强AlinuxAlinux3openAnolis③Centos倚天710双单路机型提升主频•源码由编译器/解释器生成字节码，再由虚拟机解释执••源码由编译器/解释器生成字节码，再由虚拟机解释执•虚拟机/解释器将不同CPU指令集的差异屏蔽，因此解释解释型语言开发的程序在迁移到ARM64平台时，不依赖本地库则无需重新编译，若调用了本地库，则本地库需要迁移丰富的计算机软件编译型语言C/C++/Go/…解释型语言Java/Python/PHP/…嵌入在高级语言中的汇编语言需要人工介入适配需要迁移，编译器生成无需人工介入X86与ARM64架构指令集区别大，是应用需要迁移的根本原因软件跨架构迁移的根本原因是指令集的差异-里云•机器指令必须与CPU的指令集匹配，在运行时通过加载器加载到内存并执行指令。编译型语言开发的程序在从x86处理器迁移到ARM64位处理器时，必须经过重新编译才能运行。汇编语言汇编语言二进制机器码二进制机器码指令集架构指令集架构编译链接预处理源码Hello_world.cHello_world.o可执行文件汇编汇编代码Hello_world.s1.修改C/C++源码Step1.修改C/C++源码，此步骤可直接使用阿里CodeScan编译链接预处理源码Hello_world.cHello_world.o可执行文件汇编汇编代码Hello_world.s1.修改C/C++源码Step1.修改C/C++源码，此步骤可直接使用阿里CodeScan对源码的分析，•宏相关替换，解决预编译阶段的差•编译器内建函数替换，与指令集架•内联汇编替换，针对用户自定义的2.CMakeLists.txt2.autogen.sh/configureStep3.ARM64平台有完善的OS包体系，X86平台使用的库基本可以平替，包的下载途径使用镜像自带，或一般免费/商业包管理•阿里开源镜像站4.选择合理编译器执行编译部署运行C/C++是典型的编译型语言，主要是解决编译构建脚本及源码修改两类问题。从源码到可运行程序之间需经过如下步骤：预编译文件被概括称为编译阶段，选择正确编译器即可，用户不用关心Step2.修改构建脚本，此处根据工程使用的编译脚本不同有区别，但修改内容固定：•64位编译选项修改，从X86的-m64修改成ARM平台的-mabi=lp64•ARM平台char类型有符号，需要加上-fsigned-char•指定处理器架构换成armv8-a+sve2；CPU换成neoverse-n13.依赖库准备Step4.根据应用需求选择编译器，并通过编3.依赖库准备译器/OS的官方途径下载编译器推荐版本说明建议版本10以上，性能有大幅提升llvm13/clang13clang13依赖llvm13和gcc-c++GlibCglibc2.3.2详情参考：/aliyun/yitian-ecs-getting-started/blob/master/C++.md推荐版本说明下载路径OpenJDK11/17业界常用，阿里ARM平台性能好https://openjdk推荐版本说明下载路径OpenJDK11/17业界常用，阿里ARM平台性能好/projects/jdk/11/Dragonwell11/17阿里优化方案，阿里ARM平台性能好/alibaba/dragonwell1.选择合适版本的JDKJava源码迁移需关注三个阶段Java源码编译调优参数说明-UseBarriersForVolatile关闭UseBarriersForVolatile选项以提升普通内存IO指令访问Volative变量的效率-TieredCompilation对于场景固定流量稳定的应用，关闭分层编译以提高代码分支预测命中率ReservedCodeCacheSize=仅针对JDK8，提升CodeCache使用率Java字节码3.部署运行Java是解释型语言，理论上纯java应用可以跨架构运行。但实际上由于java应用经常通过JNI调用C编译的本地库，会来带兼容性问题，所以需要迁移。•有特殊版本需求，可针对性分析评估适配可行性。这里推荐Java8客户升级，并选择已适配ARM芯片的合适版本更•若是有源码的包，建议安装C/C++迁移3.部署阶段，建议遵循ARMECSJava优化建议，设置JVM运行参数调优。详情参考：/aliyun/yitian-ecs-getting-started/blob/master/Java.mdARM依赖检测dockerfileARM依赖检测dockerfile基于倚天的CI/CD流程-里云二方、三方库代码仓库CodeScanCodeScan唯一镜像IDARM自动SIT测试ARMARM自动SIT测试开发者代码提交CI测试镜像构建SIT测试`迁移迁移经验丰富迁移支持服务-里-里云阿里云已经具备阿里云已经具备多年跨架构迁移经验，覆盖电商、金融、数据库、大数据等多场景数据库大数据存储阿里云不仅可以输出阿里云不仅可以输出提效工具帮助用户业务快速适配倚天实例，同时可以派驻专家团队支撑解决用户迁移过程中的各种问题。自动分析需修改代码CodeScan迁移工具主流ARM处理器一键分析报告性能飞虎队金牌支持专家服务支持主流开发语言主流开发语言主流ARM处理器云上云下输出云上云下输出一键分析报告性能优化收益可通过定向合作输出客户业务迁移性能调优一键式专家调优工具-里云钉钉视频云钉钉更多产品Alinux3-里云大数据承载淘宝数据分析、菜鸟数据分析2个大数据承载淘宝数据分析、菜鸟数据分析2个-里云力下，平均延时有30%~50%的优收益超过30%。数据库倚天云原生算力优势性能优化开箱即用编解码需要高算力、高并发 智能算法优化音视频转码成本消耗高转码服务短时间需要拉起大量资源倚天云原生算力优势性能优化开箱即用编解码需要高算力、高并发 智能算法优化音视频转码成本消耗高转码服务短时间需要拉起大量资源倚天实例集群webrtc助力某在线教育客户轻松降本增效-里云视频后处理模块视频后处理模块相同配置转码路数增加视频转录模块低成本转码-里云6,0005,0004,0003,0002,0001,0004,9143,1333,3493,1333,100独立物理核心独立cache独立物理核心独立cache和ALU““AI+Science科学计算软件需要大量资源，传统计算资源有限、且成本较高。倚天710云实例实现了科学计算场景下的降本与增效，加快了数据驱动物理模型的开发进程。”客户计算团队负责人大厅服CDN战斗服0代码改造性能提升120%按需弹性历时三年开发的某塔防类实时对战团队游戏，伴随游戏火爆，玩大厅服CDN战斗服0代码改造性能提升120%按需弹性历时三年开发的某塔防类实时对战团队游戏，伴随游戏火爆，玩家数量上升，数据处理、数据计算、网络传输及其它资源消耗也同步增加，具备高性价比、高算力能力是客户亟待解决的问题。订单资产存储及统计运营数据存储块存储-里云基于倚天c8y在客户实测中跑分是同级X86架构实例的120%，综合性价比接近200%。基于倚天c8y在客户实测中跑分是同级X86架构实例的120%，综合性价比接近200%。动态管理聊天服校验及战斗结算服务数据服务模块GDB算法优化应用参数数据压缩系统优化算法优化应用参数数据压缩系统优化访存优化eRDMA-里云某互联网客户使用倚天实例后，大数据性能提升30%。某互联网客户使用倚天实例后，大数据性能提升30%。……应用参数应用参数JDKJDK11AlinuxAlinux3eRDMAeRDMA访存预期访存预期数据压缩数据压缩倚天710倚天7102.8GHz，无HTDDRDDR5内存高内存带宽-里-里云贾正华阿里云计算有限公司产品介绍技术优势用户案例产品路标-里云-里云AlibabaCloudLinux17.1AlibabaCloudKernel4.19AlibabaCloudLinux2AlibabaCloudLinux3AlibabaCloudLinux3ARM-里云阿里云用户阿里云用户极速启动方案在离线混部方案实例优化方案云原生优化OS方案AEP非易失内存方案AI加速方案安全：可信OS方案操作系统服务支持工单支持客户调优需求响应操作系统运维分析诊断调优工具安全与补丁管理性能分析工具迁移工具Alibaba文件系统优化RAS阿里云用户阿里云用户极速启动方案在离线混部方案实例优化方案云原生优化OS方案AEP非易失内存方案AI加速方案安全：可信OS方案操作系统服务支持工单支持客户调优需求响应操作系统运维分析诊断调优工具安全与补丁管理性能分析工具迁移工具Alibaba文件系统优化RAS增强优化Cgroup增强网络优化操作内存优化调度优化参数调优核心库优化全系国产化CPU支持OS迁移工具深度DDE图形桌面兼容版操作100%兼容CentOS8安全CVE更新云内核BabaSSLcontainers社区项目DragonWellCloudKernelSIG基础设施SIG社区高性能储存SIG容器镜像SIG操作Anolis迁移SIG全栈国密SIG&神龙云基础设施操作系统-里云redis（阿里云沙箱容器)裸金属镜像容器镜像场景Languageredis（阿里云沙箱容器)裸金属镜像容器镜像场景Language性能持续优化依托内核依托内核(PGO、代码大页、原子写)、编译器(FDO、LTO)、场景配置(中断聚合、调度调优)等多场景优160%140%120%100%80%60%40%20%0%150%100%优化后优化前优化后140%120%100%80%60%40%20%0%130%100%优化后优化前优化后4）大数据（4）大数据（spark、flink）主要通过主要通过64K内核页、编译优化和JDK提升大数据场景性能flinksparkflink115%110%105%100%95%90%113%100%优化后优化前优化后112%110%108%106%104%102%100%98%96%94%110%100%优化后优化前优化后依托内核依托内核(PGO、E0PD、XPS)、编译器(LTO)、场景配置(应用参数调整)等多场景优化，提升性能60%。180%160%140%120%100%80%60%40%20%0%160%100%优化后优化前优化后160%140%120%100%80%60%40%20%0%145%100%优化后优化前优化后通过编译器的快速序列化、通过编译器的快速序列化、SPECjbb配置优化、参数优化、策略优化，提升性能SPECjbb180%160%140%120%100%80%60%40%20%0%160%100%优化后优化前优化后160%140%120%100%80%60%40%20%0%136%100%优化后优化前优化后108%106%104%102%100%98%96%107%100%优化后优化前优化后-里云Alibaba版本拓展支持Alibaba版本拓展支持AlibabaCloudLinux生命周期提供了两个阶段的支持，分别为『开发支持』阶段和『维护支持』阶段。Alinux3；•对于Alinux3来说，分别提供5年的开发支持周期和5年的维护支持周期。结束支持的日期为2031年4月3023L版本常规支持版本常规支持维护包括：软件更新、功能维护包括：软件更新、功能支持、问题修复、安全漏洞修复等取、使用、修改阿里云操作系统免费-里-里云云将会提供全方位的操作系统支持支持-里云于分析不同场景的系统现象诊断与程种系统指标硬件资源计算资源系统软件瓶颈调度干扰于分析不同场景的系统现象诊断与程种系统指标硬件资源计算资源系统软件瓶颈调度干扰硬件资源计算资源系统健康一键诊断软中断运行统计tcp和socket泄漏检测进程级文件访问统计IO夯问题自动诊断系统负载分析文件cache占用分析系统调用耗时系统延时抖动网络延时跟踪进程级IO统计中断运行统计应用内存泄漏关中断过长应用锁竞争丢包分析-里云-里云I为倚天用户提供更好的操作系统体验-里云阿里云产品阿里云产品onYitian集团业务集团业务onYitian云上客户云上客户onYitian-里云AlinuxAlinux3Alinux4Alinux5常规发布期按需发布期3年3年7年3年3年年3年年3年年3年年3年年高频发布期高频发布期ECS倚天实例编程语言适配王卓阿里云编译器团队架构师架构差异版本差异侧重点不同架构差异版本差异侧重点不同Arm版本更新解释型语言编译型语言-里云特性C/C++JavaPython优化案例-里云软件版本优化C/C++迁移流程-里云代码迁移-里云I-里云•编译参数调整:-march=x86-64-march=armv8.5+crypto+sve2-mabi=lp64添加-fsigned-char__x86_64/__amd64__SSE/__AVXbuiltin_ia32_xxx__aarch64____ARM_NEON/__ARM_FEATURE_SVE__builtin_aarch64_I优化•推荐参数armv8.5+crypto+sve2不要在GCC版本<=9的情况下用-native不要在GCC版本<=9的情况下用-native不要在GCC版本<=9的情况下用-native•ProfilingGuidedOptimization(PGO)-里云/yitian/-里云软件版本优化Java迁移流程-里云架构迁移Java版本选择-里云2014.32017.92018.92021.4JDK8发布OpenJDK主干支持aarch64JDK11发布JDK8支支持aarch64推荐JDK11:JDK11比JDK8更早支持aarch64，更完善不要使用JDK8u292以下的JDK！不要使用JDK8u292以下的JDK！不要使用JDK8u292以下的JDK！Alibaba开源JDK:AlibabaDragonwellhttps://dragonwell-jdk.io架构无关架构相关架构无关架构相关Java架构迁移Java：解释性语言，迁移成本低兼容性问题主要来源于JNI调用①应用自己开发的JNI②调用的三方包(主要来源)netty-transportnetty-transport-native-epolljnasnappy-javasqlite-jdbcforest-sqlite-jdbc4.1.504.1.50-里云迁移工具迁移工具EasyYitianJNIJNI-里云I倚天-里云•升级JDK11:aarch64平台相对JDK8全面提升>JDK11支持aarch64早于JDK8>阿里内部100+应用升级JDK11，性能提升5%-12%>如果使用JDK8且没设置CodeCacheSize:–XX:ReservedCodeCacheSize=240m>PermSize/MaxPermSize替换为MetaspaceSize/MaxMetaSpaceSize>尽量使用PSGC或者G1GC，减少使用CMS-里云依赖库Python基础版本-里云-里-里云•推荐尽量使用最新版本的Python解释器，Python在3.10以及3.11版本通过f•Python3.6已经在2021年底到达EOL，推荐至少使用Python3.7版本I科学计算库(scipy,numpy)•推荐OpenBLAS后端构建-里云>各类包管理器直接安装NumPy或SciPy②sudoaptinstalllibopenblas-devpython3-numpypython3-scipy(ubuntu)参考/aliyun/yitian-ecs-getting-started/blob/master/Python.md•性能测试(GEMM/SVD，可跨架构)dockerrun--rmcape2/numpy:latestI深度学习库-里云•安装:OneDNN+ACL优化版本dockerpullarmswdev/tensorflow-arm-neoversepipinstalltensorflow==2.11.0OneDNN+ACLBLASTF_ENABLE_ONEDNN_OPTS=1ONEDNN_DEFAULT_FPMATH_MODE=BF16pythonyour_code.py参考：/aliyun/yitian-ecs-getting-started/blob/master/Python.md-里云-里云-里云I-里云•推荐参数armv8.5+crypto+sve2Atomiccompareandswap•5%提升，个别场景提升50%IProfilingGuidedOptimizations(PGO)-里云PGO整体提升10%-里云I-里云•倚天平台成功支撑双十一•相对优化前由20%+性能提升代码生成优化均集成进AlibabaDragonwell编译期问题模块编译期问题模块化--add-exports…无需依赖tools.jar/rt.jarSun.misc.Unsafe->JDK.Unsupported.Unsafe依赖包升级ty:netty-all4.1.33.Final电商升级JDK11-里云电商应用JDK8->11CPU使用率降低12%参数调整参数调整-XX:+PrintGCDetails->-Xlog:gc:<logfile>通用log:-Xlog:gc*:gc.log:timeJDK_MAX_PROCESSORS_LIMIT->-XX:ActiveProcessorCount=N辅助升级工具EMT4J/adoptium/emt4jIDemo:JDK升级实战•检查并报告当前工程与新版本不兼容的点•支持升级到JDK11/17•支撑阿里巴巴集团内部100+应用升级JDK•捐赠Eclipse基金会，完全开源-里云/adoptium/emt4j-里云IDemo:-里云/adoptium/emt4j/releasesorwget/adoptium/emt4j/releases/download/v0.8.0/emt4j-0.8.0.zipunzipemt4j-0.8.0.zip/emt4j-0.8.0/bin/analysis.sh-f8-t11-oreport.html$path_to_your_appDemo:JDK11升级实战report解析-里云Demo:JDK11升级实战report解析(续1)-里云Demo:JDK11升级实战report解析(续2)-里云Demo:JDK11升级实战report解析(续3)-里云java-javaagent:<path-to-emt4j-build>/lib/agent/emt4j-agent-jdk8-0.8.0.jar=to=11,file=jdk8to11.datjava-javaagent:<path-to-emt4j-build>/lib/agent/emt4j-agent-jdk11-0.8.0.jar=to=17,file=11to17.datjava-javaagent:<path-to-emt4j-build>/lib/agent/emt4j-agent-jdk8-0.8.0.jar=to=17,file=jdk8to17.datDemo:JDK11升级实战maven/javaagent通过javaagent通过javaagent-里云<artifactId>emt4j-maven-plugin</artifactId><outputFile>report.html</outputFile>总结语言C/C++推荐版本Gcc语言C/C++推荐版本Gcc10+JDK11V18GCC9及以下不用-nativeJDK8不要用8u292以下版本-里云钉钉扫码加入扫码加入【倚天社区】钉钉扫码加入扫码加入【倚天社区】-里云扫码免费领用倚天扫码免费领用倚天ARM云服务器开启云上实践之旅软件跨架构迁移(x86->ARM)的原理及实践阿里云弹性计算架构师-里云-里云-里云5std::memory_order_relaxed); -里云-里云-里云根据软件类型制定迁移策略自上而下制定软件迁移策略-里云openAnolisopenAnoliscri-ogvisoFirecracker息自上而下制定软件迁移策略解释器/编无自上而下制定软件迁移策略一键式软件迁移工具EasyYitian-里云一键式软件迁移工具EasyYitian-里云一键式软件迁移工具EasyYitian-里云代码扫描翻译迁移环-里云 2.Makefile!4.选择合理编译器执行编译!建议版本10以上，性能有大幅提升编译器优化应用配置优化基础库/工具优化所有上线应用输出优化方法收敛参数输出优化方法收敛参数-里云 基于专家知识库分析评估系统全局参数基于专家知识库分析评估系统全局参数12-里云-里云DevOps开发运营Nginxx86-里云 jansi行时启动迁移解决依赖:1.第三方软件重新编译（snappy/zstd）稳定性验证第二轮压测完成开始上线灰度第一轮压测完成性能优化完成进行初步性能优化，主要进行业务平台参数优化，无业务代码改动jna依赖jar包解决依赖:稳定性验证第二轮压测完成开始上线灰度启动迁移完成构建第一轮压测完成性能优化完成进行初步性能优化，主要进行业务平台参数优化，无业务代码改动-里云-里云系统自动化扫描性能优化收益可通过定向合作输出客户一键分析报告系统全方位调优便捷开通使用主流开发语言主流应用支持性能调优-里云X86+ARM，容器服务ACK多架构应用部署最佳实践ContentsContents01容器服务ACK简介0102ACK支持倚天ARM实例03ACK多架构应用部署最佳实践-里云-里-里云提升业务稳定性提升研发和运维效率提升业务稳定性Po多集群/多云管理ACKServerless客户IaaS客户IaaS3本地云••国内首批可信云容器解决方案（容器服务整体ACK）•国内首批可信云无服务器解决方案-先进级（Serverless容器服务ASK）•国内首批可信云服务网格解决方案-先进级（服务网格ASM）•阿里云边缘容器服务ACK@Edge获得“2021云边准认证，在边缘容器技术能力要求的33项测评中全部通过•边缘一体机通过“云边协同的边缘一体机能力要求”标准获得证书创新解决方案/产品；由阿里云提供技术支撑的好未来和畅捷通获得2021年云原生应用优秀案例容器拉起效率测试3.4s/10000容器01/ISO29151/BS10012/CSASTAR/等保三级/PCI-DSS//公安部部标认证-里云高性能Terway网络 安全沙箱容器安全沙箱容器AliyunLinux3AliyunLinux3高性能Terway网络 安全沙箱容器安全沙箱容器AliyunLinux3AliyunLinux3-里云•仅需重新部署/编译•原生支持多款PaaS产品-里云L31.3倍64M/64c*2dieALU/Cache争抢x86Arm32倍指令执行速度Armcore独享L1/2cache，容量大2倍+x86Armx86L14/2.6倍L21.6倍X86倚天X86--里-里云支持多架构容器镜像构建/部署-里云构建多架构容器镜像指定工作负载调度构建多架构容器镜像指定工作负载调度-里云•选择OSAlinux3.2104-里云指定工作负载调度指定工作负载调度多架构容器镜像结构-里云指定工作负载调度指定工作负载调度/cn-hangzhou/instances/artifact-里云指定工作负载调度指定工作负载调度行dockermanifestinspect-里云指定工作负载调度指定工作负载调度指定工作负载调度指定工作负载调度构建多架构容器镜像构建多架构容器镜像kubernetes.io/arch=arm64:NoSchedule，无需构建多架构容器镜像label:kubernetes.io/arch:"arm64"构建多架构容器镜像label:kubernetes.io/arch:"arm64"taint:kubernetes.io/arch=arm64:NoScheduleArmArmcontainerdlabel:kubernetes.io/arch:"amd64"x86x86containerd-里云Armx86构建多架构容器镜像构建多架构容器镜像-里云label:kubernetes.io/arch:"arm64"taint:kubernetes.io/arch=arm64:NoScheduleArmcontainerdlabel:kubernetes.io/arch:"amd64"x86containerdArmx86Armx86构建多架构容器镜像构建多架构容器镜像-里-里云指定工作负载调度指定工作负载调度DevOps开发运营MutilArchImagesPushX86DevOps开发运营MutilArchImagesPushX86NodePoolNginxx86Redisx86Ubuntux86ArmNodePoolNginxArmRedisArmUbuntuArmPullByArchitectureAliyunContainerRegistry(ACR)-里云-里云李腾飞阿里云弹性计算大数据优化负责人01倚天大数据场景迁移适配02倚天大数据性能加速实践03倚天大数据场景落地实践-里云ECS倚天实例助力大数据应用场景降本增效ECS倚天实例助力大数据应用场景降本增效ECS倚天实例助力大数据应用场景降本增效Yitian超强算力DDR5高性能内存eRDMA低时延网络ESSD高性能云盘vpc2Software2Software3.6.84.8 YodaYodaJavaJava2.xJavaJava 4•推荐组件版本和依赖包清单Jar包依赖lz4-java1.4.03.1.4snappy-java1.1.3jansileveldbjni-all4.1.50sigar6.2.2-里云SPARKSPARKTPCxBBTPCxBBMraccSpark/nativesqlMraccSpark/nativesqldragonwellalinux3Kafka···Kafka···大数据……Alinux3Alinux3-里云-里云耗时越短，性能越优4950490048004700总耗时•优化手段：OS缓存策略调优、网卡I/O策略调优、4000040000-里云吞吐数值越大，性能越好集群信息：g8y(Yitian)vsg7(IceLake),6*(8xlarge+ESSDPL1)NexMark：Flink测试使用的BenchMark是nexmark，是一个连续数据流的查询的基准套吞吐数值越大，性能越好45073%396396826161202221049%48%5861611818040021326724620025020522934135030024188q0q1q2q3q4q5q7q8q9q10q11q12q13q14q15q16q17q18q19q20q21q22g7g8yg8y优化核层面优化、资源配比优化等手段00-里云210210-里云Velox•性能提升：TPCDS1TB相对于vanTPCDS性能归一化测试环境Spark3.3.1Hadoop3.3.1Hive3.2.1JDK1.8.0_352AlibabaCloudLinux3.210432.522.512.162.10210.50 32.522.512.162.10210.50 SparkSpark进程sparkextensionSparkSpark进程降低网络带宽，实现总体计算效率提升。TPCH1T性能归一化点查Q6模糊查询(like)点查Q6•降低网络带宽：点查业务场景，neardata大幅度减少网络带External(Yarn)External(Yarn)Jverbs/UCXSpark-里云-里云-里云.启动poc.基础poc.启动poc.基础poc..测试完成.开始上线灰度2.native库重新编译(snappy/lz4等)-里云））-里云/detail/346-里云/detail/347钉钉扫码加入扫码加入【倚天社区】钉钉