HANA建模课程-第一讲HANA架构简介

课程1

HANA架构简介实战讲解内容：

1）HANA基本概念以及架构：

列存储，行存储，内存计算,持久层，log层的概念,HANAinstance的概念，系统表，定义，行表，列表2)HANA引擎概述3）HANA安装和卸载、Admin，Operator基本操作4)HANAStudio安装和卸载，客户端工具的安装实战目标：

1)熟悉HANA体系结构和HANA开发工具第一讲HANA架构简介By熊猫23硬件与数据库系统CoreCPU今天的性能瓶颈：

处理器缓存和内存数据传输过去的性能瓶颈：磁盘输入、输出DiskCPUCacheMainMemory现代化硬件上的理想数据库系统：内存式数据库，减少I/O缓存优化的内存结构，连续访问数据临近存储支持并行执行，利用多处理器的优势现代化硬件上的理想数据库系统：内存式数据库，减少I/O缓存优化的内存结构，连续访问数据临近存储支持并行执行，利用多处理器的优势未来优化方向4应用层数据层当前应用层包揽了许多的数据计算工作在数据层的内存式计算，将计算下推到底层，提升性能内存式计算：减少详细数据的迁移，先计算，后传输结果行业现状企业资源计划系统(ERP)需要处理混合工作量OLAP：创建销售订单、进货出货凭证、发票等写优化OLTP：运营月度报告、可承诺量、库存量分析等读优化OLAP+OLTP系统因性能的顾虑而分离

不便：OLAP数据并非最新数据，只是数据预先处理后的子集需要ETL工具来同步两个系统，系统冗余，程序复杂开发愿景

使用现代硬件和数据库系统将OLTP与OLAP数据结合在一起，创建一个单一数据源，实现实时分析，并简化应用程序和数据库结构56SAPHANA应用架构HANA平台统一数据源HANADataservice、SLT等数据抽取工具前端Excel、BOBJ展示工具将数据集市HANA中的数据展示7常见问题SAPHANA是一个数据库，硬件还是一个解决方案？HANA是包括了硬件，数据库和解决方案的结合体。购买HANA包括了从合作伙伴放进行硬件采购和HANAlicensekey的购买。客户可以安装HANA然后从sap系统或非sap系统抽取数据到HANA中，来开发报表。什么样的客户群会考虑HANA?制造业，地理，金融；还包括了处理大规模数据、报表需要大规模数据量、需要大量复杂计算的行业。

HANA的主要注重点就在于处理海量数据，并提供高性能的实时数据分析。HANA是如何在现代化硬件实现数据库系统的愿景呢？行、列式存储+内存式计算….行式存储与列式存储——内存地址8编码单号A5B4C3D4E2F2G2A4B4C4D5E5F4G3A3B2映射到内存ABCDEFGABCDEFGA

B5434222444554332A5B4C3D4E2F2G2A

4B4C4D5E5F4G3A3B2行式存储列式存储内存地址内存地址列式存储——压缩

基于企业数据特点：列的使用相对集中列中的值基数不高列式存储的结构支持高效的数据压缩节省空间提升速度：内存传输CPU缓存字典编码，整数值比较快于字符值比较加快扫描和聚合

91234567123456712内存地址ABCDEFGABCDEFGA

B内存地址ABCDEFG列式存储数据字典压缩——样例10表Song待压缩的演唱者一列排序按照字典值排序行ID和值ID对应表IDArtistGenreTitle1AdelesoulRollingInTheDeep2LadyGagapopBornthisway3KatyPerryhouseE.T.4JasonMrazpopIamyours5Adelesoulsomeonelikeyou6LadygagapopPockerface7KatyPerrypopPartofme8BrunoMarspopJusttheWayYouAre9JasonMrazPopLucky10KatyPerrypopWideawakeValueIDvalue1Adele2BrunoMars3JasonMraz4KatyPerry5Ladygaga字典rowidValueid112534435165748293104指向字典倒排索引ValueIDrows11,52834,943,7,1052,6HANA列式存储数据访问（1）11rowidValueid112534435165748293104SongSelect*fromSongwhereArtist=‘KatyPerry’全表扫描，查找值ID=4按属性值查找IDArtistGenreTitle1AdelesoulRollingInTheDeep2LadyGagapopBornthisway3KatyPerryhouseE.T.4JasonMrazpopIamyours5Adelesoulsomeonelikeyou6LadygagapopPockerface7KatyPerrypopPartofme8BrunoMarspopJusttheWayYouAre9JasonMrazPopLucky10KatyPerrypopWideawakerowidValueid112534435165748293104利用倒排索引查询HANA列式存储数据访问（2）12按照行号搜索列式表SongValueIDValue1house2pop3soul……流派字典RowIDValueID132231425362728292102结果IDArtistGenreTitle3KatyPerryhouseE.T.7KatyPerrypopPartofme10KatyPerrypopWideawakeHANA列式存储加载状态：未加载部分加载：由于查询条件而加载入内存全部加载主存储(Main)+增量存储(Delta)数据并不直接修改而是插入新数据：并行化，减少锁，多版本控制主存储对值ID进一步压缩，对读取、计算性能优化增量存储不排序、不对值ID进一步压缩，占空间较大增量融合(DeltaMerge)：额外的CPU、内存消耗可选优化方案：内存内融合、分区13RuntimeInformationMergeStatisticsDeltaMergeAnalysisSchemaSizeofLoadedTableUsedmemorybytablesHANA列式存储——并行化利用多核处理器并行高速处理数据对不同列的操作、对相同列的不同部分为表的分区提供可能：水平分区目前表最大数目为20亿14行式存储与列式存储以元组为单位在启动时加载入内存适合写操作

15列式存储行式存储

元组一

元组二列一列二列三列五列四以属性为单位可以部分导入内存适合聚合操作(Max,Min,Count,Distinct,AVG)列式存储聚合计算16列式存储表，对列的读取可以单次读取完成IDArtistGenreTitlehits1AdelesoulRollingInTheDeep3522LadyGagapopBornthisway2163KatyPerryhouseE.T.1834JasonMrazpopIamyours961234AdeleLadyGagaKatyPerryJasonMrazsoulpophousepopRollingInTheDeepBornthiswayE.T.Iamyours35221618396单次扫描聚合SELECTSUM(hits)FROMSong∑结果

847行式存储与列式存储以元组为单位在启动时加载入内存适合写操作处理单个记录访问小批量整行的搜索（例如：配置表）行重建成本低

17列式存储行式存储

元组一

元组二列一列二列三列五列四以属性为单位可以部分导入内存适合聚合操作(Max,Min,Count,Distinct,AVG)适合基于表中几个字段的搜索利用多核技术并行计算行重建成本高两种引擎的区别存在于它们处理数据的方式：行式存储操作符用迭代器一次处理一行数据，而列式存储操作（如扫描，聚合等等）需要整列都放在连续的内存空间中行式存储与列式存储——元组重建考虑一张表，每个字段的大小是34个字节，属性的个数为9，一个缓存段的大小为64个字节，一核CPU每毫秒处理2MB，则以行式存储和列式存储分别存储数据，重构一行所需要的时间？1MB=1000KB,1KB=1000B18行式存储直接连续内存段34*9=306，需要5端缓冲段，5*64=320字节所需时间=320/(2*10^6)=0.16微秒列式存储跳跃获取需要9端缓冲段，9*64=576字节所需时间=576/(2*10^6)=0.288微秒常见问题HANA只是一个列式数据库么？不是的，HANA中既有行存储，也有列存储HANA中的列式存储是否还可以使用索引？是的，HANA的列式存储对所有主键自动建立索引(倒排索引)，对于经常访问到的非主键列也是可以建立索引的HANA是否可以控制哪些表置于内存中？可以的，可以通过对表的设置来控制内存式数据库是否仍然依赖于硬盘？是的，依旧需要硬盘支持备份和恢复HANA持久层20Data:SQL数据,undo日志

其他诸如建模数据等信息将热数据维持在HANA内存中以获得最优性能Log:记录数据更改的信息(redo日志)在事物递交后写入持久层存储先于数据的更新、写入Savepoint:确保更改后的数据和日志写入持久层频率：默认5分钟

(由参数:savepoint_internval_s控制)HANA重启211Savepoint:Data&Undo日志(DataVolume)2Redo日志（LogVolume）3断电TimeHANA主要组件

主要C++语言开发，运行在Linux操作系统NameServer：记录HANA系统的拓扑结构XSserver：Web应用服务器Indexserver：最核心组件，处理数据库事务数据处理Preprocessor：文字处理Statisticsserver：收集监控信息22HANA分布式系统服务与持久层23NameServer(active)IndexServer(Standby)NameServerIndexServerNameServerIndexServerNameServerIndexServerStatisticsServerXSEngineHostHostHostStandbyHostDataDisksLogDisksDataDisksLogDisksDataDisksLogDisksDataDisksLogDisksDataDisksLogDisksHANA分布式系统ShareNothing的架构Standby主机没有自己的持久层HANA操作系统架构24SAPHANA生命周期管理——安装从SAPHANASPS7开始，使用新工具hdblcm进行安装，原有安装工具hdbinst依旧存在Server：安装包包括： SAPHostAgent安装包，DeliveryUnits，Pythonruntime、支持包，语言包，ini配置文件包，二进制文件等压缩包安装流程：安装包检查硬件检查HanaHwCheck.py从前端或Ba