内存数据库Altibase产品介绍.ppt

,Altibase主存数据库产品介绍,韩国Altibase公司南开创元信息技术有限公司顾鸿翔Email:guhongxiangg-,一、主存数据库技术简介二、Altibase主存数据库特色,目录,一、主存数据库技术简介,IT市场的需求主存数据库概念技术发展历程主存数据库和磁盘数据库的比较主存数据库应用的必要性和可行性应用领域,主存数据库概念,主存数据库(MMDB:MainMemoryDatabase)是将所有数据存于物理内存，因此能够不需要访问磁盘直接访问数据，从而获得极高的存取速度和极强的并发访问能力的数据库系统。主存数据库与传统的基于磁盘的数据库系统（DRDB,Disk-ResidentDatabase）的重大区别在于数据的存储介质和针对物理内存而特别设计的数据储存结构的存取机制，一般存取速度的增加在10至1000倍左右。,主存数据库定义,主存数据库和磁盘数据库的区别,主存数据库技术发展历程,从上个世纪60年代末到80年代初。在这个时期中，出现了主存数据库的雏形。1969年IBM公司研制了世界上最早的数据库管理系统-基于层次模型的数据库管理系统IMS，并作为商品化软件投入市场。在设计IMS时，IBM考虑到基于内存的数据管理方法，相应推出了IMS/VSFastPath。FastPath是一个支持内存驻留数据的商业化数据库，但它同时也可以很好地支持磁盘驻留数据。在这个产品中体现了主存数据库的主要设计思想，也就是将需要频繁访问，要求高响应速度的数据直接存放在物理内存中访问和管理。在这个阶段中，包括网状数据库、关系数据库等其他各种数据库技术也都逐渐成型。,雏形期,主存数据库技术发展历程,1984年，DJDeWitt等人发表了主存数据库系统的实现技术一文。第一次提出了MainMemoryDatabase（主存数据库）的概念预言当时异常昂贵的计算机主存价格一定会下降，用户有可能将大容量的数据库全部保存在主存中提出了AVL树、哈希算法、主存数据库恢复机制等主存数据库技术的关键理论，为主存数据库的发展指出了明确的方向1984年，DJDeWitt等人提出使用非易逝内存或预提交和成组提交技术作为主存数据库的提交处理方案，使用指针实现主存数据库的存取访问。1985年，IBM推出了IBM370上运行的OBE主存数据库1986年，RBHagman提出了使用检查点技术实现主存数据库的恢复机制。威斯康星大学提出了按区双向锁定模式解决主存数据库中的并发控制问题。并设计出MM-DBMS主存数据库。贝尔实验室推出了DALI主存数据库模型。1987年，ACMSIGMOD会议中提出了以堆文件（HEAPFILE）作为主存数据库的数据存储结构。SouthernMethodist大学设计出MARS主存数据库模型。1988年普林斯顿大学设计出TPK主存数据库。1990年普林斯顿大学又设计出SystemM主存数据库。,技术理论成熟期,主存数据库技术发展历程,随着互联网的发展，越来越多的网络应用系统需要能够支持大用户量并发访问、高响应速度的的数据库系统，主存数据库市场成熟半导体技术快速发展，半导体内存大规模生产，动态随机存取存储器（DRAM）的容量越来越大，而价格越来越低，这无疑为计算机内存的不断扩大提供了硬件基础，使得主存数据库的技术可行性逐步成熟1994年美国OSE公司推出了第一个商业化的，开始实际应用的主存数据库产品Polyhedra1998年德国SoftwareAG推出了TaminoDatabase。1999年日本UBIT会社开发出XDB主存数据库产品。韩国Altibase推出Altibase2000年奥地利的QuiLogic公司推出了SQL-IMDB2001年美国McObject推出eXtremeDB。加拿大Empress公司推出EmpressDB,产品发展期和市场成长期,主存数据库技术发展历程,几种主存技术应用的比较,第一代:用户定制的主存数据库,通过应用程序来管理内存和数据.(主要目的:提高性能)不支持SQL语句,不提供本地存储,没有数据库恢复技术性能好但很难维护和在别的应用中不能使用。应用在实时领域比如工厂自动化生产。,第二代:简单功能的主存数据库,能够快速处理简单的查询支持部分的SQL语句和简单的恢复技术主要目的是能够快速处理大量事务针对简单事务处理领域,尤其是交换机,移动通信等,第三代:通用的主存数据库,针对传统的商业关系型数据库领域，能够提供更高的性能、通用性以及稳定性.提供不同的接口来处理复杂的SQL语句和满足不同的应用领域可以应用在计费、电子商务、在线安全领域，几乎包括磁盘数据库的所有应用领域,主存数据库和磁盘数据库的比较,磁盘数据库,主存数据库,主存数据库应用的必要性,高速聚集的海量信息,快速增长的用户群,互联网的快速发展,需要新型数据库管理系统,主存数据库管理系统,极高的数据存取速度,极强的并发访问能力,满足大量并发访问,快速处理海量信息,磁盘数据库管理系统,数据库系统处理能力不足,信息服务遇到瓶颈,信息管理系统,技术要求,主存数据库应用的可行性,半导体内存大规模生产，动态随机存取存储器（DRAM）的容量越来越大，而价格越来越低，这无疑为计算机内存的不断扩大提供了硬件基础，使得主存数据库的经济可行性逐步成熟。,经济可行性,技术可行性,64bit芯片的普及。系统最大寻址空间决定了数据库容量。主存:32bit=最大4GB寻址空间64bit=几乎无限的寻址空间高稳定性操作系统出现UNIX等操作系统发展到近年来已经非常稳定，可以承受的住几个月，甚至一年的不停的运转。这样的可靠性能大大减少了数据库系统的风险。,主存数据库应用模式-嵌入式系统模式,航空航天系统,大型IP路由系统,电信通信交换系统,主存数据库,API,卫星通讯系统,实时嵌入式操作系统,应用1,API,应用2,API,应用n,应用n,嵌入式系统,智能交通控制系统,主存数据库应用模式混合模式,冷数据(80%),热数据(20%),主存数据库和磁盘数据库混合使用成为可以承担高速事务处理的关系型数据库,大型应用系统中，80%的访问是针对DBMS中20%的数据进行的,主存数据库应用领域,混合模式应用,电子商务领域电子商务网络运营商,实时行情显示、网上银行、网上证券交易系统、航空订票系统、国际贸易互联网谈判交易系统等大型的电子商务平台.,通信领域通信计费营帐系统，预付费业务，前台营业处理、实时网络管理系统、CTI技术、WAP服务器、智能网络服务、增值服务系统.多样化的网络终端服务系统为便携电脑、手机、携带终端、游戏机、网络电视等网络终端提供互联网服务,实时系统领域控制系统与自动化工程、电信通信、网络通信、航空航天、雷达信号处理、智能交通管理、实时GIS系统、铁道工程、POS销售终端、医疗仪器、车载信息系统、瘦客户机等,嵌入式系统模式应用,主存数据库电信应用领域,二、Altibase主存数据库产品介绍,Altibase主存数据库AltibaseDBMS服务器特色Altibase与商用磁盘数据库比较AltibaseDBMS复制功能AltibaseDBMS产品构成Altibase应用领域,Altibase主存数据库,目前世界上最先进的主存数据库AltibaseCo.,Ltd成立与1999年11月，先后与韩国电子通讯研究院和美国CONSOCIOInc.合作目前已应用于韩国80%的电信厂商和运营商（包括韩国电信，Samsung.),问题,Altibase的增强,10倍之上的性能提高强健的稳定性和可维护性对于实时处理系统没有额外的负担通过复制技术实现容错服务使用工业化的标准（ANSISQL）使开发更容易灵活的架构来反映用户不同的需求,磁盘DBMS的局限性能上的不满意对整个系统过重的负担,由于应用的局限性造成的不通用开发以及维护非常困难系统可用性、灵活性和效率方面的降低,磁盘DBMS,用户定制,实时系统领域,实时系统,Altibase主存数据库的物理结构,检查点操作：同步内存和磁盘数据文件中的数据Loganchor：储存磁盘数据文件和日志文件的相关信息磁盘数据文件，Loganchor和日志文件保障了在事务失败/系统故障/媒体故障时可对数据库进行完全恢复,Altibase数据库内存领域:32K(217)Page的集合,DataPage,CatalogPage,Local(Process)orSharedMemory,数据库系统信息的储存位置储存数据库产生的详细信息储存除自己之外数据页列表及使用信息启动及停止时数据库全面检查及维护变更信息,储存实数据的储存位置由PageHeader和PageBody构成PageHeader:维护相互之间列表的连接信息和类型,以自身页码构成PageBody:为了储存实数据分割成多个slotSlot:储存实数据的最终储存位置,Altibase主存数据库最大容量32BitO/S:可扩展到217Page64BitO/S:可扩展到249Page,LocalorSharedMemory均能自动扩展,Altibase主存数据库内存结构,AltibaseDBMS产品构架,AltibaseProductArchitecture,DataReplication,Client&ServerApplications/Tools,Real-TimeApplicationPgms,PhysicalMemory,UnlimitedDatabaseSizewith64bit,DiskStructures,CatalogPage,DataPage,ProcessorSharedMemory,Altibase,(TablesandIndices),IPC|UNIXDOMAIN|TCP/IP,E/SQL|CLI|ODBC|JDBC,Datafiles,Loganchor,Logfiles,HotTables(100%)SmallsizedDB,AltibaseDBMSApp.,单独使用Altibase,将全部数据和管理驻留在内存中.,针对需要高速处理的应用领域CTIorHLR实时处理系统自动化处理、智能交通,独立AltibaseDBMSServer,ColdTables(80%),HotTables(20%),DiskDBMS(Oracle,Informix,Sybase,DB2,),如何与磁盘数据库联用,HotTables,GatheringReal-timeData,SharedTables,etc,StoringColdTables,HistoryData,etc,AltibaseDBMSServer,ReferenceSite(V),Altibase适用方案,选择时间消耗较大的的已有应用程序，转换成Altibase的应用程序为了优化内存大小，把应用程序使用的数据从Oracle提取，载入到Altibase根据需要把在Altibase变更的数据反映到Oracle数据提取,载入,应用程序执行等一系列DB工作过程自动化处理,DataMigration,DiskBasedRDBMS,Migration,Import,Performance-hungryAPs,Altibase,Export,DiskBasedRDBMS,Sync,HotTransactionApp.,ReferenceSite(V),Altibase适用方案(注意事项),为了使用Altibase，首先要进行datasizing，必须确保内存可以容纳所有的数据和应用程序运行开销。,Client,Server,AltibaseDBMS组成部分,AltibaseDBMS服务器特色,AltibaseDBMSServerFeature,综合了主存数据库领域目前已知的最先进的技术.,存储管理,用MVCC(MultiVersionConcurrencyControl)实现并发控制使事务之间的冲突最小化.记录的读/写操作中不使用Lock和Latch实现死锁检测保存点(Implicit,Explicit)Fuzzy&Ping-pong检查点支持动态、共享内存数据库结构数据库在运行时可以自动扩展支持T-Tree,部分B+-Tree,R-Tree为了系统的多样性，在内存中或者磁盘上支持多种数据文件的格式数据文件和日志文件可以在不同的目录数据文件可以由多个文件组成,支持完整的SQL92标准.,查询处理,AltibaseDBMS服务器特色,多种内建函数,基于WAL(WriteAheadLogging)的日志检查点脏页写到磁盘上.调整日志信息.(自动删除日志存档).管理当前处理的事务的信息.在线备份恢复的范围:事务失败/系统故障/媒体故障,日志&恢复,聚合，数字，字符，日期，转换，其它（Decode等）,嵌套查询没有限制表join没有限制用Hint调节查询执行计划,扩展DDL查询优化(CBO&RBO)增强支持复杂查询支持分等级查询,应用开发环境,提供标准CLI,ODBC,JDBC.提供EmbeddedSQL(预编译程序)类似于OraclePro*C/C+原来使用Oracle的开发者很容易适应，可以降低开发和维护成本，减少开发周期.支持多线程客户端支持存储过程支持本地存储过程(NativeStoredProcedure)(嵌入式架构的替代功能)支持XA接口,负载平衡R-Tree(OpenGIS标准)提供各种工具Sql交互工具,dbadmin,audit,shmutil,等等.,AltibaseDBMS服务器特色,Altibasevs.DiskDBMS,MemoryCopyOverhead硬盘RDBMS的application不能直接访问数据库内存缓存中的特定记录，所以把记录拷贝到内存进行操作。但Altibase的所有的数据都存在于内存，所以直接访问特定记录。BufferManagementOverhead硬盘RDBMS把数据读到内存缓存中使用时,需要内存缓存往硬盘写oldpages和变更数据状态的工作。,DBMS“Engine”,Run-TimeDatabase,Altibase,MemoryCopyOverhead,SearchTranslationOverhead,BufferMgmtOverhead,ExcessFeaturesOverhead,AltibaseMainMemoryRDBMS,DiskbasedRDBMS,CatalogPage,DataPage,Disk-OptimizedRDBMSEngine,ApplicationPrograms,ProcessorSharedMemory,Altibasevs.DiskDBMS,PhysicalMemory,Database,Tables,Indices,BackupDB,Datafile1,Logfilen,DBS,LOGS,PhysicalMemory,Buffer,Database,Datafiles,Controlfiles,Redofiles,访问内存最佳的索引结构(使用T-Tree),数据查询算法本身就很简单(减少CPUTime占有率)减少系统的负荷,数据caching没有多余的数据拷贝(DiskI/O)，减少了系统负荷，Recovery时只发生必需的，最少I/O,Log,Logfile1,Loganchor,Altibasevs.DiskDBMS（内存管理）,硬盘DBMS的查询最佳算法的基本在于减少硬盘I/O次数硬盘DBMS不能排除数据存在于硬盘的假设，所以使用了假设数据存在于硬盘的最坏(worstcase)情况的算法Altibase的所有数据都存在于主存中，所以不需要考虑数据存在于硬盘的最坏情况，只需使用最佳的算法访问数据,假设数据存在于磁盘,复杂的查询算法,增加CPUTime,数据常驻主存,简单的查询算法,减少CPUTime,已有基于硬盘的DBMS,AltibaseMainMemoryDBMS,Altibasevs.DiskDBMS（索引算法）,B-treeIndex,T-treeIndex,无需把逻辑地址变换成物理地址(直接指向相当于入口的纪录的内存地址),逻辑地址变换成物理地址的工作(包含的数据页相当于入口的记录),基于硬盘的DBMS,AltibaseMainMemoryDBMS,Altibasevs.DiskDBMS,索引日志Altibase一般不做对索引的日志，所以日志的量很少.检查点算法表面看起来只把脏页存储到磁盘备份数据区，其实为了对在线事务处理施加最小的影响，使用了Ping-pong&模糊检查点方法.因为所有数据都在内存中，所以读取数据时没有相关索引的I/O，提高了更新和删除操作的速度.,Altibasevs.DiskDBMS（不间断服务构成方法）,Altibasevs.DiskDBMS（总结）,测试部门,TaiwanChunghwaTelecom测试结果,TelecommunicationLaboratoriesBU8PSTeam,测试实验室环境,SUNE4500,2GBmainmemory,2CPUs,SUNOS5.8.Access100,000recordswhichincludeNumberandChartype.,测试实验室结果,Altibase与商用磁盘数据库性能比较,测试环境：Server:sunE-450memory:4GBCPU:2*400Mz测试部门：韩国Altibase公司和韩国三星电子比较产品：AltibaseDBMS和DiskBasedDBMS测试工具：TPC-B,TPC-HBenchmark性能标准：TPS(TransactionPerSecond)，每秒事务处理量,性能比较简单查询性能测试,数据量,TPS,TPC-B,测试结果：Altibase处理能力比磁盘数据库快10倍以上,数据量,TPS,TPC-B,测试结果：使用NSP使得Altibase的处理能力有进一步的提升（2.5倍）,性能比较简单查询性能测试(NSP),性能比较TPC-H测试,TPC-HTest是反映现代复杂商务情况的国际DBMS性能测试基准测试适用于无法预测数据和频繁变化的网络环境的DBMS的基准由22个复杂的SQL语句构成,什么叫TPC-HTest?,1,测试结果：Altibase的复杂查询处理能力比磁盘数据库有整体的提高,TPC-H性能测试(AltibaseVSDiskDBMS),Demonstratesmultipleaspectsofaserversabilitytoprocessqueriesinordertogiveanswerstocriticalbusinessquestionsofreal-world.EvaluatesaDBMSsabilitytoprocessunexpecteddataandapplytonetworkenvironmentswithfrequentchange.Consistsof22ofcomplexSQLstatements.,AboutTPC-HTest,复制的必要性,AltibaseDBMS复制特色,高可用性,当系统发生故障时，可以立即访问down掉的数据存储的复制体。,靠分配工作量到多个节点保证可伸缩性。,可能是故障点.可用性=1pn(p=down机的可能性)例如：如果p=5%,有复制的数据库系统的可用性增加到99.75%.,会发生瓶颈.降低系统响应时间限制系统吞吐量,负载平衡(增强性能),数据库产品的复制方式：1.在一个应用程序中执行复制:当服务器性能降低和发生故障时很难保持数据库的一致性.2.通过传送查询语句执行复制:负载平衡效率低，难以验证数据冲突3.通过传送执行计划执行复制:数据传输的增加大大增加了通信量.4.通过转换日志为查询语句执行复制:转换和查询处理的成本很高.5.通过将发送的日志转换为执行计划执行复制:需要转换成本，但是能够提高复制的性能.6.像服务器恢复一样发送日志，执行复制:速度快，但是不能实现active-active模式.,AltibaseDBMS复制特色,实现复制的方法,基于日志的复制,Altibase复制技术采用了读取储存事务内容的日志文件，并发给从复制服务器的同步方式.所以不会影响在主复制服务器进行的事物，只发生线程读取日志文件和创建事务并发送的负荷，所以只要CPU资源允许几乎没有性能下降.,AltibaseDBMS复制特色,复制特性,拓扑结构,支持点-点的复制.通过支持N向复制提供星型架构的复制拓扑结构.提高系统的容错、容灾能力提供系统的负载均衡能力,基于日志在数据库日志的基础上实现复制使服务器的负荷最小化复制时保持standalone性能的90%以上.表级的复制可以复制整个数据库中的表的一部分.提高操作效率实时复制支持实时事务处理的实时复制简化实时服务的实现提高可用性当系统发生故障时，可以立即访问down掉的数据存储的复制体，这样可以实现系统服务的连续性.高稳定性检测服务器的故障和网络错误并进行适当的错误处理.通过复制恢复保持数据的一致性.现在,在30多个站点的150多个系统中正在运行着Altibase的复制系统,Altibase复制特色,线程结构与服务同步&减少处理开销包括管理器，发送器，接收器线程使占用的内部资源最小化,复制的内部结构,Point-To-PointReplication,ServerA,TableA,Altibase,ServerB,Altibase,ServerC,Altibase,TableAXLOG,TableAXLOG,TableAInsert,Update,DeleteTransaction,TableA,TableA,WhyServerBdoesnotsendXLOGtransmittedfromServerAtoServerC?:BecauseinfiniteloopcanoccurifTableAwasreplicatedbetweenServerAandServerC.,TableA,Altibase,ServerB,Altibase,ServerC,Altibase,TableAXLOG,TableA,TableA,TableAXLOG,ServerA,TableAInsert,Update,DeleteTransaction,SolutionusingN-WayReplication,IfTableAisreplicatedamongServerA,B,CServerA(Active)ServerB(Standby),ServerA(Active)ServerC(Standby),Altibase复制技术,如何使用Altibase复制技术,Altibase的DB复制接口与SQL是相同的结构,简单、容易使用.运营系统时,可以随意控制复制的Create,Start,Stop，所以容易运营及管理系统和服务.设计时尽可能的考虑到了客户的复制运营及管理的容易性.,通过基于DB服务器功能的划分很容易提供可伸缩性.AltibaseDBMS1(当前)-AltibaseDBMS2(当前)很容易通过添加AltibaseDBMS服务器来扩展服务来解决服务的retrieval负载增加的问题.很容易解决复制的数据冲突问题.,发生Insert/Update/Delete数据事务,表n,AltibaseDBMS1(当前),表B,表A,Active-Active复制,Active-Active复制,可扩展系统,AltibaseReplication配置方案,基于DBMS的功能划分,分别管理共享表，将共享表按业务特性分类来配置灵活的系统.共享表:被大多数应用频繁访问的表，也就是热表(HotTable).,AltibaseReplication配置方案,基于业务的功能划分,Primary-StandbyArchitecture,Altibase,Altibase,ApplicationProgram,Replication,PrimaryServer,StandbyServer,Altibase,Altibase,PrimaryServer,StandbyServer,Altibase,Altibase,PrimaryServer,StandbyServer,Sync&Replication,Active-ActiveArchitecture,ApplicationProgram,ApplicationProgram,如何使用Altibase复制技术,Primary-MultiStandbyArchitecture,Altibase,Altibase,PrimaryServer,StandbyServer,Altibase,Altibase,PrimaryServerFailure,StandbyServer,Primary-MultiStandbyArchitectureusingPropagatorServer,Altibase,StandbyServer,Altibase,StandbyServer,如何使用Altibase复制技术,Replication,Replication,ApplicationProgram,ApplicationProgram,Replication,数据库复制: