人大金仓KingbaseES中的缓冲机制.doc

KingbaseES中加强的缓冲机制磁盘I/O一直是数据库性能的瓶颈之一，随着处理器速度的不断提高，这一问题变得更加突出： 处理器没有被充分利用，大量的时间被消耗在I/O上。为了提高数据库的性能，KingbaseES采用了多种缓冲机制，减少系统i/o，从而提高了系统的运行效率。这包括数据缓存，执行计划缓存以及结果集缓存等相关技术。1、数据缓存优化首先，什么是数据缓存？缓存是介于应用程序和物理数据源之间，数据缓存就是将数据暂存于内存缓存区中的一种技术。缓存内的数据是对物理数据源中的数据的复制，应用程序在运行时从缓存读写数据，在特定的时刻或事件会同步缓存和物理数据源的数据。为什么需要数据缓存？通常情况下，大量数据是保存在数据库中的，而应用程序访问数据库是一项很费时的操作。如果先将数据库中的数据缓存到缓存区中，当应用程序需要这些数据时，直接从缓存区中提取，降低了应用程序对物理数据源访问的频次，就可以减少系统开销。从而提高了应用的运行性能。数据缓存优化的必要性数据缓存跟操作系统的缓存类似，其存储最近从数据文件中读取的数据块，其中的数据可以被所有的用户所访问。如当我们利用Select语句从数据库中查询员工信息的时候，其首先不是从数据文件中去查询这个数据，而是从数据高速缓存中去查找，而没有这个必要再去查询磁盘中的数据文件了。只有在数据缓存中没有这个数据的时候，数据库才会从数据文件中去查询。数据库为什么要如此设计?这是由于数据库在读取数据的时候，读取内存的速度比读取磁盘的速度要快很多倍，所以这种机制可以提高数据的整体访问效率。数据缓存可以减少系统开销，但是不能将所有的数据缓存到缓冲区，内存是有限的。数据库不能将所有的数据缓存到缓冲区，也不能不选择性的对数据进行缓存。如果数据库随意缓存数据，那么就不能起到提升数据库性能的作用，反而消耗大量内存。KingbaseES采用优化的数据缓存技术将经常访问的数据保存在内存中来减少磁盘的访问次数，这样可以真正提升内存的利用效率。 2、执行计划缓存什么是执行计划缓存？一个语句执行时会将这个语句的执行计划缓存，当相同或相似的语句再次被执行时，可以使用已有的执行计划缓存节省对语句的parse，analyze和plan过程。计划缓存的机制一个语句在服务器中一般要经历：parse，analyze，plan和execute过程，parseanalyzeplan过程的主要输出是语句的执行计划，当语句比较复杂时，该过程占用的CPU时间可能会比较长，如果在一个语句执行时将这个语句的执行计划缓存，当相同或相似的语句再次被执行时，可以使用已有的执行计划缓存，这样可以节省parseanalyzeplan过程，从而降低CPU占用率。查询计划应用：查询计划缓存主要是更加明确的查询计划缓存的适用场景，如：增大缓存的适用范围、缩减失效条件。KingbaseES提供了执行计划的缓存功能。此功能可以将一个查询的执行计划进行缓存，当相同或者相似的查询发送到服务器时，就可以使用缓存的执行计划，从而节省服务器对sql语句的语义分析过程和优化过程。在查询重复数量多，查询种类不多但重复量大的场景中可以带来较大的性能提升。同时KingbaseES的缓存范围是实例级，较其他的数据库更为明确。KingbaseES支持了prepare语句，这是国产数据库的又一项优势。执行计划缓存的缺点当执行的参数，语句等等相关发生变化时，缓存就会轻易的失效，所以数据库对计划缓存的失效限制是决定缓存应用范围的重要因素。KingbaseES的计划缓存条件限制相对其他数据库来说做到较小的限制，让缓存产生更大的作用。3、结果集缓存结果集缓存是将查询的结果进行缓存，在查询所依赖的对象没有被修改的条件下，同一查询的结果也不会改变，那么同样的查询再次发生时，可以从缓存中读取已经被缓存的结果，从而提高重复查询的响应时间。KingbaseES通过结果集缓存技术，可以大幅度减少对大数据量表的聚集操作结果，以及减少重复连接的开销。因此，结果集缓存特性尤其适合于相同的查询操作反复出现的场景下使用。结果集缓存分类有多种方式：按共享范围：连接级：同一连接内的查询可以缓存结果集、使用缓存的结果集；全局级：不同连接的查询可以缓存结果集、使用缓存的结果集，Oracle是全局级的；按缓存的粒度：节点级：查询的节点的结果集可以被缓存，相同的节点可以使用缓存。语句级：只有查询语句的最终结果被缓存，相同的查询语句可以使用缓存。按缓存的位置：服务器缓存：服务器负责维护缓存；客户端缓存：客户端负责维护缓存。结果集缓存的适用场景：查询的执行阶段比较耗时，例如：引起的IO较多。查询的结果集小。结果集不应该太大，否则会使缓存的结果集个数减少，影响其他经常性查询的结果集缓存。只读事务。同一个查询多次重复执行。结果集缓存能提升性能，但是结果集会因为一些条件而失效。比如：schema被修改、删除或更改权限时，视图、表被修改或删除时等等许多的情况都会使结果集失效。KingbaseES在失效条