Teradata高可用性技术综述

1、Teradata高可用性技术综述Teradata作为专业的数据仓库提供商，经过数十年的发展，在数据仓库行业中积累了丰富的建设经验和成功案例，著名的国际评测机构Gartner Group在对数据仓库提供厂商进行的硬件、软件评测中，Teradata连接九年综合排名第一。高可用性作为Teradata数据仓库最显著的特点之一，在数据仓库的建设中一直发挥着举足轻重的作用。同时，经过多年的技术积累和发展，Teradata在高可用性方面提供了多技术保障，并提供完整的解决方案。Teradata根据高可用性级别的不同，提供了三个层次不同级别的可用性的技术保障，在每种层次中又提供了不同的保障技术。1. Terad

2、ata提供的缺省方案缺省的高可用性方案是Teradata的数据仓库体系架构所决定的一种与生倶来的特征，也是Teradata硬件、软件集成后所产生的一种高附加值的效能。右图所示是Teradata数据仓库的一种典型架构。在这种架构体系中，从系统级别、应用软件级别、工作负载级别都提供不同的高可用性技术保障。1.1 硬件冗余技术在Teradata的架构中，所有硬件产品都是冗余配置，任何一个部件的故障都不会影响到系统的正常运行，在硬件冗余技术上，主要有以下几个方面的体现：l BYENT网络：BYENT网络是Teradata专有的一种节点信息交换的私有网络，可以通过多个SMP节点之间的两两互连实现MPP的

3、网络，客户端不能直接访问它，同时，依靠BYNET软硬件技术保证信息传输的可靠性，因此节点之间的数据传输非常快，是同类网络中速度最快的一种传输方式。目前，Teradata 最新的BYNET V3，单向链路之间的数据传输速率可达90MB/s。BYNET具有两种信息传递机制，即点对点信息传输和信息广播。广播技术在节点互联中非常重要，通过它可以更好地实现节点间并行处理。目前市场上主要有三种节点互连技术，BYNET是唯一具有信息广播功能的，也是唯一通过硬件来保证信息的可靠传输的。 在Teradata数据仓库架构中，BYNET交换机都是双机配置，每个节点都通过BYNET卡分别连接到两台BYNET交换机上，

4、实现冗余功能，而且还可以实现节点之间的负载均衡，并能侦测链路之间的连接状态，做到隔离故障恢复故障的功能。l 电源保护在Teradata的体系架构中，包括从节点机柜、磁盘阵列机柜、BYNET机柜、备份机柜等每个单独的机柜都有冗余电源保护，其中包括双路AC电源的输入，35路UPS断电保护，可以保证系统在意外断电的情况下，能够有序的关机，而不会造成系统数据的丢失。l 磁盘阵列保护磁盘阵列的保护上，除了机柜本身自有的电源冗余保护外，在数据保护数据层级上，还包括了双磁盘阵列控制器，保证了每台磁盘阵列到节点都有不同的链接路径，从而实现控制和链路的双冗余，可以实现任何一条链路的意外中断都不会影响正常的数据传

5、输。另外，还有磁盘组成的RAID组，保证磁盘故障时系统业务不中断。l 节点保护在节点层级上，节点机柜本身的电源保护外，节点的配置还提供了双磁盘，组成RAID1镜像提供操作系统的保护。另外，在节点的管理上，提供了双路连接到机柜的管理交换机，到磁盘阵列的连接上，提供了多口光纤通道卡，保证与磁盘阵列的多路冗余。另外，对外的接口，可以根据用户的实际需求，提供双口的光纤或普通网卡。1.2 RAID保护技术RAID，为RedundantArraysofIndependentDisks的简称，中文为廉价冗余磁盘阵列。作为高性能的存储系统，已经得到了越来越广泛的应用。RAID的级别从RAID概念的提出到现在，

6、已经发展了多个级别，有明确标准级别分别是0、1、2、3、4、5等。但是最常用的是0、1、5三个级别。其它还有6、7、10、30、50等。RAID的使用增加了执行效率，提供了系统运行的稳定性。当主机将一个待写入阵列RAID组中的数据发送到阵列时，阵列控制器将该数据保存在缓存中并立即报告主机该数据的写入工作已完成。该数据写入到阵列硬盘的工作由阵列控制器完成，该数据可继续存放在Cache中直到Cache满，而且要为新数据腾出空间而必须刷新时或阵列需停机时，控制器会及时将该数据从Cache写入阵列硬盘中。 这种缓存回写技术使得主机不必等待RAID校验计算过程的完成，即可处理下一个读写任务，这样，主机的

7、读写效率大为增加。当主机命令将一个数据写入硬盘，则阵列控制器将该数据写入缓存最上面的位置，只有新数据才会被控制器按Write-BackCache的方式最后写入硬盘。 从总体性能上说，RAID1比RAID5在系统中体现出更好的性能。RAID Level通俗叫法描述阵列容量数据可靠性I/O效率最小磁盘需求1磁盘镜像每个工作盘都有一个镜像盘，每次写数据时必须同时写入镜像盘，读数据时只从工作盘读出，一旦工作盘发生故障立即转入镜像盘，从镜像盘中读出数据。 1*disks非常高很高25不需旋转奇偶检验是按某种规则把奇偶校验信息均匀地分布在阵列所属的硬盘上，所以在每块硬盘上，既有数据信息也有校验信息 (N-

8、1)*disks高较高3在相同数据容量的前提下，采用RAID1通常比采用RAID5性能会提高20%左右。在写操作中，RAID5所消耗的缓存资源是RAID1的3倍左右。因此在大量数据写操作中，控制器的内存将会成为系统的资源瓶颈。在银行业的数据仓库中，写操作非常多，大量的写操作使得RAID1成为数据文件阵列的最好选择，RAID1所能带来的性能优化在写操作中可以非常好的体现出来，而RAID5的写操作比较慢，造成I/O瓶颈，因此目前几乎所有银行客户在生产环境都采用了RAID1。在电信业的数据仓库中，对于I/O的要求会相对小一些，安全性要求也比银行低一些，因此会有部分的电信用户采用RAID5。任何一块硬

9、盘的损坏，对于RAID1来说，都不会影响系统的正常运行，此时系统转向其镜像硬盘继续读取数据。RIAD1甚至可以在有一半硬盘出现问题的不间断的工作（出现故障的硬盘在不同的RAID组，当然这种情况属于小概率事件）。RAID5只能容忍同一个RAID组中的一块硬盘故障，如果第二块硬盘同时出现故障，那么整个RAID组的数据都将丢失。总体来说，RAID1比RAID5具有更高的数据安全性和可靠性，因此，对像容错性要求极高的场合，如财政、金融等行业都采用RAID1。1.3 Clique技术Clique是Teradata数据仓库架构的基本概念，是由一组节点与磁盘阵列通过光纤线连接在一起形成了一个Clique组，

10、在一个Clique组里，所有的节点共享一组磁盘阵列。Teradata标准的Clique组可以包括24个节点，磁盘阵列的数据可以根据节点管理的磁盘的多少决定。如下图示，就是由两个Clique组成的一个Teradata数据仓库系统。Clique的正常运行是需要Teradata的硬件和软件保障。在一个Clique中，每个节点管理一定数量的AMP，每个AMP对应磁盘阵列上一组磁盘，形成一个VDISK组。不同的Clique，可以由Teradata不同代的产品组成，不同代的节点，根据节点处理性能的不同，磁盘阵列I/O的不同，管理不同的AMP数，共同组成一套性能均衡，多代共存的完整的数据仓库系统。在每个Cl

11、ique中，当其中的某台节点产生故障时，同一个Clique中的其它节点会接管故障节点上的所有的AMP，并能通过其它节点访问到故障节点管理的磁盘，保证数据仓库业务的不间断。如上图所示，如果Clique1中，一个节点由于某种原因宕机，因此它所管理的AMP将迁移到其它三个节点上，整个Clique的性能也会由于一个节点的宕机会有25的损失，但并不会影响业务的正常业务的运行。2. Teradata提供的可选方案2.1 热备节点技术Teradata为了保证节点故障时，既不影响正常业务，也不会产生性能的损失，因此Teradata提供了一种热备节点（HSN）的机制（如图所示），这样，当一个Clique中的某一

12、节点故障时，热备节点将会接管故障节点管理的所有AMP，这样可以保证系统不间断的运行，极大的增强了系统高可用性程度。由于Teradata提供标准的Clique，是由24节点组成，因此Clique的组成可以是11、21、31的形式，即每个标准Clique中包括一个热备节点，其它节点都正常的生产节点。如果一个Clique的节点不足4个，再扩容时，可以直接增加正常的生产节点，直到达到标准4节点，然后再根据需要增加另外的Clique。随着Teradata新节点5550H的推出，节点的处理能力得到了大幅的提高，每节点管理的AMP数即磁盘数不断的增加，因此热备节点已逐渐成为一种提供高可用性，提供连续应用的重

13、要保障。在一个没有热备节点的Clique中，如果其中的一台节点故障宕机时，其上的工作负载将转移到同一个Clique中的其它节点将接管宕机节点的所有任务，系统对外提供的服务不会中断，但系统的性能会随之下降（如下图所示）。在具备热节点的Clique中，如果一台节点宕机后，热备节点接管宕机节点的工作负载，系统的服务不会中断，同时系统的性能也不会有下降（如下图所示）。宕机节点恢复后，可将恢复成活动节点或将其作为热备节点。2.2 备份与恢复技术备份是将数据仓库的数据转移到磁带库上，以备归档或恢复使用的一种技术。数据备份/恢复作为数据仓库系统整体解决方案的重要组成部分不可或缺，数据备份/恢复子系统的可操作

14、性、操作的简易型和方便性、备份和恢复效率等也影响到整个系统。l 系统备份数据的备份可以根据数据的重要程度，选择不同的备份策略。一种情况下，Teradata会有以下几路备份策略： 增量备份：增量备份是指对所选定的对象，在前一次备份的基础上只对变化的部分进行备份，恢复时则需要一个全备份和此后的每次的增量备份才能对所选定的对象进行恢复。这是一种在OLTP系统中经常采用的备份方式，数据仓库不作增量备份。但是可以针对某些特定的需求制定相应的增量备份策略，譬如将来可以考虑将历史数据按年备份到磁带上。 全备份：指对所选定对象进行完整备份。恢复时，我们仅依靠这一个备份就能对所选定的对象进行恢复。通常，我们说的

15、全备份意味着不是对整个系统，而是对系统中特定的一部分对象进行备份。对于Teradata中心数据仓库核心数据，我们建议每周全备份，而不是每天。当出现意外时，使用上周的数据备份恢复，再重复本周每天的数据加载操作。最坏的情况是一次数据恢复和本周的加载更新操作。若采取每天全备份，系统资源开销较大，在后续阶段，数据量会越来越大，每天备份的时间随之增加。采用哪种方式和周期，这需要进行权衡，要充分考虑到每天备份数据的系统开销和出现意外时的数据恢复时间。在后续阶段，数据量会越来越大，我们建议的方法会体现出更多的好处。对于操作系统、应用程序及配置的备份，我们建议在有变动时每月分别做一次全备份，在没有变动时无须备

16、份，这样当操作系统或程序被损坏时，我们能够将操作系统或程序恢复到最新状态。l 系统恢复恢复处理分分以下几种类型： 系统故障恢复：系统故障分成以下三种类型：系统软件、CPU/节点故障和磁盘故障，下面将分别加以说明。- 系统软件：只有当系统软件故障导致数据破坏或崩溃时才需要进行数据恢复。TERADATA工程师通常会先尝试在线修复受损的数据，如果不行，则需要进行数据恢复处理，即从备份中进行数据恢复。- CPU /节点故障：当出现CPU /节点故障时，Teradata会自动把出现故障的节点上的进程移植到其它节点上，并自动进行负载均衡，无需人工干预进行数据恢复。- 磁盘故障：磁盘故障的保护是通过存储系统

17、的RAID 1提供的。冗余的磁盘控制器进一步加强了存储系统的可靠性。 硬件升级恢复大多数情况下，硬件升级时不需要进行数据的卸载与重新加载，Teradata的重配置(Reconfig)功能可以保证数据在进行升级后自动进行重新分配。 应用程序出错恢复应用程序出错是指程序本身由于编程逻辑上的错误，意外地损坏数据库的情况。 灾难恢复我们建议对流带进行双重备份，其中一个备份必须保存在其它地点，虽然不需要对所有备份进行双重处理，但建议至少每月进行一次磁带双备份，并将其中一个备份送至其它地点。万一发生灾难，必须更换硬件系统，然后从外面的磁带备份中进行系统的恢复。2.3 FallBack技术为了加强系统的安全

18、性和高可用性，Teradata还提供了一个FallBack的选项，它也是人工定义的。FallBack的原理很简单，就是在磁盘的另一个位置再保存一份相同的记录，这样，当原始数据所在存储单元发生故障时，可以使用其备份，并且不会中断原来的交易处理过程。当然，这是以额份的存储空间作为代价的。定义一个表时，可以定义该表使用FALLBACK选项或者NO FALLBACK选项。当使用FALLBACK选项后，该表中的每一条记录除了有一个主存储位置外，还会在另一个地方有一个相应的备份。显然，为了保证安全，备份记录必须与主记录不在同一个AMP上。FallBack可以保护非预期性的灾难性的故障，如同一个RAID组中的多块硬盘损坏、磁盘阵列机柜级别的损坏、由于数据仓库的管理员或人为的因素造成的意外的损坏等。当使用FALLBACK来保护数据时，系统可用性大大提高了，代价是增加了一倍的存储空间。3. Teradata提供的最佳方案双活动的Teradata系统 Teradata提供有双活动系统（Dual Ac