企业级数据仓库 从Teradata 到 ADB PG迁移指南

第1页共75页企业级数据仓库迁移指南第2页共75页 6 6 6 7 7 7 9 4.1.1数据类型转换对照 4.1.2物理模型转换规则 4.1.3使用已有的定义创建空表 第3页共75页 第4页共75页 8.3.3基于perlpsql连接数据库函数 第5页共75页 第6页共75页1.1编写目的角色说明迁移后如何进行的相关的维护，以保证系统1.2迁移原则外部表：允许用户像访问标准数据库表一样访问外部文件的表的定第7页共75页2TD迁移至ADBPG概述2.1迁移总体目标2.2数据库特征比较支持所有BI具改动量很小或没有；p等外部表导出、COPY第8页共75页Teradata有少量特殊语法或函数rank、qualify等、函数如charADBPG都有相对应的甚至更强大的函数，只是需要修改sql中的语等分布数据，分区表CRONTAB调度器+e系统监控等管第9页共75页2.3迁移总体流程历史数据迁移包括如下步骤：.从TD数据库按规定分隔符及字符编码将历史数据导成文本文件，存放确保ADBPG数据库通过gpfi第10页共75页应用接口迁移包括如下步骤：管理工具部署如下步骤：数据卸载数据加载第11页共75页3TD数据卸载及DDL导出规范.在卸数前，需要按迁移前协商好的字符编码从TD中卸出数据，推荐使.在卸数前，需要按迁移前协商好的分隔符从TD中卸出数据，推荐使用第12页共75页4数据定义语句(DDL)转换4.1Createtable无第13页共75页无式为YYYY-MM-键，但是不推荐；不支持CHECK条件及创索引定义第14页共75页PIDefinitions索引定义键定义4.1.1数据类型转换对照character(n),char(n)第15页共75页4.1.2物理模型转换规则第16页共75页COMMENTONTABLEsc些散值进行分区）和RANGE（按时间或按连续区间值分区）第17页共75页举例：第18页共75页4.1.3使用已有的定义创建空表转换为：4.2Droptable第19页共75页4.3临时表转换>转换直接将VOLATILE替换为temp/TEMPORARY，或者GLOBAL>允许会话中的其他查询使用这个可变临时表设置如ONCOMMIT在申请分布键前进行申明，语法如下：第20页共75页举例：5数据操作语句(DML)转换5.1Select5.1.1关键字转换规则如下：第21页共75页5.1.2别名关键字转换5.1.3子查询别名转换换规则如下：转换为：第22页共75页5.1.4字段别名转换转换为：举例：第23页共75页5.1.5调用函数区别5.2Delete第24页共75页其中：法如下：5.3Update第25页共75页6函数转换6.1TD与ADBPG函数转换对照表第26页共75页零处理移动汇总值移动差分值第27页共75页6.2函数转换示例6.2.1Qualify函数6.2.2CHAR函数第28页共75页6.2.3char_chn函数octet_length(convert($1,'UNICODE',6.2.4NULLIFZERO函数$BODY$selectcoalesce(7其他转换第29页共75页收集统计信息8ETL流程转换8.1客户端安全访问认证组成。如果需要在字段中出现空白字符，需要将字段用引号引每个远程客户端访问权限记录格式如下：第30页共75页其中，全部数据库。如果需要访问多个数据库，可以使用逗号(,)分割。或号跟随文件名的方式指定，该文件包含需要访问的所所有的数据库角色。如果需要允许组角色下的所有成员都可访问，可前使用加号(+)表示。如果是多个角色可以使用逗号(,)分割。或者使用一个标准的斜杆(/)分割IP地址和一个掩码长度值。IP地址只能式，不可以使用域名或者主机名。掩码长度表示的长度。指定的掩码长度右边的二进制IP地址位何IP地址。要匹配单个IP地址IPv4使用32作为掩码长度，IPv6使第31页共75页8.2数据加载转换8.2.1TD及ADBPG数据加载比较具外部表导入、者数据量较大时，推荐使用外部表的模式，因为快N倍。8.2.2ADBPG外部表加载数据启动gpfdist服务例如：第32页共75页&&创建外部表第33页共75页其中，第34页共75页表中。LOGERRORSINTOerror_table：将加载过程中拒绝的数据写在第35页共75页其中，第36页共75页表中。LOGERRORSINTOerror_table：将加载过程中拒绝的数据写在()第37页共75页义数据文件的格式。以下是自定义数据文件格式的外部表语法：('gpfdist://filehost[:port]/fil其中：第38页共75页LOGERRORSINTOerror_table：将加载过程中拒绝的数据写在下：第39页共75页('gpfdist://02:8)装载数据其中：停止gpfdist服务第40页共75页8.2.3copy工具加载数据管表中已存在什么数据，只是追加)。如果从文件拷贝数据命令可以使用单条记录隔离模式。在这种模式下，错误的记录将被忽有正确格式的数据继续装载进目标表，隔离的错误记录包括类型的列、无效的编码格式等。在目前版本，单条记录错误隔离模式全部失败”的输入模式，与外部表的隔离模式不同的是外部表加载时条记录错误隔离模式。用户可以指定可接受的错误行数操作会回滚。需要注意的是，错误记录是按照每个Segment到，所有不包含错误的记录都会加载至目标例如：第41页共75页第42页共75页表中。LOGERRORSINTOerror_table：将加载过程中拒绝的数据写在第43页共75页8.3ETL应用工具连接转换8.3.1通用psql连接数据库8.3.2通过DBI连接数据库第44页共75页8.3.3基于perlpsql连接数据库函数##参数：$gp_database##$db_usr############################################{第45页共75页}}第46页共75页}}8.3.4基于perlDBI连接数据库函数##参数：$gp_database############################################{(“DBI:Pg:dbname=$gp_database;host=$gp_db_第47页共75页print_log("[Info][ETL_die("[Error][ETL_BASE-}die("[Error][ETL}第48页共75页warn"[Error][ETL_BASE-execute}}}9其他应用接口迁移第49页共75页10资源负载管理迁移创建多个特定的资源队列来管理多种类型的数据库操作，例如高的查询的工作负荷情况来设置资源队列的限配置限制条件：第50页共75页注意：资源队列一旦创建，可以将数据库的角色（用户）指定源队列中，一个资源队列可以拥有多个角色，但是一个角色只能分创建资源队列语法：第51页共75页11角色及权限迁移角色与权限迁移包括如下内容：有效用户）权限导出，包括对数据库对象的操作权限（如登陆据库创建后创建相应角色；12备份与恢复管理12.1备份简述第52页共75页的调度程序)调度ADBPG数据库的gp_dump后台自动备份。调用gpcrondump的调度作业应该部署在ADBPG的Master主机。可以相应的使用pg_restore命令（归档格式的备份文件恢复时使用12.2非并行备份与恢复12.2.1非并行备份非并行备份简述备份文件，包含所有活动Instance实例的数据。大多数情况下，不建议采用该第53页共75页pg_dump语法语法说明：第54页共75页pg_dumpall语法语法说明：第55页共75页12.2.2非并行恢复非并行恢复简述有时，相对于并行恢复来说非并行恢复可能是很有必要的，第56页共75页有4份备份文件，无法在新的系统上平均分布。而非并行恢复则是将每个pg_restore语法语法说明：-ddbname|--dbname=dbname第57页共75页12.3并行备份与恢复12.3.1并行备份并行备份简述有ADBPG系统日志表（比如gp_segment_configuration各实例备份文件命令的一个包装，备份命令可以直接被调度器CRON调用。之外，gpcrondump命令还可备份数据库其他对象，如第58页共75页gp_dump备份gp_dump命令将执行如下的操作并产件，备份文件的名称为：备份文件的名称为：件的名称为：文件的名称为：第59页共75页活动的)Instance会备份。备份文件的名称为：注意：14位数字的时间戳，它是唯一标识备份操作的标识符，且作为gp_dump操作产生的每个备份文件名称的组成部分。这个时间戳在使用gp_dump语法第60页共75页语法说明：第61页共75页第62页共75页gpcrondump备份录：第63页共75页GPHOME=/usr/local/gre例如：4、在该文件中，每行输入一个电子邮件地址。例如：jjones@gpcrodump语法第64页共75页语法说明：记录数据库备份信息至public.gpcrondu第65页共75页备份日志存放目录，默认为~/gpAdminLog-ubackupdirectory第66页共75页-yreportfile12.3.2并行恢复并行恢复简述备份集合。gp_restore是ADBPG提供的并行恢复命令。这个命令通过使用gp_restore恢复gp_restore命令使用由gp_d第67页共75页运行由gp_dump生成的gp_dump1<dbid>_<timestamp>文件中作为gp_dump操作产生的每个备份文件名称的组成部分。这个第68页共75页2、确保在系统中，需要恢复的数据库(Database)已经被创建。例gp_restore语法语法说明：第69页共75页第70页共75页使用gpdbrestore恢复具备：（这个过程假设已经将备份文件移出GP集群到同一网络内的其他主机）2、确保在系统中，需要恢复的数据库(Database)已经被创建。例gpdbrestore语法gpdbrestore{-ttimestampkey[-L]|-bYYYYMMDD|-R第71页共