数据移植工作经验共享课件

1、数据移植工作经验共享北京XXXXX信息技术股份有限公司2009年01月主要内容重要性与要求需要掌握的几个知识点工作内容效率优化重要性与要求整个项目实施中重要的一环，最后割接成功、失败的主要标志之一全面了解系统和业务的一个捷径要求细心，耐心分清主次，先抓主要矛盾主要内容重要性与要求需要掌握的几个知识点工作内容效率优化需要掌握的几个知识点不只是简单的SQL语句，还有UNIX数据库-ORACLE高级语言其他UNIX基础命令文件传输（FTP）主机空间(查看，清理等)了解如何查看主机资源（CPU、内存、IO）SHELL数据库- ORACLE实例表空间SQL语句：DML、DDL锁基本的语句调优高级语言（包

2、括但不限于）C语言PROC其他（包括但不限于）XML等主要内容重要性与要求需要掌握的几个知识点工作内容效率优化工作内容确定移植的工作环境数据调研和梳理数据移植方案数据库导出、导入数据转换数据核对错误数据处理确定移植工作环境主机生产主机、移植主机分别都是什么型号的？CPU、内存有多少？除了数据移植相关，还部署了哪些应用数据库数据库版本需要几个库？每个库的用户、权限该如何定义？数据库的表空间如何分配？空间需要移植的数据源的空间有多大？根据移植的复杂度预估一下中间转换需要多大空间每个库空间如何分配？数据调研和梳理了解数据源的数据模型和数据结构了解我们的数据模型和数据结构比较新旧版数据的字段大小、多少

3、，数据模型差异等跨库导出、导入Exp/imp(推荐)按库按用户按表Copy命令SQLPLUS的命令命令行COPY FROM database TO database FROM database TO database APPEND|CREATE|INSERT|REPLACE destination_table (column, column, column, .)USING query数据库链最简单的方式最容易引起混乱数据转换-常用技术-SHELLSHELL(示意脚本)#yz.shSQLPLUS USER/PASSWORDSIDyz1.sql数据转换-常用技术-几个实用技巧Insert all

4、Spool分析函数:row_number()等数据核对数量按区域核对：总数、地市等按状态核对：有效、无效，在网、离网等按主要字段核对：类型、级别等钱按区域核对：总数、地市等按状态核对：有效、无效，在网、离网等按主要字段核对：类型、级别等主要表的明细数据核对查找不符合要求的数据数据错误数据处理错误数据处理流程查找错误数据形成错误数据处理建议文档，与局方和开发人员进行交流敲定处理办法，修改数据移植脚本查找错误数据Group by Not in语句报错核对数据错误错误数据处理方式（参考）割接前局方自行处理，适用于数据量小，而且不再有错误新增的情况移植脚本处理，适用于错误和处理方式有规律，一直有数据新增的情况程序适当增加健壮性，可以处理部分数据错误，适用于错误原因不明，即使错误数据也要移植的情况忽略错误，适用于时间较长且不重要的数据主要内容重要性与要求需要掌握的几个知识点工作内容效率优化效率优化主机效率优化数据库优化应用优化主机优化(了解)CPU内存磁盘数据库级优化(了解)调整数据库参数，如parallel_max_serversdb_file_cacheShow parameter应用优化(掌握)EXP/IMP优化尽量把导入导出的单位放小，顺序依次是按表，按用户，按数据库细化任务，使用多进程使用管道