优化方案 文档

优化方案文档优化方案：ETL的过程原理和数据仓库建设（赛迪网技术社区ETL的过程原理和数据仓库建设方法归纳总结了以下优化的方案，详细内容请读者参考下文：引言数据仓库建设中的ETL(Extract,Transform,Load)是数据抽取、转换和装载到模型的过程，SQL语句编写的存SQL语句的效率将直接影响到数据仓库后台的性能。IT领域热门话题的原因。优化的思路分析ETL过程的主要特点是：面对海量的数据进行抽取；分时段对大批量数据进行删ETL过程需要在每天的零点开始到点之前完成。所以，针对ETL过程的优化主要是结合数据仓库自身的特SQL入手来进行。优化的实例分析目前数据仓库建设中的后台数据库大部分采OracleSQLOracle的语法来Oracle9i环境中通过，但其优化的方法和原理同样适合除Oracle其他数据库。索引的正确使用ETL过程中的索引需要遵循以下使用原则：当插入的数据为数据表中的记录数量以上时,首先需要删除该表的索引来提高引。避免在索引列上使用函数或计算，在WHERE优化器将不使用索引而使用全表扫描。举例:低效：SELECT*ROMDEPTWHERESAL*12>25000;高效：SELECT*FROMDEPTWHERESAL>25000/12;NOT和”!=”NOT和”!=”时，就会停止使用索引转而执行全表扫描。索引列上用>=替代>高效：SELECT*FROMEMPWHEREDEPTNO>=4低效：SELECT*FROMEMPWHEREDEPTNO>3两者的区别在于，前者DBMSDEPT等于4的记录而后者将首先定位到DEPTNO=3的记录并且向前扫描到第一个DEPT大于3的记录。Oracle9i以上版本新的功能：基于函数的索引(Function-BasedIndex)CREATEINDEXEMP_IONEMP(UPPER(ENAME));SELECT*FROMEMPWHEREUPPER(ENAME)=‘BLACKSNAIL’;游标的正确使用ETL过程中的使用又必不可少，而且使用ID的一致性，所以采用游标的是数据按照普通的方式将无法处理大数据量的维表数据维护（一般是指1万条记录以上的维表，以下是处理这种情况的有效方式：天的维表数据维护只针对更新日期为最新时间的数据来进行，大大减少需要维护的数据记录数。INSERTUPDATE维表时都加上一INSERTINTODIM_CUSTOMERSELECT*FROMODS_CUSTOMERWHEREODS_CUSTOMER.CODENOTEXISTS(DIM_CUSTOMER.CODE)使用显式的游标(CURSORs)隐式的游标将会执行两次操作，第一次检索记TOOMANYROWS这个SQL优化3.3.1WHERE子句中的连接顺序ORACLEWHERE条件之前，那些可以过滤掉最大数量记录的条件必须写在WHERE子句的末尾。低效：SELECT*FROMEMPEWHERESAL>50000ANDJOB=‘MANAGER’AND25<(SELECTCOUNT(*)FROMEMPWHEREMGR=E.EMPNO);高效：SELECT*FROMEMPEWHERE25<(SELECTCOUNT(*)FROMEMPWHEREMGR=E.EMPNO)ANDSAL>50000ANDJOB=‘MANAGER’;3.3.2TRUNCATEDELETEDELETE删除表中的记录时，有回滚段(rollbacksegments)用来存放可以被恢复的信息，而当运用TRUNCATE时，回滚段不再存放任何可被恢复的信息，所以执行时间也会很TRUNCATE只在删除全表时TRUNCATEDDL3.3.3COMMITETLCOMMIT不像业务系统为保证数据的完整和一致性而需要某个操作过程全部完成才能进行，只要有可能就在程序中对每个DELETE、INSERT和UPDATE操作尽量多使COMMIT,COMMIT释放的资源而大大提高。3.3.4EXISTSINETL过程写数据到模型时经常需要关联10个左右的EXISTSIN将提高查询的效率。3.3.5NOTEXISTSNOTIN子查询中，NOTIN序和合并，无论在哪种情况下，NOT