DAT239SQLServer2005数据仓库方面的新功能

DAT239

SQLServer2005数据仓库方面的新功能肖维TechnicalLeadSQLServerEngineAccessMethod微软有限公司自我介绍AccessMethod负责的技术范围数据的访问(BTREE)数据的检查(DBCCCHECK)数据的修理(DBCCREPAIR)图像和文件的存储(TEXT/IMAGE/VARCHAR)数据的可靠性：事务管理数据文件空间管理(FILESPACE)临时数据库(TEMPDB)索引管理(INDEX)数据导入(BULKINSERT)今天的内容SQLServer™2005在建造数据仓库方面的新功能深入介绍索引视图，表分区背景知识最好有关系数据库的基本知识不需要有数据仓库方面的专门知识内容讲座范围性能增强Performance表分区Partitioning数据易于得到Availability增强的ＴＳＱＬ查询功能讲座范围

数据仓库的各种任务今天内容包含：数据导入数据清理和转变transformation报表产生Creatingreports填充(Feeding)cubes构造

Datamarts不会讲到:从不同源头取得数据用工具实现数据转变内容讲座范围性能增强Performance表分区Partitioning数据易于得到Availability增强的ＴＳＱＬ查询功能数据仓库的性能增强64-bit分区视图(DistributedPartitionedViews)索引视图(IndexedViews)包含其他列的索引(INCLUDEColumns)INSERT使用OPENROWSET表分区(Partitioning)按照时间分区分区视图DPV多个SQLServer实例上的分区视图SQLServer2000和2005都有在SQLServer2005上，有更多的并行操作…Sales_

200501Sales_

200502Sales_

200512DistributedPartitionedViewV_Sales_

All}索引视图性能增强视图展开的缓存：缩短编译时间许多情况下，索引视图维护时间减少如何检测对你的应用有帮助？更多视图上可以建索引SUM和COUNT_BIG–没有GROUPBY某些自定义函数scalarUDFs-T-SQL,deterministic,没有数据库访问索引视图索引视图的使用有所进步，比如索引视图有计算列C=A+B，查询有A+B索引视图有“Abetween10and20”，查询有“Abetween15and18”索引视图有“A>=BandC=10”查询有“C=10andB<=A”包含其他列的索引比如:CREATETABLEt1(aINT,bINTPRIMARYKEY,cCHAR(2000))CREATEINDEXi2ONt1(a,c)CREATEINDEXi1ONt1(a)INCLUDE(c)失败成功aaaaaaaaaa,ca,ca,ca,ca,ca,ca,ca,c包含列键

列…包含其他列的索引INSERT使用OPENROWSETSQLServer2000有这个功能SQLServer2005增强：允许直接从文件导入支持大数据优化BULKoptimization长远方向使用OPENROWSET的INSERT会取代

BULKINSERTINSERT使用OPENROWSET

比如–过滤数据:

INSERTINTOt1 WITH(IGNORE_CONSTRAINTS,

IGNORE_TRIGGERS) SELECTc1,c2FROM OPENROWSET(BULK,‘c:\data.txt’)

ASmytable(c1,c2,c3) WHEREc3>10INSERTwithOPENROWSET

SQLServer2005Improvements比如转换数据：根据keytable表的值转换

c3INSERTINTOt1WITH….

SELECTc1,c2,keys.d1FROM OPENROWSET(BULK,‘c:\data.txt’)

ASmytable(c1,c2,c3) INNERJOINUser1.keytableASkeys ON(c3=keys.key)内容讲座范围性能增强Performance表分区Partitioning数据易于得到Availability增强的ＴＳＱＬ查询功能表和索引的分区

好处管理大数据更方便性能更好数据更加容易得到主要应用情形:移动窗口移动窗口应用实例

很大的数据量每小时／天／周／月／年产生新的分区，删除最旧的分区新的分区–可能先需要数据导入,清洗,转换。新的分区–也可能直接由应用程序填入数据。旧的分区–可能需要备份,长期存储,复原(backup,archive,restore)分区

#123452002-01-012003-01-012004-01-012005-01-01

2001及之前2002数据2003数据2004数据2005及

之后[空][空][空]2006-01-012005数据2006及

之后62005中间表2002导出表分裂最新的分区，为以后的时间加一个边界点在同样的文件组里创建一个中间表导入数据到中间表，建索引把中间表合并到第二新的分区数据导入使用移动窗口的推荐经验

始终保持空的分区在最早和最晚的时间段（两端）保证分区的合并，分裂操作可以瞬间完成增加新数据:首先分裂最新的分区,然后把中间表合并到第二新(分区#５)的分区删除旧数据:首先把数据从第二旧的分区(分区#2)导出,然后把最旧的两个分区合并内容讲座范围性能增强Performance表分区Partitioning数据易于得到Availability增强的ＴＳＱＬ查询功能怎样让数据容易得到分块管理只读和离线的文件组快照隔离数据库快照在线操作分块管理的原则

更加细微的操作数据管理工作影响最少量的数据数据页（8KB）数据文件文件组分区不参加操作的数据依然可以得到性能不受影响分块管理

数据可取得与否决定于什么？

早期的SQLServer整个数据库是否在线SQLServer2005数据库在线,但是并非所有的文件组都在线DatabasePrimaryFilegroupFilegroupAFilegroupB文件组

A依然不可用，因为文件缺失数据库可用管理员找到文件，启动恢复文件组

文件组现在可用了！比如

Server启动DatabasePrimaryFilegroup可用了！FilegroupBFilegroupAPrimary备份LogFilegroupAFilegroupB比如

灾难后的分块复原根据优先次序在线复原文件组快照1时间数据库改变许多用户许多用户快照2一个事务４个语句数据库快照可提交-读-快照隔离快照隔离两种“快照”的比较索引的创建和维护CREATE,ALTER,DROP在线复原onlinerestore分块复原．复原文件组不影响数据库的操作。回滚恢复过程不影响数据库的操作SQLServer2000–回滚恢复过程中数据库不可用SQLServer2005–数据库可用，回滚同时进行在线操作内容讲座范围性能增强Performance表分区Partitioning数据易于得到Availability增强的ＴＳＱＬ查询功能强大的ＴＳＱＬ查询功能ROW_NUMBER，RANK，NTILE(n)用于排名PIVOT/UNPIVOT行列互换，分析数据ＯＬＡＰ调用函数APPLY抽取最前TOP(n)递归查询抽样查询TABLESAMPLE总结

SQLServer2005关系数据仓库高性能表分区数据高可用性易于管理强大的ＴＳＱＬ查询功能目标:帮助用户更加方便地建造数据仓库我常去的网上社区microsoft.public.sqlserver.server.sqlserver欢迎访问我的BLOGhttp:///weix/中文SQLServer主页:/china/sql/techne