XML查询处理和优化.ppt

1、XML查询语言XQuery的查询处理和优化,导师：白硕 研究员 博士研究生：朱茂盛 计算所软件研究室 2001-11-24,报告内容,研究的意义 XML数据管理及其研究内容 国内外研究现状分析 我的选择和工作重点 已有的工作和准备 进度安排,1.研究意义,跨平台，不同机器上的应用互操作,Web信息处理自动化 特点（和HTML比较） 可扩展性，自描述，递归结构，数据有效性 应用 数据集成，应用集成，数据交换，历史文件存档 大量XML数据涌现 政府，商业文档，电子书，数字图书馆书目信息，电子商务数据，Semantic Web数据，Ontology数据，Ubiquitous,一个例子, TCP/IP

2、 Illustrated StevensW. Addison-Wesley 65.95 ,2.XML数据管理和研究内容,2.1XML数据管理 2.1.1查询 2.1.2增加，删除，修改 集成：没有更新，比如Mediator 交换:与传统的DBMS相比，批处理较多，查询多，已有一些研究结果Software AG。,Mediator-Wrapper,relational datasource1,object datasource2,Wrapper,Wrapper,Mediator,2.2研究内容 1.数据模型（W3C) 特点：多面手，关系，对象，文档 2.Schema 3.查询，更新语言（W3C)

3、 4.查询处理和优化 5.索引组织和存储管理 6.性能评价:Benchmark,研究内容,3.国内外研究现状分析,历史,国内外研究现状分析,半结构化数据的存储和查询,国内外研究现状分析,半结构化数据管理的特点 0.基于图的数据模型 1.没有固定的Schema,，需要用Data Mining算法从实例数据中提,如DataGuide,STORED, 2.查询语言一般都有很复杂的路径表达式，正则表达式 3.兼具IR的特色,Proximity Search，索引复杂 4.结论：复杂，收效甚微 5.XML已出现，都转向XML 6.与XML的区别 大多的XML数据都有Schema,国内外研究现状分析,XM

4、L的存储和查询,国内外研究现状分析,性能比较和Benchmark,国内外研究现状分析,工业界,国内外研究现状分析,工业界支持的特点 基于模板映射的方法,手工作映射，能够利用关系数据库存入，取出XML数据。 最新结果 IBMs Almaden research center Microsofts SQL Server2000 自动映射， XQuery查询关系数据的XML视图,各种方法分析,各种方法分析比较,有schema强于没有schema 没有schema也要尽量提取一个不完整的Schema来 纯文本 半结构的web数据 关系数据 弱 中 强 Schema 的作用：查询处理，优化，数据布局，结

5、果浏览,我对Native 的理解 目前基于关系数据库的XQuery查询处理的缺陷 1.两次查询处理，基于视图查询时的多查询的最小化，和优化， 2.由于XQuery和SQL之间的语义差别，关系的查询处理技术，优化技术不能很好的支持XQuery，关系内在缺乏对自描述，递归结构的处理 3.没有更新 4.缓冲区的结构,4我的选择和工作重点,我的选择,选择有schema的XML数据 克服关系数据库管理XML数据的缺点 有效的支持XQuery查询处理和优化 就发表的论文来看以前没有人做过这个工作，有可能正在进行还没有发表结果 有很多新的机会和难得经验,讨论,XML数据管理的特征 和关系数据库比较 关键：带

6、Tag的嵌套结构元素的提取和 构造,工作重点,查询处理 查询代数算子，等价公式，基于规则的逻辑查询优化(选择谓词push down,投影去掉不需要的元素） 优化算法 统计信息，成本估计，基本算子的选取，启发式方法减小搜索空间，动态规划算法寻找最优 物理查询计划。 索引结构及其维护 数据布局 有效支持带Tag的嵌套结构元素的提取和 构造,以前的工作，可利用的资源和准备,用关系数据库来存储XML数据 XQuery语言的parser W3Cs XQuery, XSchema 各种schema,dtd,XML测试数据，benchmark 数据生成工具 Berkeley DB Toolkit(B+ Gl

7、impse全文检索工具(支持contain函数) 排序，索引，优化算法例程 关系数据库实现技术,技术来源,Database system implementation(ullman, stanford) Database system concepts(silberschatz, bell lab) File structures:an analytic approach(salzberg) Data on the web(abiteboul,INRIA) Transaction Processing:concept and techniques (jim gray, microsoft re

8、search) Indexing techniques for advanced database system) /sigmod/ ,6.研究计划,现在-年底技术准备，详细设计 明年3月6月编码，测试(以上两项和程 雷共同完成。 明年7月后年1月，算法改进，发论文 后年3月后年6月，论文写作,1.XML作为数据表示格式数据集成 2.XML作为数据交换格式-数据交换,工作报告 （continued),数据集成,Mediator-Wrapper,relational datasource1,object datasource2

9、,Wrapper,Wrapper,MediatorXML view,数据交换,Agent,Agent,Agent,Agent,XML,XML,XML,XML,数据交换,Agent必须根据XML数据所属的Schema 验证XML数据的有效性。 Agent必须能存储XML数据 Agent必须能检索XML数据 Agent必须出版XML数据 XML的Schema语言XSchema XML的查询语言XQuery,XML的存储和检索,目前基于关系数据库的XQuery查询处理的缺陷,1.两次查询处理，基于视图查询时的多查询的最小化，和优化， 2.由于XQuery和SQL之间的语义差别，关系的查询处理技术，优化技术不能很好的支持XQuery，关系内在缺乏对自描述，递归结构的处理