技术篇数据资源管理技术

1、技术篇数据资源管理技术引言 现在企业的问题不是数据太少，而是数据太多！第1页/共69页“信息爆炸”面临的问题存储存储信息爆炸信息爆炸访问访问共享共享安全安全引言第2页/共69页引言第3页/共69页引言数据是重要的组织资源，它同企业其他资源：劳动力、原材料、资金和设备一样，应该放在同等重要的位置上进行管理。许多组织由于缺乏关于企业内部运作和外部环境的高质量的信息，因而在竞争中失败。第4页/共69页引言 广义的数据资源管理包括：文件组织数据库和数据仓库数据规划和数据管理一一企业数据处理方式企业数据处理方式二二文件组织文件组织三三数据库系统数据库系统第5页/共69页主要内容：主要内容： 企业数据处理

2、方式 文件组织 数据库系统第6页/共69页一、企业数据处理方式一、企业数据处理方式 现代企业处理信息的方式主要有以下两种： 以联机事务处理形式处理信息（OLTP） 以联机分析处理（OLAP）形式处理信息，并利用信息进行决策第7页/共69页OLTP 联机事务处理 (OLTP：OnLine Transaction Processing)基本特征： 顾客的原始数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果。一个重要性能指标是实时响应时间(Response Time) 即用户在终端上送入数据之后，到计算机对这个请求给出答复所需要的时间。 目前大多数企业运用业务数据库（Operatio

3、nal database）和数据库管理系统（DBMS）对OLTP提供支持。第8页/共69页OLAP-OnLine Analytical Processing联机分析处理 企业从事务中获取信息后，需要对信息进行分析，以便从事各项决策任务。 OLAP是一种为支持决策而进行的信息处理方式。 数据仓库能支持联机分析处理信息的功能第9页/共69页OLTP vs OLAPOLTPOLAP数据特性数据特性原始、细节性数据原始、细节性数据汇总、提炼性资料汇总、提炼性资料数据时间性数据时间性当时的运算资料当时的运算资料包含历史数据包含历史数据变化频率变化频率经常经常少有变化，大多为查询少有变化，大多为查询主题性

4、主题性功能导向、交易驱动功能导向、交易驱动分析导向、分析驱动分析导向、分析驱动数据处理量数据处理量一次处理的数据量小一次处理的数据量小一次处理的资料量大一次处理的资料量大使用者使用者针对操作人员、日常操作针对操作人员、日常操作针对决策人员、支持管理需要针对决策人员、支持管理需要性能要求性能要求可快速更新资料可快速更新资料可快速得到查询结果可快速得到查询结果第10页/共69页OLTP vs OLAP第11页/共69页二、文件组织二、文件组织 文件数据库的基础 数据的物理组织和逻辑组织 几种文件组织方式第12页/共69页文件数据库的基础第13页/共69页数据的物理组织和逻辑组织 信息的物理组织是面

5、向机器、面向存储设备 信息的逻辑组织是面向用户的应用需求第14页/共69页几种文件组织方式 文件是数据库组织的基础。 文件的逻辑组织形式将直接影响整个信息系统的效率。 几种文件组织方式 顺序文件 索引文件 链表文件 倒排文件第15页/共69页顺序文件l顺序文件是最简单的文件，文件的各个记录按逻辑顺序存放在外存的连续区中，即顺序文件中物理记录的顺序和逻辑记录的顺序一致。如果文件按关键字有序输入，则形成的顺序文件称为顺序有序文件；否则称为顺序无序文件。l顺序文件根据记录的序号或记录的相对位置来进行存取，其特点是当存取第i个记录时，必须先搜索在它之前的i-1个记录；插入新的记录时，只能加在文件的末尾

6、；若要更新文件中的某个记录，则必须将整个文件进行复制。第16页/共69页顺序文件：应用场合l最佳应用场合，是在对诸记录进行批量存取时，即每次要读或写一大批记录。此时，对顺序文件的存取效率是所有逻辑文件中最高的。l在交互应用的场合，如果用户(程序)要求查找或修改单个记录，为此系统便要去逐个地查找存诸记录。这时，顺序文件所表现出来的性能就可能很差，尤其是当文件较大时，情况更为严重。l增加或删除一个记录，比较困难。第17页/共69页索引文件l 具有索引表的文件成为索引文件。l 索引表中的每一项称作索引项。不论主文件是否按关键字有序，索引表中的索引项总是按关键字（或逻辑记录号）顺序排列。l 若数据区中

7、的记录也按关键字顺序排列，则称索引顺序文件。反之，若数据区中记录不按关键字顺序排列，则称非顺序文件。l 索引文件可以大大提高表查找的速度。因为索引表容量小，且索引表按关键字有序。 第18页/共69页三大索引介绍l 科学引文索引（SCI) 科学引文索引（Science Citation Index,简称SCI）是美国科学情报研究所（Institute Scientific Information，简称ISI，http:/）出版的一种世界著名的综合性科技引文检索刊物。第19页/共69页工程索引（EIEI）l 工程索引（The Engineering Index，简称EI）创刊于1884年，是美国工

8、程信息公司(Engineering information Inc.)出版的著名工程技术类综合性检索工具。 第20页/共69页科技会议录索引 ISTP ISTPl 创刊于1978年，由美国科学情报研究所编辑出版。该索引收录生命科学、物理与化学科学、农业、生物和环境科学、工程技术和应用科学等学科的会议文献，包括一般性会议、座谈会、研究会、讨论会、发表会等。其中工程技术与应用科学类文献约占35%，其他涉及学科基本与SCI相同。第21页/共69页三者比较 SCI最能反映基础学科研究水平和论文质量，该检索系统收录的科技期刊比较全面，可以说它是集中各个学科高质优秀论文的精粹，该检索系统历来成为世界科技界

9、密切注视的中心和焦点。 ISTP、EI这两个检索系统评定科技论文和科技期刊的质量标准方面相比之下较为宽松。 第22页/共69页扬大跻身全国高校五十强 北美普林斯顿大学中国大学研究专家菲莱德公布2006年中国大学100强排名，我省有13家高校入选，扬州大学排名46位，跻身前五十强。该排名主要依据2005年各高校在上及在美国的影响力。 高校2004年生物类SCI论文排序，扬州大学37位，8篇。第23页/共69页三、数据库系统数据库处理数据库管理系统数据库模型和数据库组织结构数据库设计数据库技术发展趋势第24页/共69页数据库处理 文件系统的缺点 数据冗余与数据不一致性 数据结构的不一致性 数据信息

10、共享性低 数据库系统克服了文件系统的这些缺点。第25页/共69页 数据管理技术的产生和发展l 什么是数据管理l对数据进行分类、组织、编码、存储、检索和维护，是数据处理的中心问题l 数据管理技术的发展过程l人工管理阶段(40年代中-50年代中)l文件系统阶段(50年代末-60年代中)l数据库系统阶段(60年代末-现在)第26页/共69页时期l 40年代中-50年代中产生的背景l 应用需求：科学计算l 硬件水平：无直接存取存储设备l 软件水平：没有操作系统l 处理方式：批处理特点特点l 数据的管理者：应用程序，数据不保存。数据的管理者：应用程序，数据不保存。l 数据面向的对象：某一应用程序数据面向

11、的对象：某一应用程序 l 数据共享：无共享、冗余度极大数据共享：无共享、冗余度极大l 数据独立性：不独立，完全依赖于程序数据独立性：不独立，完全依赖于程序l 数据结构化：无结构数据结构化：无结构l 数据控制：应用程序自己控制数据控制：应用程序自己控制第27页/共69页应用程序应用程序数据集数据集应用程序应用程序数据集数据集应用程序应用程序数据集数据集n n.第28页/共69页时期 50年代末-60年代中产生的背景 应用需求：科学计算、管理 硬件水平：磁盘、磁鼓 软件水平：文件系统 处理方式：联机实时处理、批处理特点v 数据管理者：文件系统，数据可长期数据管理者：文件系统，数据可长期保存保存v

12、数据面向对象：某一应用程序数据面向对象：某一应用程序 v 数据共享程度：共享性差、冗余度大数据共享程度：共享性差、冗余度大v 数据结构化：记录内有结构数据结构化：记录内有结构,整体无结整体无结构构v 数据独立性：独立性差，数据的逻辑数据独立性：独立性差，数据的逻辑结构改变必须修改应用程序结构改变必须修改应用程序v 数据控制能力：应用程序自己控制数据控制能力：应用程序自己控制第29页/共69页应用程序应用程序文件文件应用程序应用程序文件文件2 2应用程序应用程序文件文件n n存取存取方法方法.第30页/共69页第31页/共69页时期 60年代末以来产生的背景 应用背景：大规模管理 硬件背景：大容

13、量磁盘 软件背景：有数据库管理系统 处理方式：联机实时处理,分布处理,批处理特点特点l 数据的管理者：数据的管理者：DBMSDBMSl 数据面向的对象：现实世界数据面向的对象：现实世界l 数据的共享程度：共享性高数据的共享程度：共享性高l 数据的独立性：高度的物理独数据的独立性：高度的物理独立性和一定的逻辑独立性立性和一定的逻辑独立性l 数据的结构化：整体结构化数据的结构化：整体结构化l 数据控制能力：由数据控制能力：由DBMSDBMS统一管统一管理和控制理和控制第32页/共69页应用程序与数据的对应关系(数据库系统)DBMSDBMS应用程序应用程序1 1应用程序应用程序2 2数据库数据库第3

14、3页/共69页数据库管理系统 数据库管理系统（Database Management System，DBMS）是位于用户与操作系统之间的一层数据管理软件。 DBMS的用途：科学地组织和存储数据、高效地获取和维护数据第34页/共69页A 数据定义功能 提供数据定义语言(DDL) 定义数据库中的数据对象B 数据操纵功能:提供数据操纵语言 实现对数据库的基本操作，如查询、插入、删除和修改等。SQL查询语言。C C 数据库的运行管理数据库的运行管理 数据安全性、完整性数据安全性、完整性 并发访问并发访问 故障恢复故障恢复D D 实用程序实用程序 数据批量装载数据批量装载 数据库转储数据库转储 数据库的

15、重组织数据库的重组织 性能监视等性能监视等第35页/共69页数据库模型与数据库组织结构 数据库模型主要有三种： 层次模型 网络模型 关系模型 关系模型是最重要的一种数据模型。也是目前主要采用的数据模型。 1970年由美国IBM公司San Jose研究室的研究员E.F.Codd首次提出数据库系统的关系模型。 关系模型以数学中的关系理论为基础。第36页/共69页层次数据模型层次模型是数据库系统中最早使用的模型，适合一对多的关系层次模型结构简单，容易实现，对于某些特定的应用系统效率很高，但如果需要动态访问数据（如增加或修改记录类型）时，效率不高。另外，对于一些非层次性结构（如多对多联系），层次模型表

16、达起来比较繁琐和不直观。第37页/共69页网状数据模型 网状模型可以看作是层次模型的一种扩展。它采用网状结构表示实体及其之间的联系。 网状模型与层次模型相比，提供了更大的灵活性，能更直接地描述现实世界，性能和效率也比较好。网状模型的缺点是结构复杂，用户不易掌握，记录类型联系变动后涉及链接指针的调整，扩充和维护都比较复杂。实体实体实体实体第38页/共69页关系数据模型关系模型是目前应用最多、也最为重要的一种数据模型。关系模型建立在严格的数学概念基础上，采用二维表格结构来表示实体和实体之间的联系。二维表由行和列组成。关系模型概念清晰，结构简单，实体、实体联系和查询结果都采用关系表示，用户比较容易理

17、解。另外，关系模型的存取路径对用户是透明的，程序员不用关心具体的存取过程，减轻了程序员的工作负担，具有较好的数据独立性和安全保密性。关系模型也有一些缺点，在某些实际应用中，关系模型的查询效率有时不如层次和网状模型。为了提高查询的效率，有时需要对查询进行一些特别的优化数据表数据表数据表数据表数据表数据表核心服务核心服务用户用户用户用户用户用户第39页/共69页关系模型关系模型 在用户观点下，关系模型中数据的逻辑结构是一张二维表，它由行和列组成。学学生生登登记记表表学学 号号姓姓 名名年年 令令性性 别别系系 名名年年 级级95004王王小小明明19女女社社会会学学9595006黄黄大大鹏鹏20男

18、男商商品品学学9595008张张文文斌斌18女女法法律律学学95第40页/共69页关系模型的基本概念关系模型的基本概念 关系（Relation）一个关系对应一张表。 元组（Tuple）表中的一行即为一个元组。 属性（Attribute）表中的一列即为一个属性，给每一个属性起一个名称即属性名。主码（主码（KeyKey）u表中的某个属性组，它可以唯表中的某个属性组，它可以唯一确定一个元组。一确定一个元组。域（域（DomainDomain）u属性的取值范围。属性的取值范围。分量分量u元组中的一个属性值。元组中的一个属性值。关系模式关系模式u对关系的描述对关系的描述u关系名（属性关系名（属性1 1，属

19、性，属性2 2，属性属性n n）第41页/共69页数据库组织结构数据库组织结构-SPARCSPARC分级结构分级结构用户用户1用户用户2用户用户3用户用户4外模式外模式A外模式外模式B外模式外模式C外模式到概念模式的映射外模式到概念模式的映射概念模式概念模式概念模式到内模式的映射概念模式到内模式的映射内模式内模式DBMSOS第42页/共69页数据库设计 数据库是信息系统的核心组成部分。数据库设计在信息系统开发中占有重要地位，数据库设计的质量将影响信息系统的运行效率及用户对数据使用的满意度。第43页/共69页数据库设计数据库设计是一个从现实世界向计算机数据世界转换的过程。现实世界信息世界数据世界

20、第44页/共69页数据库设计客观世界信息世界（概念世界）数据世界事物及其联系事物及其联系实体及其联系（概念模实体及其联系（概念模型）型）数据库（数据模型）数据库（数据模型）事物类事物类实体集实体集文件文件对象、个体对象、个体实体实体记录记录性质性质属性属性数据项数据项三个不同世界术语对照表三个不同世界术语对照表第45页/共69页数据库设计步骤需求分析概念建模导出关系数据模型第46页/共69页数据库设计步骤需求分析概念建模导出关系数据模型第47页/共69页数据库设计步骤需求分析概念建模导出关系数据模型第48页/共69页数据库设计步骤需求分析概念建模导出关系数据模型第49页/共69页数据库设计案例

21、：学院教学管理数据库设计基本信息描述： 某学院下设4个系：管理工程系、会计系、市场营销系、信息管理系。每个系由一个系主任主管该系工作。 该学院聘请了一定数量的专职教师。学院聘请教师后，分配到各系。 一个系由多个教师，一个教师只能属于一个系。 学院每年招收新生，分配到各个专业。 学院制定教学计划，设置多项课程。学生根据专业要求，每年学习多门课程，每门课程被多个学生选读。学生必须参加考试，获取成绩。 一个教师可以上多门课程，一门课程可由多个教师讲授。教师授课任务完成后，将被学生与院方评估。需求分析第50页/共69页数据库设计案例：学院教学管理数据库设计系和教师分ER图：概念建模系教师分配1n代号名

22、称系主任办公地点电话专业姓名编号第51页/共69页数据库设计案例：学院教学管理数据库设计学生和课程分ER图：概念建模学生课程学习mn学号姓名性别年龄所属系学分课程名编号成绩第52页/共69页数据库设计案例：学院教学管理数据库设计教师和课程分ER图：概念建模教师课程教学mn编号姓名专业学分课程名编号学生评估学院评估第53页/共69页数据库设计案例：学院教学管理数据库设计教学管理总ER图：概念建模教师课程教学mn学生评估学院评估系分配1n学生学习nm成绩第54页/共69页数据库设计案例：学院教学管理数据库设计导出关系数据模型系（系编号，名称，系主任姓名、办公地址，电话）教师（教师编号，姓名，专业，

23、系编号）学生（学号，姓名，性别，年龄，系代号）课程（课程号，课程名，学分）学习（学号，课程号，成绩）教学（教师编号，课程号，学生评估，学院评估）第55页/共69页数据库技术发展的趋势数据库技术发展的趋势 分布式数据库 数据存储的物理地址是分散的 逻辑上是一个整体（DDBMS支持） 对数据的安全性、准确性、及时性、标准性提出了新挑战第56页/共69页分布式数据库示意图第57页/共69页面向对象的多媒体的面向对象的多媒体的WebWeb数据库数据库 面向对象是一种认识方法学，也是一种新的程序设计方法学。 把面向对象的方法和数据库技术结合起来可以使数据库系统的分析、设计最大程度地与人们对客观世界的认识

24、相一致。面向对象数据库系统是为了满足新的数据库应用需要而产生的新一代数据库系统。 多媒体数据 面向对象技术（封装性） 用Web技术集成数据资源第58页/共69页作业与思考 美国著名计算机安全专家布鲁斯施奈尔曾指出：“我们很快将生活在一个无论何时何地都无法保留任何个人隐私的世界里”， 试围绕信息社会的个人隐私问题写一篇论文， 要求：字数1000字左右，有3-5篇参考文献，作业时间1个月，形式为打印或手写。 交稿时间：4月底5月初，请课代表收集。第59页/共69页The end第60页/共69页引言 现在企业的问题不是数据太少，而是数据太多！第61页/共69页OLTP 联机事务处理 (OLTP：O

25、nLine Transaction Processing)基本特征： 顾客的原始数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果。一个重要性能指标是实时响应时间(Response Time) 即用户在终端上送入数据之后，到计算机对这个请求给出答复所需要的时间。 目前大多数企业运用业务数据库（Operational database）和数据库管理系统（DBMS）对OLTP提供支持。第62页/共69页OLTP vs OLAPOLTPOLAP数据特性数据特性原始、细节性数据原始、细节性数据汇总、提炼性资料汇总、提炼性资料数据时间性数据时间性当时的运算资料当时的运算资料包含历史数据包含

26、历史数据变化频率变化频率经常经常少有变化，大多为查询少有变化，大多为查询主题性主题性功能导向、交易驱动功能导向、交易驱动分析导向、分析驱动分析导向、分析驱动数据处理量数据处理量一次处理的数据量小一次处理的数据量小一次处理的资料量大一次处理的资料量大使用者使用者针对操作人员、日常操作针对操作人员、日常操作针对决策人员、支持管理需要针对决策人员、支持管理需要性能要求性能要求可快速更新资料可快速更新资料可快速得到查询结果可快速得到查询结果第63页/共69页顺序文件l顺序文件是最简单的文件，文件的各个记录按逻辑顺序存放在外存的连续区中，即顺序文件中物理记录的顺序和逻辑记录的顺序一致。如果文件按关键字有序输入，则形