技术篇-数据资源管理技术

管理信息系统-基础技术篇数据资源管理技术引言现在企业的问题不是数据太少，而是数据太多！“信息爆炸”面临的问题存储信息爆炸访问共享安全引言引言引言数据是重要的组织资源，它同企业其他资源：劳动力、原材料、资金和设备一样，应该放在同等重要的位置上进行管理。许多组织由于缺乏关于企业内部运作和外部环境的高质量的信息，因而在竞争中失败。引言广义的数据资源管理包括：文件组织数据库和数据仓库数据规划和数据管理企业数据处理方式文件组织数据库系统主要内容：企业数据处理方式文件组织数据库系统一、企业数据处理方式现代企业处理信息的方式主要有以下两种：以联机事务处理形式处理信息（OLTP）以联机分析处理（OLAP）形式处理信息，并利用信息进行决策OLTP

联机事务处理(OLTP：OnLine

TransactionProcessing)基本特征：顾客的原始数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果。一个重要性能指标是实时响应时间(ResponseTime)

即用户在终端上送入数据之后，到计算机对这个请求给出答复所需要的时间。

目前大多数企业运用业务数据库（Operationaldatabase）和数据库管理系统（DBMS）对OLTP提供支持。OLAP-OnLine

AnalyticalProcessing联机分析处理企业从事务中获取信息后，需要对信息进行分析，以便从事各项决策任务。OLAP是一种为支持决策而进行的信息处理方式。数据仓库能支持联机分析处理信息的功能OLTPvsOLAPOLTPOLAP数据特性原始、细节性数据汇总、提炼性资料数据时间性当时的运算资料包含历史数据变化频率经常少有变化，大多为查询主题性功能导向、交易驱动分析导向、分析驱动数据处理量一次处理的数据量小一次处理的资料量大使用者针对操作人员、日常操作针对决策人员、支持管理需要性能要求可快速更新资料可快速得到查询结果OLTPvsOLAP二、文件组织文件——数据库的基础数据的物理组织和逻辑组织几种文件组织方式文件——数据库的基础1企业中的数据一般是以文件的形式组织起来的，并按档案的方式存放在光盘、磁盘等存储介质上，应用时根据用户的指令，用特定的程序对文件的内容进行操纵。2人们总是以文件为单位，操纵数据库中的数据。数据的物理组织和逻辑组织信息的物理组织是面向机器、面向存储设备信息的逻辑组织是面向用户的应用需求几种文件组织方式文件是数据库组织的基础。文件的逻辑组织形式将直接影响整个信息系统的效率。几种文件组织方式顺序文件索引文件链表文件倒排文件顺序文件顺序文件是最简单的文件，文件的各个记录按逻辑顺序存放在外存的连续区中，即顺序文件中物理记录的顺序和逻辑记录的顺序一致。如果文件按关键字有序输入，则形成的顺序文件称为顺序有序文件；否则称为顺序无序文件。顺序文件根据记录的序号或记录的相对位置来进行存取，其特点是当存取第i个记录时，必须先搜索在它之前的i-1个记录；插入新的记录时，只能加在文件的末尾；若要更新文件中的某个记录，则必须将整个文件进行复制。顺序文件：应用场合最佳应用场合，是在对诸记录进行批量存取时，即每次要读或写一大批记录。此时，对顺序文件的存取效率是所有逻辑文件中最高的。在交互应用的场合，如果用户(程序)要求查找或修改单个记录，为此系统便要去逐个地查找存诸记录。这时，顺序文件所表现出来的性能就可能很差，尤其是当文件较大时，情况更为严重。增加或删除一个记录，比较困难。索引文件具有索引表的文件成为索引文件。索引表中的每一项称作索引项。不论主文件是否按关键字有序，索引表中的索引项总是按关键字（或逻辑记录号）顺序排列。若数据区中的记录也按关键字顺序排列，则称索引顺序文件。反之，若数据区中记录不按关键字顺序排列，则称非顺序文件。索引文件可以大大提高表查找的速度。因为索引表容量小，且索引表按关键字有序。三大索引介绍科学引文索引（SCI)

《科学引文索引》（ScienceCitationIndex,简称SCI）是美国科学情报研究所（InstituteScientificInformation，简称ISI，http://）出版的一种世界著名的综合性科技引文检索刊物。工程索引（EI）《工程索引》（TheEngineeringIndex，简称EI）创刊于1884年，是美国工程信息公司(EngineeringinformationInc.)出版的著名工程技术类综合性检索工具。《科技会议录索引》ISTP创刊于1978年，由美国科学情报研究所编辑出版。该索引收录生命科学、物理与化学科学、农业、生物和环境科学、工程技术和应用科学等学科的会议文献，包括一般性会议、座谈会、研究会、讨论会、发表会等。其中工程技术与应用科学类文献约占35%，其他涉及学科基本与SCI相同。三者比较SCI最能反映基础学科研究水平和论文质量，该检索系统收录的科技期刊比较全面，可以说它是集中各个学科高质优秀论文的精粹，该检索系统历来成为世界科技界密切注视的中心和焦点。ISTP、EI这两个检索系统评定科技论文和科技期刊的质量标准方面相比之下较为宽松。

扬大跻身全国高校五十强北美普林斯顿大学中国大学研究专家菲莱德公布2006年中国大学100强排名，我省有13家高校入选，扬州大学排名46位，跻身前五十强。该排名主要依据2005年各高校在ＳＣＩ上及在美国的影响力。高校2004年生物类SCI论文排序，扬州大学37位，8篇。三、数据库系统数据库处理数据库管理系统数据库模型和数据库组织结构数据库设计数据库技术发展趋势数据库处理文件系统的缺点数据冗余与数据不一致性数据结构的不一致性数据信息共享性低数据库系统克服了文件系统的这些缺点。

数据管理技术的产生和发展什么是数据管理对数据进行分类、组织、编码、存储、检索和维护，是数据处理的中心问题数据管理技术的发展过程人工管理阶段(40年代中--50年代中)文件系统阶段(50年代末--60年代中)数据库系统阶段(60年代末--现在)人工管理时期40年代中--50年代中产生的背景应用需求：科学计算硬件水平：无直接存取存储设备软件水平：没有操作系统 处理方式：批处理 特点数据的管理者：应用程序，数据不保存。数据面向的对象：某一应用程序数据共享：无共享、冗余度极大数据独立性：不独立，完全依赖于程序数据结构化：无结构数据控制：应用程序自己控制应用程序１数据集１应用程序２数据集２应用程序ｎ数据集n...…...…应用程序与数据的对应关系(人工管理)文件系统时期50年代末--60年代中产生的背景应用需求：科学计算、管理 硬件水平：磁盘、磁鼓 软件水平：文件系统 处理方式：联机实时处理、批处理特点数据管理者：文件系统，数据可长期保存数据面向对象：某一应用程序数据共享程度：共享性差、冗余度大数据结构化：记录内有结构,整体无结构数据独立性：独立性差，数据的逻辑结构改变必须修改应用程序数据控制能力：应用程序自己控制应用程序１文件１应用程序２文件2应用程序ｎ文件n存取方法...…...…应用程序与数据的对应关系(文件系统阶段)时期60年代末以来产生的背景应用背景：大规模管理硬件背景：大容量磁盘软件背景：有数据库管理系统处理方式：联机实时处理,分布处理,批处理 特点数据的管理者：DBMS数据面向的对象：现实世界数据的共享程度：共享性高数据的独立性：高度的物理独立性和一定的逻辑独立性数据的结构化：整体结构化数据控制能力：由DBMS统一管理和控制数据库系统应用程序与数据的对应关系(数据库系统)DBMS应用程序1应用程序2数据库…数据库管理系统数据库管理系统（DatabaseManagementSystem，DBMS）是位于用户与操作系统之间的一层数据管理软件。DBMS的用途：科学地组织和存储数据、高效地获取和维护数据用户（包括数据库管理员）应用程序数据库管理系统操作系统硬件DBMS的主要功能A数据定义功能提供数据定义语言(DDL)

定义数据库中的数据对象B数据操纵功能:提供数据操纵语言实现对数据库的基本操作，如查询、插入、删除和修改等。SQL查询语言。C数据库的运行管理

数据安全性、完整性 并发访问 故障恢复D

实用程序

数据批量装载数据库转储数据库的重组织性能监视等数据库模型与数据库组织结构数据库模型主要有三种：层次模型网络模型关系模型关系模型是最重要的一种数据模型。也是目前主要采用的数据模型。1970年由美国IBM公司SanJose研究室的研究员E.F.Codd首次提出数据库系统的关系模型。关系模型以数学中的关系理论为基础。层次数据模型层次模型是数据库系统中最早使用的模型，适合一对多的关系层次模型结构简单，容易实现，对于某些特定的应用系统效率很高，但如果需要动态访问数据（如增加或修改记录类型）时，效率不高。另外，对于一些非层次性结构（如多对多联系），层次模型表达起来比较繁琐和不直观。网状数据模型网状模型可以看作是层次模型的一种扩展。它采用网状结构表示实体及其之间的联系。网状模型与层次模型相比，提供了更大的灵活性，能更直接地描述现实世界，性能和效率也比较好。网状模型的缺点是结构复杂，用户不易掌握，记录类型联系变动后涉及链接指针的调整，扩充和维护都比较复杂。实体实体实体实体实体关系数据模型关系模型是目前应用最多、也最为重要的一种数据模型。关系模型建立在严格的数学概念基础上，采用二维表格结构来表示实体和实体之间的联系。二维表由行和列组成。关系模型概念清晰，结构简单，实体、实体联系和查询结果都采用关系表示，用户比较容易理解。另外，关系模型的存取路径对用户是透明的，程序员不用关心具体的存取过程，减轻了程序员的工作负担，具有较好的数据独立性和安全保密性。关系模型也有一些缺点，在某些实际应用中，关系模型的查询效率有时不如层次和网状模型。为了提高查询的效率，有时需要对查询进行一些特别的优化数据表数据表数据表核心服务用户用户用户关系模型在用户观点下，关系模型中数据的逻辑结构是一张二维表，它由行和列组成。关系模型的基本概念关系（Relation）一个关系对应一张表。元组（Tuple）表中的一行即为一个元组。属性（Attribute）表中的一列即为一个属性，给每一个属性起一个名称即属性名。主码（Key）表中的某个属性组，它可以唯一确定一个元组。域（Domain）属性的取值范围。分量元组中的一个属性值。关系模式对关系的描述关系名（属性1，属性2，…，属性n）数据库组织结构--SPARC分级结构用户级数据库用户1用户2用户3用户4外模式A外模式B外模式C外模式到概念模式的映射概念模式概念模式到内模式的映射内模式DBMSOS物理级数据库概念级数据库用户视图DBA视图物理视图数据库设计数据库是信息系统的核心组成部分。数据库设计在信息系统开发中占有重要地位，数据库设计的质量将影响信息系统的运行效率及用户对数据使用的满意度。数据库设计数据库设计是一个从现实世界向计算机数据世界转换的过程。现实世界信息世界数据世界数据库设计客观世界信息世界（概念世界）数据世界事物及其联系实体及其联系（概念模型）数据库（数据模型）事物类实体集文件对象、个体实体记录性质属性数据项三个不同世界术语对照表数据库设计步骤需求分析概念建模导出关系数据模型数据库设计步骤需求分析概念建模导出关系数据模型了解组织机构情况，为分析信息流做准备了解各部门业务情况，调查各部门输入、处理、使用数据情况确定数据库的信息组成计算机系统应实现的功能数据库设计步骤需求分析概念建模导出关系数据模型建立分ER图综合分ER图，产生总ER图数据库设计步骤需求分析概念建模导出关系数据模型从ER图导出计算机世界的关系数据模型数据库设计案例：学院教学管理数据库设计基本信息描述：某学院下设4个系：管理工程系、会计系、市场营销系、信息管理系。每个系由一个系主任主管该系工作。该学院聘请了一定数量的专职教师。学院聘请教师后，分配到各系。一个系由多个教师，一个教师只能属于一个系。学院每年招收新生，分配到各个专业。学院制定教学计划，设置多项课程。学生根据专业要求，每年学习多门课程，每门课程被多个学生选读。学生必须参加考试，获取成绩。一个教师可以上多门课程，一门课程可由多个教师讲授。教师授课任务完成后，将被学生与院方评估。需求分析数据库设计案例：学院教学管理数据库设计系和教师分ER图：概念建模系教师分配1n代号名称系主任办公地点电话专业姓名编号数据库设计案例：学院教学管理数据库设计学生和课程分ER图：概念建模学生课程学习mn学号姓名性别年龄所属系学分课程名编号成绩数据库设计案例：学院教学管理数据库设计教师和课程分ER图：概念建模教师课程教学mn编号姓名专业学分课程名编号学生评估学院评估数据库设计案例：学院