数据管理技术

1、问题一：在一个系，有一张学生选课表(学号，课程号，选修课程，成绩)，记载着该系学生的选课情况。该系的教学秘书需要查询和统计某些学生的修课情况、各门课程的成绩、平均成绩；需要查询和统计选修了某门课程的学生、课程的平均成绩、成绩的分布情况问题二：在一个大学，有一张学生选课表(学号，课程号，选修课程，成绩)，记载着该校学生的选课情况，学生基本信息表(学号，姓名，性别，所属系，电话号码)，记载该校学生的信息，开设课程表(课程号，课程名，课程类别，学分)，记载该校开设的课程信息。学生工作处需要查询和统计各系、各性别学生人数的分布情况、平均成绩的分布情况，以及重修学生的人数和比例；学校教务处需要查询和统计

2、各系开设的课程总门数，不同类别的课程门数、总学分数，各课程选修的学生总数和平均成绩。问题三：一个大学有多个管理部门：学生工作处、人事处、财务处、教务处、房管处、设备处、校长办公室，负责对全校的学生、职工、财务、教学、房产、设备、校日常事务进行管理；有多个学院：计算机学院、数学学院、生命科学学院、法学院、商学院，分别负责对本院学生、教学、教师、设备等进行管理.这三个问题为什么感觉越来越困难？从问题一至问题三，为什么感觉越来越困难？用户越来越多数据量和范围越来越大需求越来越复杂数据管理对数据进行分类、组织、编码、存储、检索和维护，是数据处理的中心问题。数据管理技术的目标就是合理地组织数据、有效地存

3、取数据，为此必须解决下列问题： 存储介质 数据的表示 数据的操作 数据的管理NumberNameCourseDateGrade9525012ZhangYanMIS1998.9A9525018Jeff YuMIS1998.9A9525027He HuiMIS1998.9B数据库是目前最有效的数据管理工具，成为现代管理信息系统的核心和基础数据库是目前最有效的数据管理工具，成为现代管理信息系统的核心和基础数据的组织数据的组织1数据库与数据管理数据库与数据管理2数据仓库与分析处理数据仓库与分析处理3数据组织的层次性文件文件(File)记录记录(Record)RecordFieldFiled域域(Fie

4、ld)FieldByte字节字节(Byte)ByteByteBitBit位位(Bit)Bit物理组织物理组织位位字节字节字符字符技技术术界界面面字符字符域域(数据数据项项)记录记录文件文件逻辑组织逻辑组织员工员工对数据的有效组织和管理,关键在于在各个层次上建立数据世界与现实世界的准确、完善的对应关系，并以恰当、高效的手段来安排数据世界的各个层次数据的组织数据的组织1数据库与数据管理数据库与数据管理2数据仓库与分析处理数据仓库与分析处理3 在应用需求的推动下，在计算机硬件、软件发展的基础上，数据管理技术经历了人工管理、文件系统、数据库系统三个阶段。在50年代中期以前，计算机主要用于科学计算。 硬

5、件状况是，外存只有纸带、卡片、磁带，没有磁盘等直接存取的存储设备； 软件状况是，没有操作系统，没有管理数据的软件；人工管理数据具有如下特点： 数据不保存 数据不共享 应用程序管理数据(1) 人工管理阶段(自由管理阶段)50年代后期到60年代中期 硬件方面已有了磁盘、磁鼓等直接存储设备； 软件方面，操作系统中已经有了专门的数据管理软件，一般称为文件系统用文件系统管理数据具有如下特点： 数据可以长期保存 由文件系统管理数据(2) 文件系统阶段注册系统注册系统会计系统会计系统勤工俭学系统勤工俭学系统注册程序注册程序学生文件学生文件会计程序会计程序学生文件学生文件学生文件学生文件勤工俭学程序勤工俭学程

6、序缺点：数据冗余缺点：数据冗余数据不一致数据不一致数据独立性差数据独立性差60年代后期以来，计算机用于管理的规模越来越大，应用越来越广泛，数据量急剧增长，同时多种应用、多种语言互相覆盖地共享数据集合的要求越来越强烈。数据由数据库管理系统DBMS统一管理和控制数据库系统管理具有如下特点： 数据的共享性高 冗余度低(3) 数据库系统阶段注册系统注册系统会计系统会计系统勤工俭勤工俭学系统学系统注册程序注册程序会计程序会计程序 勤工俭学程序勤工俭学程序DBMS数据库数据库1.数据库所谓数据库是长期储存在计算机内、有组织的、可共享的数据集合 长期是指数据永久保存，不是转瞬即逝的 有组织是指按照某种数据模

7、型如关系模型进行存储 可共享是数据库中的数据可以被不同的用户共享。每个用户可以因不同的目的而访问相同的数据，甚至可以同时访问同一数据 例如：产品数据库，银行数据库，。数据库两个主要目标是减少冗余和获得数据独立性减少数据冗余 冗余就是数据的重复； 冗余数据意味着对某些事实的修改必须在多处进行，否则它们的值不相等，很难确定哪一个值是正确的。 获得数据独立性 在对数据结构进行修改时，不必修改处理该数据的应用程序2.数据库管理系统数据库管理系统(DataBase Management System, DBMS)是用于在数据库中创建、存储、组织和读取数据的一类特殊软件 Access是个人电脑使用的DBM

8、S Oracle和SQL Server是在大中型主机上使用的DBMS MySQL是一种流行的开源DBMS数据库管理系统的功能（1）数据定义 定义数据库中数据的结构,主要用于建立数据库表和定义表中字段的属性【例】CREATE TABLE student(name CHAR(10),) 建立一个名为student的学生表，其属性包括学生姓名等各项信息（2）数据字典 存储关于数据库结构的元数据,即数据的数据 如某一个字段的名称、描述、大小、类型以及格式等信息（3）数据操纵 实现数据库中有关数据的各种操作，包括数据插入、修改、删除以及查询 现在最常用的数据操纵语言是结构化查询语言SQL【例】 SELE

9、CT name FROM student WHERE age203.关系数据库 (1) 数据模型现实世界信息世界数据世界人们头脑之外的客观世界，它包含客观人们头脑之外的客观世界，它包含客观事物及其相互联系。事物及其相互联系。信息世界，是现实世界在人们头脑中信息世界，是现实世界在人们头脑中的反映。的反映。现实世界中的事物及其联系，在数据世界现实世界中的事物及其联系，在数据世界中用数据模型描述。中用数据模型描述。信息的转换过程客观客观 事物类：事物类：事物事物 相关性质集合相关性质集合人人实体实体 实体集合实体集合及及 实体实体联系联系 相关属性集合相关属性集合 加工、转换加工、转换数数 文件文件

10、据据 记录记录库库 相关数据项集合相关数据项集合加工加工转换转换存储存储 二进制数据集合二进制数据集合结构结构计算机世界计算机世界DBMS数据世界数据世界DBMS的数的数据模型据模型信息世界信息世界认识选择描述认识选择描述现实世界现实世界E-R模型模型DBMS的数据模型 在数据库系统中，对现实世界中数据的抽象、描述以及处理等都是通过数据模型来实现的。 层次模型,网状模型,关系模型ABCDEF 关系模型(Relational Model)美国IBM公司的E.F.Codd，从1970年起连续发表了多篇论文，提出关系模型，奠定了关系数据库的理论基础关系模型用二维表表示实体与实体之间联系的模型在关系模

11、型下,数据的逻辑结构是二维表学号学号 姓名姓名 班级班级 性别性别 981233 张三 MBA981 男 981236 李四 MBA981 女 981237 王五 MBA982 男 981240 赵六 MBA982 男 关系模型中的主要术语包括： 关系关系（relationrelation）：对应于实体集合的二维表；）：对应于实体集合的二维表； 元组元组（tupletuple）：也称为记录（）：也称为记录（recordrecord），即二维表中的），即二维表中的一行，对应于一个实体；一行，对应于一个实体； 属性属性（attributeattribute）：即二维表中的一列，代表实体的一）：即二

12、维表中的一列，代表实体的一个数据侧面，属性在元组上的取值就是数据项；个数据侧面，属性在元组上的取值就是数据项； 关系模式关系模式：即对关系的描述，用关系名（属性：即对关系的描述，用关系名（属性1 1，属性，属性2 2，属性，属性n n）的形式表达。）的形式表达。 主码主码/ /主关键字主关键字(key)(key)：唯一标识每条记录的属性：唯一标识每条记录的属性完整性约束是为保证数据库中数据的正确性.(1) 完整性约束实体完整性 每一条数据记录都应该具有身份标识 在数据库中，每个数据库表都应当含有一个不能为空且无重复的主码学号学号 姓名姓名 班级班级 性别性别 981233 王五MBA981 女

13、 981236 李四 MBA981 女 981233 王五 MBA982 男 赵六 MBA982 男 参照完整性 反映数据属性值之间的某种“存在性”关系 子表中的值存在时，其所参照的父表中的值应当已经存在，否则，参照完整性遭到破坏用户自定义完整性（属性的值类型和值域）：决定该属性的基本数据特征 属性为“月份”,则该属性的类型为整型数字,并且取值范围在1, 2, 3, ,12之中 属性为“性别”，则取值应在“男”，“女”之中 数据依赖关系反映数据属性值之间的“对应”关系。以函数依赖为例，属性组B依赖于属性组A（记为AB）是指：如果任两条记录的A值相等，则必有相等的B值与之相对应。换句话说，AB反

14、映了“相等的B值对应相等的A值”这样的语义。(2) 数据依赖关系插入异常：在没有采购这个产品时，它的价格无法输入删除异常：在删除了有关某产品的最后一条订单时，其价格信息也被删除冗余度大：如果某项产品有多条订单，价格被存储多次Orders字段例子订单编号产品编号订购日期价 格001A0012000-2-3$29.00 Orders字段例子订单编号订购日期0012000-2-3产品编号 A001Products字段例子产品编号价 格A001$29.00实体联系模型反映的是信息世界中的实体及其相互联系。图书作者写作出版社类别页数ISBN*书名姓名出生地身份证号*定稿时间价格实体(Entity) 现实

15、世界中存在的对象和事物。属性(Attribute) 属性指实体具有的某种特性。(1) 基本概念实体名称实体名称表示方法：表示方法：表示方法：表示方法：属性属性实体名称实体名称属性属性2属性属性n属性属性1联系 现实世界的事物总是存在着这样或那样的联系。表示方法：表示方法：一对一联系 如果对于A中的一个实体，B中至多有一个实体与其发生联系，反之，B中的每一实体至多对应A中一个实体，则称A与B是一对一联系。 (2) 联系类型系系系主任系主任任职任职11病区病区科室主任科室主任任职任职11一对多联系 如果对于A中的每一实体，实体B中有一个以上实体与之发生联系，反之，B中的每一实体至多只能对应于A中的

16、一个实体，则称A与B是一对多联系。 (2) 联系类型AB联系联系1n联系联系教研室教研室教师教师1n多对多联系 如果A中至少有一实体对应于B中一个以上实体，反之，B中也至少有一个实体对应于A中一个以上实体，则称A与B为多对多联系AB联系联系mn教师教师学生学生教学教学mn出版社出版社类别类别页数页数ISBN*书名书名姓名姓名出生地出生地身份证号身份证号*定稿时间定稿时间价格价格1、利用分类、聚集、概括等方法抽象出实体，并一一、利用分类、聚集、概括等方法抽象出实体，并一一命名。命名。2、描述实体之间的联系、描述实体之间的联系3、实体属性和联系属性的说明、实体属性和联系属性的说明mn 支持ER模型

17、-关系数据库之间转换的开发工具：ERWin Oracle DeveloperSybase PowerDesigner 图 5 9 ER模型与关系数据库结构数据库也是一种软件,所以数据库的发展趋势在总体上与软件的发展趋势是一样的 越来越自然,人使用起来越来越方便发展方向从三方面来看数据的组织数据的组织1数据库与数据管理数据库与数据管理2数据仓库与分析处理数据仓库与分析处理3信息处理的任务信息获取信息获取从企业内从企业内部和外部部和外部获得最为获得最为基本的信基本的信息息将企业中将企业中的信息以的信息以最有效的最有效的方式提交方式提交给其他实给其他实体体对已有的对已有的信息进行信息进行处理以获处理

18、以获得新的信得新的信息息将有用的将有用的信息存储信息存储起来起来信息传递信息传递信息创造信息创造信息存储信息存储信息通信信息通信通过媒体通过媒体将信息传将信息传递给他人递给他人或另一地或另一地点点企业业务和管理企业业务和管理决策的核心内容决策的核心内容OLTP (Online Transaction Processing) 主要用于快速有效的处理日常的、重复性的数据，产生的结果主要是业务报告OLAP (Online Analytical Processing) 加入了对累积数据的分析，由最终用户分析，将战略信息放在决策者手上一个好的系统能够支持用户方便的查询数据，也能快捷、准确、有效地支持决策

19、即把一个组织中的历史数据收集到一个中央仓库中以便于处理；是支持决策过程的、面向主题的、集成的、随时间而变的、持久的数据集合；是OLAP应用的环境和基础；是当今信息管理中的主流趋势之一。 (1) 数据仓库(data warehouse, DW)35数据仓库体系结构其它数据源元数据存储监控和管理OLAP服务器分析操作数据库提取转换数据仓库服务查询/报告装入刷新数据集市数据挖掘数据源数据存储OLAP引擎前端工具数据仓库和数据库系统 对 比 内 容 数 据 库 数 据 仓 库数据内容当前值历史的、存档的、归纳的、计算的数据数据目标面向业务操作程序，重复处理面向主题域，分析应用数据特性动态变化，按字段更

20、新静态、不能直接更新，只能定时添加、刷新使用频率访问量高，少量记录低，海量记录对响应时间的要求以秒为单位时间长主要用户基层业务人员和管理人员高层决策人员【例】假设你的公司在东部、西部和中部地区销售四种不同的产品螺母、螺钉、垫圈和螺丝钉。如果你提问： 东部地区上一个季度垫圈的销售量通过查询销售数据库可以容易地找到答案 每个地区的每种产品销售量以及实际销售量与预计销售量的比较结果多维数据立方体(Cube)如果在各个维度的取值范围内逐点进行标注，则可以得到“数据立方体”预期销量预期销量实际销量实际销量螺母螺母螺钉螺钉螺圈螺圈螺丝钉螺丝钉东部东部西部西部中部中部不同的管理者可以从不同的维度（即视角）去考查这些数据销售数据区域经理区域经理财务经理财务经理产品经理产品经理其他视角其他视角数据仓库的多维查询方式数据仓库的多维查询方式切片切片旋转旋转切块切块下钻下钻上卷上卷【例例】AllElectronics汇总汇总数据立方体数据立方体三维：三维：Address(温哥华温哥华,多伦多多伦多,纽约纽约,芝加哥）芝加哥）Time（Q1,Q2,Q3,Q4），），Item(家庭娱乐，计