数据管理技术及发展 省赛获奖

主讲教师：魏巍巍北京信息职业技术学院数据库技术与应用数据管理技术及发展创建采集任务01数据管理大数据管理0102目录CONTENTS数据管理01数据库技术与应用人工管理

时期：20世纪40年代中--50年代中产生的背景应用需求 科学计算 硬件水平 无直接存取存储设备软件水平 没有操作系统 处理方式 批处理 数据管理数据库技术与应用应用程序1数据集1应用程序2数据集2应用程序ｎ数据集n............人工管理阶段应用程序与数据之间的对应关系数据管理文件管理时期：20世纪50年代末--60年代中产生的背景应用需求 科学计算、管理 硬件水平 磁盘、磁鼓 软件水平 有文件系统 处理方式 联机实时处理、批处理数据库技术与应用数据管理数据库技术与应用特点数据的管理者：文件系统，数据可长期保存数据面向的对象：某一应用程序数据的共享程度：共享性差、冗余度大数据的结构化：记录内有结构，整体无结构数据的独立性：独立性差，数据的逻辑结构改变必须修改应用程序数据控制能力：应用程序自己控制数据管理数据库技术与应用应用程序１文件１应用程序２文件2应用程序ｎ文件n存取方法............文件管理阶段应用程序与数据之间的对应关系数据管理数据库技术与应用数据库管理

时期：20世纪60年代末以来产生的背景应用背景 大规模管理 硬件背景 大容量磁盘、磁盘阵列 软件背景 有数据库管理系统 处理方式 联机实时处理，分布处理，批处理数据管理数据库技术与应用数据库是在数据库管理系统的集中控制之下，按一定的组织方式存储起来的、相互关联的数据集合。特点：数据真正实现了结构化数据的共享性高，冗余度低，易扩充数据独立性高数据由DBMS统一管理和控制数据管理数据库技术与应用DBMS应用程序1应用程序2数据库…数据库管理阶段应用程序与数据之间的对应关系数据管理数据库技术与应用学校数据库数据库管理系统数据库管理阶段应用程序和数据库的关系学生部门教务部门人事部门人事管理应用程序学生管理应用程序教务管理应用程序数据管理大数据管理02数据库技术与应用大数据时代研究机构对大数据的定义：是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。维基百科对大数据的定义：是一个数据量特别大，数据类别特别多的数据集，是指无法在可承受的时间范围内无法用传统数据库工具对其内容进行抓取、管理和处理的数据集合。大数据管理数据库技术与应用大数据特征（4V特征）大数据管理数据库技术与应用数据思维从数据库(database，DB)到大数据(bigdata，BD)转变“池塘捕鱼”VS“大海捕鱼”“鱼”是待处理的数据

数据类型单一（结构化为主）繁多（结构化、半结构化、非结构化）模式和数据的关系先有模式后有数据(先有池塘后有鱼)先有数据后有模式模式随数据增多不断演变处理对象数据（池塘中的鱼）(“鱼”，通过某些“鱼”判断其他种类的“鱼”是否存在)处理工具OnesizefitsallNosizefitsall数据规模小（以MB为处理单位）大（以GB、TB、PB为处理单位）大数据管理数据库技术与应用数据科学（DataScience）是指以数据为中心的科学，可以从从2个方面来以理解“以数据为中心的科学”的含义：是一门将“现实世界”映射到“数据世界”之后，在“数据层次”上研究“现实世界”的问题，并根据“数据世界”的分析结果，对“现实世界”进行预测、洞见、解释或决策的新兴科学。是一门以“数据”，尤其是“大数据”为研究对象，并以数据统计、机器学习、数据可视化等为理论基础，主要研究数据预处理、数据管理、数据计算等活动的交叉性学科。大数据管