2023学年完整公开课版数据管理

数据管理

目录概述2特点分析展望概述随着信息技术及网络技术的飞速发展，数据呈现出爆炸式增长趋势从而推动了物联网技术、云计算技术等新兴技术的快速发展。云计算通过虚拟化的互联网系统实现资源化、易扩展以及动态性的计算方式。云计算不仅改变了用户使用计算机的模式，更为用户提供了按需分配计算资源、存储功能和应用服务的能力，提升用户使用计算机资源的便捷性。云计算主要包括海量数据管理、分布式存储和并行计算等内容。31)海量性．近年来，随着物联网等应用的兴起，很多应用主要通过相当数量的传感器来采集数据．随着这种应用规模的扩大和在越来越多领域中的应用，数据量会呈现爆炸性增长的趋势．2)异构性．在云计算各种各样的应用中，不同领域不同行业在数据获取阶段所采用的设备，手段和方式都千差万别，取得的数据在数据形态、数据结构上也各不相同．传感器有不同的类别，如二氧化碳浓度传感器、温度传感器、湿度传感器等，不同类别的传感器所捕获、传递的信息内容和信息格式会存在差异．以上因素导致了对数据访问、分析和处理方式多种多样．数据多源性导致数据有不同的分类，不同的分类具有不同的数据格式，最终导致结构化数据、半结构化数据、非结构化数据并存，造成了数据资源的异构性．3)非确定性．云计算中的数据具有明显的不确定性特征，主要包括数据本身的不确定性、语义匹配的不定性和查询分析的不确定性等．为了获得客观对象的准确信息，需要去粗取精、去伪存真，以便人们更全面地进行表达和推理．4特点分析1)数据组织与管理：采用分布式的存储技术可用于大型的、分布式的、对大量数据进行访问的应用，类似GFS它运行于各种类似的普通硬件上，提供容错功能，为用户提供高可靠、高并发和高性能的数据并行存取访问．2)数据集成与管理：针对数据的非确定性、分布异构性、海量、动态变化等特点，采用分布式数据管理技术，通过采用Bigtabe，Hbase等分布式数据库技术对大数据集进行处理、分析，向用户提供高效的服务．3)分布式并行处理：为了高效地利用在分布式环境下的数据挖掘和处理，采用基于云计算的并行编程模式，如MapReduce，将任务自动分成多个子任务，通过映射和化简两步实现任务在大规模计算节点中的调度与分配。后台复杂的并行执行和任务调度对用户和编程人员透明．564)数据分析：云计算的数据管理中最终需要对数据进行分析和挖掘以提供给各种应用使用，通过采用不同的数据挖掘引擎的布局及多引擎的调度策略；通过基于浅层语义分析和深层语义分析的技术，在不确定知识条件下的高效的数据挖掘，从而从大量的结构化的关系数据库中的数据、半结构化的文本、图形和图像数据中提取潜在的、事先未知的、有用的、能被人理解的数据。展望云计算作为一个新兴技术，它和云数据管理面临着一些机遇以及挑战．“物联网”、“三网融合”、“智能电网”等应用为云计算和云数据管理带来了前所未有的机遇．与此同时随着云计算越来越流行，预计有新的应用场景出现，在云数据管理方面也会带来新的挑战．例如，可能会出现一些需要预载大量数据集(像股票价格、天气历史数据以及网上检索等)的特殊服务．从私有和公共环境中获取有用信息引起人们越来越多的注意．这样就产生新的问题：需要从结构化、半结构化或非结构的异构数据中提取出有用信息．可以看出云计算和云数