数据查询系统

数据查询系统基于hadoop模式或概率的数据查询系统01介绍Probery模式hadoop模式目录0302基本信息随着信息化的不断深入发展，数据生成速度正在提高，需要处理的数据量急速膨胀，大数据时代即将到来。所谓大数据指所涉及的数据量规模巨大，以至于无法通过主流软件在合理的时间内进行处理的数据。在面对海量数据时，传统关系数据库虽然具有支持完整性约束、支持事务等优点，但是在大规模海量数据面前显得力不从心。传统关系数据库主要存在以下问题，一是在数据格式转化和存储方面无法满足海量数据处理对性能的要求；二是无法满足动态扩展和高可用性的需求；三是传统大型关系数据库通常运行在大型设备上，成本高昂。大数据对数据的存储和处理方法提出了新的要求。如何有效地对这些大规模数据进行存储、查询、分析，已经成为一个亟待解决的问题，因此我们介绍几种数据查询系统。介绍介绍人、机、物三元世界的高度融合引发了数据规模的爆炸式增长和数据模式的高度复杂化，世界已进入络化的大数据时代，大数据查询技术备受并且得到广泛研究。大数据查询技术是大数据管理的核心技术之一，伴随着云计算技术以及NoSQL(NotOnlySQL)数据库技术的发展，针对大数据查询已经产生了许多新型的查询技术。目前，关于大数据的查询技术都是完整查询，即无论如何定义查询条件匹配算法(近似或精确)，无论如何对查询结果集排序，查询都将确定地返回所有匹配数据，查询所需的时间代价较大。然而，在大数据环境下，很多实际应用表明，人们并不需要确定完整的查询结果，也不需要对结果精确排序(如Top—k查询)，仅需要满足一定完整性要求的部分查询结果，或可以适当地损失查询完整性来满足性能要求。例如，在智能终端迅速普及和高速发展的现代社会，人们在出行过程中更多地通过移动设备来查询附近的酒店、景点等，由于移动设备络速度的限制以及完整查询较高的时间代价，对于给定的查询条件，返回全部查询结果需要消耗较高的时间代价，然而，人们并不需要返回的结果集是全部数据，相反对响应时间的要求会更高，可通过减少数据传输量以及优化查询技术来满足此需求。

这里介绍两种查询系统，一种是基于hadoop模式的数据查询系统，另一种是基于概率的数据查询系统。hadoop模式设计架构hadoop模式架构Hadoop是分布式集群系统架构，它具有高可用性、高容错性和高可扩展性等优点，用户可以在完全不了解底层实现细节的情形下，开发适合自身应用的分布式程序。Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要的两种组成元素为底层用于存储集群中所有存储节点文件的文件系统HDFS（HadoopDistributedFileSystem）和上层用来执行MapReduce程序的引擎。HDFS（HadoopDistributedFileSystem），是一个分布式文件系统。它具有高容错性的特点，以流式访问模式访问应用程序的数据，这大大提高了整个系统的数据吞吐量，因而非常适合用于具有超大数据集的应用程序中。MapReduce是最初被Google用来创建和更新索引，但现在MapReduce常用于大规模数据集（大于1TB）的并行运算，在Hadoop中以组件的形式进行实现的。Hadoop系统平台中的MapReduce模型可以被视为一种RDBMS（RelationDataBaseManageSystem，关系型数据库管理系统）的补充。

设计本系统基于Hadoop平台，采用HBase数据库存储海量交易记录，整体架构按照数据的流向划分，系统可以分为四层，分别是：数据源、数据接入层、存储层和查询层。

数据接入层设计由于数据源包括多种类型，因此，在进行数据接入层设计的时候，一是要对数据源隐藏数据接入层对HBas数据库操作的细节，为不同类型数据源的数据导入提供一个统一的接口。在数据接入层中要保存HBase数据库集群的、服务端口、ZooKeeper集群的等信息；要完成与HBase集群的连接。最终，只需调用数据接入层提供的简单接口就可以从数据源中将数据导入HBase数据库，同时，还要考虑到不同的数据导入方式，对接口进行优化以提高记录导入效率。

存储层设计该层的实现是由Hadoop平台实现。存储数据库选用Hadoop组件中的HBase数据库。该层主要是负责存储整个系统的底层结构化数据。通常，在传统关系数据库的表设计中，通常以编号（唯一标识一条记录）为主键、以各个属性为列，创建表。而Hbase是一个稀疏的，排序的，长期存储在硬盘上的，多维度的，映射表。这张表的索引是行关键字，列关键字和时间戳。每个值是一个不解释的字符数组，数据都是字符串。用户在表格中存储数据，每一行都有一个可排序的主键和任意多的列。由于是稀疏存储的，所以同一张表的每一行数据都可以有截然不同的列。Probery模式系统架构介绍Probery模式介绍Probery是基于Hadoop分布式文件系统(HadoopDistributedFileSystem，HDFS)和MapReduce编程模型设计的一种大数据概率查询系统。Probery采用了一种基于概率的近似完整性查询技术，其近似性主要体现在数据查全的可能性上，即查询到满足查询条件的所有数据的概率，本研究将其称之为查全概率(RecallProbability)。查全概率的定义和传统的近似查询以及模糊查询不同，它不度量结果与查询条件的匹配程度，也不度量结果集大小，而度量结果集是完整数据集的可能性。查全概率很小的结果集也可能是完整的，也可能包含大部分结果；查全概率大的查询并不一定比查全概率小的查询包含更多结果。Probery通过降低查全的可能性来换取性能，并且通过概率计算来保证查询结果的查全概率。

系统架构Probery是基于概率的大数据查询系统，系统根据给定的查全概率查询满足查询条件的数据。为了实现大数据的分布式存储和高效查询，Probery基于Hadoop平台来对系统进行架构，通过将数据按概率划分为多个文件并存储在分布式文件系统上，以缩小数据的查询范围，且保证查询的并行性；同时也使得系统具有较强的容错能力和水平伸缩性。Probery系统架构共包括HadoopCluster、DataPlacer、DataQuerist、JobNode和ServiceFacade这5个系统组件。

DataPlacerDataPlacer主要负责数据的装载工作，DataPlacer将来自DataSource的数据按照概率分布函数装载到HadoopCluster中，并记录数据的放置次数，以求解数据的存在概率，存在概率是Probery进行概率查询的元数据(MetaData)，在完成数据的装载工作后，DataPlacer将元数据传递给Data