数据库大数据访问的解决方法

1、数据库大数据访问的数据库大数据访问的解决方法解决方法大数据 Big Data大数据，又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。4V特点： Volume（大量） Velocity（高速） Variety（多样） Value（价值）数据挖掘云计算指从大量的数据中通过算法搜索隐藏于其中信息的过程。是数据库知识发现（Knowledge-Discovery in Databases，简称：KDD)中的一个步骤。有代表性的数据挖掘任务包括关联规则分析、数据分类、数据聚类等。数据挖掘只是大数据处

2、理的一个方法。云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。从技术上看，大数据与云计算的关系密不可分。大数据的特色在于对海量数据的挖掘，必然无法用单台的计算机进行处理，必须采用分布式计算架构，必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。广义大数据 海量数据，处理数据的技术，以及能够通过分析这些数据 获得实用意义和观点的人才和组织。随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天百万级甚至上亿的页面浏览量无疑对数据库造成了相当高的负载。对于系统

3、的稳定性和扩展性造成了极大的问题。那么数据库如何处理海量数据呢？v 编写优良的程序代码v 使用采样数据，进行数据挖掘v 建立广泛的索引v 分批处理v 加大虚拟内存v 对海量数据进行分区操作例如针对按年份存取的数据，我们可以按年进行分区。不同的数据库有不同的分区方式，不过处理机制大体相同。例如SQL Server的数据库分区是将不同的数据存于不同的文件组下，而不同的文件组存于不同的磁盘分区下，这样将数据分散开，减小磁盘I/O，减小了系统负荷，而且还可以将日志，索引等放于不同的分区下。v 使用数据仓库和多维数据库存储联机分析处理（OLAP）是共享多维信息的、针对特定问题的联机数据访问和分析的快速软

4、件技术。处理海量数据的利器是OLAP多维分析，即建立数据仓库，建立多维数据集，基于多维数据集进行报表展现和数据挖掘等。v 负载均衡技术负载均衡集群是由一组相互独立的计算机系统构成，通过常规网络或专用网络进行连接，由路由器衔接在一起，各节点相互协作、共同负载、均衡压力，对客户端来说，整个群集可以视为一台具有超高性能的独立服务器。实现原理实现数据库的负载均衡技术，首先要有一个可以控制连接数据库的控制端。它截断了数据库和程序的直接连接，将所有的程序来访问这个中间层，然后再由中间层来访问数据库。这样，我们就可以具体控制访问某个数据库了，也可以根据数据库的当前负载采取有效的均衡策略，来调整每次连接到哪个

5、数据库。v 负载均衡技术对于负载均衡，要求所有服务器的数据都是实时同步的，也只有这样，在查询的时候才可以多个资源之间实现均衡。比较常用的方法是Moebius for SQL Server集群，它采用将核心程序驻留在每个机器的数据库中的办法，这个核心程序称为Moebius中间件，主要作用是监测数据库内数据的变化，并将变化的数据同步到其他数据库中。数据同步完成后客户端才会得到响应，同步过程是并发完成的，所以同步到多个数据库和同步到一个数据库的时间基本相等；另外同步的过程是在事务的环境下完成的，保证了多份数据在任何时刻数据的一致性。Moebius中间件不但能知道数据的变化，而且知道引起数据变化的SQ

6、L语句，根据SQL语句的类型，智能的采取不同的数据同步的策略，以保证数据同步成本的最小化。v 负载均衡技术 数据条数很少，数据内容也不大，则直接同步数据 数据条数很少，但是里面包含大数据类型，比如文本，二进制数据等，则先对数据进行压缩然后再同步，从而减少网络带宽的占用和传输所用的时间。 数据条数很多，此时中间件会拿到造成数据变化的SQL语句，然后对SQL语句进行解析，分析其执行计划和执行成本，并选择是同步数据还是同步SQL语句到其他的数据库中。此种情况在对表结构进行调整或者批量更改数据的时候非常有用。v负载均衡技术v 负载均衡技术扩展性强：当系统要更高数据库处理速度时，只要简单地增加数据库服务

7、器就可以得到扩展。可维护性：当某节点发生故障时，系统会自动检测故障并转移故障节点的应用，保证数据库的持续工作。安全性：因为数据会同步在多台服务器上，通过多份数据来保证安全性。另外它成功地将数据库放到了内网之中，更好地保护了数据库的安全性。易用性：对应用来说完全透明，集群暴露出来的就是一个IP。v 数据库的读写分离实现原理简单的说就是把对数据库的读、写的操作分开，对应到不同的数据库服务器，这样能有效地减轻数据库压力，也能减轻I/O压力。主数据库提供写操作，从数据库提供读操作，其实在很多系统中，主要是读的操作。当主数据库进行写操作时，数据要同步到从数据库上，这样才能有效保证数据库完整性。接口层v

8、数据库的读写分离实现方法在Sql server中使用发布定义的方式实现数据库复制，实现读写分离。复制是将一组数据从一个数据源拷贝到多个数据源的技术，是将一份数据发布到多个存储站点上的有效方式。复制技术可以确保分布在不同地点的数据自动同步更新，从而保证数据的一致性。SQL SERVER复制技术类型有三种，分别是：快照复制、事务复制、合并复制。SQL SERVER主要采用出版物、订阅的方式来处理复制。源数据所在的服务器是出版服务器，负责发表数据。出版服务器把要发表的数据的所有改变情况的拷贝复制到分发服务器，分发服务器包含有一个分发数据库，可接收数据的所有改变，并保存这些改变，再把这些改变分发给订阅

9、服务器。v 数据库的读写分离SQL SERVER主要采用出版物、订阅的方式来处理复制。源数据所在的服务器是出版服务器，负责发表数据。出版服务器把要发表的数据的所有改变情况的拷贝复制到分发服务器，分发服务器包含有一个分发数据库，可接收数据的所有改变，并保存这些改变，再把这些改变分发给订阅服务器。v 数据库的读写分离缺点缺点 数据的实时性差:数据不能实时同步，数据写入主服务器，要在同步后才能进行查询。 数据量大时同步效率差：当表数据量过大时，插入和更新，因索引、磁盘I/O等问题，性能会变的很差。优点优点 读操作具有高性能、高可靠性和可伸缩性:只读服务器不提供写操作，减轻了磁盘I/O等负载，大大提高

10、了效率；此外，只读服务器可以采用负载均衡，主数据库发布到多个只读服务器上，增强读操作的可伸缩性。v 数据库拆分(分布式)根据某种特定的条件，将存放在同一个数据库中的数据分散存到多个数据库上，实现分布存储，通过路由规则访问特定的数据库。这样，每次访问的就不是单个服务器了，而是多台服务器，降低了单台机器的负载压力。根据数据库拆分方式的不同，分为垂直(纵向)拆分和水平(横向)拆分。垂直拆分：即按功能模块拆分，这种方式允许多个数据库的表的结构不同。比如分为订单库、商品库、用户库.垂直拆分能很好的分散数据库压力的作用，但是并不能彻底解决所有压力问题。v 数据库拆分(分布式)水平拆分：将同一个表的数据进行

11、分块，保存到不同的数据库中，不同数据库中的表的结构必须完全相同。(1)顺序拆分如可以按订单的日前按年份才分，2003年的放在db1中，2004年的db2,以此类推。当然也可以按主键标准拆分。优点：可部分迁移缺点：数据分布不均，可能前年订单有100W，去年的却有500W。v 数据库拆分(分布式)(2)hash取模分根据某个属性（比如user_id）进行散列，然后用一个特定的数字，比如应用中需要将一个数据库切分成4个数据库的话，我们就用4这个数字对user_id的hash值进行取模运算，也就是user_id%4,这样的话每次运算就有四种可能：结果为1的时候对应DB1；结果为2的时候对应DB2；结果为3的时候对应DB3；结果为0的时候对应DB4，这样一来就非常均匀的将数据分配到4个DB中。优点：数据分布均匀缺点：数据迁移的时候麻烦；不能按照机器性能分摊数据 。v 数据库拆分(分布式)(3)在认证库中保存数据库配置就是建立一个数据库，只存user_id到数据库的映射关系，每次访问数据库的时候先查询一次这个数据库，以得到具