数据库大数据访问的解决方案

1、数据库大数据访问的解决方案当系统要满足每秒数万次的读写请求的需求时，我们可以用分布式计算、编写优良的程 序代码、对海量数据进行分区操作、建立广泛的索引、建立缓存机制、加大虚拟内存、分批 处理、使用数据仓库和多维数据库存储、使用负载均衡技术、将数据库的读写分离等等来解 决数据库大数据访问的问题。随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于 一个大型的互联网应用，每天百万级甚至上亿的pv无疑对数据库造成了相当高的负载。对 于系统的稳定性和扩展性造成了极大的问题。一、那么数据库如何处理海量数据呢？1、编写优良的程序代码处理数据离不开优秀的程序代码，尤其在进行复杂数据处

2、理时，必须使用程序。好的程序代 码对数据的处理至关重要，这不仅仅是数据处理准确度的问题，更是数据处理效率的问题。 良好的程序代码应该包含好的算法，包含好的处理流程，包含好的效率，包含好的异常处理 机制等。2、对海量数据进行分区操作对海量数据进行分区操作十分必要，例如针対按年份存収的数据，我们可以按年进行分区, 不同的数据库有不同的分区方式，不过处理机制大体相同。例如sql server的数据库分区 是将不同的数据存于不同的文件组下，而不同的文件组存于不同的磁盘分区下，这样将数据 分散开，减小磁盘1/0,减小了系统负荷，而且还可以将口志，索引等放于不同的分区下。3、建立广泛的索引对海量的数据处理

3、，对大表建立索引是必行的，建立索引要考虑到具体情况，例如针对大表 的分组、排序等字段，都要建立相应索引，一般还可以建立复合索引，対 经常插入的表则 建立索引时要小心，笔者在处理数据时，曾经在一个etl流程中，当插入表时，首先删除 索引，然后插入完毕，建立索引，并实施聚合操作，聚合完成后，再次插入前还是删除索 引，所以索引要用到好的时机，索引的填充因子和聚集、非聚集索引都要考虑。4、加大虚拟内存如果系统资源有限，内存提示不足，则可以靠增加虚拟内存来解决。笔者在实际项fi中曾经 遇到针对18亿条的数据进行处理，内存为1gb, 1个p42.4g的cpu,对这么大的数据量 进行聚合操作是有问题的，提示

4、内存不足，那么采用了加大虚拟内存的方法来解决，在6 块磁盘分区上分别建立了 6个4096m的磁盘分区，用于虚拟内存，这样虚拟的内存则增加 为4096*6 + 1024 = 25600 m,解决了数据处理中的内存不足问题。5、分批处理海量数据处理难因为数据量大，那么解决海量数据处理难的问题其中一个技巧是减少数据 量。可以对海量数据分批处理，然后处理后的数据再进行合并操作，这样逐 个击破，有利 于小数据量的处理，不至于面对大数据量带来的问题，不过这种方法也要因时因势进行，如 果不允许拆分数据，还需要另想办法。不过一般的数据按天、按月、按年等存储的，都对 以采用先分后合的方法，对数据进行分开处理。6

5、、使用数据仓库和多维数据库存储数据量加大是一定要考虑olap的，传统的报表可能5、6个小时出来结果，而基于cube 的查询可能只需要几分钟，因此处理海量数据的利器是olap多维分析，即建立数据仓库, 建立多维数据集，基丁多维数据集进行报表展现和数据挖掘等。7、使用采样数据，进行数据挖掘基于海量数据的数据挖掘正在逐步兴起，面对着超海量的数据，一般的挖掘软件或算法往往 采用数据抽样的方式进行处理,这样的误差不会很高，大大提高了处理效率和处理的成功率。 一般采样时要注意数据的完整性和，防止过大的偏差。笔者曾经对1亿2千万行的表数据进 行采样，抽取出400万行，经测试软件测试处理的误差为千分之五，客户

6、可以接受。还有一些方法，需要在不同的情况和场合下运用，例如使用代理键等操作，这样的好处是加 快了聚合时间，因为对数值型的聚合比对字符型的聚合快得多。类似的情况需要针对不同的 需求进行处理。海量数据是发展趋势，对数据分析和挖掘也越来越重要，从海量数据中提取有用信息重要而 紧迫，这便要求处理要准确，精度要高，而且处理时间要短，得到有价值信息要快，所以, 对海量数据的研究很有前途，也很值得进行广泛深入的研究。二、下面注意讲解下负载均衡技术、数据库的读写分离、数据库拆分（分布式）1、负载均衡技术负载均衡集群是市一组相互独立的计算机系统构成，通过常规网络或专用网络进行连接，rh 路由器衔接在一起，各节点

7、相互协作、共同负载、均衡压力，对客户端来说，整个群集可以 视为一台具有超高性能的独立服务器。实现原理实现数据库的负载均衡技术，首先要有一个对以控制连接数据库的控制端。在这里，它截断 了数据库和程序的直接连接，市所有的程序來访问这个中间层，然后再rh中间层来访问数据 库。这样，我们就对以具体控制访问某个数据库了，然后还可以根据数据库的当前负载采取 有效的均衡策略，来调整每次连接到哪个数据库。实现多据库数据同步对于负载均衡，最重要的就是所有服务器的数据都是实时同步的。这是一个集群所必需的， 因为，如果数不据实时、不同步，那么用户从一台服务器读出的数据，就有别于从另一台服 务器读出的数据，这是不能允

8、许的。所以必须实现数据库的数据同步。这样，在查询的时候 就可以有多个资源，实现均衡。比较常用的方法是moebius for sql server集群，moebius for sql server集群采用将核心程序驻留在每个机器的数据库中的办法，这个核心程序称为 moebius for sql server中间件，主要作用是监测数据库内数据的变化并将变化的数据同步 到其他数据库中。数据同步完成后客户端才会得到响应，同步过程是并发完成的，所以同步 到多个数据库和同步到一个数据库的时间基本相等；另外同步的过程是在事务的环境下完成的，保证了多份数据在任何时刻数据的一致性。正因为moebius中间件宿主

9、在数据库中的 创新，让屮间件不但能知道数据的变化，而且知道引起数据变化的sql语句，根据sql语 句的类型智能的采取不同的数据同步的策略以保证数据同步成本的最小化。写操作4据同步sqlserversql st rvermoebiusmoebius:数据41压缩sqlservermoebius中央控制台客户端写操作2数很少，数据内容也不人，则直接同步数据数据条数据条数很少，但是里面包含大数据类型，比如文本，二进制数据等，则先对数据进行压缩 然后再同步，从而减少网络带宽的占用和传输所用的时间。数据条数很多，此时小间件会拿到造成数据变化的sql语句，然后对sql语句进行解析, 分析其执行计划和执行成

10、本，并选择是同步数据还是同步sql语句到其他的数据库中。此 种情况应用在对表结构进行调整或者批量更改数据的时候非常有用。优缺点(1) 扩展性强：当系统要更高数据库处理速度时，只要简单地增加数据库服务器就 可以得 到扩展。(2) 可维护性：当某节点发生故障时，系统会自动检测故障并转移故障节点的应用，保证数 据库的持续工作。(3) 安全性：因为数据会同步的多台服务器上，可以实现数据集的兀余，通过多份数据来保 证安全性。另外它成功地将数据库放到了内网之中，更好地保护了数据库的安全性。(4) 易用性：对应用来说完全透明，集群暴露出来的就是一个ip2、数据库的读写分离实现原理 读写分离简单的说是把对数据

11、库读和写的操作分开对应不同的数据库服务器，这样能有效地 减轻数据库压力，也能减轻io压力。主数据库提供写操作，从数据库提供读操作，其实在 很多系统中，主要是读的操作。当主数据库进行写操作时，数据要同步到从的数据库，这样 才能有效保证数据库完整性。portal layer读写比率是260:1 ,ebay的读写分离)(ebay 的application layerwriteread主服务器应用程序服务器（微软数据库分发）实现方法在ms sql server中可以使用发布定义的方式实现数据库复制，实现读写分离，复制是将一 组数据从一个数据源拷贝到多个数据源的技术，是将一份数据发布到多个存储站点上的有

12、效 方式。使用复制技术，用户可以将一份数据发布到多台服务器上。复制技术可以确保分布在 不同地点的数据自动同步更新，从而保证数据的一致性。sql server复制技术类型有三 种，分别是：快照复制、事务复制、合并复制。sql server主要采用出版物、订阅的方 式来处理复制。源数据所在的服务器是出版服务器，负责发表数据。出版服务器把要发表的 数据的所有改变情况的拷贝复制到分发服务器，分发服务器包含有一个分发数据库，可接收 数据的所有改变，并保存这些改变，再把这些改变分发给订阅服务器。优缺点（1）数据的实时性差:数据不是实时同步到口读服务器上的，当数据写入主服务器后，要在下 次同步后才能查询到。

13、（2）数据量大时同步效率差：单表数据量过大时插入和更新因索引，磁盘io等问题，性能会变 的很差。（3）同时连接多个（至少两个）数据库：至少要连接到两个数据数据库，实际的读写操作是 在程序代码中完成的，容易引起混乱（4）读具有高性能高可靠性和可仲缩:只读服务器，因为没有写操作，会大大减轻磁盘io等性 能问题，大大提高效率；只读服务器可以采用负载均衡，主数据库发布到多个只读服务器上 实现读操作的可伸缩性。3、数据库拆分（分布式）通过某种特定的条件，将存放在同一个数据库中的数据分散存放到多个数据库上，实现分布 存储,通过路市规则路市访问特定的数据库,这样一来每次访问面对的就不是单台服务器了, 而是n

14、台服务器，这样就可以降低单台机器的负载压力。垂直（纵向）拆分：是指按功能模块拆分，比如分为订单库、商品库、用户库.这种方式多个 数据库之间的表结构不同。水平（横向）拆分：将同一个表的数据进行分块保存到不同的数据库中，这些数据库中的表结 构完全相同。订总库1产品库、 厂b 1dlrfl门库应丿用畏序服务令（纵向拆分）分区2010 分区2009 分区2008分区2007 分区2006 分区2005分区2(x)4订单表ix 2003（横向拆分）实现原理使用垂直拆分，主要要看应用类型是否合适这种拆分方式，如系统可以分为，订单系统，商 品管理系统，用户管理系统业务系统比较明的，垂直拆分能很好的起到分散数

15、据库压力的作 用。业务模块不明晰，耦合（表关联）度比较髙的系统不适合使用这种拆分方式。但是垂直 拆分方式并不能彻底解决所有压力问题，例如有一个5000w的订单表，操作起来订单库的 压力仍然很大，如我们需要在这个表屮增加(insert) 条新的数据，insert完毕后，数据库 会针对这张表重新建立索引，5()()()w行数据建立索引的系统开销述是不容忽视的，反过来， 假如我们将这个表分成100个table呢，从table_001 一直到table_100» 5000w彳亍数据平均下 來，每个子表里边就只有50万行数据，这时候我们向一张只有50w行数据的table中insert 数据后建

16、立索引的时间就会呈数量级的下降，极大了提高了 db的运行时效率，提高了 db 的并发量，这种拆分就是横向拆分 实现方法垂直拆分，拆分方式实现起来比佼简单，根据表名访问不同的数据库就可以了。横向拆分的 规则很多，这里总结前人的几点，(1)顺序拆分如可以按订单的日前按年份才分，2003年的放在dbl中，2004年的db2,以此类推。当然也 可以按主键标准拆分。优点：可部分迁移缺点：数据分布不均，可能2003年的订单有100w, 2008年的有500w。(2)hash取模分对uscr_id进行hash (或者如果user_id是数值型的话直接使用user_id的值也可)，然后用 一个特定的数字，比如应用中需要将一个数据库切分成4个数据库的话，我们就用4这个数 字对user_id的hash值进行取模运算，也就是user_id%4,这样的话每次运算就有