SQLite-全面解析-附封装源码模板

1、浅谈SQLite :实现与应用i前言 2、实现与应用3 4 4(1)事务处理.(2)查询处理.(3)存储模型.(4)缓冲区管理 (5)|/0 51、刖言有一些日子没有仔细关注 SQLite 了，今天打开其主页，发现其最新的版本已经是3.6.22了，更让我惊喜的是它的用户越来越多，而且邮件列表的关注者也越来越多，突然觉得自己已经太old 了。惊喜的同时，不得不聊上几句了。首先，来看看都有哪些人在使用SQLite,主页上列举一长串NB的用户，其中不乏像Adobe, Apple, Firefox,甚至连 google, Microsoft, SUN 这样的用户。Firefox :这是我的机器上V3.

2、5.7安装目录下的文件：勺s(叫 仔"dll upditft 1 updt-td SQL11« Ditibile LibriryAl 公司.illite, orc 1 3.6 J6)皿川 阻且200sM0-21 21:24可以发现用的SQUte 3616.1 o据说，Google 在它的 Desktop for Mac , Google Gears,以及 An droid,甚至 Chrome 中者B 用到SQLite,而且，Google的工程师对SQLite的全文检索功能作了很大的贡献(contribution)。还有 Apple , Micorsoft, SUN 等等，这

3、里就不列举了。详细见 /famous.html o 有这些公司的参与，对 SQLite的发展应该有很大的帮助，尤其是像Google这样的用户。2、实现与应用下面从实现及应用的角度来谈谈SQLite ,先看 看SQLite的特点(功能)吧。特点简单(simple): SQLite 是一个非常轻量级自包含(lightweight and sHf-contained)的 DBMS :一个头文件，一个动态库文件，你就拥有了关系数据库的所有功能了。简单，是SQUte最明显的哲学。它提供的 API少而简单。只需要一个 DLL文件，你的程序马上就拥有了一个 功能强大的

4、数据库引擎，这是一件很美妙的事。小巧(small):我用VS2005在 Windows下编译的3.6.11, Release版为368K,用时不到20 秒一一而编译MySQL时，要花上几分钟。而当我插入10000条int数据时，内存开销660K,磁盘开销92Ko事务(transaction)：事务是现代商业数据处理系统最基本的要求，而Access不论是在可执行文件大小(看了一下Access2003的可执行文件大小为6.32M,两者不是一个量级)，还是事务特性，都是不 能和SQLite相比的。并发性(Concurrency)：由于SQLite通过OS的文件锁来实现库级锁，粒度很大，但是，它通过一

5、些复杂特 殊的处理(具体可以参见分析系列)，尽量的提升了读写的并发度。如果你还有担心，你可以看看这篇文章: 。SQL92 : SQLite支持绝大部分的标准SQL语句，你只需要几百K的空间，就可以换来需 要上百兆的通用DBMS几乎所有操作了。开源(Opensource):这是它最强大的地方。开源，意味着你可以品读它的源码，你可以 随时修改它，加入你自己的特性，而这一切完全免费的。开源，是一种精神。实现部分好了，现在从实现的角度来谈谈个人体会，这也是我比较关注的。SQLite是一款优秀的嵌入式数据库管理系统，这里有两层含义：一是它经常作为动态库嵌入到应用程序；另外一方面它通常用于嵌入式设备或其它

6、要求较低的桌面应用。如果把它作为内存数据库， 个人觉得不是很适合。毕竟，它的写并发性不是很好，此时，TimesTen也许会更好，Berkey DB也许是一个不错的选择。SQLite这样的嵌入式数据库与主存数据库的应用场景、实现以及对资源的需求都是不一样的。(1)事务处理事务的核心问题有两个：并发控制和恢复。解决了并发控制和恢复问题的系统，就能允许它的用户假设程序是原子的(atomically)执行的一一好像没有其它的程序同时执行；而且是可靠的(reliably)-不会产生失败。原子性和可靠性的抽象，则称为事务 (transaction)o其实， 事务并不是DBMS的专利，任何分布式系统，都面对

7、并发和恢复问题，而解决的方法就是事务，只不过，我们 更常听到DBMS中的事务。并发控制保证事务的原子执行，它使得交错执行的事务看起来是一个接一个的顺序执行 的，完全没有交错执行。如果交错执行的结果与顺序执行的结果一致，则称为串行化(serializableo恢复使得数据库仅仅包含那些正常完成的事务的结果。如果事务在执行的过程中发生错误，不能继续进行，恢复算法必须清除部分完成事务产生的影响。并发控制SQLite只支持库级锁，库级锁意味着什么？一一意味着同时只能允许一个写操作，也就方便(Convenience):如果你的程序要使用 SQLite,只需要将拷贝你的程序目录即可。是说，即事务T1在A表

8、插入一条数据，事务T2在B表中插入一条数据，这两个操作不能同时进行，即使你的机器有100个CPU,也无法同时进行，而只能顺序进行。表级都不能并行，更别说元组级了一一这就是库级锁。但是，SQUte尽量延迟申请X锁，直到数据块真正写盘时才申请X锁，这是非常巧妙而有效的。恢复SQLite的恢复技术是影子分页技术（shadow paging技术的典型代表。DBMS的常用恢复技术有影子分页技术与基于日志的技术，前者在早其数据库管理系统中用到，比如System R,现代DBMS中已经很难见到它的身影了。影子分页技术与基于日志技术相比，优点是实现简单，消除了写日志记录的开销，恢复的速度也快（不需要redo和

9、undo）。影子分页的缺点就是事务提交时要输出多个块，这使得提交的开销很大， 而且以块为单位，很难应用到允许多个事务并发执行的情况一一这是它致命的缺点。查询处理SQLite的查询处理本质上就是一个SQL编译器和一个虚拟机。而实现这些功能只用了十多个文件，整个实现实现简单而有效，但是也存在一些问题。首先， SQUte字典数据很简单，实际上它的字典就一个表 sqlite_mater,所有的信息都是通过对 sqhte_master中SQL语句进行解析获取的，而解析一个 SQL语句，都需要进行词法分析、语法分析、甚至虚拟机代码的生成。而这一过程是很需要时间的，而且，查询计划也没有重用。其次，查询优化还

10、比较简单，特别是连接操作，只通过循环来做（MySQL也一样）。但是，仅仅数万代码，我们不能对它要求太苛求。存储模型SQUte的文件物理上被划分成相同大小的块；逻辑上划分成一些B-Tree每个表对应一个B-Tree。而 没有像Oracle,或者InnoDB对数据块进行复杂的逻辑组织，这种按需分配数据块的做法必然影响磁盘的读写 性能。不过，归根到底，还是源于它的应用场景。缓冲区管理Buffer的管理对于DBMS,无疑是非常重要的，SQUte在其它方面做得比较简单，但是在缓冲区管理这一块，它还是做足了功夫。SQUte采用DBMS常用的LRU算法。更值得一提的是，在较新的版本中，SQUte采用和虚拟文

11、件系统的类似的方式，实现了让默认缓冲区管理子系统可以很容易的切换成其它的缓冲区管理算法，这是非常灵活的。I/OSQLite采用简单的阻塞I/O,较新的版本将异步I/O作为可选的扩展，但是，由于SQLite没有日志，所 以，事务中ACID中的D,就无法保证，所以，如果你的数据很关键，请不要用SQLite的异步I/O。另一方 面，实际上，很多嵌入式操作系统，比如Windows CE并不支持异步I/O （不过，这可以通过多线程加以解决）。但是，这些“缺点”并不是SQUte的缺点，相对于通过DBMS,恰恰是它的优点，这样的实现简单，而 且对资源的需求较低。对嵌入式设备、或者那些要求较低的应用，已经足够

12、，足够就好。应用场景嵌入式设备：这应该是 SQUte应用的主要场景，很多公司都在他们的嵌入式应用程序 中使用SQLite,其中不乏google的An droid。桌面应用：如果你已经厌恶了 fopen, fread, fwAte这些函数，SQLite是你不错的选择，它接口简单，而 且支持事务。前些天无意中下了一个cookie清除软件CookieCrumbler,打开一看，发现里面竟然有一个sqlite3.dll,着实让我震惊了一把。Websites：如果你的站点的访问量、数据量小的个人站点，SQLite可以代替开销较大的MySQL和繁杂的Access最近因为学校那个项目，也在搞数据库方面的东西

13、，以前也用过SQLITE的东西，拿来复习下Sqhte是一个面向嵌入式系统的数据库，编译完成只有200K,同时支持2T的数据记录。对于嵌入式设备是一个很好的数据库引擎。本文通过一个小例子说明如何在C与C+调用Sqlite API完成数据库的创建、插入数据与查询数据。本文的开发环境为(Redhat9.0 + Qtopia2.1.2 + Sqlite3)安装 Sqlite3从上下载Sqhte3.2.2运源代码，依照Readme中的步骤：tar xzf sqlite3.2.2.tar.gzmkdir bldcd bld./sqlite3.2.2/c on figuremake

14、make in stall然后在shell下运行sqlite3 test.db命令可以检验是否已经安装成功。创建数据库：sqlite3 *pDB = NULL;char * errMsg = NULL;打开一个数据库，如果改数据库不存在，则创建一个名字为databaseName的数据库文int rc = sqlite3_ope n( databaseName, & pDB);if(rc)cout « ” Open the database ” « databaseName « " failed" « en dl;如果创建成功，

15、添加表elsecout « "create the database successful!" « en dl;/creat the tableint i;for(i=1; i<n TableNum; i+)插入一个表，返回值为SQLITE_OK为成功，否则输出出错信息函数参数：第一个为操作数据库的指针，第二句为SQL命令字符串第三个参数为callback函数，这里没有用，第四个参数为callback函数中的第一个参数，第五个为出错信息rc = sqlite3_exec(pDB, "CREATE TABLE chn_to_e ng(chi

16、 nese QStri ng, en glishQStri ng)", 0, 0, & errMsg);if(rc = SQLITE_OK)cout « "create the chn_to_eng table successful!', « endl;elsecout « errMsg « endl;/同上，插入另一个表rc = sqlite3_exec(pDB, nCREATE TABLE eng_to_chn(english QString, Chinese QString)*, 0, 0, &errMs

17、g);if(rc = SQLITE_OK)cout « ”create the eng_to_chn table successful!'* « endl;elsecout « errMsg « endl; 、 往表中添加数据char chn="./'char eng="”；char value500;/定义一条参数SQL命令，其中chn,eng为需要插入的数据sprintf(value, "INSERT INTO chn_to_eng(chinese, english) VALUES(,%s, '%

18、s')", chn, eng);/use the SQLITE C/C+ API to create and adjust a database, rc = sqlite3_exec(pDB,value,0, 0, &errMsg);/查询一条记录char value500;定义一条查询语句，其中条件为当english为target时的中文记录print_result_cb为callback函数，在其中可以得到查询的结果，具体见下文 sprintf(value, "SELECT Chinese FROM eng_to_chn where english=&#

19、39;%s'target); rc =sqlite3_exec(pDB,value,print_result_cb, 0, &errMsg);if(rc = SQLITE_OK)/#ifdef_debugcout « "select the record successful!" « endl;/#endif)else/ #ifdef_debugcout « errMsg « endl;/ #endifreturn false;/callback回调函数print_result_cb的编写，其中data为sqhte3_

20、exe (中的第四个 参数，第二个参数是栏的数目，第三个是栏的名字，第四个为查询得到的值得。这两个函数输出所 有查询到的结果int print_result_cb(void* data, int n_columns, char* column_values,char* column_names)(static int column_names_printed = 0;int i;if (!column_names_printed) print_row(n_columns, column_names);column_names_printed = 1;print_row(n_columns, c

21、olumn_values);return 0;void print_row(int n_values, char* values)int i;for (i = 0; i < n_values; +i) if (i > 0) printf(V); )printf(n%sH, valuesi);)printf(Hnn)；I大致过程就是如此，具体可以参考SQLITE的API函数说明，见 void print_row(int n_values, char* values)(int i;for (i = 0; i < n_values; +i) if (i

22、> 0) printf(V);printf("%s", valuesi);printf("nH);)大致过程就是如此，具体可以参考SQLITE的API函数说明，见void print_row(int n_values, char* values) int i;for (i = 0; i < n_values; +i) if (i > 0) printf(T);printf("%sH, valuesi);printf("nH);)大致过程就是如此，具体可以参考SQLITE的API函数说明，见www.s

23、 &nbsp; char value500;定义一条参数SQL命令，其中chn,eng为需要插入的数据sprintf(value,"INSERT INTO chn_to_eng(chinese, english) VALUES('%s','%s')”, chn, eng);/use the SQLITE C/C+ API to create and adjust a database.rc = sqlite3_exec(pDB, value,0, 0, &errMsg);/查询一条记录char value500;定义一

24、条查询语句，其中条件为当english为target时的中文记录print_result_cb为callback函数，在其中可以得到查询的结果，具体见下文 sprintf(value, "SELECT Chinese FROM eng_to_chn where english='%sf n, target);rc = sqlite3_exec(pDB,value, print_result_cb, 0, &errMsg);if(rc = SQLITE_OK) (/ #ifdef_debugcout « "select the record succ

25、essful!" « endl;/ #endifelse/#ifdef_debugcout « errMsg « endl;/#endifreturn false;)/callback回调函数print_result_cb的编写，其中data为sqhte3_exe (中的第四个参数，第二个参数是栏的数目，第三个是栏的名字，第四个为查询得到的值得。这两个函数输出所有查询到的结果int print_result_cb(void* data, int n_columns, char* column_values,char* column_names)stati

26、c int column_names_printed = 0;int i;if (!column_names_printed) print_row(n_columns, column_names);column_names_printed = 1;print_row(n_columns, column_values);return 0;void print_row(int n_values, char* values)int i;for (i = 0; i < n_values; +i) if (i > 0) printf(T);)printf(H%s", valuesi

27、);)printf("nH);)大致过程就是如此，具体可以参考SQLITE的API函数说明，见 void print_row(int n_values, char* values)int i;for (i = 0; i < n_values; +i) if (i > 0) printf(T);printf("%sH, valuesi);printf("nn);大致过程就是如此，具体可以参考SQLITE的API函数说明，见void print_row(int n_values, char* valu

28、es)(int i;for (i = 0; i < n_values; +i) if (i > 0) printf(T);printf("%s", valuesi);printf('n');)大致过程就是如此，具体可以参考SQLITE的API函数说明，见char value500;定义一条参数SQL命令，其中chn,eng为需要插入的数据sprintf(value, "INSERT INTO chn_to_eng(chinese, english) VALUES(%ss)”, chn, eng);/use the SQLITE C/C+ API to create and adjust a database.rc = sqlite3_exec(pDB,value,0, 0, &errMsg);/查询一条记录char value500;定义一条