Berkeley
DB是历史悠久的嵌入式数据库系统，主要应用在UNIX/LINUX操作系统上，其设计思想是简单、小巧、可靠、高性能。本文是对DB开发的一个入门级指
南，重点讨论了DB的核心数据结构和数据访问算法，并通过实际的代码演示如何使用DB。最后有一个对DB的简单总结，并提出作者对工具选择的一些感想。
前言
UNIX/LINUX平台下的数据库种类非常多，参考资料1中列举了其中的大部分。通常，我们在设计UNIX/LINUX平台下的应用软件时，如果数据种
类繁多,数据与数据之间关系比较复杂，就会选用一些大型的企业级数据库系统，如DB2，ORACLE、SYBASE等，如果软件规模不大，就倾向选用如
MYSQL、POSTGRESQL等中小型数据库。例如使用PHP/PERL +
MYSQL/POSTGRESQL设计网站基本上是一个很常规的做法。但是，当应用软件管理的数据类型较少（特别注意：这并不是说需要管理的数据量小），
数据管理本身不复杂，且对数据操作要求高效率，则由大名鼎鼎的Berkeley（美国加州大学伯克利分校）开发的 Berkeley
DB可能是一个很明智的选择。
DB综述
DB最初开发的目的是以新的HASH访问算法来代替旧的hsearch函数和大量的dbm迪郑ㄈ鏏T&T的dbm，Berkeley的
ndbm，GNU项目的gdbm）,DB的第一个发行版在1991年出现，当时还包含了B+树数据访问算法。在1992年，BSD
UNIX第4.4发行版中包含了DB1.85版。基本上认为这是DB的第一个正式版。在1996年中期，Sleepycat软件公司成立，提供对DB的商
业支持。在这以后，DB得到了广泛的应用，当前最新版本是4.3.27。
DB支持几乎所有的现代操作系统，如LINUX、UNIX、WINDOWS等，也提供了丰富的应用程序接口，支持C、C++、JAVA、PERL、
TCL、PYTHON、PHP等。DB的应用十分广泛，在很多知名的软件中都能看到其身影。例如参考资料2中作者谈到利用DB在LINUX下实现内核级文
件系统；参考资料3中通过实际测试数据说明DB提高了OPENLDAP的效率。LINUX下的软件包管理器RPM也使用DB管理软件包相关数据，可以使用
命令file查看RPM数据目录/var/lib/rpm下的文件,则有形式如下的输出：
Dirnames: Berkeley DB (Btree, version 9, native byte-order)
Filemd5s: Berkeley DB (Hash, version 8, native byte-order)
值得注意的是DB是嵌入式数据库系统，而不是常见的关系/对象型数据库，对SQL语言不支持，也不提供数据库常见的高级功能，如存储过程，触发器等。
DB的设计思想
DB的设计思想是简单、小巧、可靠、高性能。如果说一些主流数据库系统是大而全的话，那么DB就可称为小而精。DB提供了一系列应用程序接口（API），
调用本身很简单，应用程序和DB所提供的库在一起编译成为可执行程序。这种方式从两方面极大提高了DB的效率。第一：DB库和应用程序运行在同一个地址空
间，没有客户端程序和数据库服务器之间昂贵的网络通讯开销，也没有本地主机进程之间的通讯；第二：不需要对SQL代码解码，对数据的访问直截了当。
DB对需要管理的数据看法很简单，DB数据库包含若干条记录，每一个记录由关键字和数据（KEY/VALUE）构成。数据可以是简单的数据类型，也可以是
复杂的数据类型，例如C语言中结构。DB对数据类型不做任何解释,
完全由程序员自行处理，典型的C语言指针的"自由"风格。如果把记录看成一个有n个字段的表，那么第1个字段为表的主键，第2--n个字段对应了其它数
据。DB应用程序通常使用多个DB数据库，从某种意义上看，也就是关系数据库中的多个表。DB库非常紧凑，不超过500K，但可以管理大至256T的数据
量。
DB的设计充分体现了UNIX的基于工具的哲学，即若干简单工具的组合可以实现强大的功能。DB的每一个基础功能模块都被设计为独立的,也即意味着其使用
领域并不局限于DB本身。例如加锁子系统可以用于非DB应用程序的通用操作，内存共享缓冲池子系统可以用于在内存中基于页面的文件缓冲。
DB核心数据结构
数据库句柄结构DB：包含了若干描述数据库属性的参数，如数据库访问方法类型、逻辑页面大小、数据库名称等；同时，DB结构中包含了大量的数据库处理函数
指针，大多数形式为 （*dosomething）(DB *, arg1, arg2,
…)。其中最重要的有open,close,put,get等函数。
数据库记录结构DBT：DB中的记录由关键字和数据构成，关键字和数据都用结构DBT表示。实际上完全可以把关键字看成特殊的数据。结构中最重要的两个字段是 void * data和u_int32_t size，分别对应数据本身和数据的长度。
数据库游标结构DBC：游标（cursor）是数据库应用中常见概念，其本质上就是一个关于特定记录的遍历器。注意到DB支持多重记录（duplicate records），即多条记录有相同关键字，在对多重记录的处理中，使用游标是最容易的方式。
数据库环境句柄结构DB_ENV：环境在DB中属于高级特性，本质上看，环境是多个数据库的包装器。当一个或多个数据库在环境中打开后，环境可以为这些数据库提供多种子系统服务，例如多线/进程处理支持、事务处理支持、高性能支持、日志恢复支持等。
DB中核心数据结构在使用前都要初始化，随后可以调用结构中的函数（指针）完成各种操作，最后必须关闭数据结构。从设计思想的层面上看，这种设计方法是利用面向过程语言实现面对对象编程的一个典范。
DB数据访问算法
在数据库领域中,数据访问算法对应了数据在硬盘上的存储格式和操作方法。在编写应用程序时，选择合适的算法可能会在运算速度上提高1个甚至多个数量级。大
多数数据库都选用B+树算法，DB也不例外，同时还支持HASH算法、Recno算法和Queue算法。接下来，我们将讨论这些算法的特点以及如何根据需
要存储数据的特点进行选择。
B+树算法：B+树是一个平衡树，关键字有序存储，并且其结构能随数据的插入和删除进行动态调整。为了代码的简单，DB没有实现对关键字的前缀码压缩。B+树支持对数据查询、插入、删除的常数级速度。关键字可以为任意的数据结构。
HASH算法：DB中实际使用的是扩展线性HASH算法（extended linear hashing），可以根据HASH表的增长进行适当的调整。关键字可以为任意的数据结构。
Recno算法： 要求每一个记录都有一个逻辑纪录号，逻辑纪录号由算法本身生成。实际上，这和关系型数据库中逻辑主键通常定义为int AUTO型是同一个概念。Recho建立在B+树算法之上，提供了一个存储有序数据的接口。记录的长度可以为定长或不定长。
Queue算法：和Recno方式接近, 只不过记录的长度为定长。数据以定长记录方式存储在队列中，插入操作把记录插入到队列的尾部，相比之下插入速度是最快的。
对算法的选择首先要看关键字的类型，如果为复杂类型，则只能选择B+树或HASH算法，如果关键字为逻辑记录号，则应该选择Recno或Queue算法。
当工作集关键字有序时，B+树算法比较合适；如果工作集比较大且基本上关键字为随机分布时，选择HASH算法。Queue算法只能存储定长的记录，在高的
并发处理情况下，Queue算法效率较高；如果是其它情况，则选择Recno算法，Recno算法把数据存储为平面文件格式。
DB常用函数使用范例(你也可以把它们分别写入不同的文件,然后都处理同一个xxx.db,这在工程中是必要的,所以不防试一下!^_^)
1.简单结构类型处理
-----------------------------------------------------------------------------
#include <sys/types.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <db.h>
#define DATABASE "demo.db"
int main()
{
DB *dbp;
DBT key, data;
int ret,t_ret;
if ((ret = db_create(&dbp, NULL, 0)) != 0) //错误处理,具体返回值请参考bdb文档
{
fprintf(stderr, "db_create: %s/n", db_strerror(ret));
exit (1);
}
if ((ret = dbp->open(dbp,NULL, DATABASE, NULL, DB_BTREE, DB_CREATE, 0664)) != 0)
{
dbp->err(dbp, ret, "%s", DATABASE);
exit (1);
}
//=======================================
//insert data
//=======================================
memset(&key, 0, sizeof(key));
memset(&data, 0, sizeof(data));
key.data = "sport";
key.size = sizeof("sport");
data.data = "football";
data.size = sizeof("football");
if ((ret = dbp->put(dbp, NULL, &key, &data, 0)) == 0)
printf("db: %s: key stored./n", (char *)key.data);
else
dbp->err(dbp, ret, "DB->put");
//=======================================
//select data
//=======================================
memset(&key, 0, sizeof(key));
memset(&data, 0, sizeof(data));
key.data = "sport";
key.size = sizeof("sport");
if ((ret = dbp->get(dbp, NULL, &key, &data, 0)) == 0)
printf("db: %s: key retrieved: data was %s./n",(char *)key.data, (char *)data.data);
else
dbp->err(dbp, ret, "DB->get");
//=======================================
//delete data
//=======================================
memset(&key, 0, sizeof(key));
key.data = "sport";
key.size = sizeof("sport");
if ((ret = dbp->del(dbp, NULL, &key, 0)) == 0)
printf("db: %s: key was deleted./n", (char *)key.data);
else
dbp->err(dbp, ret, "DB->del");
//=======================================
//close database
//=======================================
if ((t_ret = dbp->close(dbp, 0)) != 0 && ret == 0)
ret = t_ret;
exit(ret);
}
-----------------------------------------------------------------------------
2.复杂结构处理:
-----------------------------------------------------------------------------
//put data
#include <db.h>
#include <stdio.h>
#include <stdlib.h>
#include <pthread.h>
/* DB的函数执行完成后，返回0代表成功，否则失败 */
void print_error(int ret)
{
if(ret != 0)
printf("ERROR: %s/n",db_strerror(ret));
}
/* 数据结构DBT在使用前，应首先初始化，否则编译可通过但运行时报参数错误 */
void init_DBT(DBT * key, DBT * data)
{
memset(key, 0, sizeof(DBT));
memset(data, 0, sizeof(DBT));
}
int main(void)
{
DB *dbp;
DBT key, data;
u_int32_t flags;
int ret;
typedef struct customer
{
//int c_id;
char name[10];
char address[20];
int age;
} CUSTOMER;
CUSTOMER cust;
//cust.c_id = 1;
strncpy(cust.name, "china", 9);
strncpy(cust.address, "chengdu", 19);
cust.age = 32;
ret = db_create(&dbp, NULL, 0);
print_error(ret);
flags = DB_CREATE;
/* 创建一个名为complex.db的数据库，使用HASH访问算法，本段代码演示对复杂数据结构的处理 */
ret = dbp->open(dbp, NULL, "complex.db", NULL, DB_BTREE, flags, 0);
print_error(ret);
init_DBT(&key, &data);
//key.size = sizeof(int);
key.size = 10;
key.data = &cust.name;
data.size = sizeof(CUSTOMER);
data.data = &cust;
ret = dbp->put(dbp, NULL, &key, &data,DB_NOOVERWRITE);
print_error(ret);
memset(&cust,0,sizeof(CUSTOMER));
char tempname[10];
strncpy(tempname, "china", 10);
key.data = &tempname;
key.size =10;
printf("key.data = %s/n",key.data);
printf("tempname=%s/n",tempname);
data.data = &cust;
data.ulen = sizeof(CUSTOMER);
data.flags = DB_DBT_USERMEM;
dbp->get(dbp, NULL, &key, &data, 0);
print_error(ret);
printf("name = %s address = %s age = %d/n",
cust.name, cust.address, cust.age);
if(dbp != NULL)
{
dbp->close(dbp, 0);
}
return 0;
}
-----------------------------------------------------------------------------
DBC游标使用范例
---------------------------------
游标是依赖于数据库句柄的，应用程序代码框架如下：
/* 定义一个游标变量 */
DBC * cur;
/* 首先打开数据库，再打开游标 */
dbp->open(dbp, ……);
dbp->cursor(dbp, NULL, &cur, 0);
/* do something with cursor */
/* 首先关闭，在关闭数据库 */
cur->c_close(cur);
dbp->close(dbp, 0);
---------------------------------
在游标打开后，可以以多种方式遍历特定记录。
Memset(&key, 0, sizeof(DBT));
Memset(&data, 0, sizeof(DBT));
/*这里同样要把data指向一个数据结构,然后在下面的while循环里显示或者处理*/
/* 因为KEY和DATA为空，则游标遍历整个数据库记录 */
While((ret = cur->c_get(cur, &key, &data, DB_NEXT)) == 0)
{
/* do something with key and data */
/*显示上面指向的数据结构的值,或者处理数据以实现对xxx.db的处理*/
}
----------------------------------
当想查询特定关键字对应的记录，则应对关键字赋值，并把cur->c_get()函数中标志位设置为DB_SET。例如：
key.data = "xxxxx";
key.size = XXX;
While((ret = cur->c_get(cur, &key, &data, DB_SET)) == 0)
{
/* do something with key and data */
}
游标的作用还有很多，如查询多重记录，插入/修改/删除记录等。
----------------------------------------------------------------------------------
DB环境使用范例
本文前面已说明环境是DB数据库的包装器，提供多种高级功能。应用程序代码框架如下：
/* 定义一个环境变量，并创建 */
DB_ENV *dbenv;
db_env_create(&dbenv, 0);
/* 在环境打开之前，可调用形式为dbenv->set_XXX()的若干函数设置环境 */
/* 通知DB使用Rijndael加密算法（参考资料4）对数据进行处理 */
dbenv->set_encrypt(dbenv, "encrypt_string", DB_ENCRYPT_AES);
/* 设置DB的缓存为5M */
dbenv->set_cachesize(dbenv, 0, 5 * 1024 * 1024, 0);
/* 设置DB查找数据库文件的目录 */
dbenv->set_data_dir(dbenv, "/usr/javer/work_db");
/* 打开数据库环境，注意后四个标志分别指示DB启动日志、加锁、缓存、事务处理子系统 */
dbenv->open(dbenv,home,DB_CREATE|DB_INIT_LOG|DB_INIT_LOCK| DB_INIT_MPOOL|DB_INIT_TXN, 0)；
/* 在环境打开后，则可以打开若干个数据库，所有数据库的处理都在环境的控制和保护中。注意db_create函数的第二个参数是环境变量 */
db_create(&dbp1, dbenv, 0)；
dbp1->open(dbp1, ……);
db_create(&dbp2, dbenv, 0)；
dbp1->open(dbp2, ……);
/* do something with the database */
/* 最后首先关闭打开的数据库，再关闭环境 */
dbp2->close(dbp2, 0);
dbp1->close(dbp1, 0);
dbenv->close(dbenv, 0);
------------------------------------------------------------------------
DB软件的安装和编译
从DB的官方站点http://www.sleepycat.com/下载最新的软件包db-4.3.27.tar.gz，解压到工作目录，进入该目录，依次执行下列三条命令即可。
../dist/configure
make
make install
执行make uninstall，则可卸载已安装的DB软件。
------------------------------------------------------------------------
------------------------------------------------------------------------
BDB处理程序编译:
DB缺省把库和头文件安装在目录/usr/local/BerkeleyDB.4.6/下，
使用gcc test.c -ggdb -I/usr/local/BerkeleyDB.4.6/include/ -L/usr/local/BerkeleyDB.4.6/lib/ -ldb -lpthread
就可正确编译程序。
------------------------------------------------------------------------
注意事项:
如果安装的DB版本可能是4.0。特别要注意到这两个版本的库是不兼容的。
例如打开数据库函数DB->open(),在4.0版本中入参为6个，而在4.3以后的版中则为7个（可自行比较两个库的头文件db.h中DB->open函数的定义）。
因为在DB相关的应用程序中，open函数基本上都是要执行的，所以如果函数和版本不匹配，编译肯定会出错。当然，编译完成后，可以使用命令ldd查看库的依赖关系。
------------------------------------------------------------------------
总结
DB是一个具有工业强度的嵌入式数据库系统，数据处理的效率很高。DB功能的稳定性历经时间的考验，在大量应用程序中使用便是明证。可以想见，在同等代码
质量的条件下，软件的BUG数和代码的长度是成正比的，相对几十兆、几百兆大型数据库软件，DB的只有不到500K的大小！
从实现功能上看,DB是轻量级数据库系统，或可称为"极"
轻量级数据库系统。但是，我认为不能因此而心存轻视之意，所谓"尺有所短，寸有所长"，以绝对角度比较工具之间的好坏是没有什么意义的，关键在于对工具的
选择和运用（似乎可以参考一下极限编程的思想）。也许，正确的"表达范式"应该是：在当前应用背景下，选择这种工具是最合适的。
------------------------------------------------------------------------
参考资料 :
[1] 文章:嵌入式数据库系统Berkeley DB
[2]《Linux SQL Databases and Tools》
[3]《Implementing a File System with the Berkeley DB》
[4]《Performance Improvement of OpenLDAP Transactional Backend》