Berkeley DB使用简介

最新推荐文章于 2021-01-18 21:37:24 发布
最新推荐文章于 2021-01-18 21:37:24 发布
阅读量1.8k 收藏
点赞数
分类专栏： Berkeley DB 文章标签： 数据库 存储 null stream locking api

 

1        简介

BDB的全称Berkeley DB，是一套开放源码的嵌入式数据库的程序库。它为应用程序提供可伸缩的、高性能的、有事务保护功能的数据管理服务。Berkeley DB为数据的存取和管理提供了一组简洁的函数调用API接口。

BDB为多种编程语言提供了API接口，其中包括C、C++、Java、Perl、Tcl、Python和PHP，所有的数据库操作都在程序库内部发生。多个进程，或者同一进程的多个线程可同时使用数据库，有如各自单独使用，底层的服务如加锁、事务日志、共享缓冲区管理、内存管理等等都由程序库透明地执行。

Berkeley DB 底层体系结构：

如上图，应用程序调用访问方法，而访问方法使用底层的共享内存cache放置最近用过的文件页面。

 

2        存储逻辑介绍

BDB所管理数据的逻辑组织单位是若干个独立或有一定关系的数据库(database)，每个数据库由若干记录组成，这些记录全都被表示成(key，value)的形式。

如果把一组相关的(key，value)对也看作一个表的话，那么每一个数据库只允许存放一个table，这一点不同于一般的关系数据库。实际上，在Berkeley DB中所提到的“数据库”，相当于一般关系数据库系统中的表；而“key/data”对相当于关系数据库系统中的行(rows)；Berkeley DB不提供关系数据库中列直接访问的功能，而是在“key/data”对中的data项中通过实际应用来封装字段(列)。

在物理组织上，每一个数据库在创建的时候可以由应用程序根据其数据特点来选择一种合适的存储结构。可供选择的四种文件存储结构分别是：哈希、B树、定长记录(队列)和变长记录(基于记录号的简单存储方式)。

其中定长记录和变长记录存储方法必须使用逻辑记录号(logical record numbers，本质上就是一个整数)做为key。

哈希和B树存储方法对key没有特别的要求。当数据量非常多时（内存不能放下所有数据时），建议使用哈希，因为哈希比B树的索引信息小，会少一些I/O操作。

3        系统结构介绍：

BDB由五个主要的子系统构成.包括: 存取管理子系统、内存池管理子系统、事务子系统、锁子系统以及日志子系统。其中存取管理子系统作为Berkeley DB数据库进程包内部核心组件，而其他子系统都存在于Berkeley DB数据库进程包的外部。每个子系统支持不同的应用级别。      

3.1      数据存取子系统

   

数据存取（Access Methods）子系统为创建和访问数据库文件提供了多种支持。Berkeley DB提供了以下四种文件存储方法：


哈希文件、B树、定长记录（队列）和变长记录（基于记录号的简单存储方式），应用程序可以从中选择最适合的文件组织结构。程序员创建表时可以使用任意一种结构，并且可以在同一个应用程序中对不同存储类型的文件进行混合操作。

    在没有事务管理的情况下，该子系统中的模块可单独使用，为应用程序提供快速高效的数据存取服务。
数据存取子系统适用于不需事务只需快速格式文件访问的应用。

3.2      内存池管理子系统

    内存池（Memory pool）子系统对Berkeley DB所使用的共享缓冲区进行有效的管理。它允许同时访问数据库的多个进程或者进程的多个线程共享一个高速缓存，负责将修改后的页写回文件和为新调入的页分配内存空间。

    它也可以独立于Berkeley DB系统之外，单独被应用程序使用，为其自己的文件和页分配内存空间。

内存池管理子系统适用于需要灵活的、面向页的、缓冲的共享文件访问的应用。

内存数据和硬盘文件的同步有两种方式：

1.         需要程序显式条用同步函数才能完成，当数据量比较大时同步比较慢，会造成大量的I/O操作，而且由于内部锁的原因，会对查询造成影响。

2.         在BDB打开时会设置一个cache的大小，也就是BDB使用内存的大小。如果超过这个大小，BDB会自动同步数据到硬盘文件。

3.3      事务子系统

    事务（Transaction）子系统为Berkeley DB提供事务管理功能。它允许把一组对数据库的修改看作一个原子单位，这组操作要么全做，要么全不做。在默认的情况下，系统将提供严格的ACID事务属性，但是应用程序可以选择不使用系统所作的隔离保证。该子系统使用两段锁技术和先写日志策略来保证数据库数据的正确性和一致性。

它也可以被应用程序单独使用来对其自身的数据更新进行事务保护。事务子系统适用于需要事务保证数据的修改的应用。

在本次项目里，并没有用到事务，所以对此研究也不够深入。

3.4      锁子系统

    锁（Locking）子系统为BDB提供锁机制，为系统提供多用户读取和单用户修改同一对象的共享控制。

数据存取子系统可利用该子系统获得对页或记录的读写权限；事务子系统利用锁机制来实现多个事务的并发控制。   

该子系统也可被应用程序单独采用。锁子系统适用于一个灵活的、快速的、可设置的锁管理器。

目前的使用上来看，当使用BDB的进程异常终止时，所占用的锁并不能释放，需要删除BDB环境文件才能释放所有锁。这个问题后期再详细研究一下。

3.5      日志子系统

日志（Logging）子系统采用的是先写日志的策略，用于支持事务子系统进行数据恢复，保证数据一致性。它不大可能被应用程序单独使用，只能作为事务子系统的调用模块。

以上几部分构成了整个Berkeley DB数据库系统。各部分的关系如下图所示：

     在这个模型中，应用程序直接调用的是数据存取子系统和事务管理子系统，这两个系统进而调用更下层的内存管理子系统、
锁子系统和日志子系统。
    
    由于几个子系统相对比较独立，所以应用程序在开始的时候可以指定哪些数据管理服务将被使用。可以全部使用，也可以只用其中的一部分。例如，如果一个应用程序需要支持多用户并发操作，但不需要进行事务管理，那它就可以只用锁子系统而不用事务。有些应用程序可能需要快速的、单用户、没有事务管理功能的B树存储结构，那么应用程序可以使锁子系统和事务子系统失效，这样就会减少开销

4        编译、安装

可以在http://www.oracle.com/technology/products/berkeley-db/index.html 现在最新的安装包和文档。

       将安装包结压后，进入build_unix目录

    ../dist/configure
    Make
    Make install
    就可以完成编译，安装

       安装的默认目录是/usr/local/BerkeleyDB.4.5/，如果要安装到其他目录，在configure是指定--prefix=NEW_DIR即可。如果要使用BDB的c++，在configure指定--enable-cxx即可。

5        C++API介绍

经常用的类有5个

1.         DbEnv：环境类，主要用于设置BDB是否需要日志、是否需要锁等信息；提供打开、关闭等操作

2.         Db：DB类，用户操作数据，提供打开、关闭、查找、删除、同步等操作

3.         Dbt：数据类，向Db中存入、取出数据都需要使用这个类。

4.         DbException及其子类：异常类

5.         Dbc：游标类，当对数据库中多组数据进行操作时使用

 

#include <db_cxx.h>

#include <string>

#include <iostream>

 

using namespace std;

 

DbEnv *g_env = NULL;

Db *g_db = NULL;

 

void closeEnv()

{

    try

    {

        if(g_db)

        {

            g_db->close(0);

            delete g_db;

            g_db = NULL;

        }

        if(g_env)

        {

            g_env->close(0);

            delete g_env;

            g_env = NULL;

        }

    }

    catch(...)

    {

    }

}

 

int main()

{

    //环境目录，日志文件将创建在这个目录下

    string strEnvHome = "./db/";

    //创建DB|初始化日志

    unsigned int nEnvFlags = DB_CREATE | DB_INIT_LOG | DB_INIT_MPOOL;   

 

    //db文件名

    string strDbFileName = get_current_dir_name();

    strDbFileName += "/db/datafile";   

 

    try

    {

        g_env = new DbEnv(0);

        g_env->set_error_stream(&std::cerr);

        g_env->set_cachesize(0, 10 * 1024 * 1024, 1);

        //打开环境

        g_env->open(strEnvHome.c_str(), nEnvFlags, 0);

 

        g_db = new Db(g_env, 0);

        g_db->set_error_stream(&std::cerr);

        //用B树的结构打开数据库，如果不存在则创建

        g_db->open(NULL, strDbFileName.c_str(), NULL, DB_BTREE, DB_CREATE, 0);

    }

    catch(DbException& e)

    {

        cout<<"打开数据库出错:"<<e.what()<<endl;

        closeEnv();

        return -1;

    }

 

    Dbt key, data;

    char sKey[1024], sData[1024];

 

    //插入数据库

   try

   {

     for(int i=0; i<100; i++)

     {       

         snprintf(sKey, sizeof(sKey), "key%d", i);

         snprintf(sData, sizeof(sData), "data%d", i);

 

         key.set_data(sKey);

         key.set_size( strlen(sKey) );

         data.set_data(sData);

         data.set_size( strlen(sData) );

 

         //put方法:当数据库中有对应的key时,做updata操作；当没有对应的key时，做insert操作

         if( g_db->put(NULL, &key, &data, 0) != 0)

         {

            //插入出错

            cout<<"插入第"<<i<<"个数据时出错"<<endl;

         }

     }

   }

   catch(DbException& e)

   {

      cout<<"写入数据库出错:"<<e.what()<<endl;

      closeEnv();

      return -1; 

   }

 

    //同步内存的数据到文件

    g_db->sync(0);

 

    //查找数据

    try

    {

        snprintf(sKey, sizeof(sKey), "key%d", 57);

        key.set_data(sKey);

        key.set_size( strlen(sKey) );

 

        if(g_db->get(NULL, &key, &data, 0) != 0)

        {

            //未查找到

            cout<<"未查找到,key:"<<sKey<<endl;

        }

        else

        {

            //查找到

            memcpy(sData, data.get_data(), data.get_size() );

            sData[data.get_size()] = '/0';

 

            cout<<"key:"<<sKey<<";data:"<<sData<<endl;

        }

    }

    catch(DbException& e)

    {

      cout<<"查找数据库出错:"<<e.what()<<endl;

      closeEnv();

      return -1; 

    }

 

    //用游标遍历

    try

    {

        Dbc *cursorp;       

 

        if( g_db->cursor(NULL, &cursorp, 0) != 0)

        {

            cout<<"[get cursor 错误."<<endl;

        }

        else

        {

            while (cursorp->get(&key, &data, DB_NEXT) == 0)

            {

                memcpy(sKey, key.get_data(), key.get_size() );

                sKey[key.get_size()] = '/0';

                memcpy(sData, data.get_data(), data.get_size() );

                sData[data.get_size()] = '/0';

 

                cout<<"key:"<<sKey<<";data:"<<sData<<endl;

            }

        }

    }

    catch(DbException& e)

    {

      cout<<"用游标遍历出错:"<<e.what()<<endl;

      closeEnv();

      return -1; 

    }

 

 

    closeEnv();

}

Trackback: http://tb.blog.csdn.net/TrackBack.aspx?PostId=1548571

PS:若图片看不了，可以参考 http://hi.baidu.com/jrckkyy/blog/item/8a2d71fd49a2b44bd7887df7.html

 

zhdrfirst
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Berkeley DB
12-10
Berkeley DB(BDB)是OpenLDAP后台数据库的默认配置，因此在安装OpenLDAP之前应先安装BDB。
Berkeley DB(一) -- 入门知识和一个小例子
weixin_34268310的博客
10-06 167
在网上看到不少介绍Berkeley DB的文章，几乎所有的中文文章都是介绍完入门就再也没了。大都是个概括。最近做这个，所以想系统的由浅入深的介绍一下。不清楚的地方可以和我讨论，或参照官方网站sleepycat上的文档。我用的是最新版本 db-4.4.16.NC.tar.gz，这个包中含有详细的英文文档。为什么要使用Berkeley DB，它适合什么场合应用？Berkeley DB并不适合所有的应用...
Berkeley DB 概述
solotony的专栏
09-27 8547
Berkeley DB 概述皮东    Berkeley DB是由美国Sleepycat Software公司开发的一套开放源码的嵌入式数据库的程序库（database library），它为应用程序提供可伸缩的、高性能的、有事务保护功能的数据管理服务。Berkeley DB为数据的存取和管理提供了一组简洁的函数调用API接口。    它是一个经典的C-library模式的toolki
Berkeley DB的使用
12-11 1700
Berkeley DB的使用 最近碰到一个项目需要多进程读写一份共享数据，并且共享数据的几个字段需要有倒排索引方便查询，想利用现有数据库快速建立一个原型，于是调研了一下流行的一些nosql数据库。发觉Berkeley DB虽然是一个既古老又流行的开源数据库，但是关于BDB使用的文章却很少，甚至公司DBA对BDB的特性都不太了解……于是花了好几天读了一遍BDB的references和c a
Berkeley DB4.8以上各版本
01-09
Berkeley DB4.8以上各版本，已经亲测过哪些版本可与redhat6.5兼容，见附件名称备注。
berkeley db使用手册
04-25
berkeley db 使用手册
BerkeleyDB.6.2安装包
07-20
BerkeleyDB.6.2安装包，可移植到linux平台！！！！！！！！！！！！！！！1
Berkeley DB数据库 6.2.32 64位
08-20
Berkeley DB 6.2.32_64.msi Windows 64-bit binary installer Berkeley DB是一个嵌入式数据库，为应用程序提供可伸缩的、高性能的、有事务保护功能的数据管理服务。 主要特点： 嵌入式：直接链接到应用程序中，与...
Berkeley DB 5.3.21.tar
09-28
Berkeley DB 5.3.21.tar，你也可以去http://www.oracle.com/technetwork/products/berkeleydb/downloads/index.html下载最新版
Berkeley DB (DB)介绍
huangpeng8612的专栏
08-08 2158
Berkeley DB (DB)是一个高性能的，嵌入数据库编程库，和C语言，C++，Java，Perl，Python，PHP，Tcl以及其他很多语言都有绑定。BerkeleyDB可以保存任意类型的键/值对，而且可以为一个键保存多个数据。BerkeleyDB可以支持数千的并发线程同时操作数据库，支持最大256TB的数据，广泛用于各种操作系统包括大多数Unix类操作系统和Windows操
Berkeley DB学习（一）
weixin_40235225的博客
12-13 6216
一、简介 定义:Berkeley DB是一个开源的文件数据库，介于关系数据库与内存数据库之间，使用方式与内存数据库类似，它提供的是一系列直接访问数据库的函数，而不是像关系数据库那样需要网络通讯、SQL解析等步骤。 1)开源的kv类型数据库 2)文件数据库： 优点：数据保存在单一文件中，部署以及发布简单，使用内嵌在应用程序中。 缺点：数据库打开时，文件会被加载到内存，因为数据库不宜过大。 3）嵌入式...
最近在研究BerkeleyDB
itegel的专栏
07-07 889
 这两天看BerkeleyDB，本来BerkeleyDB是挺好的一个东西。但是想顺便用复习以下C++，就看了c++版的。这可坏事了。弄得我一整天都没什么进展。我刚开始享用visual studio .net 2005进行开发的。后来发现原来的东西想buid都不成功。因为不知道怎么导入.lib和.h的东西。我明显在tool->options->projects and solutions->vi
Berkeley DB介绍
evsqiezi
05-08 961
简介： Berkeley DB是历史悠久的嵌入式数据库系统，主要应用在UNIX/LINUX操作系统上，其设计思想是简单、小巧、可靠、高性能。Berkeley DB (DB)是一个高性能的，嵌入数据库编程库，和C语 言，C++，Java，Perl，Python，PHP，Tcl以及其他很多语言都有绑定。Berkeley DB可以保存任意类型的键/值对，而且可以为一个键保存多个数据。Berkeley
可以同时装sql和mysql吗_服务器中可以同时安装sql server和mysql吗
weixin_33066321的博客
01-18 2244
像mysql 这类基于c/s结构的关系型数据库系统虽然代表着目前数据库应用的主流，但却并不能满足所有应用场合的需要。有时我们需要的可能只是一个简单的基于磁盘文件的数据库系统。这样不仅可以避免安装庞大的数据库服务器，而且还可以简化数据库应用程序的设计。berkeley db正是基于这样的思想提出来的。[编辑本段]berkeley db简介berkeley db是一个开放源代码的内嵌式数据库管理系统，...
BerkeleyDB简介
devilzy2656的专栏
11-30 662
BerkeleyDB简介 BerkeleyDB是一个开源的嵌入式的数据管理程序库，可以向应用程序提供可扩展的，高可靠的，以及具有完整事务语义的数据管理服务． 开源是指BerkeleyDB是开放源代码的, 但是与许多的开源项目不同的是, BerkeleyDB的新版本开发过程中, 代码并不开放, 而在新版本发布后, 用户可以从Oracle的官网上获得该新版本的全部源代码. 嵌入式是指,
Berkeley DB如何安装
最新发布
04-28
Berkeley DB是一个高效的嵌入式数据库，它可以在多个操作系统和编程语言上使用。以下是在Linux系统上安装Berkeley DB的步骤： 1. 下载Berkeley DB的安装包，可以从官方网站上下载：https://www.oracle.com/database/technologies/related/berkeleydb-downloads.html 2. 解压下载的安装包： ``` tar -xzvf db-{version}.tar.gz cd db-{version} ``` 3. 配置安装选项： ``` cd build_unix ../dist/configure --prefix=/usr/local --enable-cxx ``` 其中`--prefix`指定了安装路径，`--enable-cxx`表示启用C++支持。 4. 编译和安装： ``` make sudo make install ``` 这个过程可能需要一些时间，取决于你的计算机性能和版本号。 5. 验证安装： ``` db_check --version ``` 如果成功安装，会输出Berkeley DB的版本号。 至此，Berkeley DB就安装完成了。可以在编译和链接时使用Berkeley DB的库文件。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值