python之lmdb

python 专栏收录该内容
20 篇文章 0 订阅

lmdb介绍

参考

  • LMDB的全称是Lightning Memory-Mapped Database(快如闪电的内存映射数据库)
  • 它的文件结构简单,包含一个数据文件和一个锁文件
  • LMDB文件可以同时由多个进程打开,具有极高的数据存取速度,访问简单,不需要运行单独的数据库管理进程,只要在访问数据的代码里引用LMDB库,访问时给文件路径即可。
  • 让系统访问大量小文件的开销很大,而LMDB使用内存映射的方式访问文件,使得文件内寻址的开销非常小,使用指针运算就能实现。
  • 数据库单文件还能减少数据集复制/传输过程的开销。

安装lmdb

conda install -c conda-forge python-lmdb
# 以下方法安装会导致import lmdb报错 No module named 'lmdb'
#pip install lmdb
#conda install lmdb

使用

# -*- coding: utf-8 -*-
#python=3.6
import lmdb

def lmdb_create():
    # 如果train文件夹下没有data.mbd或lock.mdb文件,则会生成一个空的,如果有,不会覆盖
    # map_size定义最大储存容量,单位是kb,以下定义1TB容量
    env = lmdb.open("./train",map_size=1000)
    env.close()

def lmdb_using():
    env = lmdb.open("./train", map_size=int(1e9)) 

    # 参数write设置为True才可以写入
    txn = env.begin(write=True)  

    # 添加数据和键值 
    txn.put(key = '1'.encode(), value = 'aaa'.encode())
    txn.put(key = '2'.encode(), value = 'bbb'.encode()) 
    txn.put(key = '3'.encode(), value = 'ccc'.encode()) 

    # 通过键值删除数据 
    txn.delete(key = '1'.encode()) 

    # 修改数据 
    txn.put(key = '3'.encode(), value = 'ddd'.encode()) 

    # 通过commit()函数提交更改 
    txn.commit() 
    env.close()

def lmdb_read():
    env = lmdb.Environment('./train') 
    #env = lmdb.open("./train")   # or

    txn = env.begin()  #write=False

    # get函数通过键值查询数据 
    print(txn.get('2'.encode()))

    # 通过cursor()遍历所有数据和键值 
    for key, value in txn.cursor(): 
        print (key, value) 

    print(txn.stat())
    print(txn.stat()['entries'])  #读取LMDB文件的样本数量

    # close
    env.close()

def main():
    # lmdb_create()
    # lmdb_using()
    lmdb_read()

# errors:
# 1. lmdb.MapFullError: mdb_put: MDB_MAP_FULL: Environment mapsize limit reached
# 解决方法: lmdb.open("./train", map_size=int(1e9)

# 2. TypeError: Won't implicitly convert Unicode to bytes; use .encode()
# 解决方法: TypeError:不会隐式地将Unicode转换为字节,对字符串部分,进行.encode()

if __name__ == '__main__':
    main()

获取LMDB文件的样本数量

  • 1
    点赞
  • 0
    评论
  • 2
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

<h4 style="font-weight:500;font-size:1.5rem;font-family:'PingFang SC', 'Hiragino Sans GB', Arial, 'Microsoft YaHei', Verdana, Roboto, Noto, 'Helvetica Neue', sans-serif;color:#222226;background-color:#ffffff;text-align:center;"> <span style="font-size:14px;">期末</span><span style="font-size:14px;background-color:#fbeeb8;">考点</span><span style="font-size:14px;">都对应</span><span style="font-size:14px;background-color:#fbeeb8;">详解视频</span><span style="font-size:14px;">,</span><span style="font-size:14px;"><span style="color:#e03e2d;">基础阶段</span></span><span style="font-size:14px;">内容全面,语言通俗易懂(翻译书中的语言为</span><span style="font-size:14px;background-color:#fbeeb8;">人话)</span><span style="font-size:14px;">,</span> </h4> <h4 style="font-weight:500;font-size:1.5rem;font-family:'PingFang SC', 'Hiragino Sans GB', Arial, 'Microsoft YaHei', Verdana, Roboto, Noto, 'Helvetica Neue', sans-serif;color:#222226;background-color:#ffffff;text-align:center;"> <span style="font-size:14px;">老师精心研究</span><span style="font-size:14px;background-color:#fbeeb8;">百份</span><span style="font-size:14px;">考卷,总结每一个考点,同时结合你肯定可以听懂的骚话,</span> </h4> <h4 style="font-weight:500;font-size:1.5rem;font-family:'PingFang SC', 'Hiragino Sans GB', Arial, 'Microsoft YaHei', Verdana, Roboto, Noto, 'Helvetica Neue', sans-serif;color:#222226;background-color:#ffffff;text-align:center;"> <span style="font-size:14px;background-color:#fbeeb8;">扫清你的数据库系统盲区</span> </h4> <h4 style="font-weight:500;font-size:1.5rem;font-family:'PingFang SC', 'Hiragino Sans GB', Arial, 'Microsoft YaHei', Verdana, Roboto, Noto, 'Helvetica Neue', sans-serif;color:#222226;background-color:#ffffff;text-align:center;"> <span style="font-size:14px;"><span style="color:#e03e2d;">真题阶段</span></span><span style="font-size:14px;">为你提供</span><span style="font-size:14px;background-color:#fbeeb8;">解题思路</span><span style="font-size:14px;">,培养你的</span><span style="font-size:14px;background-color:#fbeeb8;">解题思维</span><span style="font-size:14px;">,同时</span><span style="font-size:14px;background-color:#fbeeb8;">点明考点</span><span style="font-size:14px;">,结合文档进行重点解读,加深你的印象.</span> </h4> <h4 style="font-weight:500;font-size:1.5rem;font-family:'PingFang SC', 'Hiragino Sans GB', Arial, 'Microsoft YaHei', Verdana, Roboto, Noto, 'Helvetica Neue', sans-serif;color:#222226;background-color:#ffffff;text-align:center;"> <span style="font-size:14px;color:#3598db;">只为你的高分,我们交个朋友!让每位学生都可以学的起!!</span> </h4> <p> <span style="font-size:14px;color:#3598db;"><img src="https://img-bss.csdnimg.cn/202103040423318088.png" alt="" width="788" height="450" /></span> </p>
©️2021 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值