python pickle 模块的使用

在机器学习或者深度学习对数据的处理中我们会常见到这个pickle包，该包主要是用于序列化，类似于json。

1、用于序列化的两个模块(pickle、json)的同异点是什么呢？

• json：用于字符串和Python数据类型间进行转换
• pickle: 用于python特有的类型和python的数据类型间进行转换
• json提供四个功能：dumps,dump,loads,load
• pickle提供四个功能：dumps,dump,loads,load

2、pickle可以存储什么类型的数据呢？

1. 所有python支持的原生类型：布尔值，整数，浮点数，复数，字符串，字节，None。
2. 由任何原生类型组成的列表，元组，字典和集合。
3. 函数，类，类的实例

3、pickle模块中常用的方法有：

1. pickle.dump(obj, file, protocol=None,)

    必填参数obj表示将要封装的对象

    必填参数file表示obj要写入的文件对象，file必须以二进制可写模式打开，即“wb”

    可选参数protocol表示告知pickler使用的协议，支持的协议有0,1,2,3，默认的协议是添加在Python 3中的协议3。

2. pickle.load(file,*,fix_imports=True, encoding="ASCII", errors="strict")

    必填参数file必须以二进制可读模式打开，即“rb”，其他都为可选参数

3. pickle.dumps(obj)：以字节对象形式返回封装的对象，不需要写入文件中

4. pickle.loads(bytes_object): 从字节对象中读取被封装的对象，并返回

 4、pickle模块可能出现三种异常：

    1. PickleError：封装和拆封时出现的异常类，继承自Exception

    2. PicklingError: 遇到不可封装的对象时出现的异常，继承自PickleError

    3. UnPicklingError: 拆封对象过程中出现的异常，继承自PickleError

5、示例代码

#! -*- coding:utf-8 -*-

import pickle

data = {'a':1, 'b':2, 'c':3, 'd':4}

#dumps 转换有序数据到pickle处理后的特殊字符串
result = pickle.dumps(data)
print('after dumps: ', result)

#loads 将pickle处理后的特殊字符串转换成正常有序数据
new_data = pickle.loads(result)
print('after loads: ', new_data)


#dump 换有序数据到pickle处理后的特殊字符串,并写入文件中
with open('tmp.pk', 'wb') as f:
    pickle.dump(data, f)

#load 从文件中读取数据，并转换为正常有序数据
with open('tmp.pk', 'rb') as f:
    new_data2 = pickle.load(f)
    print('after load:', new_data2)


#结果如下：
after dumps:  b'\x80\x03}q\x00(X\x01\x00\x00\x00aq\x01K\x01X\x01\x00\x00\x00bq\x02K\x02X\x01\x00\x00\x00cq\x03K\x03X\x01\x00\x00\x00dq\x04K\x04u.'
after loads:  {'a': 1, 'b': 2, 'c': 3, 'd': 4}
after load: {'a': 1, 'b': 2, 'c': 3, 'd': 4}