在机器学习或者深度学习对数据的处理中我们会常见到这个pickle包,该包主要是用于序列化,类似于json。
1、用于序列化的两个模块(pickle、json)的同异点是什么呢?
- json:用于字符串和Python数据类型间进行转换
- pickle: 用于python特有的类型和python的数据类型间进行转换
- json提供四个功能:dumps,dump,loads,load
- pickle提供四个功能:dumps,dump,loads,load
2、pickle可以存储什么类型的数据呢?
- 所有python支持的原生类型:布尔值,整数,浮点数,复数,字符串,字节,None。
- 由任何原生类型组成的列表,元组,字典和集合。
- 函数,类,类的实例
3、pickle模块中常用的方法有:
1. pickle.dump(obj, file, protocol=None,)
必填参数obj表示将要封装的对象
必填参数file表示obj要写入的文件对象,file必须以二进制可写模式打开,即“wb”
可选参数protocol表示告知pickler使用的协议,支持的协议有0,1,2,3,默认的协议是添加在Python 3中的协议3。
2. pickle.load(file,*,fix_imports=True, encoding="ASCII", errors="strict")
必填参数file必须以二进制可读模式打开,即“rb”,其他都为可选参数
3. pickle.dumps(obj):以字节对象形式返回封装的对象,不需要写入文件中
4. pickle.loads(bytes_object): 从字节对象中读取被封装的对象,并返回
4、pickle模块可能出现三种异常:
1. PickleError:封装和拆封时出现的异常类,继承自Exception
2. PicklingError: 遇到不可封装的对象时出现的异常,继承自PickleError
3. UnPicklingError: 拆封对象过程中出现的异常,继承自PickleError
5、示例代码
#! -*- coding:utf-8 -*-
import pickle
data = {'a':1, 'b':2, 'c':3, 'd':4}
#dumps 转换有序数据到pickle处理后的特殊字符串
result = pickle.dumps(data)
print('after dumps: ', result)
#loads 将pickle处理后的特殊字符串转换成正常有序数据
new_data = pickle.loads(result)
print('after loads: ', new_data)
#dump 换有序数据到pickle处理后的特殊字符串,并写入文件中
with open('tmp.pk', 'wb') as f:
pickle.dump(data, f)
#load 从文件中读取数据,并转换为正常有序数据
with open('tmp.pk', 'rb') as f:
new_data2 = pickle.load(f)
print('after load:', new_data2)
#结果如下:
after dumps: b'\x80\x03}q\x00(X\x01\x00\x00\x00aq\x01K\x01X\x01\x00\x00\x00bq\x02K\x02X\x01\x00\x00\x00cq\x03K\x03X\x01\x00\x00\x00dq\x04K\x04u.'
after loads: {'a': 1, 'b': 2, 'c': 3, 'd': 4}
after load: {'a': 1, 'b': 2, 'c': 3, 'd': 4}