经常在读文件的时候碰到乱码就停止读取,导致文件读取不完整 ,解决方法: 利用模块,import codecs file=codecs.open(path,‘r’) 能解决部分问题
编码常识:
Python中的字符串有str和unicode两种形式,两者之间不能连接,也不能比较。汉字编码,常见的有gbk和utf-8等形式,gb2312/cp936和gbk基本上是重合的。我曾经以为,utf-8编码之后就是unicode类型的字符串,结果导致概念不清,错误不断。事实上,gbk和utf-8编码之后,都是str类型的字符串,字符串前面加上u生成的才是unicode类型的字符串。gbk字符串、utf-8字符串和unicode字符串是可以相互转换的
u=u'unicode编码文字'
g=u.encode('gbk') #转换为gbk格式
print g #此时为乱码,因为当前环境为utf-8,gbk编码文字为乱码
str=g.decode('gbk').encode('utf-8') #以gbk编码格式读取g(因为他就是gbk编码的)并转换为utf-8格式输出
print str #正常显示中文
s.decode('utf8','ignore') 第二个参数可以忽略一些编码错误
总结:利用decode转为通用unicode进行处理 ;在文件开头声明# -*- coding: utf-8 -*-