正在Windows上用Python 3 写一个爬虫,但是读取网页内容并且把网页内容写进txt
文件的时候,出现了这个异常:
UnicodeEncodeError: 'gbk' codec can't encode character '\ue626' in position 94025: illegal multibyte sequence
Google一圈,发现几乎都是一篇东西或者一个解决方法转来转去,基本上都是encode
或者decode
的时候在括号里面加一个ignore
参数,目的是想忽略掉无法编码的字符,感觉不算是解决问题,而是回避了问题,于是再一圈搜,搜到这个:
http://www.cnblogs.com/wangxingyao/p/4662543.html
看完之后发现,问题的原因在于Python 3里面字符串的默认编码是Unicode
的,参考这里:
http://stackoverflow.com/questions/6812031/how-to-make-unicode-string-with-python3
而爬虫读取的网页上面的内容,在代码里面是存在字符串变量里的,Windows下面新建的文本文件默认的编码是gbk
(Windows简体中文版的系统默认编码就是gbk
),当把从网页上读取的内容写到文本文件里面去的时候,意味着把一个unicode
的字符序列写入到一个编码是gbk
的文件,最后就出错了,解决方法就是在打开一个文件的时候,指定文件的编码,让它以指定的编码打开:
with open('e:/test.txt', encoding='utf-8') as f:
f.write(content)