Python 爬虫乱码解决思路

这里从网页的压缩方式提供两种解决方法。

方法1：

查看headers中是否设置：

'accept-encoding': 'gzip, deflate, br',

如果有，修改为：

'accept-encoding': 'gzip',

方法2：

安装brotlipy。

import brotli
data = brotli.decompress(compressed_data)

原因：

原因为你同意了该种压缩方式后，有的服务器便采用了br这种压缩方法，该种压缩的解压方式目前还不是Requests或aiohttp等爬虫库默认支持的。

其它：

建议首先尝试上述的方式，这通常已经能解决问题了。
以上如果还没有解决，可以从编码方面下手做解决思路，为解码时指定编码。