Python 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte

案例一：

```py

使用 urllib

import urllib.request

使用 json

import json

定义 header

headers = { # 'Accept': '/',

# 因为有 Accept-Encoding 这行会报错：'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte # 'Accept-Encoding': 'gzip, deflate, br', # 在写爬虫的时候这一句话一定要注释掉，因为接受编码格式没有 utf-8

# 'Accept-Language': 'zh-CN,zh;q=0.9', # 'Acs-Token': '16683230096471668329342293ts2LNTmAMNu8bz6UcQlmajMjkFeD7EM7TNicuMqP14qLPx6R8FOs/pHR9jGpORyVc3jkLtMD7dh7/9XDK7+b5SqO0f2bzrYB1DzNkaXGMwkcPyDo9cygYroE1pFoncx4VbCQu/ieJyUK+TbYU4atAB/XCth4Lc8zNYRCQuOtbLb2zJ9RX1Jj7krqZIfNr14muZP1N5+rq7cjPbnBgvf5V6m03XLliDp4ueln/xS/qSQVL3XiWSOpemYY9gD9UHaUVPGIi4Q6uIT/05yCxxhd4kJCfeRys/AiOLQ+nbNaXUGoyTBZg90HLn6A9NTb5HAF', # 'Connection': 'keep-alive', # 'Content-Length': '135', # 'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',

# 防爬方式的一种，验证 Cookie 'Cookie': '换成自己百度账号的 Cookie',

# 'Host': 'fanyi.baidu.com', # 'Origin': 'https://fanyi.baidu.com', # 'Referer': 'https://fanyi.baidu.com/', # 'sec-ch-ua': '"Google Chrome";v="107", "Chromium";v="107", "Not=A?Brand";v="24"', # 'sec-ch-ua-mobile': '?0', # 'sec-ch-ua-platform': '"macOS"', # 'Sec-Fetch-Dest': 'empty', # 'Sec-Fetch-Mode': 'cors', # 'Sec-Fetch-Site': 'same-origin', # 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10157) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36', # 'X-Requested-With': 'XMLHttpRequest' }

请求地址

url = 'https://fanyi.baidu.com/v2transapi?from=zh&to=en'

参数

params = { 'from': 'zh', 'to': 'en', 'query': '名称', 'transtype': 'realtime', 'simplemeansflag': '3', 'sign': '386125.67452', 'token': '换成自己百度账号的 token', 'domain': 'common' }

上面直接使用参数字符串会报错，是因为 post 请求参数必须要要进行编码

data = urllib.parse.urlencode(params).encode('utf-8')

模拟浏览器向服务器发送请求

request = urllib.request.Request(url=url, data=data, headers=headers)

模拟浏览器向服务器发送请求

response = urllib.request.urlopen(request)

获取内容字符串

content = response.read().decode('utf-8')

将字符串转成 json

obj = json.loads(content)

输出 json

print(obj) ```

案例二：

```py

测试 https://weibo.cn/pub/，抓取个人详细资料：https://weibo.cn/xxxx/info

重点：

直接访问个人资料页，页面编码格式是 UTF-8 但是还是报编码格式错误，

是因为没有进入到个人信息页面，而是跳转到了登录页面，登录页面不是 UTF-8 所以报错，也就是校验信息没带全，算没登录

引用 urllib

import urllib.request

请求头

headers = { # 校验 ua ，防爬方式的一种 'user-agent': '', # 主要就是少了这一行，cookie 携带着登录信息，如果有登录之后的 cookie，那么就能通过携带 cookie 进入任何页面，防爬方式的一种 'cookie': '', # 用于判断当前路径是不是由上一个路径进来的，如果不是也会报错，一般情况是做图片的防盗链，防爬方式的一种，这种方式属于可选防爬方式不是每个网站都校验这个 'referer': 'https://weibo.cn/' }

请求地址

url = 'https://weibo.cn/xxx/info'

请求对象

request = urllib.request.Request(url=url, headers=headers)

模拟浏览器向服务器发起请求

response = urllib.request.urlopen(request)

如果报错编码格式错误，可以通过输出 read() 内容查看网页编码，但是只适用个别网页

print(response.read()) #

获取响应数据

content = response.read().decode('utf-8')

print(content)

将页面数据保存，方便确认当前在哪(打开保存的文件会发现是 登录页面)

with open('weibo.html', 'w', encoding='utf-8') as f: f.write(content) ```