所用版本:Python 3.9,requests 2.25.1
最近在使用urllib进行网页信息的获取时,我发现它的decode()方法容易出问题,于是又学习了requests库的操作。
利用requests.get(url)可以获取一个get请求的响应,并将响应的内容存入一个对象中。
# -*- coding: utf-8 -*-
import requests
url = "https://www.baidu.com/"
response = requests.get(url) # 获取一个get请求的响应
assert response.status_code == 200 # 判断请求是否成功
print(response.headers) # 获取响应头
print(response.request.headers) # 获取请求头
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36"}
response = requests.get(url, headers=headers) # 模拟浏览器
content = response.content.decode() # 获取网页内容