【Python学习笔记】爬虫基础(requests获取网页信息)

前往：我自己搭建的博客

所用版本：Python 3.9，requests 2.25.1

最近在使用urllib进行网页信息的获取时，我发现它的decode()方法容易出问题，于是又学习了requests库的操作。

利用requests.get(url)可以获取一个get请求的响应，并将响应的内容存入一个对象中。

# -*- coding: utf-8 -*-

import requests

url = "https://www.baidu.com/"
response = requests.get(url)  # 获取一个get请求的响应
assert response.status_code == 200  # 判断请求是否成功
print(response.headers)  # 获取响应头
print(response.request.headers)  # 获取请求头

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36"}
response = requests.get(url, headers=headers)  # 模拟浏览器
content = response.content.decode()  # 获取网页内容