如果访问一个网站时,用浏览器可以访问,但是用requests无法访问,则通常问题出在headers请求头里,一种情况是需要添加User-Agent,另一种情况是添加Referer,这种情况通常是post请求时需要发送Referer
import requests
response = requests.get(
url=’https://www.zhihu.com‘,
headers={
‘Referer’:’https://www.zhihu.com‘,
‘User-Agent’:’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.89 Safari/537.36 OPR/49.0.2725.47’
}
)
print(response.text)