今天在获取很久之前写的爬虫的时候 传送门
发现运行直接报错,除了网站更改以后的错误(网站加强了反爬措施),还报了另外一个错:
SSLError: bad handshake: Error([('SSL routines', 'SSL3_GET_SERVER_CERTIFICATE', 'certificate verify failed')],)
后来查询意思是 request证书过期:
该问题的原因是:因为网址使用了https,所以经过代理时会报错。报错原因是:Python3之关闭SSL证书验证
解决办法是:关闭验证SSL证书开关,verify:Ture/False,默认是Ture,用于验证SSL证书开关。例如:requests.get(url=url,headers=headers,verify=False)
怎么修改呢?
原来:
response = requests.get(url2,headers=headers)
现在:
response = requests.get(url2,headers=headers,verify=False)
修改后顺利通过。