ProxyHandler_处理器(代理设置)

ProxyHandler处理器(代理设置)

很多网站会检测某一段时间某个ip的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，它会禁止这个ip的访问。
所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个ip继续爬取。
urllib中通过ProxyHandler来设置使用代理服务器，下面代码说明如何使用自定义opener来使用代理：

1、代理的原理：在请求目的网站之前，先请求代理服务器，然后让代理服务器去请求目的网站，代理服务器拿到目的网站的数据后，再转发给我们的代码。
2、http://httpbin.org/ip—专门用来测试http请求的
3、在代码中使用代理：
①使用’urllib.request.ProxyHandler’,传入一个代理，这个代理手机一个字典，字典的key依赖于代理服务器能够接受的类型，一般是’http’或者’https’，值是’ip:port’
②使用上一步创建的’handler’,以及’request.bulid_opener’创建一个’opener’对象
③使用上一步创建的’opener’，调用’open’函数,发起请求

from urllib import request

# 没有使用代理的
url = 'http://httpbin.org/ip'
resp = request.urlopen(url)
print(resp.read())

结果：
b'{\n  "origin": "115.196.75.127"\n}\n'


# 使用代理的
url = 'http://httpbin.org/ip'
#1、使用ProxyHandler,传入代理构建一个handler  {字典}
handler = request.ProxyHandler({"http": "121.230.210.232: 3256"})
# 2、使用上面创建的handler构建一个opener
opener = request.build_opener(handler)
# 3、使用opener去发送一个请求
resp =  opener.open(url)
print(resp.read())

结果：
b'{\n  "origin": "23.241.78.43"\n}\n'