使用代理访问百度网站 ProxyHandler python 爬虫 入门

python 使用代理访问百度网站 ProxyHandler 爬虫

'''
使用代理访问百度网站
-ProxyHandler处理（代理服务器）
     -使用代理服务器，是爬虫的常用手段
     -获取代理服务器的地址：
         -www.xicidaili.com
         -www.goubanjia.com
     -代理用来隐藏真实访问中，代理也不允许频繁访问某一固定网站，所以，代理一定要很多很多
     -基本使用步骤：
        1.设置代理地址
        2.创建ProxyHandler
        3.创建opener
        4.安装opener

'''
from urllib import request,error
if __name__ == '__main__':
    url="http://www.baidu.com"
    #1.设置代理地址
    proxy = {'http':'218.60.8.83:3129'}
    #2.创建ProxyHandler
    proxy_handler = request.ProxyHandler(proxy)
    #3.创建opener/ 负责打开的
    opener = request.build_opener(proxy_handler)
    #4.安装opener
    request.install_opener(opener)

    #如果访问url，则使用代理服务器
    try:
        rsp = request.urlopen(url)
        html = rsp.read().decode()
        print(html)
    except error.URLError as e:
        print(e)
    except Exception  as e:
        print(e)