urllib详解

urllib是python中请求url链接的标准库,主要包含以下几个模块

  • urllib.request:用于打开和阅读URL
  • urllib.error:包含由引发的异常urllib.request
  • urllib.parse:用于解析URL
  • urllib.robotparser:用于解析robot.txt文件

urllib.request.urlopen()

  • 模块定义了有助于在复杂环境中打开URL(主要是HTTP)的函数和类-基本身份验证和摘要身份验证,重构定向,Cookie等。
  • 语法结构
urllib.request.urlopen(url,data = None[ timeout,] *,cafile = None,capath = None,cadefault = False,context = None
  • 语法详解
    • url:传入的对象可以是url也可以是一个request的对象
    	#传入的对象是url
    	# 设置一个url对象
    	url = "www.baidu.com"
    	#发送请求,打开url
    	urllib.request.urlopen(url)
    	```
    	```puthon
    	#传入的对象是request
    	url = "www.baidu.com"
    	#将url对象转换成request对象
    	req = urllib.request.Request(url)
    	#发送请求,打开url
    	urllib.request.urlopen(url)
    
    • data:data必须是一个直接要发送搭服务器的其他数据的对象,如果没有data数据的话可以为None,也可以不写
    • timeout:以秒为单位制定用于组织链接尝试之类的操作超时
  • urllib.openurl:返回对象的方法
      # 设置一个url对象
      url = "www.baidu.com"
      #发送请求,打开url
      up = urllib.request.urlopen(url)
      print(type(up))
      
      #返回对象
    >>> <class 'http.client.HTTPResponse'>
    

上面我们可以看出返回的对象是HTTPResponse类型的,那我们就一起来看一下HTTPResponse类的方法

- HTTPResponse.read():读取并返回响应主体
- HTTPResponse.readinto(b ):将响应主体的下一个len(b)字节读取到缓冲区b中。返回读取的字节数。
- HTTPResponse.getheader(name,default = None ):返回标头名称的值;如果没有标头匹配名称,则返回默认值。如果有一个以上的标题名为名称,返回全部由加盟值“”。如果'default'是除单个字符串之外的任何可迭代对象,则类似地返回其元素并以逗号连接。
- HTTPResponse.getheaders():返回(头,值)元组的列表。
- HTTPResponse.fileno():返回fileno基础套接字的。
- HTTPResponse.status :服务器返回的状态码。
- HTTPResponse.closed():是True流是否关闭。
- info():返回返回HTTPMessage对象,表示远程服务器返回的头信息
- getcode():返回Http状态码。如果是http请求,200请求成功完成 ; 404网址未找到,与HTTPResponse.status功能一样
- geturl():返回请求的url
  • 发送GET请求:
    from urllib import request
    response = request.urlopen('https://www.baidu.com')
    print(response.read().decode())
    
  • 发送post请求
    from urllib import reuqest
    response = 	request.urlopen('http://httpbin.org/post', data=b'word=hello')
    print(response.read().decode())   #decode()解码
    
    • 我们已经知道在讲urlopen中传入一个网址的时候他就会主动的去访问目标的网址,会返回一个HTTPResponse类型的对象,那么我们是怎么知道我们发送的get请求和post请求呢?下面我们一起来看一下
        def get_method(self):
        """Return a string indicating the HTTP request method."""
        default_method = "POST" if self.data is not None else "GET"
        return getattr(self, 'method', default_method)
    
    • 这个是源码中的一个方法,根据代码我们得知如果data是不为空的话,就是post请求,否则就是get请求
  • urllib.request.Request
    • 上面的urllib是可对网页发起请求,在我们实际的爬虫应用中,如果频繁的访问一个网页,网站就会识别我们是不是爬虫,这个时候我们就要利用Request来伪装我们的请求头
    urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)
    
    参数解析
    url发起请求的url
    datadata必须是一个直接要发送搭服务器的其他数据的对象,如果没有data数据的话可以为None,也可以不写
    headersheaders是一个字典类型,是请求头。可以在构造请求时通过headers参数直接构造,也可以通过调用请求实例的add_header()方法添加。可以通过请求头伪装浏览器,默认User-Agent是Python-urllib。要伪装火狐浏览器,可以设置User-Agent为Mozilla/5.0 (x11; U; Linux i686) Gecko/20071127 Firefox/2.0.0.11
    origin_req_host指定请求方的host名称或者ip地址
    unverifiable设置网页是否需要验证,默认是False,这个参数一般也不用设置。
    methodmethod是一个字符串,用来指定请求使用的方法,比如GET,POST和PUT等。
  • 案例:静态添加请求头
#创建一个url
url = "www.baidu.com"
#创建一个请求头
headers = {
	"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36"
}
#利用request.Request返回一个request对象
requ = request.Request(url,headers=header)
#向网站发出请求
res = request.urlopen(requ)
  • 案例:动态添加请求头
#创建一个url
url = "www.baidu.com"
#利用request.Request返回一个request对象
requ = request.Request(url)
#利用add_header方法动态加入请求头
requ.add_header("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36") 
res = request.urlopen(requ)

代理的使用:proxyHandle类

最常见的反扒技术之一就是通过客户端的IP来判断是否是爬虫,如果同一个IP在短时间内大量的访问服务器的不同界面,那么极有可能是爬虫,如果服务器认为是爬虫那么就会将IP封禁,这样爬虫就无法访问服务器的任何资源了
在urlopen()中并没有给我们定义设置ip的参数,我们观察urlopen的源码可以发现这个urlopen的方法体实际返回的是一个opener.open()

    global _opener
    if cafile or capath or cadefault:
        import warnings
        warnings.warn("cafile, capath and cadefault are deprecated, use a "
                      "custom context instead.", DeprecationWarning, 2)
        if context is not None:
            raise ValueError(
                "You can't pass both context and any of cafile, capath, and "
                "cadefault"
            )
        if not _have_ssl:
            raise ValueError('SSL support not available')
        context = ssl.create_default_context(ssl.Purpose.SERVER_AUTH,
                                             cafile=cafile,
                                             capath=capath)
        https_handler = HTTPSHandler(context=context)
        opener = build_opener(https_handler)
    elif context:
        https_handler = HTTPSHandler(context=context)
        opener = build_opener(https_handler)
    elif _opener is None:
        _opener = opener = build_opener()
    else:
        opener = _opener
    return opener.open(url, data, timeout)

观察上面的源码发现opener对象是由bulid_opener()创建的,而bulid_opener里面的参数是HTTPSHandler类型,那我们就可以得知open()对象是传入HTTPHandler类型构建出来的,那么我们也可以构建自己的opener,下面我们来详细看一下是怎么样构建可以加入ip的opener,创建加入ip的opener我们需要用到ProxyHandler()


#创建一个链接
url = "https://space.bilibili.com/"
#创建一个代理
proxy = {
    "HTTP":"124.239.216.14:2060"
}
# 创建一个代理的处理器
proxy_handler = request.ProxyHandler(proxy)
#创建自己的opener
opener = request.build_opener(proxy_handler)
#使用我们自己的opener来请求网址
w = opener.open(url).read().decode("utf-8")

Cookie

我们再爬虫的过程中会碰到有登录的问题,那么cookie就是网站为了辨别用户身份,进行session跟踪而储存在用户本地终端上的数据,有些网站是必须登录之后才能爬取页面,那么我们就能运用我们的urlib库保存我们登录的cookie,然后再住区其他页面就达到目的了,接下来我们来看一下我们是怎么样利用cookie来发送请求的
from urllib import request,parse
from http import cookiejar



#创建一个方法登录药智网
def login_Yaozhi(username,pwd):

    # 创建一个网址
    url = "https://www.yaozh.com/login/"

    # 创建一个请求头
    header = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36"
    }
    # 创建登录的cookie
    cookie = {
        "username": username,
        "pwd" : pwd,
        "formhash" : "35D0E251E2",
        "backurl" : "https%3A%2F%2Fwww.yaozh.com%2F"
    }
    cook_str = parse.urlencode(cookie).encode("utf-8")

    #创建cookjar
    cook_cookiejar = cookiejar.CookieJar()

    #创建一个cookie的处理器
    cook_hander = request.HTTPCookieProcessor(cook_cookiejar)

    #根据处理器生成opener
    cook_opener = request.build_opener(cook_hander)

    # 创建一个接受请求头的Request对下个
    header_request = request.Request(url, headers=header,data=cook_str)
    #利用opener向网站发起请求,如果请求成功就保存cookie

    cook_opener.open(header_request,)

    #带着cookie访问登录成功的页面
    url_suss = "https://www.yaozh.com/"

    #创建一个访问成功链接的reque
    request_suss = request.Request(url_suss,headers=header)

    #向成功的页面发起请求
    result_suss = cook_opener.open(request_suss)
    #将请求到的数据进行转码
    decode_result_suss = result_suss.read().decode("utf-8")
    with open("login_suss.html","w",encoding="utf-8")as f:
        f.write(decode_result_suss)

if __name__ == '__main__':
    #让用户输入账号
    username = input("请输入账号:")
    #让用户输入密码
    pwd = input("请输入密码:")
    #调用函数
    login_Yaozhi(username,pwd)
©️2020 CSDN 皮肤主题: 书香水墨 设计师:CSDN官方博客 返回首页