爬虫之urllib基本库的使用

1.使用urlopen构造最基本的http请求方法，模拟浏览器的一个请求发起的过程

import  urllib.request
response = urllib.request.urlopen('https://www.python.org')
print(response.read().decode('utf-8'))

使用两行代码完成了python官网的抓取过程，输出了网页的源代码，它是一个HTTPResponse类型的对象，主要包括read(),readinto(),getheader(name),getheaders()等的方法
2.使用urlopen获取响应的状态码以及响应的状态头信息

import  urllib.request
response = urllib.request.urlopen('https://www.python.org')
print(response.status)
print(response.getheaders())
#获取响应的整个头部内容
print(response.getheader('Server'))
#获取响应中带有'Server'的头部信息

3.data参数可选，需要使用bytes()方法将参数转化为字节流编码格式的内容，即bytes类型。另外如果传递了这个参数，则它的请求就不再是GET方式，而是POST方式。