【Python学习笔记】爬虫基础(urllib获取网页信息)

前往：我自己搭建的博客

所用版本：Python 3.6

利用urllib.request.urlopen()获取指定网页的源代码，并存入一个对象中。用这个对象的read()和decode()方法进行读取和解码。urllib.request.urlopen()默认获取一个get请求的响应，如果使用data参数，则为post请求。为了应对某些网站的反爬机制，需要程序伪装成真实用户，封装一个请求对象。

# -*- coding: utf-8 -*-
import urllib.request
import urllib.parse

#获取一个get请求的响应
response=urllib.request.urlopen("http://www.baidu.com")
print(response.read().decode("utf-8")) #获取网页内容
print(response.status) #获取状态码
print(response.getheaders()) #获取响应头
print(response.getheader('Server')) #获取头部信息中的某个特定值

#处理网页超时，程序卡死的情况
try:
    response=urllib.request.urlopen("http://www.baidu.com",timeout=3)
except urllib.error.URLError as e:
    print("time out")

#获取一个post请求的响应
data=bytes(urllib.parse.urlencode({"name":"Martin"}),encoding="utf-8")
response=urllib.request.urlopen("http://httpbin.org/post",data=data)

#伪装成真实用户
url="https://www.douban.com"
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36"}
request=urllib.request.Request(url=url,headers=headers)
response=urllib.request.urlopen(request)