python 网页抓取urllib,urllib2,httplib

需求：

抓取网页，解析获取内容

涉及库：【重点urllib2】

urllib   http://docs.python.org/library/urllib.html

urllib2  http://docs.python.org/library/urllib2.html

httplib   http://docs.python.org/library/httplib.html

使用urllib:

1.      抓取网页信息

 

urllib.urlopen(url[, data[, proxies]]) :

url: 表示远程数据的路径

data: 以post方式提交到url的数据

proxies:用于设置代理

 

urlopen返回对象提供方法：

-         read() , readline() ,readlines() , fileno() , close() ：这些方法的使用方式与文件对象完全一样

-         info()：返回一个httplib.HTTPMessage对象，表示远程服务器返回的头信息

-         getcode()：返回Http状态码。如果是http请求，200请求成功完成;404网址未找到

-         geturl()：返回请求的url

使用：

[python]  view plain copy print ?

1. #!/usr/bin/python  
2. # -*- coding:utf-8 -*-  
3. # urllib_test.py  
4. # author:wklken  
5. # 2012-03-17  wklken#yeah.net   
6.   
7. import os  
8. import urllib  
9. url = "http://www.siteurl.com"  
10.   
11. def use_urllib():  
12.   import urllib, httplib  
13.   httplib.HTTPConnection.debuglevel = 1   
14.   page = urllib.urlopen(url)  
15.   print "status:", page.getcode() #200请求成功,404  
16.   print "url:", page.geturl()  
17.   print "head_info:\n",  page.info()  
18.   print "Content len:", len(page.read())  

附带的其他方法：（主要是url编码解码）

-         urllib.quote(string[, safe])：对字符串进行编码。参数safe指定了不需要编码的字符

-         urllib.unquote(string) ：对字符串进行解码

-          urllib.quote_plus(string [ , safe ] ) ：与urllib.quote类似，但这个方法用'+'来替换' '，而quote用'%20'来代替' '

-          urllib.unquote_plus(string ) ：对字符串进行解码

-         urllib.urlencode(query[, doseq])：将dict或者包含两个元素的元组列表转换成url参数。例如 字典{'name': 'wklken', 'pwd': '123'}将被转换为"name=wklken&pwd=123"

-         urllib.pathname2url(path)：将本地路径转换成url路径

-          urllib.url2pathname(path)：将url路径转换成本地路径

使用：

[python]  view plain copy print ?

1. def urllib_other_functions():  
2.   astr = urllib.quote('this is "K"')  
3.   print astr  
4.   print urllib.unquote(astr)  
5.   bstr = urllib.quote_plus('this is "K"')  
6.   print bstr  
7.   print urllib.unquote(bstr)  
8.   
9.   params = {"a":"1", "b":"2"}  
10.   print urllib.urlencode(params)  
11.   
12.   l2u = urllib.pathname2url(r'd:\a\test.py')  
13.   print l2u   
14.   print urllib.url2pathname(l2u)  

2.  下载远程数据

urlretrieve方法直接将远程数据下载到本地

urllib.urlretrieve(url[, filename[, reporthook[, data]]])：

 

filename指定保存到本地的路径（若未指定该，urllib生成一个临时文件保存数据）

reporthook回调函数，当连接上服务器、以及相应的数据块传输完毕的时候会触发该回调

data指post到服务器的数据

 

该方法返回一个包含两个元素的元组(filename, headers)，filename表示保存到本地的路径，header表示服务器的响应头。

[python]  view plain copy print ?

1. def  callback_f(downloaded_size, block_size, romote_total_size):  
2.   per = 100.0 * downloaded_size * block_size / romote_total_size  
3.   if per > 100:  
4.     per = 100   
5.   print "%.2f%%"% per   
6.   
7. def use_urllib_retrieve():  
8.   import urllib  
9.   local = os.path.join(os.path.abspath("./"), "a.html")  
10.   print local  
11.   urllib.urlretrieve(url,local,callback_f)  

使用httplib抓取：

表示一次与服务器之间的交互，即请求/响应

httplib.HTTPConnection ( host [ , port [ ,strict [ , timeout ]]] )

host表示服务器主机

port为端口号，默认值为80

strict的 默认值为false， 表示在无法解析服务器返回的状态行时(status line) （比较典型的状态行如： HTTP/1.0 200 OK ），是否抛BadStatusLine 异常

可选参数timeout 表示超时时间。

HTTPConnection提供的方法：

- HTTPConnection.request ( method , url [ ,body [ , headers ]] )

调用request 方法会向服务器发送一次请求

method 表示请求的方法，常用有方法有get 和post ；

url 表示请求的资源的url ；

body 表示提交到服务器的数据，必须是字符串（如果method是”post”，则可以把body 理解为html 表单中的数据）；

headers 表示请求的http 头。

- HTTPConnection.getresponse ()

获取Http 响应。返回的对象是HTTPResponse 的实例，关于HTTPResponse 在下面会讲解。

 - HTTPConnection.connect ()

连接到Http 服务器。

 - HTTPConnection.close ()

关闭与服务器的连接。

 - HTTPConnection.set_debuglevel ( level )

设置高度的级别。参数level 的默认值为0 ，表示不输出任何调试信息。

 

httplib.HTTPResponse

-HTTPResponse表示服务器对客户端请求的响应。往往通过调用HTTPConnection.getresponse()来创建，它有如下方法和属性：

-HTTPResponse.read([amt])

获取响应的消息体。如果请求的是一个普通的网页，那么该方法返回的是页面的html。可选参数amt表示从响应流中读取指定字节的数据。

 -HTTPResponse.getheader(name[, default])

获取响应头。Name表示头域(header field)名，可选参数default在头域名不存在的情况下作为默认值返回。

 -HTTPResponse.getheaders()

以列表的形式返回所有的头信息。

 - HTTPResponse.msg

获取所有的响应头信息。

 -HTTPResponse.version

获取服务器所使用的http协议版本。11表示http/1.1；10表示http/1.0。

 -HTTPResponse.status

获取响应的状态码。如：200表示请求成功。

 -HTTPResponse.reason

返回服务器处理请求的结果说明。一般为”OK”

 

使用例子：

[python]  view plain copy print ?

1. #!/usr/bin/python  
2. # -*- coding:utf-8 -*-  
3. # httplib_test.py  
4. # author:wklken  
5. # 2012-03-17  wklken#yeah.net   
6. def use_httplib():  
7.   import httplib  
8.   conn = httplib.HTTPConnection("www.baidu.com")  
9.   i_headers = {"User-Agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1) Gecko/20090624 Firefox/3.5",  
10.              "Accept": "text/plain"}  
11.   conn.request("GET", "/", headers = i_headers)  
12.   r1 = conn.getresponse()  
13.   print "version:", r1.version  
14.   print "reason:", r1.reason  
15.   print "status:", r1.status  
16.   print "msg:", r1.msg  
17.   print "headers:", r1.getheaders()  
18.   data = r1.read()  
19.   print len(data)  
20.   conn.close()  
21.   
22. if __name__ == "__main__":  
23.   use_httplib()  

使用urllib2，太强大了

试了下用代理登陆拉取cookie，跳转抓图片......

文档：http://docs.python.org/library/urllib2.html 

直接上demo代码了

包括：直接拉取，使用Reuqest(post/get),使用代理，cookie,跳转处理

[python]  view plain copy print ?

1. #!/usr/bin/python  
2. # -*- coding:utf-8 -*-  
3. # urllib2_test.py  
4. # author: wklken  
5. # 2012-03-17 wklken@yeah.net  
6.   
7.   
8. import urllib,urllib2,cookielib,socket  
9.   
10. url = "http://www.testurl....." #change yourself  
11. #最简单方式  
12. def use_urllib2():  
13.   try:  
14.     f = urllib2.urlopen(url, timeout=5).read()  
15.   except urllib2.URLError, e:  
16.     print e.reason  
17.   print len(f)  
18.   
19. #使用Request  
20. def get_request():  
21.   #可以设置超时  
22.   socket.setdefaulttimeout(5)  
23.   #可以加入参数  [无参数，使用get，以下这种方式，使用post]  
24.   params = {"wd":"a","b":"2"}  
25.   #可以加入请求头信息，以便识别  
26.   i_headers = {"User-Agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1) Gecko/20090624 Firefox/3.5",  
27.              "Accept": "text/plain"}  
28.   #use post,have some params post to server,if not support ,will throw exception  
29.   #req = urllib2.Request(url, data=urllib.urlencode(params), headers=i_headers)  
30.   req = urllib2.Request(url, headers=i_headers)  
31.   
32.   #创建request后，还可以进行其他添加,若是key重复，后者生效  
33.   #request.add_header('Accept','application/json')  
34.   #可以指定提交方式  
35.   #request.get_method = lambda: 'PUT'  
36.   try:  
37.     page = urllib2.urlopen(req)  
38.     print len(page.read())  
39.     #like get  
40.     #url_params = urllib.urlencode({"a":"1", "b":"2"})  
41.     #final_url = url + "?" + url_params  
42.     #print final_url  
43.     #data = urllib2.urlopen(final_url).read()  
44.     #print "Method:get ", len(data)  
45.   except urllib2.HTTPError, e:  
46.     print "Error Code:", e.code  
47.   except urllib2.URLError, e:  
48.     print "Error Reason:", e.reason  
49.   
50. def use_proxy():  
51.   enable_proxy = False  
52.   proxy_handler = urllib2.ProxyHandler({"http":"http://proxyurlXXXX.com:8080"})  
53.   null_proxy_handler = urllib2.ProxyHandler({})  
54.   if enable_proxy:  
55.     opener = urllib2.build_opener(proxy_handler, urllib2.HTTPHandler)  
56.   else:  
57.     opener = urllib2.build_opener(null_proxy_handler, urllib2.HTTPHandler)  
58.   #此句设置urllib2的全局opener  
59.   urllib2.install_opener(opener)  
60.   content = urllib2.urlopen(url).read()  
61.   print "proxy len:",len(content)  
62.   
63. class NoExceptionCookieProcesser(urllib2.HTTPCookieProcessor):  
64.   def http_error_403(self, req, fp, code, msg, hdrs):  
65.     return fp  
66.   def http_error_400(self, req, fp, code, msg, hdrs):  
67.     return fp  
68.   def http_error_500(self, req, fp, code, msg, hdrs):  
69.     return fp  
70.   
71. def hand_cookie():  
72.   cookie = cookielib.CookieJar()  
73.   #cookie_handler = urllib2.HTTPCookieProcessor(cookie)  
74.   #after add error exception handler  
75.   cookie_handler = NoExceptionCookieProcesser(cookie)  
76.   opener = urllib2.build_opener(cookie_handler, urllib2.HTTPHandler)  
77.   url_login = "https://www.yourwebsite/?login"  
78.   params = {"username":"user","password":"111111"}  
79.   opener.open(url_login, urllib.urlencode(params))  
80.   for item in cookie:  
81.     print item.name,item.value  
82.   #urllib2.install_opener(opener)  
83.   #content = urllib2.urlopen(url).read()  
84.   #print len(content)  
85. #得到重定向 N 次以后最后页面URL  
86. def get_request_direct():  
87.   import httplib  
88.   httplib.HTTPConnection.debuglevel = 1  
89.   request = urllib2.Request("http://www.google.com")  
90.   request.add_header("Accept", "text/html,*/*")  
91.   request.add_header("Connection", "Keep-Alive")  
92.   opener = urllib2.build_opener()  
93.   f = opener.open(request)  
94.   print f.url  
95.   print f.headers.dict  
96.   print len(f.read())  
97.   
98. if __name__ == "__main__":  
99.   use_urllib2()  
100.   get_request()  
101.   get_request_direct()  
102.   use_proxy()  
103.   hand_cookie()