爬虫自动登录访同授权页面

http.cookiejar模块
该模块主要的类有 Cookiejar,、 Filecookiejar、 MozillaCooklejar、 LwpCookiejar。这四个的作用分别如下
1.CookieJar:管理HTTPcookie值、存储HTTP请求生成的cookie、向传出的HTTP请求加cookies的对象,整个cookie都存储在内存中,对 Cooklejar实例进行垃圾回收后cookie也将丢失
2. Filecookiejar( filename,delayload=None, policy=None):从 Cookiejar派生而来,用创建 File Cookiejars实例,检索cookie信息并将cookie存储到文件中, filename是存储cookies的文件名, deadload为True时支持延迟访问文件,即只有在需要时读取文件或在文件中存数据。
3 Mozilla Cookiejar( filename,delayload= None, policy=None):从Filecookiejar生来,创建与 Mozilla浏览器cookes.txt兼容的FileCookieJar实例。
3. Lwpcookiejar( ( filename,deadload=None,policy=None):从 Filecookiejar派生而来,创建与 libwww-per标准的 Set-cookie3文件格式兼容的Filecookieja实例。
利用http.cookiejar和request.Httpcookieprocessor登录人人网。相关示例代码如下:

from urllib import request,parse
from http.cookiejar import CookieJar
headers = {
    'User-Agent':'Mozilla/5.0 (windows NT 10.0; win64; x64) Applewekit/537.36 (KHTML,like Gecko) Chrome/62.0.3202.94'
}
def get_opener():
    cookiejar = CookieJar()
    handler = request.HttpCookieProcessor(cookieJar)
    opener = request.build_opener(handler)

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值