常用的爬虫模块及使用方法

本文介绍了Python中的urllib和urllib2模块在爬虫中的使用,包括urllib2的Request对象、urlopen方法以及HTTPCookieProcessor处理cookie。内容涉及GET和POST请求、设置headers、伪装User-Agent以及解析响应。
摘要由CSDN通过智能技术生成

常用的爬虫模块及使用方法

python的urllib和urllib2模块都做与请求URL相关的操作,但他们提供不同的功能。他们两个最显著的差异如下:

urllib2可以接受一个Request对象,并以此可以来设置一个URL的headers,但是urllib只接收一个URL。这意味着,你不能伪装你的用户代理字符串等。

分析:

:打开https://www.tmall.com/网站,再按F12,可以查看该网页的源代码。

:打开天猫网站


 

referer:有的源代码有,有的没有;它代表的是你是从哪个页面跳转到这个页面的,即:你的下一个页面。

user-agent:每个源代码都有这一项;

cookie:绝大部分是通过我们访问页面的时候给我们返回来的;

urllib是不能进行反爬的;

urllib模块可以提供进行urlencode的方法,该方法用于GET查询字符串的生成,urllib2的不具有这样的功能。这就是urllib与urllib2经常在一起使用的原因。

例:

import urllib,urllib2

#https://www.baidu.com/s?ie=utf-8

  • 0
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值