爬虫笔记(1)- urllib
概念
1.通过一个程序,根据url进行爬取网页,获取有用信息
2.使用程序和浏览器,去向服务器发送请求,获取响应信息
爬虫核心
1.爬取网页
2.解析数据
3.难点:爬虫和反爬虫之间的博弈
爬虫用途
1.数据分析/人工数据集
2.社交软件冷启动
3.舆情监控
4.竞争对手监控
爬虫分类
通用爬虫:
1、实例:360、百度、google等搜索引擎
2、功能:访问网页、抓取数据、数据存储、数据处理、提供检索服务
3、robots协议:一个约定俗成的协议,添加robots.txt文件,来说明本网站哪些内容不可以被抓取,起不到限制作用
4、网站排名:
(1)根据pagerank算法值进行排名
(2)百度竞价排名
5.缺点
(1)抓取的数据大多是无用的
(2)不能根据用户的需求来精准获取数据
聚焦爬虫:
1、功能:根据需求,实现爬虫程序,抓取需要的数据
2、设计思路:
(1)确定要爬取的url -> 如何获取url
(2)模拟浏览器通过http协议访问url,获取服务器返回的html代码
(3)解析html字符串
反爬手段
1.user-Agent
用户代理,简称UA,是一个特殊的字符串头,使得服务器能够识别客户使用的操作系统及版本、CPU类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等
2.代理IP
西次代理
快代理
(1)使用透明代理,对方服务器可以知道你使用了代理,并且也知道你的真实IP。
(2)使用匿名代理,对方服务器可以知道你使用了代理,但不知道你的真实IP。
(3)使用高匿名代理,对方服务器不知道你使用了代理,更不知道你的真实IP。
3.验证码访问
打码平台、云打码平台、超级🦅
4.动态加载网页
网站返回的是js数据,并不是网页的真实数据,selenium驱动真实的浏览器发送请求
5.数据加密
分析js代码
urllib库的使用
python自带
1个类型 6个方法
print(type(response))
#HTTPResponse类型
content = response.read()
content = response.read(5)#返回5个字节
content = response.readline()#读取一行
content = response.readlines()#一行一行读,直到读完
print(response.getcode())#返回状态码,如果是200就证明正确
print(response.geturl())#返回url地址
print(response.getheaders())#获取状态信息
下载
urllib.request.urlretrieve(url,filename)
图片复制地址
视频在网页检查中找vedio的src
请求对象的定制
url组成
http 80/https 443
协议 主机 端口号 路径s 参数wd
mysql 3306、oracle 1521、redis 6379、mongodb 27017
#请求对象的定制,因为urlopen方法中不能存储字典,所以headers不能传递出去
# 参数顺序问题,要加上变量名
request = urllib.request.Request(url=url,headers=headers)
response = urllib.request.urlopen(request)
编解码
get:
quote方法能将汉语转为ASCII码,urllib.parse.quote(‘周杰伦’)
urlencode方法:多个参数的时候,将字典转为ASCII码,两两之间加&
post:
#post请求的参数必须要进行编码
data = urllib.parse.urlencode(data).encode('utf-8')
#post请求的参数不会拼接在url后边的
request = urllib.request.Request(url=url,data=data,headers=headers)
response = urllib.request.urlopen(request)
content = response.read().decode('utf-8')
print(content)
1.post请求方式的参数 必须编码 urlencode
2.编码之后 必须调用encode方法
3.参数是放在请求对象定制的方法中
如图,是百度翻译的详细翻译。
cookie很重要。
ajax的get请求
爬电影排行前10页
ajax的post请求
看到如图即为Ajax请求
爬虫中的异常
URLError
HTTPError是URLError的子类
cookie 登陆
有登陆后的cookie可以进任何页面
handler处理器基本使用
代理
代理池
proxies_pool=[
{'http':'118.24.219.151:1681711111'},
{'http':'118.24.219.151:1681722222'},
]