爬虫库requests和BeautifulSoup的基本使用

最新推荐文章于 2023-05-18 16:01:21 发布

晨峰说

最新推荐文章于 2023-05-18 16:01:21 发布

阅读量1k

点赞数

分类专栏： python 文章标签：爬虫 python requeste BeautifulSoup

本文链接：https://blog.csdn.net/zoollcar/article/details/86299697

版权

爬虫获取数据总体上可以分为两步：

主要用到 requests(发送网页请求) selenium(使用浏览器访问网页)

主要用到 BeautifulSoup

下面将简单介绍上面三个库的使用

requests 从URL中得到网页

使用 pip install requests 安装

使用 import requests 引用

import requests
r = requests.get('http://zoollcar.top') # 发送请求到url
print(r.text) # 输出获取到的页面文本

使用格式 requests.ge(url, params=None, **kwargs)

方法	功能
`requests.request()`	所有其他方法的基础方法
`requests.get()`	获得URL的内容
`requests.head()`	请求获取URL位置资源的响应消息报告，即获得该资源的头部信息
`requests.post()`	请求向URL位置的资源后附加新的数据
`requests.put()`	请求向URL位置存储一个资源，覆盖原URL位置的资源
`requests.patch()`	请求局部更新URL位置的资源，即改变该处资源的部分内容
`requests.delete()`	请求删除URL位置存储的资源

关注