python爬虫使用session保持登录状态

今天有个客户需求，从网站上下载会员试题，需要在登录状态下载，然后将网页中展示的试题保存在word中。

网站上展示的所有试题要保存在一个word文档中，但是每一个试题结束下一个试题开始都是分开页码，一道新的试题需要在新的一页word中保存。

由于网站需要登录状态，我们使用requests库中的session，保持登录状态。

# 创建session
session = requests.session()
# 网页路径
url ='http://hkgovjob.com/?page_id=2351'
data = {  # 请求携带的FormData数据
    'username': HKGOVJOB_USERNAME,
    'password': HKGOVJOB_PASSWORD,
    '_n': 'b16bf5025f',
    '_wp_http_referer': '/?page_id=2351',
    'redirect': '',
    'login': '登錄'
}

session.post(url, headers=headers, data=data)

保持登录状态后，我们就可以使用session发送请求，获取我们需要的试题网页内容了。

使用for循环访问试题每一页，获取到数据。

for page in range(1, 34):
    # 发送get请求,获取数据
    url = f'http://hkgovjob.com/?page_id=3237&paged={page}'
    res = session.get(url, headers=headers)

获取到数据之后，我们使用xpath解析获取到网页源码的数据。

# 使用xpath解析数据
tree = etree.HTML(res.text)
article_list = tree.xpath('//div[@class="template-blog"]/article')

下面就是我们需要哪里的数据，在网页的标签中获取。

最后要注意的一点是，我们要求每一道试题都要在新的一页上面，所以在保存一道试题之后，我们需要使用python-docx库中的add_page_break()方法，切换到下一页进行保存下一个试题。

源码已经上传到github上了，有需要的自行下载吧！

part_time_job/hkgovjob at main · zyh364267040/part_time_job · GitHub

在本文中我们展示了requests库中session的用法，希望对你有帮助。

欢迎扫码关注公众号