Python学习笔记

#笔者使用的Python IDE是 Thonny,系统为win11

这篇文章旨在使用爬虫来获取图片（例如百度贴吧）

1.首先打开Thonny，创建py文件，引入相关的包requests和 lxml里面etree，requests库用于发送HTTP请求和获取网页内容，lxml库用于解析HTML文档。

Thonny引入包的步骤（汉化）： 工具 -》管理包 -》安装相关包

import requests

from lxml  import etree

2.获取图片的网址

eg：进入百度贴吧，风景吧，随便选一个话题，获取上面的网址，比如改话题网址为今天的云૧(●´৺`●)૭【风景吧】_百度贴吧今天的云૧(●´৺`●..https://tieba.baidu.com/p/8493377062

 

 

定义一个地址变量：index_url = "https://tieba.baidu.com/p/8490455418"

向网页发出一个请求并且用变量保存网页文本

response = requests.get(index_url).text

3.通过etree.HTML()方法将获取到的网页内容转换为可解析的HTML格式。

selector = etree.HTML(response)

接下来，使用XPath语法从HTML中提取所有class属性为"BDE_Image"的img元素节点，并获取它们的src属性，也就是图片的链接地址。这些图片链接地址被存储在images_url列表中。

从哪里看图片属性呢：打开相应网页，按F12调出开发者工具，俺ctrl+shift+c选中图片，会看到网页的源代码发现图片的class属性为BDE_image ，后面即为相应的src

 

images_url = selector.xpath('//img[@class="BDE_Image"]/@src')

4.接下来，使用循环遍历images_url列表中的每个图片链接地址。
对于每个图片链接地址，使用requests库发送GET请求，获取图片内容，并将其保存到变量image_content中。
然后，使用open()函数创建一个以number命名的文件，文件格式为.jpg，以二进制写入模式打开。
接下来，将图片内容写入文件中。
最后，将offset的值增加1，以便给下一个图片文件命名。循环继续，直到处理完所有的图片链接地址。
number = 0
for image_url in images_url:
    
    image_content = requests.get(image_url).content
    with open("{}.jpg".format(offset),'wb') as f:
        f.write(image_content)
    offset = offset+1

最后文件夹中会出现相应的图片

这是对应的源码

import requests
from lxml import etree
index_url = "https://tieba.baidu.com/p/8493377062"

response = requests.get(index_url).text

selector = etree.HTML(response)

images_url = selector.xpath('//img[@class="BDE_Image"]/@src')

offset = 0
for image_url in images_url:
    
    image_content = requests.get(image_url).content
    with open("{}.jpg".format(offset),'wb') as f:
        f.write(image_content)
    offset = offset+1