python 网络爬虫实例

最新推荐文章于 2024-08-14 10:14:38 发布

zhonglixianyun

最新推荐文章于 2024-08-14 10:14:38 发布

阅读量1.9k

点赞数 1

分类专栏： python

本文链接：https://blog.csdn.net/zhonglixianyun/article/details/78116839

版权

本文分享了一次使用Python进行网络爬虫的实战经历，详细介绍了如何抓取百度贴吧内的图片。通过代码展示，实现了从指定页面下载并保存图片的功能。

摘要由CSDN通过智能技术生成

自己用Python写了一个抓取百度贴吧里面的图片的小实例，代码如下：

from urllib.request import urlopen
from urllib.request import urlretrieve
from urllib.error import HTTPError
from bs4 import BeautifulSoup #BeautifulSoup需要自己安装
import sys
import re
import os

def getImg(url):
    try:
        html = urlopen(url)
    except HTTPError as e:
        print(e)
        return None
    try:
        bsObj = BeautifulSoup(html.read())
        images=bsObj.findAll("img",{"src":re.compile("http:\/\/imgsrc\.baidu\.com\/forum\/w%3D580\/sign=.*\.jpg")})#抓取贴吧里面的图片
        for image in images:
            print(image["src"])#遍历输出图片的地址
        x = 0
        path = 'D:\\斯佳丽'
        # 将图片保存到D:\\斯佳丽文件夹中，如果没有斯佳丽文件夹则创建
        if not os.path.isdir(path):
            os.makedirs(path)#如果D:\\斯佳丽文件夹不存在则重新创建一个，否则会被覆盖
        paths = path + '\\'  # 保存在test路径下

        for image in image