mangabz漫画网鬼灭之刃漫画爬虫

最新推荐文章于 2024-07-02 10:25:22 发布

Sliense__

最新推荐文章于 2024-07-02 10:25:22 发布

阅读量8.7k

点赞数

文章标签：爬虫 python

本文链接：https://blog.csdn.net/zhangju414/article/details/113241514

版权

本文介绍了在使用Python进行mangabz漫画网的鬼灭之刃漫画爬虫过程中遇到的挑战，包括多线程下Chrome内存溢出及浏览器崩溃问题、漫画下载不全需要多次补充完整、以及日志打印的混乱情况。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

mangabz漫画爬虫
遇到的问题（未解决）
1：多线程导致开启多个chrome内存溢出,或者chrome崩溃
2：下载不全需执行多次补全漫画
3：日志打印混乱

import requests
import fake_useragent
import time
from lxml import etree
import os
from selenium import webdriver
from selenium.webdriver.support import wait
from selenium.webdriver.support import expected_conditions as ec
from selenium.webdriver.common.by import By
from multiprocessing import Pool,Process
from selenium.common.exceptions import TimeoutException

header = {
   
    'useragent': fake_useragent.UserAgent().random,
}

def get_pic(src,ipg,dir_name):
    # response = requests.get(url=src[0])
    # print(response)
    if not os.path.exists('./pic/%s' %dir_name):
        os.mkdir('./pic/%s' %dir_name)
    pic_name = src[0].split('?')[0].split('/')[-1]
    if not os.path.exists(os.getcwd()+'/pic/%s'  %dir_name+'/'+pic_name):
        print('开始