Python 多协程实验时报错 Error: maximum recursion depth exceeded 程序退出代码1073741571

在尝试使用Python进行多协程编程,处理上千个URL时,遇到了'Error: maximum recursion depth exceeded'的问题。尽管了解到Python的递归深度默认限制为1000,尝试解决但未成功,程序异常退出,退出代码1073741571。目前问题尚未解决,寻求解决方案。
摘要由CSDN通过智能技术生成

在多协程程序代码过程中,试验了一个小项目,获取上千个url中页面,代码如下:

import gevent
from gevent.queue import Queue
import time
import requests

from gevent import monkey#把下面有可能有IO操作的单独做上标记
monkey.patch_all() # 将IO转为异步执行的函数

link_list = []
with open(r'D:\...\alexa.txt', 'r') as file:
    file_list = file.readlines()
    for eachone in file_list:
        link = eachone.split('\t')[1]
        link = link.replace('\n','')
        link_list.append(link)

start = time.time()
def crawler(index):
    Process_id = 'Process-' + str(index)
    while not workQueue.empty():
        url = workQueue.get(timeout=2)
        try:
            r = requests.get(url, timeout=20)
            print (Process_id, workQueue.qsize(), r.status_code, url)
        except Exception as e:
            print (Process_id, workQueue.qsize(), url, 'Error: ', e)

def boss():
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值