python多线程爬虫,调用多线程函数时,函数名称后面不能加括号,加上括号 相当于只有主线程在执行,要注意!

最近在学习用python的多线程爬虫,发现main函数里调用多线程的函数时,如果多线程函数后边加上括号get_data(),执行速度明显变慢,去掉括号get_data()之后,速度明显变快,代码如下:

import requests
import json
from threading import Thread
from queue import Queue
import time

class XiaomiSpider(object):
    def __init__(self):
        self.url = 'http://app.mi.com/categotyAllListApi?page={}&categoryId=2&pageSize=30'
        self.headers = {'User-Agent':'Mozilla/5.0'}
        # 创建队列
        self.q = Queue()
        self.i = 0

    # URL入队列
    def url_in(self):
        for page in range(67):
            url = self.url.format(str(page))
            # 入队列
            self.q.put(url)

    # 线程事件函数:获取队列中URL,发请求解析处理数据
    def **get_data**(self):
        while True:
            # 获取URL
            if not self.q.empty():
                url = self.q.get()
                html = requests.get(
                    url,
                    headers=self.headers
                ).text
                html = json.loads(html)
                # html: 字典
                for app in html['data']:
                    # 应用名称
                    app_name = app['displayName']
                    # 应用链接
                    app_link = 'http://app.mi.com/details?id=' + app['packageName']
                    d = {
                        '应用名称':app_name,
                        '应用链接':app_link
                    }
                    print(d)
                    self.i += 1
            else:
                break

    def main(self):
        # 入队列
        self.url_in()
        # 空列表
        t_list = []
        # 创建多个线程并启动线程
        for i in range(10):
            t = Thread(target=self.**get_data**)
            print(t)
            t_list.append(t)
            t.start()
        # 回收线程
        for i in t_list:
            i.join()
        print(self.i)

if __name__ == '__main__':
    start = time.time()
    spider = XiaomiSpider()
    spider.main()
    end = time.time()
    print('执行时间:%.2f' % (end-start))
后来查阅资料后总结如下:加了括号 相当于只有主线程在执行;不加的话是按照你给的线程数来的,所以这里一定要注意一下;

在这里插入图片描述

在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

周传伦

您的微薄的鼓励,是我前进的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值