python 多线程爬虫

最新推荐文章于 2022-12-17 20:20:01 发布

scan724

最新推荐文章于 2022-12-17 20:20:01 发布

阅读量186

点赞数

分类专栏： python 进阶

本文链接：https://blog.csdn.net/zhaoyangjian724/article/details/108226308

版权

python 进阶专栏收录该内容

100 篇文章 39 订阅 ¥39.90 ¥99.00

订阅专栏

本文详细介绍了如何使用Python的threading模块构建一个多线程爬虫，通过并发请求提高网页抓取效率。同时，讨论了多线程爬虫中可能遇到的线程同步问题，如使用Lock对象来避免资源竞争。

摘要由CSDN通过智能技术生成

node2:/root/python3#cat t16.py 
import requests
import time
import threading

def download_one(url):
    resp = requests.get(url)
    print(resp.content)
    #print('Read {} from {}'.format(len(resp.content), url))
threads=[] 
def download_all(sites):
    for site in sites:
      t=threading.Thread(target=download_one,args=(site,))
      threads.append(t)
    for t in threads:    
          t.start()
    for t in threads:    
          t.join()
    print(threads)

def main():
    sites = [
        'http://192.168.137.3:9000/test111/',
        'http://192.168.137.3:9000/test222/',
        'http://192.168.137.3:9000/test333/',
	'http://192.168.137.3:9000/test444/'
       
    ]
    start_time = time.perf_counter()

了解本专栏