python3多进程,单线程,网络请求密集型操作速度对比

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/zoe9698/article/details/78696876
from multiprocessing import Pool
import requests
from requests.exceptions import ConnectionError
import time 
 
def scrape(url):
    try:
        print(requests.get(url))
    except ConnectionError:
        print('Error Occured ', url)
    finally:
        print('URL ', url, ' Scraped')
 
 
if __name__ == '__main__':
    start = time.time()
    pool = Pool(3)
    urls = [
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/'
    ]
    pool.map(scrape, urls)
    print(time.time()-start)


import requests
from requests.exceptions import ConnectionError
import time 
 
def scrape(url):
    try:
        print(requests.get(url))
    except ConnectionError:
        print('Error Occured ', url)
    finally:
        print('URL ', url, ' Scraped')
 
 
if __name__ == '__main__':
	start = time.time()
	urls = [
		'https://www.baidu.com',
		'http://www.meituan.com/',
		'http://blog.csdn.net/',
		'https://www.baidu.com',
		'http://www.meituan.com/',
		'http://blog.csdn.net/',
		'https://www.baidu.com',
		'http://www.meituan.com/',
		'http://blog.csdn.net/',
		'https://www.baidu.com',
		'http://www.meituan.com/',
		'http://blog.csdn.net/',
		'https://www.baidu.com',
		'http://www.meituan.com/',
		'http://blog.csdn.net/',
		'https://www.baidu.com',
		'http://www.meituan.com/',
		'http://blog.csdn.net/',
		'https://www.baidu.com',
		'http://www.meituan.com/',
		'http://blog.csdn.net/',
		'https://www.baidu.com',
		'http://www.meituan.com/',
		'http://blog.csdn.net/',
		'https://www.baidu.com',
		'http://www.meituan.com/',
		'http://blog.csdn.net/',
		'https://www.baidu.com',
		'http://www.meituan.com/',
		'http://blog.csdn.net/',
		'https://www.baidu.com',
		'http://www.meituan.com/',
		'http://blog.csdn.net/',
		'https://www.baidu.com',
		'http://www.meituan.com/',
		'http://blog.csdn.net/',
		'https://www.baidu.com',
		'http://www.meituan.com/',
		'http://blog.csdn.net/',
		'https://www.baidu.com',
		'http://www.meituan.com/',
		'http://blog.csdn.net/',
		'https://www.baidu.com',
		'http://www.meituan.com/',
		'http://blog.csdn.net/',
		'https://www.baidu.com',
		'http://www.meituan.com/',
		'http://blog.csdn.net/',
		'https://www.baidu.com',
		'http://www.meituan.com/',
		'http://blog.csdn.net/',
		'https://www.baidu.com',
		'http://www.meituan.com/',
		'http://blog.csdn.net/',
		'https://www.baidu.com',
		'http://www.meituan.com/',
		'http://blog.csdn.net/',
		'https://www.baidu.com',
		'http://www.meituan.com/',
		'http://blog.csdn.net/',
		'https://www.baidu.com',
		'http://www.meituan.com/',
		'http://blog.csdn.net/'
	]
	for url in urls:
		scrape(url)
	print(time.time()-start)



阅读更多

没有更多推荐了,返回首页