python爬虫学习 2.7 （多线程爬虫案例（初步了解））

python爬虫学习 2.7 （多线程爬虫案例（初步了解））

python爬虫学习笔记 1.1（通用爬虫和聚焦爬虫）
python爬虫学习笔记 1.2 （ HTTP和HTTPS ）
python爬虫学习笔记 1.3 str和bytes的区别
python爬虫学习笔记 1.4 （Request简单使用）request安装
python爬虫学习笔记 1.5 （Requests深入）
python爬虫学习笔记 1.6 （HTTP/HTTPS抓包工具-Fiddler）
python爬虫学习笔记 1.7 （urllib模块的基本使用）
python爬虫学习笔记 1.8 （urllib:get请求和post请求）
python爬虫学习笔记 1.9 （Handler处理器 和 自定义Opener）
python爬虫学习笔记 2 （非结构化数据和结构化数据提取）
python爬虫学习笔记 2.1 （正则表达式re模块）
python爬虫学习笔记 2.2 （使用正则表达式得爬虫得简单案例）
python爬虫学习笔记 2.3 （XPath与lxml类库）
python爬虫学习笔记 2.4 （使用Xpath得案例）
python爬虫学习笔记 2.5 （json与JsonPath）
python爬虫学习笔记 2.6 （糗事百科案例）
python爬虫学习笔记 2.7 （多线程爬虫案例（初步了解））
python爬虫学习笔记 2.8 （beautifulsoup4）
python爬虫学习笔记 2.9 （使用bs4得案例）
python爬虫学习笔记 3 （动态HTML处理和机器图像识别）
python爬虫学习笔记 3.1 （动态HTML介绍）
python爬虫学习笔记 3.2 （Selenium与PhantomJS）
python爬虫学习笔记 3.#（番外） （selenium和chromedriver使用中得问题）
Queue（队列对象）
Queue是python中的标准库，可以直接import Queue引用;队列是线程间最常用的交换数据的形式

python下多线程的思考

对于资源，加锁是个重要的环节。因为python原生的list,dict等，都是not thread safe的。而Queue，是线程安全的，因此在满足使用条件下，建议使用队列

1.初始化： class Queue.Queue(maxsize) FIFO 先进先出

2.包中的常用方法:

• Queue.qsize() 返回队列的大小

• Queue.empty() 如果队列为空，返回True,反之False

• Queue.full() 如果队列满了，返回True,反之False

• Queue.full 与 maxsize 大小对应

• Queue.get([block[, timeout]])获取队列，timeout等待时间

3.创建一个“队列”对象

• import Queue
• myqueue = Queue.Queue(maxsize = 10)

4.将一个值放入队列中

• myqueue.put(10)

5.将一个值从队列中取出

• myqueue.get()

多线程示意图

# coding=utf-8
import requests
from lxml import etree
import json
from queue import Queue
import threading

class Qiubai:
    def __init__(self):
        self.headers = {
   
            "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWeb\
            Kit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"}
        self.url_queue = Queue()   #实例化三个队列，用来存放内容
        self.html_queue =Queue(