python简单爬虫爬取队列的实现

deque()是双端队列。set()中不允许出现重复的内容。
import re
import urllib
import urllib.request
from collections import deque

queue=deque()#待抓取的网页
visited=set()#已经抓取过的网页
url='https://www.zhihu.com/topic/19570752/top-answers'
queue.append(url)#将链接放入待访问队列
num=0
while queue:
    url=queue.popleft()#从左侧取出一个链接
    visited.add(url)
    num=num+1
    print('正在抓取第',num,'条链接')
    urlop=urllib.request.urlopen(url)
    if 'html' not in urlop.getheader('Content-Type'):#不是html页面 #
        continue
    try:
        data=urlop.read().decode('utf-8')
    except:
        continue
    linkre=re.compile('href=\"(.+?)\"')#利用正则表达式，取出所有链接
    for x in linkre.findall(data):#遍历上面的链接 集合
        if 'http' in x and x not in visited:
            queue.append(x)
            print(x,'加入队列')