Python糗事百科爬虫

参考学习 静觅 http://cuiqingcai.com/990.html

#-*- coding: UTF-8 -*-
__autohor__ = 'ZHJ'

#coding=utf-8
import urllib
import  urllib2
import re
import thread
import time

#糗事百科爬虫类
class QSBK:

    #初始化方法，定义一些变量
    def __init__(self):
        self.pageIndex = 1
        self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
        #初始化headers
        self.headers = {'User-Agent' : self.user_agent}
        #存放段子的变量，每个元素是每一页的段子们
        self.stories = []
        #存放程序是否继续运行的变量
        self.enable = False

    def getPage(self, pageIndex):
        try:
            url = 'http://www.qiushibaike.com/hot/page/' + str(pageIndex)
            request = urllib2.Request(url, headers=self.headers)
            response = urllib2.urlopen(request)
            pageCode = response.read().decode("utf-8")
            return pageCode

        except urllib2.URLError, e:
            if hasattr(e, "reason"):
                print u"连接糗事百科失败,错误原因",e.reason
                return None

    #传入页码，返回本页不带图片的段子列表
    def getPageItems(self, pageIndex):
        pageCode = self.getPage(pageIndex)
        if not pageCode:
            print "页面加载失败......"
            return None
        reg = '<div.*?author.*?>.*?<a.*?<h2>(.*?)</h2>.*?</a>.*?<div.*?content">.*?<span>(.*?)</span>.*?</div>(.*?)<div class="stats.*?class="number">(.*?)</i>';
        pattern = re.compile(reg, re.S)
        items = re.findall(pattern, pageCode)
        #用来存储每页的段子们
        pageStories = []
        for item in items:
            haveImg = re.search("img", item[2])
            if not haveImg:
                replaceBr = re.compile("<br/>")
                text = re.sub(replaceBr, "\n", item[1])
                # item[0]是一个段子的发布者，item[1]是内容，item[2]表示发布的图片,item[3]是点赞数
                #pageStories 按照发布人 点赞数， 内容顺序存储
                pageStories.append([item[0].strip(), item[3].strip(), text.strip()])
        return pageStories

    #加载并提取页面的内容，加入到列表中
    def loadPage(self):
        #如果当前未看的页数少于2页，则加载新一页
        if self.enable == True:
            if len(self.stories) < 2:
                #获取新一页
                pageStories = self.getPageItems(self.pageIndex)
                #将该页的段子放到全局list中
                if pageStories:
                    self.stories.append(pageStories)
                    #获取网之后页码索引加1，表示下次读取下一页
                    self.pageIndex +=1

    #调用该方法，每次敲回车打印出一个段子
    def getOneStroy(self, pageStories, page):
        for story in pageStories:
            input = raw_input()
            self.loadPage()
            if input == 'Q':
                self.enable = False
                return
            print u"第%d页\t发布人:%s\t赞:%s\n%s" % (page, story[0], story[1], story[2])

    def start(self):
        print u"正在读取糗事百科,按回车查看新段子，Q退出"
        # 使变量为True，程序可以正常运行
        self.enable = True
        #先加载一页内容
        self.loadPage();
        #局部变量，控制当前读到了第几页
        nowPage = 0
        while self.enable:
            if len(self.stories) >0:
                #从全局list中获取一页的段子
                pageStories = self.stories[0]
                #当前读到的页数加1
                nowPage += 1
                #将全局list中的第一个元素删除，因为已经取出了
                del self.stories[0]
                #输出该页的段子
                self.getOneStroy(pageStories, nowPage)

spider = QSBK()
spider.start()