一天一爬虫：day01-糗事百科_v1

最新推荐文章于 2024-04-24 13:35:29 发布

zhangjieyi123

最新推荐文章于 2024-04-24 13:35:29 发布

阅读量248

点赞数

分类专栏： python 爬虫文章标签： python 爬虫

本文链接：https://blog.csdn.net/zhangjieyi123/article/details/61430135

版权

python 爬虫专栏收录该内容

4 篇文章 0 订阅

订阅专栏

使用python2，Requests和re，爬取糗事百科，版本一，实现能够爬取发布人，笑话内容，去除有图片的笑话好笑数，评论数，up数，down数（up数-down数=好笑数）

#-*—coding:utf8-*-
#糗事百科，发布人，笑话内容，去除有图片的笑话，#好笑数，评论数，up数，down数（up数-down数=好笑数）import requestsimport re#下面三行是编码转换的功能import sysreload(sys)sys.setdefaultencoding("utf-8")#hea是我们自己构造的一个字典，里面保存了user-agenthea = {'User-Agent':'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118
 Safari/537.36'}html = requests.get('http://www.qiushibaike.com/hot/page/3',headers = hea)html.encoding = 'utf-8' #这一行是将编码转为utf-8否则中文会显示乱码。story = re.findall('<h2>(.*?)</h2>.*?<div class="content">.*?<span>(.*?)</span>.*?</div>(.*?)<div class="stats">'+ '.*?<i
 class="number">(.*?)</i> 好笑.*?class="number">(.*?)</i> 评论'+ '.*?class="up">.*?class="number hidden">(.*?)</span>.*?class="down">.*?class="number hidden">(.*?)</span>',html.text,re.S)###### (.*?)处不能为空; 每个(.*?)对应一个元素，依次为：# 发布者，内容，图片链接，好笑数，评论数，up数，down数（up数-down数=好笑数）count=1for
 item in story: haveImg = re.search("img",item[2]) if not haveImg: replaceBR = re.compile('<br/>') text = re.sub(replaceBR, "\n", item[1]) print count,item[0] print text print item[5]+'up'+'\t'+item[6]+'down'+'\t'+item[3]+'好笑'+'\t'+item[4]+'评论' print "*****************"
 count=count+1