Beautifulsoup爬小说

最新推荐文章于 2024-09-27 22:16:35 发布

我不熬夜yeah

最新推荐文章于 2024-09-27 22:16:35 发布

阅读量492

点赞数 1

分类专栏：爬虫文章标签： python bs4 小说文档 utf-8

本文为博主原创文章，未经博主允许不得转载。

本文链接：https://blog.csdn.net/zhang_gy2333/article/details/78346636

版权

相对于正则来说，bs4在某些方面要比正则代码书写容易的多。

我爬取的是《穆斯林的葬礼》

代码如下：

# -*- coding: utf-8 -*-
import re
import urllib2
import sys
from bs4 import BeautifulSoup
reload(sys)
sys.setdefaultencoding('utf-8')
#print sys.getdefaultencoding()
file = open('text.txt','a+')
def getHtml(url):
    user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
    headers