python3爬取<盘龙>英文版(wuxiaworld.com)

闲来无事, 不, 其实我事很多. 但是看到一个好玩的东西就手痒了.

www.wuxiaworld.com 国外的中文奇幻小说翻译网站

在这个网站上, 我看过且发誓以后再也不会看的 盘龙 赫然在目…思索良久, 本着学习英语, 天天向上的态度, 我决定把它下载下来, 好好把玩一番.

但是, 这个网站是不提供下载的, 而且是每一章一个网页. 八百多章, 科科…

于是决定写个爬虫爬下来, 分析一下盘龙主页:(http://www.wuxiaworld.com/cdindex-html/)

每个章节都有一个链接, 比如Chapter 1是
http://www.wuxiaworld.com/cdindex-html/book-1-chapter-1
Chapter 2为
http://www.wuxiaworld.com/cdindex-html/book-1-chapter-2

于是思路出来了, 爬取该页面所有相关的链接, 然后循环读取链接对应html, 爬取文本数据.

但是, 当我使用之前的代码:

tmp_re = urllib.request.urlopen('http://www.wuxiaworld.com/cdindex-html/')

却返回了403错误:

urllib.error.HTTPError: HTTP Error 403: Forbidden

经过查询得知, 这是网站设置了反爬虫策略, 不允许非浏览器访问网站, 于是我们需要伪装成浏览器访问, 全部代码如下:

from lxml import etree
import urllib.request

#网址
url = "http://www.wuxiaworld.com/cdindex-html/"
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
                        'Chrome/51.0.2704.63 Safari/537.36'}
req = urllib.request.Request(url=url,headers=headers)

res = urllib.request.urlopen(req)

html = res.read()
page = etree.HTML(html.lower())
hrefs = page.xpath(u"//a")

t = [href.attrib['href'].strip() for href in hrefs]
tt = [x for x in t  if "book" in x ]

for chapterURL in tt:
    chapterReq = urllib.request.Request(url=chapterURL,headers=headers)
    chapterRes = urllib.request.urlopen(chapterReq)
    chapterHtml = chapterRes.read().decode('UTF-8')
    chapterPage = etree.HTML(chapterHtml.lower())
#     title = chapterPage.xpath("//p/b/span")[0].text
    filename = chapterURL.split("/")[4]

    unTitle = chapterPage.xpath("//p/b/span")
    if len(unTitle)>0:
        title = unTitle[0].text
    else:
        title = filename

    print(title,filename,chapterURL)
    novelContents = chapterPage.xpath(u"//div[@class='entry-content']//p")
#  这里的encoding='utf-8'不可或缺, 不然python会以GBK方式读取数据,在chapter22那里会报错
    with open(filename+'.txt', 'w',encoding='utf-8') as f:
        f.write(title+'\n\n')
        for content in novelContents:
            if  content.text is not None:
                f.write(content.text+'\n\n')
    print("处理完: "+chapterURL.split("/")[4])

另, 再附一个中文小说翻译网站:

https://www.reddit.com/r/noveltranslations/