Scrapy爬取豆瓣图书数据并写入MySQL

最新推荐文章于 2021-02-02 21:13:22 发布

zpslyp680

最新推荐文章于 2021-02-02 21:13:22 发布

阅读量435

点赞数 2

分类专栏： Python 项目文章标签： Python Scrapy

本文链接：https://blog.csdn.net/zpslyp680/article/details/103007359

版权

本文档介绍了如何利用Python的Scrapy框架爬取豆瓣图书分类下的所有书籍信息，包括数据的抓取、图片下载及数据存储到MySQL数据库的详细步骤。涉及的工具有Python3.6、Scrapy、Twisted和MySQLdb。

摘要由CSDN通过智能技术生成

项目地址 BookSpider

介绍

本篇涉及的内容主要是获取分类下的所有图书数据，并写入MySQL

准备

Python3.6、Scrapy、Twisted、MySQLdb等

演示

代码

一、创建项目

scrapy startproject BookSpider  #创建项目
scrapy genspider douban book.douban.com #创建豆瓣爬虫

二、创建测试类（main.py）

from scrapy.cmdline import execute
execute(['scrapy', 'crawl', 'douban'])

三、修改配置(spiders/settings.py)

USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36' #浏览器
ROBOTSTXT_OBEY = False #不遵循豆瓣网站的爬虫协议

四、设置爬取的分类（spiders/douban.py）

start_urls = ['https://book.douban.com/tag/神经网络'] # 只测试爬取神经网络

五、获取分类列表页图书数据

from scrapy.http import Request
from urllib.parse import urljoin

def parse(self, response):
    
    get_nodes = response.xpath('//div[@id="subject_list"]/ul/li/div[@class="pic"]/a')
    for node in get_nodes:
        url = node.xpath("