scrap安装

sudo apt-get install libxslt1-dev, libxml2
sudo pip install lxml
sudo pip install Scrapy

注: 一定要记得将python 命令链接到python2.7,因为scrapy 只支持2.7

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Scrapy是一个开源的、基于Python的Web爬虫框架,可以用于抓取Web页面上的信息。下面是使用Scrapy框架爬取豆瓣的步骤: 1. 安装Scrapy:可以使用pip命令来安装Scrapy,例如在终端中输入`pip install scrapy`。 2. 创建Scrapy项目:在命令行中,使用`scrapy startproject douban`命令创建一个名为douban的Scrapy项目。 3. 创建爬虫文件:使用`scrapy genspider douban_spider douban.com`命令创建一个名为douban_spider的爬虫文件,这里以豆瓣网(douban.com)为例。 4. 编写爬虫代码:在生成的爬虫文件(douban_spider.py)中,按需求编写爬虫代码。可以使用Scrapy提供的选择器(如XPath或CSS选择器)来提取页面中的数据。 5. 配置爬虫设置:在项目文件夹中找到settings.py文件,并添加以下配置: ``` USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3' ROBOTSTXT_OBEY = False DOWNLOAD_DELAY = 3 ``` 其中,设置了用户代理、忽略robots.txt文件以及下载延迟等。 6. 运行爬虫:在项目文件夹中,使用`scrapy crawl douban_spider`命令来运行刚刚创建的爬虫。 7. 爬取数据:爬虫开始运行后,它会自动访问豆瓣网的页面,并根据代码中的规则提取需要的数据。可以将数据保存到CSV、JSON或数据库中。 通过以上步骤,就可以使用Scrapy框架来爬取豆瓣网的数据了。当然,在实际爬取过程中,可能还需要处理反爬虫机制、登录和登录后爬取等问题,需要结合具体的需求进行细节的调整。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值