用 Scrapy+Mariadb 实现汉典数据爬虫(一)——开发环境的选择

Python 同时被 3 个专栏收录
4 篇文章 0 订阅
3 篇文章 0 订阅
3 篇文章 0 订阅

最近准备搞大数据,大数据的第一研究方向当属爬虫了,所以就决定从爬虫入手,一步一步做研究。之前用C#写过一个百度云关系网络爬虫,亲身经历了爬取速度从10s一个(单机百度云爬取速度限制)到100个/s(三个端,100个)的改变,也积攒了一些经验。后来曾想过用这些经验写一个爬虫框架,但是以目前的水平,还是有点难度。所以就决定先研究下大牛们开发的开源爬虫框架,从头开始重做关系爬虫,顺带把过程与心得写一下,希望各位朋友提出任何问题,建议,学无止境,共同进步,同时也希望能为那些处于迷惑中的朋友们提供一个借鉴。废话不多说,现在进入正文。


对于开发环境的选择,通过网络上大牛们的比较,Scrapy 0.25中文文档比较全,基于Py2.0。而Scrapy 1.2中文文档相对较少,但是基于Py3.0。从目前阶段来说,虽说后者资料较少,但是作为研究还是挺有意义的,所以最终选择了 Scrapy 1.2 + Py3.0。

由于自己以前从事的是C#开发,使用Visual Studio相对熟练一点,并且Visual Studio 2015 增加了对Python编程的支持,所以选择了Visual Studio 2015作为开发环境。

关于数据库的选择,自己之前写C#爬虫时经历了 一个从MySql到MariaDB的转变,因为MaraiDB相比较MySql对于数据的操作速度是快了很多,而且开源社区也很活跃,毕竟是MySQL被收购之后MySQL之父单独创建的分支,其分量不言而喻。

所以,最终决定下来的开发环境如下:

操作系统:WIndows 10

开发语言:Python

开发软件:Visual Studio 2015

爬虫框架:Scrapy 1.2

数据库:Mariadb

  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 打赏
    打赏
  • 扫一扫,分享海报

©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页

打赏作者

zs808

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值