![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy
zhoulin753
对于python,我是执着的!
展开
-
Scrapy+Selenium+Phantomjs的Demo
前段时间学习了用Python写爬虫,使用Scrapy框架爬取京东的商品信息。商品详情页的价格是由js生成的,而通过Scrapy直接爬取的源文件中无价格信息。 通过Selenium、Phantomjs便能实现。下面先介绍Phantomjs。(我的博客原文地址:https://chaycao.github.io/2016/08/19/Scrapy-Selenium-Phantomjs/ 请多指教...转载 2018-10-09 09:40:45 · 447 阅读 · 0 评论 -
如何在scrapy中添加随机的userAgent
在scrapy中运行顺序是这样的(如下图):由上图我们可以看出我们的request的请求,产生和发送请求之前的位置可以进行处理我们的request请求,也就是在这些地方可以进行userAgent的添加(有如下三个方法):1.在spider.py文件中进行添加:第一步:#这里就举两个例子,可以在百度里搜索大量的user_agent,放到这个列表中,这个变量我们写在setting...原创 2018-11-02 17:05:53 · 1209 阅读 · 0 评论 -
用scrapy设置ip代理
首先要知道什么叫做ip的代理? 当我们去用我们自己的电脑去访问服务器的时候,服务器是可以收集到我们的IP的,那么如果我们是一个爬虫,再被他判断出是一个爬虫,那么服务器那端的工作人员就可以禁止我们IP的访问,导致我们的爬虫失败,要防止这种情况的发生,就有IP代理来解决这个问题,再没有IP代理的时候,我们会用我们自己的IP直接访问服务器,有了代理IP就是在客户端和服务端再建立一个服...原创 2018-11-05 11:22:52 · 2895 阅读 · 0 评论 -
Python 操作 MySQL 数据库
Python 操作 MySQL 数据库Python 标准数据库接口为 Python DB-API,Python DB-API为开发人员提供了数据库应用编程接口。Python 数据库接口支持非常多的数据库,你可以选择适合你项目的数据库:GadFly mSQL MySQL PostgreSQL Microsoft SQL Server 2000 Informix Interba...原创 2018-11-05 11:24:59 · 138 阅读 · 0 评论