环境搭建
文章平均质量分 79
Kosmoo
最有用的语言是English,其次可能是Python
展开
-
Windows python3下安装scrapy爬虫框架的完美方案
Windows python3下安装scrapy爬虫框架的完美方案1. 背景Scrapy依赖的库比较多,至少需要依赖库有Twisted,lxml,pyOpenSSL,pywin32等。而且现在scrapy尚未全面过渡到python3,所以安装和使用起来会存在一些问题。尤其是在Windows下。在win7直接使用pip install scrapy安装会出现如下错误:# 提示缺少Twisted原创 2017-09-10 20:51:14 · 8257 阅读 · 0 评论 -
selenium + python环境搭建
1. 背景需求:爬取 https://www.1688.com/ 搜索结果中货源的数据。本来想使用scrapy来实现,但是在实现时遇到两个问题:第一,如果使用的user-agent是移动版,那么在访问时,会被重定向到移动app版的页面 http://m.1688.com/touch/?src=desktop>,日志如下:2017-11-16 14:27:46 [s...原创 2017-11-16 14:47:10 · 8446 阅读 · 0 评论 -
redis数据库在windows下的安装,配置与使用
redis数据库在windows下的安装,配置与使用1. 背景。因为分布式爬虫搭建的需要,会使用到Scrapy-redis实现分布式爬虫。 Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。2. 环境。系统:win73. redis安装与配置。3.1. 下载安装文件。资源路径: https://redis原创 2017-12-11 11:25:06 · 6755 阅读 · 0 评论 -
win7下计划任务提示“该任务映像已损坏或已篡改”解决方案
win7下计划任务提示“该任务映像已损坏或已篡改”解决方案1. 背景在windows下部署爬虫,经常会用到windows系统自带的任务计划。但是有时候计划任务会出现不预期的错误,发生损坏…如下所示: 具体原因不详,比较粗暴有效的解决方式就是将损坏的计划镜像找出来,删掉,重新部署……2. 解决方案第一步,找出是哪些计划任务错误……1. cmd ——> 输入原创 2018-01-09 11:33:23 · 23628 阅读 · 1 评论