- 博客(6)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 scrapy定时执行抓取任务
当我们写好抓取数据的脚本.py文件时，需要输入命令：scrapy crawl projectName 来执行。那么怎么做一个定时器，让这个.py脚本进行定时执行呢？步骤如下：1、写一个shell脚本，加入命名为test.sh内容如下：#! /bin/sh export PATH=$PATH:/usr/local/bin#进入.py脚本所在目录cd /data/apps/sc
2017-02-19 17:01:38
6730
2
转载 在shell脚本中捕获java的System.exit()的状态
例如，如果在java的main方法的最后一行加入这一句代码：System.exit(0);其中方法的参数-1是用户自定义的任意数字，用于标识这段代码执行后的状态。那么怎么在shell脚本里面获取执行main方法后的这个状态标识呢？答案是使用命令：$?例如：#执行带有main方法的脚本/bin/sh /data/apps/zhf/data-process/indexing/in
2017-02-19 16:48:54
2958
转载 利用scrapy-splash爬取JS生成的动态页面
目前，为了加速页面的加载速度，页面的很多部分都是用JS生成的，而对于用scrapy爬虫来说就是一个很大的问题，因为scrapy没有JS engine，所以爬取的都是静态页面，对于JS生成的动态页面都无法获得。解决方案： 利用第三方中间件来提供JS渲染服务： scrapy-splash 等。 利用webkit或者基于webkit库Splash是一个Javascript
2017-02-16 00:27:19
3339
转载 python中的日期计算
经常获得了一个用户提交的当前日期，我们需要以这个日期为依据返回它的前一天，或者后一天的日期。用Python可以非常简单的解决这个关于日期计算的问题。用Python计算昨天和明天的日期：>>> import datetime #导入日期时间模块>>> today = datetime.date.today() #获得今天的日期>>> print today #输出今天日期2016-
2017-02-15 01:21:07
9422
转载 scrapy 在不同的Request之间传递参数的办法
scrapy 在不同的抓取级别的Request之间传递参数的办法下面的范例中，parse_item方法通过meta向parse_details方法中传递参数item，这样就可以在parse_details方法中获取到这个参数的值。注意：meta={'item': item}中如果有多个参数，则每个参数间用英文逗号隔开，例如：meta={'item': item,'item2': item2
2017-02-15 01:14:39
7748
转载 python逐行读取文件内容的三种方法
一、使用open打开文件后一定要记得调用文件对象的close()方法。比如可以用try/finally语句来确保最后能关闭文件。二、需要导入import os三、下面是逐行读取文件内容的三种方法：1、第一种方法：f = open("foo.txt") # 返回一个文件对象 line = f.readline() # 调用
2017-02-15 01:07:21
244394
5
VeriSign Universal Root Certification Authority.rar
2021-06-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人