2016年10月_zsl10

10月 09月 08月 07月

原创使用scrapy-deltafetch实现爬虫增量去重

scrapy-deltafetch简介scrapy-deltafetch通过Berkeley DB来记录爬虫每次爬取收集的request和item，当重复执行爬虫时只爬取新的item，实现增量去重，提高爬虫爬取性能。Berkeley DB简介Berkeley DB是一个嵌入式数据库，为应用程序提供可伸缩的、高性能的、有事务保护功能的数据管理服务。主要特点：嵌入式：直接链接到应用程序中，与应用程序运

2016-10-24 16:42:11 13528 4

原创 pip安装UnicodeDecodeError: 'ascii' codec can't decode byte 0xb0 in position 1: ordinal not in range

错误描述使用pip安装lxml或scrapy时出现如下错误：Exception:Traceback (most recent call last): File "C:\Python27\lib\site-packages\pip-8.1.2-py2.7.egg\pip\basecommand.py", line 215, in main status = self.run(option

2016-10-31 17:47:31 1300

原创 win7搭建python开发环境

搭建python开发环境1、安装python2.7.6下载python2.7.6语言包并安装地址：https://www.python.org/download/releases/2.7.6/ 一路“next”完成安装添加环境变量2、安装setuptools地址：https://pypi.python.org/pypi/setuptools/#downloads 点击右侧“Downloads

2016-10-31 16:26:53 692

js生成四位验证码并验证

js生成四位验证码并验证，一个可行的demo，记得给好评哦。

2015-08-31

seajs手册，教程

自己在公司需要使用seajs，就学习了seajs写了个手册和demo，欢迎阅读。

2015-08-26

Yii 添加Srbac模块安装配置详细教程

在工作中整理出的yii RBAC中Srbac的详细安装步骤，附截图。

2014-09-29

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

原创 使用scrapy-deltafetch实现爬虫增量去重