scrapy
zsl10
这个作者很懒,什么都没留下…
展开
-
运行scrapy爬虫出现错误:exceptions.ImportError: libmysqlclient.so.18: cannot open shared object file
错误原因: 找不到libmysqlclient.so.18文件 解决方法: 1.查找libmysqlclient.so.18文件位置:# find / -name 'libmysqlclient.so.18' -print/alidata/server/mysql/lib/libmysqlclient.so.182.设置软连接:ln -s /alidata/server/mysql/lib/原创 2016-09-15 23:38:38 · 1814 阅读 · 0 评论 -
使用scrapy-deltafetch实现爬虫增量去重
scrapy-deltafetch简介scrapy-deltafetch通过Berkeley DB来记录爬虫每次爬取收集的request和item,当重复执行爬虫时只爬取新的item,实现增量去重,提高爬虫爬取性能。Berkeley DB简介Berkeley DB是一个嵌入式数据库,为应用程序提供可伸缩的、高性能的、有事务保护功能的数据管理服务。主要特点:嵌入式:直接链接到应用程序中,与应用程序运原创 2016-10-24 16:42:11 · 13554 阅读 · 4 评论