redis
裸睡的雨
菜鸟自学中
展开
-
CentOS7 linux下yum安装redis以及使用
转:https://www.cnblogs.com/rslai/p/8249812.html一、安装redis1、检查是否有redis yum 源 1 yuminstallredis 2、下载fedora的epel仓库 1 yuminstallepel-release 3、安装redis数据库...转载 2019-01-11 14:22:37 · 390 阅读 · 0 评论 -
开源项目osrroom的安装及部署文档地址
https://www.cnblogs.com/rslai/p/8249812.htmlhttps://osroom.github.io/osroom-doc/osr/v1.0/uwsgi -d --ini uwsgi.ini原创 2019-01-12 21:36:44 · 302 阅读 · 0 评论 -
爬取知乎------使用分布式scrapy-redis
上次分享的那个增量爬取方式,一直没找到Berkeley DB在windows上如何安装,有解决的帮忙指导。找资料的时候发现使用分布式scrapy-redis可以实现相同的功能。因为这个库可以通过redis实现去重与增量爬取,爬虫停止以后下次运行会接着上次结束的节点继续运行,当然这就是在请求大量数据的时候,单机不能满足要求的时候使用。缺点是,Scrapy-Redis调度的任务是Request对象...原创 2019-01-24 10:10:43 · 234 阅读 · 0 评论 -
爬取知乎碰到的问题------------------4、使用redis时碰到的错误:redis.exceptions.ResponseError
使用scrapy-redis爬取知乎,当redis中存的数据量多的时候碰到的问题。解决办法参考:https://blog.csdn.net/song19890528/article/details/38536871这个最好还是用redis集群比较好,可以去参考崔庆才博客https://cuiqingcai.com/6058.html2019-01-31 01:11:46 [twiste...原创 2019-02-01 00:27:58 · 1263 阅读 · 0 评论 -
解决-redis保存的中文变为unicode, redis的基本操作
之前对这个不是太了解,发现redis保存中文之后,数据库中是Unicode,取出来的也有问题,如何将取出来的数据转为中文呢i.decode('unicode_escape')加上之后取出来就正确了。redis获取当前key的类型TYPE key命令行的基本操作:https://blog.csdn.net/hjh00/article/details/7906...原创 2019-04-30 09:34:34 · 4076 阅读 · 0 评论 -
抓取58job, 赶集job以及智联招聘,并使用数据分析生成echarts图
**抓取58job, 赶集job以及智联招聘,并使用数据分析生成echarts图**爬虫部分抓取智联招聘的信息抓取58同城的招聘信息抓取赶集网的招聘信息最后关于爬虫如何同时启动多个spidercrawlall.py中的内容:更改settings.py启动爬虫部分到此结束,单个如何启动大家也都知道。数据转换部分(可以忽略)process_item_mysql.py可视化部分可视化采用的flask+m...原创 2019-05-12 11:18:06 · 481 阅读 · 3 评论 -
python连接MySQL,mongodb, redis的示例程序
MySQL# -*- coding: utf-8 -*-# Define your item pipelines here## Don't forget to add your pipeline to the ITEM_PIPELINES setting# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html...原创 2019-05-29 10:26:56 · 285 阅读 · 0 评论 -
Python操作redis碰到的问题集合(碰到一个更新一个)
欢迎关注微信公众号,有更多干货分享redis 与Python交互取出来的是bytes类型Python操作redis,存进去是字符串,但是出来就变成bytes类型了解决:redis 与Python交互取出来的是bytes类型这里我们存进去的是字符串类型的数据,取出来却是字节类型的,这是由于python3的与redis交互的驱动的问题,Python2取出来的就是字符串类型的。Python操...原创 2019-06-09 22:01:10 · 480 阅读 · 0 评论