数据库
文章平均质量分 89
Kosmoo
最有用的语言是English,其次可能是Python
展开
-
python实现MongoDB数据同步到ES(Elasticsearch)
python实现MongoDB数据同步到Elasticsearch1. 背景引用elasticSearch的百科:https://baike.baidu.com/item/elasticsearch/3411206?fr=aladdin ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsear原创 2017-11-27 18:26:08 · 7589 阅读 · 0 评论 -
利用Kibana图表化Elasticsearch中的数据
利用Kibana图表化Elasticsearch中的数据1. 背景Kibana 是一个开源分析和可视化平台,旨在可视化操作 Elasticsearch 。Kibana可以用来搜索,查看,和存储在 Elasticsearch 索引中的数据进行交互。可以轻松地进行高级数据分析,并可在各种图表,表格和地图中显示数据。Kibana 可以轻松理解海量数据。其简单的基于浏览器的界面使您能够快速创建和共享动态仪表原创 2017-11-28 18:18:23 · 22553 阅读 · 3 评论 -
windows下scrapy-redis如何为不同的爬虫项目分配不同的db,而不仅仅使用db0
scrapy-redis如何为不同的爬虫项目分配不同的db,而不仅仅使用db01. 背景redis默认会生成16个db:db0 ~ db15, 在编写scrapy-redis分布式爬虫时,会默认使用db0来存放去重,种子队列以及item数据。但是一般情况下,我们不会只有一个爬虫项目,如果都放到一个数据库中,很容易搞混。所以为不同的爬虫项目分配不同的db是一件很有必要的事情。2. 环境系统:win7原创 2017-12-26 16:57:20 · 5858 阅读 · 0 评论 -
windows下scrapy-redis如何为redis配置密码
windows下scrapy-redis如何为redis配置密码1. 环境系统:win7scrapy-redisredis 3.0.5python 3.6.12. 为redis-server配置密码并启动redis在windows下的安装与配置,请参考这篇文章:http://blog.csdn.net/zwq912318834/article/details/787702092.1.原创 2017-12-27 11:38:15 · 8070 阅读 · 0 评论 -
Mongodb配置主从模式,进行数据的同步与备份
Mongodb配置主从模式,进行数据的同步与备份1. 背景做数据库的人都知道要对数据做备份,避免数据库单点部署,以防止数据遭到毁灭性破坏。mongodb提供的Master/slave主从模式,刚好能支持这种双机热备份,还有读写分离,集群部署等。2. 环境。系统:win7MongoDB 3.4.63. 配置主从模式3.1. 模型图目标:就是将Master中的数据,备份到两个slave中。原创 2018-01-04 15:20:23 · 22967 阅读 · 0 评论 -
使用BloomFilter优化scrapy-redis去重
使用BloomFilter优化scrapy-redis去重1. 背景做爬虫的都知道,scrapy是一个非常好用的爬虫框架,但是scrapy吃内存非常的厉害。其中有个很关键的点就在于去重。“去重”需要考虑三个问题:去重的速度和去重的数据量大小,以及持久化存储来保证爬虫能够续爬。 去重的速度:为了保证较高的去重速度,一般是将去重放到内存中来做的。例如python内置的set( ),redis的se原创 2017-12-27 15:21:58 · 10338 阅读 · 13 评论 -
python使用pymongo访问MongoDB的基本操作,以及CSV文件导出
python使用pymongo访问MongoDB的基本操作,以及CSV文件导出1. 环境。Python:3.6.1 Python IDE:pycharm 系统:win72. 简单示例import pymongo# mongodb服务的地址和端口号mongo_url = "127.0.0.1:27017"# 连接到mongodb,如果参数不填,默认为“loc...原创 2017-08-29 23:22:17 · 28356 阅读 · 4 评论 -
python下操作redis数据库的基本方法
参考文章:https://blog.csdn.net/fgf00/article/details/52917154一、Redis简介 redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set –有序集合)和hash(哈希类型)。这些数据类型都支持pus...原创 2018-04-29 02:07:16 · 3433 阅读 · 0 评论