落神的博客

每一种编程语言都有自己的数据存储方式，有多个属于自己的数据库。如何去创建使用数据库，就是我们今天所要了解的内容，当然我们只了解python数据库的创建和使用。首先让我们先认识一下数据库。实际待开发过程当中，数据存储主要有三种方式1.将数据存储到内存当中 1）.使用方便，读写速度快 2）.程序关闭的时候，内存会被释放，数据会消失2.将数据写入到文件当中 1）.数据存储是...

一、mongoDB安装参见 https://www.cnblogs.com/zhoulifeng/p/9429597.html二、mongo启动 win10下1、安装配置完成后，打开命令窗口，进入到bin目录下输入mongod --dbpath E:\software\MongoDB\data\db2、另起一个窗口输入mongo三、mongo命令1、批量更新某一字段的值db.getCollection('reports_stock')...

一、本机迁移1、导出所有数据mongoexport -u 连接名 -p 密码 --authenticationDatabase admin -d 库名 -c 集合名 -o 导出路径（绝对路径） --type json2、导出指定字段的数据mongoexport -u 连接名 -p 密码 --authenticationDatabase admin -d 库名 -c 集合名 -o 导出路径（绝对路径） --type json -f "字段如（name、title、date）"3、

今天给大家介绍如何安装和使用MySQL数据库。MySQL作为小型数据库，在python学习过程中是是非常重要的，尤其在爬虫阶段，将爬去的各种数据存入到数据库中。如何安装MySQL，接下来我会一步步给大家讲解。1.首先登录MySQL的官网下载安装包 2.选择MySQL installer,选择第二个安装包下载 3. 下载完成之后就选择安装...

1、创建表CREATE TABLE `score` ( `id` BIGINT(20) NOT NULL AUTO_INCREMENT, `change_type` VARCHAR(255) NULL DEFAULT NULL, `create_time` TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP, `score` INT(11) NULL DEFAULT NULL, `user_id` BIGINT(20) NU

错误的原因：服务器强制把redis快照关闭了导致不能持久化。解决办法：1、redis-cli连接上redis输入config set stop-writes-on-bgsave-error no2.修改redis.conf文件：vi打开redis.conf文件，然后将stop-writes-on-bgsave-error改为no。...

简单的分布式爬虫1、settings配置import osROBOTSTXT_OBEY = FalseDOWNLOAD_DELAY = 1DEFAULT_REQUEST_HEADERS = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like G...

今天为大家介绍的是分布式爬虫和redis数据库，分布式爬虫今天主要带大家认识一下它，以及它的优缺点和适用范围；redis数据库主要是怎么去安装它，提及它的特点，至于它的使用，接下来我会一一向大家介绍。一、什么是分布式爬虫？1.默认情况下，scrapy爬虫是单机爬虫，只能在一台电脑上爬虫 因为怕产品能够调度器的队列queue去重和set都是在本机上创建的 其他电脑无法访问另一台电脑上的内存的...