![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
运维
文章平均质量分 73
Bottle
出来混,迟早是要还的
展开
-
【解决方法】Docker+uWSGI+Flask 报错 ModuleNotFoundError: No module named ‘flask‘
背景Docker + Nginx + uWSGI + Flask 部署的环境,以前一直都能好好跑,这次把基础镜像的 Python 版本由原来的 3.6 升级到了 3.8,就报了标题的错。Docker + Nginx + uWSGI + Flask 部署可以参考 这篇文章问题分析先看一下 Docker 的启动日志:Starting nginx: nginx.,*** Starting uWSGI 2.0.18-debian (64bit) on [Tue Aug 17 02:21:46 202原创 2021-08-17 10:56:57 · 5828 阅读 · 1 评论 -
【实现一套爬虫数据抓取平台】[3-3-04] 使用 Docker-Compose 安装 Kafka
文章目录0、系列目录1、代码0、系列目录写这套文章的时候,不会完全按照目录的顺序一篇一篇写, 大家可以到目录中直接找到对应的章节进行查看。点我跳转1、代码简单粗暴,直接上代码。version: '2'services: zookeeper: image: wurstmeister/zookeeper ports: - "2181:2181" kafka: image: wurstmeister/kafka volumes: -原创 2021-07-07 09:32:39 · 7108 阅读 · 0 评论 -
【实现一套爬虫数据抓取平台】[3-3-03] Ubuntu 如何升级 CMake
文章目录0、系列目录1、背景2、操作步骤3、总结0、系列目录写这套文章的时候,不会完全按照目录的顺序一篇一篇写, 大家可以到目录中直接找到对应的章节进行查看。点我跳转1、背景安装某些 Python 依赖库的时候,需要特定版本的 Cmake,或者需要高于某些版本的 Cmake,使用 apt 安装的默认版本的 Cmake 版本有些时候会报版本不够的问题,比如:root@localhost:/root# pip install pyre2... running install run原创 2021-03-18 11:11:46 · 16306 阅读 · 0 评论 -
【实现一套爬虫数据抓取平台】[3-3-02] CentOS 设置定时任务/计划任务
文章目录0、系列目录1、应用场景2、周期性任务 - crontab安装 crontab创建任务参数解释其他命令3、一次性任务 - at安装 at创建任务查看任务删除任务时间参数4、总结0、系列目录写这套文章的时候,不会完全按照目录的顺序一篇一篇写, 大家可以到目录中直接找到对应的章节进行查看。点我跳转1、应用场景实际生产中,总有一些任务需要定时执行:定期清理日志定期执行备份定期检测服务是否正常实现的方式也有很多种,可以自己写服务来监测、可以使用 pm2。我们今天介绍两个最简单、最基础原创 2021-03-17 12:11:31 · 16639 阅读 · 0 评论 -
【实现一套爬虫数据抓取平台】[3-5-02] CentOS 关闭超时进程
文章目录零、系列目录一、背景二、脚本代码三、解析执行步骤代码获取进程 pid获取进程的运行时间四、总结零、系列目录写这套文章的时候,不会完全按照目录的顺序一篇一篇写, 大家可以到目录中直接找到对应的章节进行查看。点我跳转一、背景在运行爬虫的时候,有些任务难免执行超时,针对超时的任务,我们采取的策略就是直接关闭这个任务的进程,避免任务阻塞。二、脚本代码先上干货,有需要的同学可以直接拿走了。完整代码位置:点击跳转。#!/bin/bashfunction kill_timeout_pro原创 2021-03-16 11:56:51 · 17080 阅读 · 0 评论 -
【实现一套爬虫数据抓取平台】[3-3-01] 部署 Docker+Nginx+uWSGI+Flask 应用
文章目录零、系列目录一、基本概念1、Docker2、Nginx3、uWSGI4、Flask二、部署结构三、结构分析四、实现步骤1、编写 Flask 应用2、编写 uWSGI 配置文件3、编写 Nginx 配置文件4、编写 Docker 启动脚本5、编写 Docker 镜像构建文件6、编写 docker-compose 文件五、测试1、运行2、检查启动服务3、检查返回结果六、总结零、系列目录写这套文章的时候,不会完全按照目录的顺序一篇一篇写, 大家可以到目录中直接找到对应的章节进行查看。点我跳转一、基原创 2021-03-09 15:43:44 · 20770 阅读 · 0 评论 -
CentOS 如何查看文件或者文件夹大小
开箱即用先上简单粗暴版,拿走直接用。1、查看当前目录下各个文件夹的大小[root@Crawlab_01 crawlab]# du -h --max-depth=1 ${pwd}740M ./5eb10df97d764300175f3653712K ./5eb395d7687c4f0015d56f28392M ./5ee8343544bacf0015329bb24.4M ./5ef06f34286642001755822b1.1G ./5ef06b16286642001755822839M原创 2020-10-16 10:12:42 · 49532 阅读 · 0 评论 -
CentOS 7 如何为 PHP 5.6 安装 MSSQL 扩展
背景前两天写了一篇文章 OSX MAMP 如何为 PHP 5.6 安装 MSSQL 扩展,讲的是自己的个人电脑,也就是开发环境如何为 PHP 5.6 安装 MSSQL 扩展,现在要上生产了,继续讲讲怎么给 CentOS7 安装 PHP - MSSQL 扩展。运行环境操作系统CentOS Linux release 7.8.2003 (Core)集成环境宝塔PHP 5.6.40步骤和之前一样,我们先来整理一下整体的步骤:1、安装 freetds2、安装 mssql.so 扩展(p原创 2020-07-09 22:08:07 · 49296 阅读 · 2 评论 -
OSX MAMP 如何为 PHP 5.6 安装 MSSQL 扩展
背景如标题所说,要给 OSX 上运行的 MAMP 安装基于 PHP 5.6 的 MSSQL 扩展,用于连接 MSSQL(即 MsSqlserver)。运行环境操作系统OSX - 10.13.4软件环境MAMP - 5.6PHP - 5.6.40步骤整体步骤1、安装 freetds2、安装 mssql.so 扩展(php 的 mssql 扩展依赖于 freetds)详细步骤废话少说,直接开始。1、安装 freetds命令行执行如下指令:brew install free原创 2020-07-03 16:33:24 · 48232 阅读 · 0 评论 -
【解决方法】The SCRAM_SHA_1 authentication mechanism requires libmongoc built with ENABLE_SSL
背景手动安装的 PHP mongodb 扩展,但是连接 MongoDB 报标题的错误:The SCRAM_SHA_1 authentication mechanism requires libmongoc built with ENABLE_SSL问题原因MongoDB 扩展依赖 SSL,所以,安装 SSL 就可以了。解决方法依次执行以下指令。sudo apt-get instal...原创 2020-05-07 21:58:15 · 51858 阅读 · 0 评论 -
【解决方法】OSX-Docker push 报错「server gave HTTP response to HTTPS client」
文章目录背景原理方法一方法二背景前一段时间写了一篇文章:【解决方法】Docker push 报错「server gave HTTP response to HTTPS client」,乍看之下和本篇标题一样,仔细一看,你能找到区别的。对,这次是针对 osx,也就是 mac 系统来做的。这次就不分析了,直接上解决方法。原理原理还是一样,就是将我们将要push到的地址,添加到 Insecu...原创 2019-12-18 10:08:44 · 51431 阅读 · 1 评论 -
CentOS7 如何修改主机名
只介绍最简单的一种。通过 hsotnamectl 指令修改。先查看以下本机当前主机名:执行 hostnamectl:[root@localhost ~]# hostnamectl Static hostname: localhost.localdomain Icon name: computer-vm Chassis: vm ...原创 2019-11-29 09:22:13 · 50223 阅读 · 0 评论 -
【解决方法】Docker push 报错「server gave HTTP response to HTTPS client」
背景自建 Docker 本地私有仓库。准备 push 到仓库,报标题错误。少啰嗦,直接上解决方案。解决方案如果你 docker push 的时候报错内容和我上面一样,那是因为客户端push的时候采用https协议,而registry未使用https导致的。修改 /etc/docker/daemon.json 文件(如果没有就创建新的),并写入如下内容:{ "insecure-re...原创 2019-11-27 11:04:28 · 63308 阅读 · 0 评论 -
【解决方法】CentOS7 报错 ModuleNotFoundError: No module named 'gi'
背景新装的 CentOS7.6 环境,准备做一个测试机,因为是内网做着玩的,装完第一件事就是把防火墙关了,然后安装了其他的开发环境。问题今天想打开防火墙测试一个功能的时候,发现报了这样一个错:[root@localhost ~]# firewall-cmd --stateTraceback (most recent call last): File "/usr/bin/firewal...原创 2019-11-25 17:56:44 · 57283 阅读 · 0 评论 -
Crontab 语法整理
Crontab 语法一、基本语法minute hour day-of-month month-of-year day-of-week commands 二、合法值00-59 00-23 01-31 01-12 0-6 (0 is sunday) 三、特殊符号* 代表所有的取值范围内的数字/ 代表每的意思, /5 表示每5个单位- 代表从某个数字到某个数字, 分开几个离散的数...原创 2019-11-12 17:01:16 · 51433 阅读 · 0 评论