- 博客(2)
- 收藏
- 关注
原创 Airflow安装部署
Airflow安装部署 新闻信息是通过爬虫获取,使用scrapy框架进行爬虫任务;使用airflow工作流监控平台对爬虫任务进行管理、监控(可使用CeleryExecutor分布式,也可使用LocalExecutor多进程进行数据采集)。以下主要是对airflow的安装和配置。 1.系统环境 目前使用的系统环境为Centos Linux release 7.4.1708 (core),l...
2018-09-03 14:04:54 1413
原创 Elasticsearch集群安装部署
Elasticsearch集群安装部署 1.系统环境说明 目前使用的系统环境为Centos Linux release 7.4.1708 (core),linux版本的内核Linux version 3.10.0-693.2.2e17.x86_64. 机器地址:172.31.178.92,172.31.178.93 2.安装配置JDK 1.8 2.1 jdk下载并解压缩 ...
2018-09-03 14:02:41 226
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人