运维
文章平均质量分 68
Jaeger1024
菜鸟学习中
展开
-
【大数据】Namenode HA 宕机处理
怎么样尽快处理恢复原创 2022-01-24 10:56:52 · 2629 阅读 · 0 评论 -
使用dnsmasq快速搭建内网DNS
背景介绍公司有一批测试服务器,之间希望通过自定义的域名进行访问,这样比较方便,但每个人每台机器都维护一个hosts的话会非常麻烦,于是想搭建一个内部的DNS服务器,对自定义的域名进行解析,同时缓存公网的域名。首先,向导的DNS服务器肯定是bind9,但所谓杀鸡焉用牛刀,并且bind9的配置和后期维护都是比较麻烦的,而内网这种测试环境又经常需要更新配置。于是,我们采用了dnsmasq,它简直太简单了...转载 2018-02-24 20:12:58 · 6278 阅读 · 0 评论 -
【大数据】查找并优化参数设置不合理,导致产生大量小文件的Hive任务
背景 公司的数据开发平台上提交了数万个定时任务,有Mapreduce,也有Spark,mapreduce业务大多是基于Hive的定时任务。(我们公司没有用oozie,数据开发平台集成了oozie的任务流功能。)定时任务是由业务方自己提交,并且自己设置相关参数的。所有经常会出现参数设置不合理,导致map数和reduce数都非常大,过程中产生大量小文件,影响了HDFS的性能。所以前段时间安排了针...原创 2018-02-24 20:40:47 · 798 阅读 · 0 评论 -
python系统监控常用第三方模块之psutil
最近在github上发现一个DevOps的开源项目叫 Adminset ,是基于Django框架开发的一个自动化运维管理平台。其中用到了一个名为psutil的模块。上网找了一些资料看了一下。下面就整理一下该模块的一些用法,比较简单:首先安装该模块,可以用pip直接安装pip install psutil如果有yum源的话,也可以用yum安装。因为我公司机器无法连接外网,所以我选择的是用公司的yum...原创 2018-04-30 10:11:39 · 3274 阅读 · 0 评论 -
统一认证管理系统(单点登录系统)sso 浅谈
我所在的公司比较大,内部的各种管理系统和业务系统比较多,然而所有的系统都可以用公司的OA的员工工号和密码直接进行登录 (当然登录界面都是一个就是内部OA门户)。从进入公司以来我就一直有个问题,这是怎么做到的?毕竟假如每个系统一套数据库,那么所有的系统都得同步OA系统的员工账户表,这是比较繁琐的工程,也容易出错,比如人员的入职离职等等。后来请教了一下某个老员工,才知道单点登录这样的好...原创 2018-04-30 10:16:46 · 13050 阅读 · 0 评论