运维
文章平均质量分 70
zld_555
这个作者很懒,什么都没留下…
展开
-
tidb迁移工具DM测试-数据追加增量
环境部署IP安装文档msyql192.168.138.1315.7tidb单机多节点192.168.138.135https://docs.pingcap.com/zh/tidb/stable/quick-start-with-tidbdm工具192.168.138.135https://docs.pingcap.com/zh/tidb-data-migration/stable/deploy-a-dm-cluster-using-tiup初始化原创 2021-02-08 11:25:29 · 929 阅读 · 5 评论 -
mysql :show processlist常用方法
最近经常用到 show processlist,所以在这里把这个命令总结一下,做个备忘,以备不时只需。首先是几条常用的SQL。查询线程及相关信息如果是root帐号,能看到所有用户的当前连接。如果是其他普通帐号,则只能看到自己占用的连接。showprocesslist只能列出当前100条。如果想全部列出,可以使用SHOW FULL PROCESSLIST命令show full processlist各个列的含义:①.id列,用户登录mysql时,系统分配的"connection_id",可以原创 2020-12-29 17:32:40 · 397 阅读 · 0 评论 -
haporxy+keepalived实现负载均衡+高可用
环境准备主机规划服务器IP主机名服务centos7x2(haproxy01)192.168.138.132centos7x2Haproxy、Nginx、keepalivedcentos7x3(haproxy02)192.168.138.133centos7x3Haproxy、Nginx、keepalived192.168.138.200(vip)其中haproxy负责负债均衡,nginx单纯作为web服务hosts文件解析[root@cen原创 2020-12-26 22:41:05 · 375 阅读 · 1 评论 -
azkaban on kubernetes部署方式 多执行节点支持自动伸缩
使用编译好的azkaban 3.84.4版本建立镜像,镜像通过args参数控制启动exe还是webazkaban的配置文件和用户文件引入configmap,方便修改配置默认建立1个mysql,1个exe执行节点,1个web节点exe节点可以自动激活和反激活,方便进行伸缩管理密码存入secret文件因为我的k8s是单node环境,所以mysql服务的地址直接使用了service-name限于篇幅,代码这里就不贴了,请移步github查看https://github.com/justong86.原创 2020-08-07 11:09:17 · 940 阅读 · 0 评论 -
azkaban多节点部署安装记录
环境准备jdk8+mysql节点划分centosx1centosx2centosx3web-serverexe-serverexe-servermysql这里编辑了hosts文件,关闭了selinux和firewalld[root@centos7x3 azkaban-exec-server]# cat /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localho原创 2020-06-27 15:50:38 · 2657 阅读 · 0 评论 -
MQTT协议Centos7下安装mosquitto及简单使用
MQTT和Mosquitto背景Mosquitto是一个开源(BSD许可证)的消息代理,实现MQTT(消息队列遥测传输)协议版本3.1。MQTT(MQ Telemetry Transport),消息队列遥测传输协议,轻量级的发布/订阅协议,适用于一些条件比较苛刻的环境,进行低带宽、不可靠或间歇性的通信。值得一提的是mqtt提供三种不同质量的消息服务:Qos0:“至多一次”,消息发布完全依赖底...原创 2020-02-19 17:48:44 · 1291 阅读 · 0 评论 -
Nginx负载均衡+tomcat简单集群(第三方Redis方案共享session)
nginx+tomcat+redis本篇继《 Nginx负载均衡+tomcat简单集群(DeltaManager自带共享session)》之后,由自带的cluster更换为第三方redis方案。https://blog.csdn.net/zld_555/article/details/103972197准备工作虚拟机Centos7X4Centos7X5IP172.1...原创 2020-01-15 16:15:12 · 305 阅读 · 1 评论 -
Nginx负载均衡+tomcat简单集群(DeltaManager自带共享session)
部署tomcat集群,要解决的一个但问题就是session共享问题。本实验采用tomcat自带的cluster集群方案。此方案优点就是部署简单,只需要常用的nginx,没有额外依赖。缺点是session在集群中是通过组播复制的方式,即每个tomcat都保存了整个集群的session状态,如果访问量大了,会给服务带来额外的开销的负担,也给交换网络带来一定压力。首先,万事以官方文档为基准。h...原创 2020-01-14 14:32:41 · 228 阅读 · 0 评论 -
centos脚本安装tomcat,加入apr启动,附日志分割
最近实验tomcat集群,顺便整理了一下之前的tomcat的安装脚本,适合centos安装使用。集成了apr启动模式。脚本跑完,apr应该就可以生效了。再加上一个cronolog日志分割的小脚本单独放在最后,没有合并在一起。#!/bin/bash#Auto install Apache Tomcat8.5.39#需要的包:jdk-8u201-linux-x64.tar.gz,apache...原创 2020-01-13 15:13:31 · 134 阅读 · 0 评论 -
sqoop 的job使用方式及密码保存
sqoop 的job使用方式基本使用说明job参数说明功能简单明了。ArgumentDescription--create <job-id>Define a new saved job with the specified job-id (name). A second Sqoop command-line, separated by a -- shoul...原创 2019-12-20 16:41:13 · 2450 阅读 · 0 评论 -
sqoop1.4.7安装和操作
前提概述官网http://sqoop.apache.org/将来sqoop在使用的时候有可能会跟那些系统或者组件打交道?HDFS, MapReduce, YARN, ZooKeeper, Hive, HBase, MySQLsqoop1就是一个工具, 只需要在一个节点上进行安装即可。如果sqoop要跟hive交互,那么sqoop节点机器一定要有hive系统。版本sqoop1和sqoop...原创 2019-12-20 10:12:54 · 369 阅读 · 0 评论 -
基于confluent的kafka和kafka-rest代理配置
基于confluent的kafka和kafka-rest代理配置一、组件及说明(一)Confluent的组件简介Confluent Platform 包括更多的工具和服务,使构建和管理数据流平台更加容易。Confluent Control Center(闭源)。管理和监控Kafka最全面的GUI驱动系统。Confluent Kafka Connectors(开源)。数据进出kafka,连...原创 2019-05-21 10:15:33 · 4633 阅读 · 0 评论 -
nginx location匹配规则
location匹配顺序"="前缀指令匹配,如果匹配成功,则停止其他匹配 普通字符串指令匹配,顺序是从长到短,匹配成功的location如果使用^~,则停止其他匹配(正则匹配) 正则表达式指令匹配,按照配置文件里的顺序,成功就停止其他匹配 如果第三步中有匹配成功,则使用该结果,否则使用第二步结果注意点 匹配的顺序是先匹配普通字符串,然后再匹配正则表达式。另外普通字符串匹配顺序是根...原创 2019-11-30 15:48:15 · 111 阅读 · 0 评论