- 博客(54)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 ES的高可用
因为主分片（primary shard） 和副本分片（replica shard） 不能分布在同一个节点，这样即使当一个节点失败导致分片数据丢失，还可以从另一个节点上的分片来恢复数据。1）建议节点专用，每个节点使用专用的角色。1）2个高配置的节点：分配data,master等主要角色，不能配置voting_only角色；2）1个低配置节点：分配voting_only角色（只用于选主时进行投票，不接受业务请求）不要只配置其中的1个节点，而应该使用类似负载均衡将请求分发到两个节点上。
2024-06-13 15:00:56
1010
原创 k8s集群搭建（ubuntu 20.04 + k8s 1.28.3 + calico + containerd1.7.8）
在 Ubuntu 20.04上搭建k8s1.28.3,并使用containerd作为容器运行时，使用calico作为cni插件。需要确保容器运行时和 kubelet 所使用的是相同的 cgroup 驱动，否则 kubelet 进程会失败。作为cgroup驱动，所以kubelet也需要使用systemd作为cgroup驱动。等，calico作为k8s的中的一种资源，只需要在master上执行即可。字段，可用于控制 kubelet 的 cgroup 驱动。以下操作，除特别标注外，都是在所有节点上执行。
2023-11-13 22:26:58
2228
1
原创 为普通用户授权访问k8s资源（tls,rbac）
为指定用户授权访问不同命名空间权限，例如：给新入职的员工zhangsan，添加权限，先给小的查询权限（default空间的pod读取权限），熟悉后，再给大的权限（所有的空间的pod的读写权限）
2023-10-18 16:07:50
739
原创 【脚本分享】linux cpu使用率高诊断用
linux JVM进程使用很高时，可以使用该脚本一键获取jvm进程top线程占用的CPU情况，协助定位问题代码。
2023-01-03 17:46:47
370
原创 DNS解析流程详解
DNS ,即Domain Name System 的缩写,同时DNS 是互联网核心协议之一。其作用非常简单：将要访问的域名解析出对应的IP地址。虽然作用简单，但是查询出对应的IP地址的过程却比较复杂，分成很多步骤。域名由两组或两组以上的ASCII或各国语言字符构成，各组字符间由点号分隔开，最右边的字符组称为顶级域名或一级域名、倒数第二组称为二级域名、倒数第三组称为三级域名、以此类推比如：常见的顶级域名有。DNS服务器分几类，层次结构如下有dns的地方，就有缓存。浏览器、操作系统、Local DNS、根域
2022-07-13 20:12:51
2473
原创 linux buffer与cache深度探寻
buffer和cache的主要区别Buffer（缓冲区）定义：缓冲区是一种临时存储区域（RAM），通常是内存(memory)中的一块，其实质就是内存的一部分。在等待从输入设备输入数据或输出数据到输出设备时，将数据项放在其中。 它主要用于输入/输出过程。 例如，如果你要打印一份很长的文档，你肯定不希望你的CPU等待你的打印机“准备好再写一段了吗?” 相反，打印机会将要打印的数据填满一个buffer，然后CPU打印buffer里的内容，然后可以释放CPU继续处理其他事情，而不用使CPU等待低效的磁盘IO。
2022-05-27 19:39:02
619
原创 maven相关入门
为什么需要maven？maven能解决什么问题？构建的概念？maven核心概念maven工程的目录结构├─HelloWorld 工程名│ ├─.idea │ └─src 源码│ ├─main 存放主程序│ │ ├─java 存放java源文件│ │ └─resources 存放框架或者其他工具的配置文件│ └─test
2022-04-25 18:19:34
87
原创 使用prometheus exporter实现rocketmq集群监控指标采集
prometheus针对rocketmq监控指标采集推出了官方的exporter：rocketmq-exporter。github地址如下：https://github.com/apache/rocketmq-exporterrocketmq-exporter与rocketmq的版本兼容性：Support Apache RocketMQ version 4.3.2 (and later).如何使用mvn构建？1.下载源码https://github.com/apache/rocketmq-expo
2022-04-18 19:50:51
1607
原创 rocketmq多主多从异步复制模式集群搭建
本文目录RocketMQ集群服务集群服务**方案1：多master模式**方案2：多“master-slave”异步复制模式方案3：多“master-slave”同步复制模式（同步双写）方案4：DLedger(多副本)模式（唯一的推荐使用方案）”多主多从异步复制“集群模式部署规划1.搭建nameserver集群2.搭建broker集群搭建1）【node1】搭建master-a2）【node2】搭建a-slave13）【node2】搭建master-b4）【node3】搭建b-slave15）【node3】搭
2022-04-13 18:18:17
1421
原创 iftop流量实时查看
一、iftop是什么？iftop是类似于top的实时流量监控工具。官方网站：http://www.ex-parrot.com/~pdw/iftop/二、iftop有什么用？iftop可以用来监控网卡的实时流量（可以指定网段）、反向解析IP、显示端口信息等，详细的将会在后面的使用参数中说明。三、相关参数及说明1、iftop界面相关说明界面上面显示的是类似刻度尺的刻度范围，为显示流量图形的长条作标尺用的。中间的<=,=>这两个左右箭头，表示的是流量的方向。TX：发送流量(本机–&
2022-04-02 16:33:35
1732
原创 PromQL使用
本文目录PromQL向量运算实验数据向量匹配模式一对一匹配多对一匹配一对多匹配附PromQL向量运算背景：使用PromQL在prometheus中进行数据查询时，有时候会涉及对多个向量进行加减乘除运算，此时对向量有一些使用规范，否则要么直接报错，要么出现错误结果。实验数据#PromQL1WriteCount{__MEASURE__="disk",zonecode=~"FREIGN-SGP",appid=~"drp-service-reservation-admin-overseas",ip="1
2022-03-29 19:02:44
510
原创 搭建NFS服务器
搭建nfs服务器1.安装nfs-utilsyum install nfs-utilssystemctl enable nfs-server --nowfirewall-cmd --set-default-zone=trusted 2.设置共享目录并配置nfs#设置nfs共享目录mkdir /share#修改nfs配置cat >>/etc/exports <<-EOF/share *(rw,no_root_squash) #允许所有客户端访问/share
2021-12-17 14:12:07
206
原创 解决Python多版本同存的问题
背景windows10上同时安装python 3.9.5 和Python2.7.9后，出现pip启动的问题。错误1：PS E:\Program Files\Python> pip2 listFatal error in launcher: Unable to create process using '""E:\Program Files\Python\python2.7.9\python.exe"" "E:\Program Files\Python\python2.7.9\Scripts\p
2021-11-30 19:38:14
707
原创 rsync实现文件服务器间文件同步
rsync介绍rsync命令工具可以实现服务器间的文件同步（全量或者增量，比如使用–size-only来检查源端文件和目标端文件大小是否一致决定是否需要同步），由此同步的功能扩展，可以实现本机不同目录文件拷贝、快速删除海量文件等功能。但要注意，rsync不能实现远程服务器1和远程服务器2之间的文件同步，但是scp可以实现此功能。rsync有几种工作模式不管哪种模式，源文件都是在前面，目标文件在后面。1）本地模式语法：rsync [OPTION]… SRC [SRC]… DEST如：rsync -
2021-10-09 19:41:47
2785
原创 shell中类似try...catch逻辑
shell中&& || 的执行逻辑。1）{ command1} && {command2}这种情况下，只有左边command1成功执行了，右边command2的shell才会执行。{ # try command1 && #save your output} && { # catch # save log for exception }2){command1} || {command2} 这种情况，左边co
2021-09-14 21:10:08
4089
1
原创 python--requests模块优化接口调用
使用Python进行网络编程时，常使用requests模块进行http接口调用。如果只是很少的接口调用，使用常规的requests.post() 或 requests.get() 就可以满足要求。但是如果涉及到很多次接口调用，那可能会遇到程序执行时间长的效率问题。为提高程序执行效率，降低服务端压力，可以考虑的一个思路是使用长连接，节省频繁的tcp连接握手和挥手的过程。优化前def q_inst(obj_id='host', field='bk_host_innerip', value=''): hea
2021-09-06 17:35:45
461
原创 Python--MultipartEncoder同一个请求上传多个文件
最近项目需求需要在同一个请求中上传多个文件，原以为MultipartEncoder不支持，最后肝了4天终于摸索出来了。记录一下，方便后续参考。上传多个文件上传多个文件import requestsfrom requests_toolbelt.multipart.encoder import MultipartEncoderfile_name_ary= [r'D:\Users\Documents\个人其他工作\资源管理\云下 vm监控数据\zabbix_metrics_vm.memory.util_
2021-09-06 11:48:37
4236
原创 深入理解python中的迭代器和生成器
SEQ19 深入理解迭代器和生成器1 四个概念区分：容器、可迭代对象、迭代器、生成器； a.“容器”：直观感受就是多个’类似’数据结构的元素组在一起单元，比如，数组、元组、字典都是容器。所有的容器都是可迭代的。 b.“可迭代对象(interable)”：Python中一切皆对象。所以Python中只要是可迭代(类似使用for in obj:)的对象，都是可迭代对象。 比如：容器就是可迭代对象；“迭代”：不等于简单的重复。迭代包含了有规律的变化 c.“迭代器(inte
2021-09-05 10:43:24
210
原创 vim配置python3开发环境
1.1环境OS：CentOS Linux release 7.6.1810 (Core)python版本：Python 3.9.6需求：配置vim使能支持python程序开发的类似IDE环境，实现代码不全、语法高亮等功能。1.2检查环境1.检查vim版本,如果没有“+python3”关键字，则需要升级vim# 可见vim版本为7.4[root@drp-monitor-20210426165633-mojh ~]# vim --versionVIM - Vi IMproved 7.4 (201
2021-08-30 19:01:14
5459
原创 python程序性能分析模块-cProfile
如何使用cProfile模块分析python程序运行性能？#使用cProfile模块（内置）分析python程序运行性能>python -m cProfile -o profile.out "Mem and Cpu_zabbix_multithread v4.0.py"ps:-o:将分析结果输出到profile.out#可以使用pstats模块（内置）来格式输出>python -c "import pstats; p=pstats.Stats('profile.out'); p.
2021-08-19 16:05:02
205
原创 linux系统负载--system load
系统负载定义处于runnable或uninterruptable状态的进程数。runnable表示正在使用CPU或者等待使用CPUuninterruptable表示等待IO访问，比如等待磁盘，这种状态不可通过信号来中断，除非重启系统。如何查看系统平均负载方式1： cat /proc/loadavg[root@10-84-242-140.scrm-mdm-rpc.bjht ~]# cat /proc/loadavg9.98 10.13 9.81 35/10453 93324#前三项表示最近1分
2021-06-15 20:49:28
3414
原创 loghouse介绍
目录前言架构1.组件&功能查询语言（query language）文档前言loghouse项目是创建于2017年，旨在为k8s集群提供容器日志管理方案。（ps:当时并没有ELK等较为成熟的日志管理方案）。随着k8s生态的大幅发展，现在已经有比较成熟的日志管理方案，如ELK，EFK等。所以loghouse现在已经不再维护了。尽管如此，loghouse在当时还是有些优点的，如下：1）clickHouse日志存储压缩比率高，高大20X的压缩比率，很好的介绍的日志存储成.
2021-04-16 14:06:59
1584
原创 计算机网络学习~IPv4数据报格式
本文为计算机网络学习系列读书笔记网络层分组被称为数据报。网际协议（Internet Protocol）是TCP/IP体系中最主要的协议之一。IP协议有两个主要的版本：IPv4和 IPv6.有关IP协议最重要的文档就是互联网标准FRC791：https://www.ietf.org/rfc/rfc791.txtIPv4的数据报格式IPv4数据报中包含如下字段信息版本(Version)（4比特）：IP协议的版本号。路由器根据此版本号确定如何解释IP数据报的剩余部分。首部长度(Inte.
2021-03-18 18:18:31
581
原创 深究SSL协议层握手过程
前一篇文章整理了关于https的一些知识点，其中涉及到SSL/TLS层的协议握手细节讲的不是很细致，本文再着重通过抓包分析下这个过程。环境：100.119.154.14 --客户端；218.18.162.102 --服务端；动作：客户端请求一个index.html页面，wireshark抓包的正式这个过程。SSL协议包含两层：①SSL Record Protocol②SSL Handshake ProtocolSSL协议所在层级（传输层之上，应用层之下）SSL协议..
2021-03-17 17:57:19
485
原创 https探究
什么是SSL证书？什么是https以及其原理是什么？https证书管理？如何使用wireshark解密https流量？Wireshark supports TLS decryption when appropriate secrets are provided. The two available methods are: Key log file using per-session secrets (#Using_the_.28Pre.29-Master-Secret). .
2021-03-16 19:59:30
276
2
原创 如何根据文件描述符找到对应socket的连接
## 如何根据文件描述符找到对应socket的连接方式1：ss命令找到连接对应的文件描述即可[root@CNSZ17V******:/proc/net]#ss -antp| grep 10.119.54.12 | grep 6533ESTAB 0 0 10.119.2.63:51876 10.119.54.12:8001 users:(("nginx",6533,15))方式2：若没有ss命令，使用如下方式：①找到对应的文件...
2021-03-02 10:39:36
432
原创 Linux IO模型
一 . 前言每次说nginx为什么快时，都总会提到“nginx因为使用‘异步、非阻塞、IO多路复用’，所以nginx很快且能扛住高并发……”。那么什么是IO模型呢？有分同步和异步、阻塞和非阻塞，这其中有什么区别呢？二. Linux IO模型是什么？在了解Linux IO 之前先记住下面这点Linux文件系统一切都是文件2.1文件描述符（fd）文件分为普通文件，目录文件，设备文件，连接文件等，Linux在操作文件时，都是通过文件描述符（文件描述符是相当于Linux Kernel对文件创建的索引
2021-02-24 22:06:17
110
原创 nginx.conf全解析
nginx.conf配置文件结构mainevent {}http{ server { location /aaa/bbb { 指令; …… } } server { location /ccc/ddd{ 指令; } }}http{ server { location /aaa/bbb { 指令； …… } }}……语法1）单条指令由“名称 参数 分号”的形式组成，如：client_body_buffer_siz
2021-02-23 00:07:26
286
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人