zhangxm_qz的博客

准备kafka、logstash 、es 环境并启动服务，参考之前的文章这里不重复启动zookeeper：启动kafka：假设日志格式如下，包括基本字段（时间、IP、级别等）和业务字段（字段1，字段2，字段3）。消费消息并打印配置文件如下，从kafka获取日志并直接打印：启动logstash向kakfa发送消息后，logstash接收并打印了消息。消息输出到ES启动ES修改配置文件.output 增加 es输出如下：插入kafka消息控制台有输出es中也有了这条消息，postman查询

文章目录环境准备Kafka部署Logstash部署高可用测试logstash本身不带高可用部署方案 ，但是可以借助KAFKA GROUP，Logstash伪集群从事间接实现高可用这里对这种方式进行测试环境准备这里使用单节点的kafka，并部署两个Logstash 模拟 集群实现 kafka消息消费的高可用。准备两台虚拟机并安装jdk1.8192.168.195.11 kafka logstash jdk1.8192.168.196.12 logtash jdk1.8jdk自行百度安装

文章目录必要的配置服务发现连接参数/特性协商心跳和数据流消息处理RDY 状态Backoff/补偿加密和压缩总结之前的内容我们学习测试了nsq各个组件的功能以及用户身份认证机制，这篇文章我们根据官方文档来继续研究学习nsq客户端的工作内容及原理，有助于我们深入理解nsqd的工作机制，并进行性能优化和问题排查。nsq设计者将很多的功能放到客户端实现，这样保障了服务端的健壮和高效。同时发送消息到服务端是很容易和简单的，这里主要探讨消费者的功能实现。必要的配置一个消费者通过一个到snqd的tcp链接来订阅一

文章目录启动双向认证web服务生成客户端证书浏览器导入证书浏览器访问验证之前我们学习过https ，在服务器端部署证书，客户端通过对证书的验证目标服务器的合法性。那么如果服务器端设置了双向认证，浏览器该如何访问呢，这里我们采用nsq 的 nsqd服务来模拟https双向认证服务。启动双向认证web服务nsq服务介绍及如何启动双向证书验证的http服务参考nsq系列博客snqdTLS及证书验证测试[root@localhost bin]# ./nsqd --config nsqd.conf[nsqd

文章目录生成证书测试tls-cert 和tls-key 参数测试tls-required参数tls-client-auth-policy 参数验证总结可以为nsqd服务配置证书增加安全性，这里我们对该功能进行测试生成证书通过openssl 如下命令可以生成证书私钥对 [root@localhost ~]# openssl req -x509 -newkey rsa:2048 -keyout key.pem -out cert.pem -days 365 -nodesGenerating a 204

生成私钥 作为根证书私钥[root@localhost certs]# openssl genrsa -out ca.key 2048Generating RSA private key, 2048 bit long modulus...............+++...................+++e is 65537 (0x10001)[root@localhost certs]# lltotal 12-rw-r--r--. 1 root root 1261 Apr 17 21

文章目录Auth 认证方式验证准备启动认证服务启动nsq服务编写nsq测试程序消息发送测试修改客户端密码测试消息消费测试TLS证书验证Auth 认证方式验证认证原理参考上一篇文章准备启动认证服务我这里已经编译好一个，可以直接下载使用 点击下载也可以自己开发或自行到github下载将程序上传并赋予执行权限如下:[root@localhost nsq]# lltotal 9436drwxr-xr-x. 2 root wheel 154 Aug 16 2021 bin-rw-r--r

文章目录组件及配置nsqd消费机制如何保证宕机不丢数据多个消费者消费同一个channelnsq安全策略上一篇中我们了解了nsq的基本功能，点击查看这里我们比较全面和深入的了解其部分工作机制,更多信息请参考nsq官网组件及配置nsqdnsqd是一个守护进程，负责接收、排队、分发消息到消费者。可以单独运行也可以通过 注册到 nsqlookupd 服务实现集群部署。默认监听俩端口 4150 （tcp客户端） 4151 （http api 接口） 。也可以配置端口支持https 服务端口配置项-au

文章目录环境准备下载及解压环境准备这里使用一台vmware 虚拟机来完成nsq的测试和学习下载及解压到官网下载nsq安装包官网下载地址下载完成后

文章目录keepalived介绍keepalived配置详解环境准备keepalive安装keepalive配置keepalived介绍keepalived配置详解环境准备这里准备两台web服务器 两台keeplived服务器，具体如下192.168.8.11 webapp1192.168.8.12 webapp2192.168.8.16 主Keepalived lvs 虚拟IP192.168.8.100192.168.8.17 从Keepalived lvs 虚拟IP192.1

arp 命令查看所有ip物理地址表Arp -a和arp –g命令的输出结果是一样的，用于查看高速缓存中的所有项目查看某个IP的物理地址arp –a/g internet_address 只显示该目标地址相关的ARP缓存项目,就是本地缓存的远程ip地址的物理地址信息。显示指定网卡地址信息arp –a –Ninterface_address”，显示本IP所在网卡相关的ARP信息更详细显示-v选项只能和arp –a一起使用，所有无效项和环回接口上的项都将显示添加地址绑定将 Intern

文章目录LVS介绍环境准备LVS配置及测试ipvsadm 安装及使用LVS介绍环境准备准备三台虚拟机192.168.90.10 LVS服务器 配置VIP为 192.168.90.20192.168.90.11 web 应用1192.168.90.12 web应用2web 应用提供一个接口地址可返回请求详细信息如下LVS配置及测试ipvsadm 安装及使用安装LVS已经集成到了linux内核模块中，LVS环境又分为内核层和用户层，内核层负责内核算法的实现，用户层需要安装

文章目录下载log4j2.17.2查询log4j jar包信息上传并替换jar包并修改jar包所有者启动并验证下载log4j2.17.2官网下载 或者 点击 下载查询log4j jar包信息可以看到有5个jar包需要替换[root@iZ1pg01eq60gutiom4u5biZ elasticsearch]# find . -name log4j*./config/log4j2.properties./lib/log4j-core-2.11.1.jar./lib/log4j-api-2.1

文章目录HAProxy介绍环境准备haproxy安装http服务负载均衡配置及测试https 服务四层反向代理测试七层真实IP获取测试四层透传IP测试HAProxy介绍HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。但是haproxy 不支持作为静态服务器环境准备准备三台虚拟

CCIE-VPN完整版01VPN 使用场景及概念隧道技术GRE （Generic Routing Encapsulation ）加密技术IPsec最近读CCIEVPN材料，对VPN的实现细节有了深入理解。在此记录并分享VPN 使用场景及概念当不同的远程网络通过 Internet 连接时，比如上海和北京的两个分公司通过Internet 连接时，网络之间的互访将会出现一些问题，如下情景由于上海和北京的两个分公司内部网络分别使用了私有 IP 网段10.1.1.2 和 192.168.1.4，而私有 IP