2020年04月_jast_zsh

09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 CDH kafka JMX 启动

服务正常启动 telnet 127.0.0.1 9393 就可以，直接 telnet ip 9393 就不通我们查看CDH broker_java_opts 配置项原内容为-server -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:G1HeapRegionSize=16...

2020-04-29 09:49:08 1992 2

原创 Kafka 消费者组 Rebalance 详解

Rebalance作用Rebalance 本质上是一种协议，主要作用是为了保证消费者组（Consumer Group）下的所有消费者（Consumer）消费的主体分区达成均衡。比如：我们有10个分区，当我们有一个消费者时，该消费者消费10个分区，当我们增加一个消费者，理论上每个消费者消费5个分区，这个分配的过程我们成为Rebalance（重平衡）触发条件常见的有三种情况会触发...

2020-04-28 20:14:42 7039 1

原创 Kafka 集群数据备份 MirrorMaker 详解

什么是 MirrorMaker？MirrorMaker是Kafka附带的一个用于在Kafka集群之间制作镜像数据的工具。该工具主要动作就是从源集群中消费并生产到目标群集。一个集群可以启动多个MirrorMaker配置到多个集群运行 MirrorMaker方法kafka-mirror-maker.sh --consumer.config ./consumer.properti...

2020-04-28 20:14:11 4616

原创 CDH 6.x 安装 Phoenix 服务

最近有个新项目启动，版本升级到6.3，发现CDH6.2 版本已经支持Phoenix parcel安装一、准备文件下载https://archive.cloudera.com/phoenix/6.2.0/csd/PHOENIX-1.0.jar下载parcel#目录https://archive.cloudera.com/phoenix/6.2.0/parcels/#根据个...

2020-04-17 09:10:56 3493 8

原创 Flink 1.9 CDH 6.3 集成

1.下载准备文件https://archive.cloudera.com/csa/1.0.0.0/csd/FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jarhttps://archive.cloudera.com/csa/1.0.0.0/parcels/2.felink csa jar包准备将FLINK-1.9.0-csa1.0.0.0-cdh...

2020-04-09 20:46:58 2326 5

转载 Kafka 优化参数 unclean.leader.election.enable

Kafka 某个节点挂掉，导致整个服务异常，为了保证服务容灾，可对下面几个参数进行调整unclean.leader.election.enable=truemin.insync.replicas=1offsets.topic.replication.factor=3这三个配置什么意思呢? 依次来看一下： unclean.leader.election.enable...

2020-04-05 15:18:51 2621

原创 Flink keyby 数据倾斜问题处理

上一篇我们使用keyby后发现数据严重倾斜https://blog.csdn.net/zhangshenghang/article/details/105316728大概看下问题所在，大量数据在一个subtask中运行这里我们使用两阶段keyby解决该问题之前的问题如下图所示我们期望的是但我们的需要根据key进行聚合统计，那么把相同的key放在不同的sub...

2020-04-05 10:21:51 10192 7

原创 Flink ProcessFunction 介绍使用

目录实现功能代码测试问题官网描述：https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/dev/stream/operators/process_function.htmlTheProcessFunctionis a low-level stream processing operation, ...

2020-04-04 21:54:24 1818

转载 Hadoop Yarn REST API未授权漏洞利用挖矿分析

目录一、背景情况二、漏洞说明攻击步骤：三、入侵分析四、安全建议清理病毒安全加固五、IOCs一、背景情况5月5日腾讯云安全曾针对攻击者利用Hadoop Yarn资源管理系统REST API未授权漏洞对服务器进行攻击，攻击者可以在未授权的情况下远程执行代码的安全问题进行预警，在预警的前后我们曾多次捕获相关的攻击案例，其中就包含利用该问题进行挖矿，我们针对...

2020-04-04 08:23:45 1213

原创 Openresty Nginx 负载均衡

目录OpenRestyOpenresty 服务配置文件启动Openresty服务测试调用接口Nginx 负载均衡服务nginx 配置文件启动服务实现功能测试结果这里实现个简单的负载均衡，只做功能展示（实际业务比这复杂高，单台服务器无法满足需求的情况下，才会进行负载均衡）OpenResty用Openresty实现日志功能Openresty 服...

2020-04-02 15:38:43 509

原创 OpenResty 安装，收集日志保存到文本文件

安装1.安装相关类库yum install -y readline-devel pcre-devel openssl-devel gcc2.安装编译openrestywget https://openresty.org/download/openresty-1.15.8.2.tar.gztar -zxvf openresty-1.15.8.2.tar.gz ./confi...

2020-04-01 14:27:38 1460 1