flume高可用集群搭建和连接kafka

最新推荐文章于 2024-05-05 04:28:46 发布
最新推荐文章于 2024-05-05 04:28:46 发布
阅读量669 收藏 2
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyj81092211/article/details/119517000
版权

1、环境介绍
操作系统：centos 7.9
jdk版本：8u291
flume版本：1.9.0
flume下载地址：
http://flume.apache.org/download.html
在这里插入图片描述
2、flume集群架构和数据流向
在这里插入图片描述
agent中的数据流向
在这里插入图片描述

3、资源规划

10.99.27.121 flumec01.wtown.com 4核心 8G内存 100G硬盘
10.99.27.122 flumec02.wtown.com 4核心 8G内存 100G硬盘

10.99.27.131 flumea01.wtown.com 4核心 8G内存 100G硬盘
10.99.27.132 flumea02.wtown.com 4核心 8G内存 100G硬盘
10.99.27.133 flumea03.wtown.com 4核心 8G内存 100G硬盘
10.99.27.134 flumea04.wtown.com 4核心 8G内存 100G硬盘

4、关闭防火墙和selinux（所有节点）
在这里插入图片描述
5、配置主机名并设置hosts文件（所有节点）
在这里插入图片描述

10.99.27.121	flumec01.wtown.com
10.99.27.122	flumec02.wtown.com
10.99.27.131	flumea01.wtown.com
10.99.27.132	flumea02.wtown.com
10.99.27.133	flumea03.wtown.com
10.99.27.134	flumea04.wtown.com
10.99.27.101	kafka01.wtown.com
10.99.27.102	kafka02.wtown.com
10.99.27.103	kafka03.wtown.com

6、安装jdk（所有节点）
https://blog.csdn.net/zyj81092211/article/details/118055068

7、kafka集群搭建
https://blog.csdn.net/zyj81092211/article/details/119326105

8、建立数据目录/data（所有节点）

mkdir /data

9、上传软件到/data目录，解压并重命名为flume（所有节点）

tar -xvf apache-flume-1.9.0-bin.tar.gz

mv apache-flume-1.9.0-bin flume

在这里插入图片描述
10、建立软连接（所有节点）

ln -s /data/flume/ /usr/local/flume

11、配置Collector节点（flumec01.wtown.com，flumec02.wtown.com节点）

vi /data/flume/conf/collector-to-kafka.conf

添加如下：

# flume to kafka, avro collector
a1.sources = r1
a1.sinks = k1
a1.channels = c1
 
# source
a1.sources.r1.type = avro
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 58001

# channel-1000000-10000
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000000
a1.channels.c1.transactionCapacity = 10000
a1.channels.c1.keep-alive = 60
 
# sink k1 to kafka
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic = kafka-test
a1.sinks.k1.kafka.bootstrap.servers = kafka01.wtown.com:9092,kafka02.wtown.com:9092,kafka03.wtown.com:9092
a1.sinks.k1.kafka.flumeBatchSize = 2000
a1.sinks.k1.kafka.producer.acks = 1
a1.sinks.k1.kafka.producer.linger.ms = 100
a1.sinks.k1.kafka.producer.compression.type = snappy

# bind
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

12、配置agent节点

flumea01.wtown.com，flumea02.wtown.com节点：

vi /data/flume/conf/agent-to-collector.conf

添加如下：

# agent to collector ha
a1.sources = r1 
a1.sinks = k1 k2
a1.channels = c1
a1.sinkgroups = g1
  
# set source
a1.sources.r1.type = avro
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 57001
 
# set sink1
a1.sinks.k1.type = avro 
a1.sinks.k1.hostname = flumec01.wtown.com
a1.sinks.k1.port = 58001
  
# set sink2  
a1.sinks.k2.type = avro
a1.sinks.k2.hostname = flumec02.wtown.com
a1.sinks.k2.port = 58001
  
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1500000
a1.channels.c1.transactionCapacity = 10000
  
#set sink group
a1.sinkgroups.g1.sinks = k1 k2
#set failover
a1.sinkgroups.g1.processor.type = failover
a1.sinkgroups.g1.processor.priority.k1 = 10
a1.sinkgroups.g1.processor.priority.k2 = 1
a1.sinkgroups.g1.processor.maxpenalty = 10000
  
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k2.channel = c1
a1.sinks.k1.channel = c1

flumea03.wtown.com，flumea04.wtown.com节点：

vi /data/flume/conf/agent-to-collector.conf

添加如下：

# agent to collector ha
a1.sources = r1 
a1.sinks = k1 k2
a1.channels = c1
a1.sinkgroups = g1
  
# set source
a1.sources.r1.type = avro
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 57001
 
# set sink1
a1.sinks.k1.type = avro 
a1.sinks.k1.hostname = flumec01.wtown.com
a1.sinks.k1.port = 58001
  
# set sink2  
a1.sinks.k2.type = avro
a1.sinks.k2.hostname = flumec02.wtown.com
a1.sinks.k2.port = 58001
  
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1500000
a1.channels.c1.transactionCapacity = 10000
  
#set sink group
a1.sinkgroups.g1.sinks = k1 k2
#set failover
a1.sinkgroups.g1.processor.type = failover
a1.sinkgroups.g1.processor.priority.k1 = 1
a1.sinkgroups.g1.processor.priority.k2 = 10
a1.sinkgroups.g1.processor.maxpenalty = 10000
  
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k2.channel = c1
a1.sinks.k1.channel = c1

13、flume配置JDK（所有节点）

cp /data/flume/conf/flume-env.sh.template /data/flume/conf/flume-env.sh

添加如下：

export JAVA_HOME=/usr/local/java

14、配置flume环境变量（所有节点）

vi /etc/profile

添加如下：

# Flume environment
export FLUME_HOME=/data/flume
export PATH=$PATH:$FLUME_HOME/bin

重新加载环境变量：

source /etc/profile

15、启动flume collector（flumec01.wtown.com，flumec02.wtown.com节点）

nohup flume-ng agent --conf $FLUME_HOME/conf/ --conf-file $FLUME_HOME/conf/collector-to-kafka.conf --name a1 -Dflume.root.logger=INFO,console >> /dev/null 2>&1 &

16、启动flume agent（flumea01、flumea02、flumea03、flumea04.wtown.com节点）

nohup flume-ng agent --conf $FLUME_HOME/conf/ --conf-file $FLUME_HOME/conf/agent-to-collector.conf --name a1 -Dflume.root.logger=INFO,console >> /dev/null 2>&1 &

#####################以下为要采集数据的数据源客户端配置#####################
17、数据源agent配置示例
在这里插入图片描述

source-to-agent.conf内如如下：

#tail to flume agent
a1.sources = r1
a1.channels = c1
a1.sinks = k1 k2 k3 k4
a1.sinkgroups = g1

#set source
a1.sources.r1.type = TAILDIR
#记录文件读取位置的文件
a1.sources.r1.positionFile = /usr/local/flume/taildir_position.json
#文件组，这里可以配置监控多个文件多个文件
a1.sources.r1.filegroups = f1
#要监控的文件
a1.sources.r1.filegroups.f1 = /usr/local/flume/test.log

#set channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

#set sink1 to agent1
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = flumea01.wtown.com
a1.sinks.k1.port = 57001

#set sink2 to agent2
a1.sinks.k2.type = avro
a1.sinks.k2.hostname = flumea02.wtown.com
a1.sinks.k2.port = 57001

#set sink3 to agent3
a1.sinks.k3.type = avro
a1.sinks.k3.hostname = flumea03.wtown.com
a1.sinks.k3.port = 57001

#set sink4 to agent4
a1.sinks.k4.type = avro
a1.sinks.k4.hostname = flumea04.wtown.com
a1.sinks.k4.port = 57001

#set sink group with LB
a1.sinkgroups.g1.sinks = k1 k2 k3 k4
a1.sinkgroups.g1.processor.type = load_balance

a1.sinkgroups.g1.processor.backoff = true
a1.sinkgroups.g1.processor.selector.maxTimeOut = 10000
#负载均衡模式random和round_robin
a1.sinkgroups.g1.processor.selector = random

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c1
a1.sinks.k3.channel = c1
a1.sinks.k4.channel = c1

注意：多source配置如下
#set source

a1.sources.r1.type = TAILDIR
a1.sources.r1.positionFile = /usr/local/flume/taildir_position.json
a1.sources.r1.filegroups = f1 f2
a1.sources.r1.filegroups.f1 = /usr/local/flume/1.log
a1.sources.r1.filegroups.f2 = /usr/local/flume/2.txt

18、测试

在source agent 端建立上面配置文件中的log文件在这里插入图片描述
重复输入：

echo 11111 >> test.log

在kafka集群上开启消费者进程：

kafka-console-consumer.sh --bootstrap-server kafka01.wtown.com:9092,kafka02.wtown.com:9092,kafka03.wtown.com:9092 --topic kafka-test

数据已经采集到kafka
在这里插入图片描述

水彩橘子
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flume系列之：flume消费kafka数据到HDFS生产参数配置
zhengzaifeidelushang的博客
01-05 1287
flume系列之：flume生产参数配置 # source, channel and sink statement flume_prod.sources = source1 flume_prod.channels = channel1 flume_prod.sinks = sink1 # link source to sink via channel flume_prod.sources.source1.channels = channel1 flume_prod.sinks.sink1.channel
flume消费kafka数据太慢_flume 一款数据流日志传输工具，常见问题原因和解决方法...
weixin_39919165的博客
11-21 2910
flume 是分布式，高可靠 ，高可用，基于流式数据，强健性 ，高容错 ，故障转移与自动恢复，多数据来源接口，上手简单，一个集收集，聚合，移动大规模日志数据的服务。官网下载地址 http://flume.apache.org/download.html今天介绍以flume1.9.0版本为例系统需求： 1、java 1.8 or later 2、足够的内存 3、足够的磁盘空间 4、机器的读写权限下载...
Flume与Kafka整合
爱偷吃香蕉的萌猴子
04-11 1221
Flume与Kakfa整合flume官方下载地址：https://flume.apache.org/download.html建议下载最新的1.6.0版本的，因为1.6.0版本的集成了整合kafka的插件包可以直接配置使用 1、下载并解压apache-flume-1.6.0-bin.tar.gz包通过tar –zxvf apache-flume-1.6.0-bin.tar.gz命令解压压缩文件Flu
大数据Flume系列之Flume集群搭建
Lyncai的专栏
03-24 1779
1. 概念 集群的意思是多台机器，最少有2台机器，一台机器从数据源中获取数据，将数据传送到另一台机器上，然后输出。接下来就要实现Flume集群搭建。集群如下图所示。 2. Flume搭建 2.1 部署准备 部署主机 192.168.9.139 host14 192.168.9.128 host15 host14主机下载flume软件包 # cd /opt/tools # wget http://mirrors.tuna.tsinghu..
2024年【Flume】（一）Flume 高可用的、高可靠的(1)，程序设计+大数据开发+Web+数据库+框架+分布式
最新发布
2401_84181340的博客
05-05 736
它支持两种文件类型的压缩。注意，支持sync()调用的Hadoop版本是必需的。可是一个Sink只能从一个Channel读取数据，如果多个Sink从相同的Channel中读取数据，系统可以保证只有一个Sink会从Channel读取一个特定的事件。b.我们可以通过修改配置文件中的a1.sources.r1.command = tail -F /root/log.txt配置来决定是否在一开始读取时读取全部文件,如果我们使用的是 tail -f -n 3 /root/log.txt 则是从倒数第三行开始输出。
大数据组件-Flume集群环境的启动与验证
默默发展，无声壮大~
09-02 5365
本次用到的环境有：Oracle Linux 7.4，三台虚拟机，分别为master,slave1,slave2Hadoop2.7.4集群环境Flume1.6.0。
Flume集群环境搭建，flume监控
01-13
flume集群环境搭建，详细讲解，图文并茂，包括flume信息监控和众多文章链接
Flume集群搭建1
08-08
Apache Flume 是一个分布式、可靠且可用的服务，用于有效地收集、聚合和移动大量日志数据。在本场景中，我们将讨论如何在两台机器（hadoop12 和 Hadoop13）上搭建一个简单的 Flume 集群，以便进行数据推送和拉取。 ...
flume及kafka及storm搭建.rar
07-03
在大数据处理领域，Flume、Kafka和Storm是三个至关重要的工具，它们分别在数据采集、数据分发和实时处理方面发挥着核心作用。这里我们将深入探讨这三个组件以及如何搭建它们。 1. Flume：Flume是Apache软件基金会的...
flume+kafka+storm教程
12-19
在构建大数据实时处理系统时，`Flume`、`Kafka` 和 `Storm` 是三个重要的组件，它们分别用于数据采集、数据传输和实时数据处理。以下是对这些组件的详细说明： **Flume** 是一个分布式、可靠且可用于有效收集、聚合...
Hadoop-2.5.2 HA集群搭建
02-27
按照文档操作可安装7个节点的大数据集群，包括hadoop,hive,hbase,spark,tez,flume,kafka等等，不技术自动化运维及监控
大数据hadoop分布式集群搭建（Hadoop、hbase、hive、mysql、zookeeper、Kafka、flume）
08-23
自己整理的Hadoop环境的一些安装，和一些简单的使用，其中包括Hadoop、hbase、hive、mysql、zookeeper、Kafka、flume。都是一些简单的安装步骤和使用，只在自己的虚拟机（Linux centOS7）上使用测试过。按照步骤一步一步来，安装就没有问题。
flume：构建高可用、可扩展的海量日志采集系统
05-11
flume：构建高可用、可扩展的海量日志采集系统 flume：构建高可用、可扩展的海量日志采集系统
大数据高可用集群.docx
03-14
首先，构建大数据高可用集群需要一系列的软件包，如Redis、Spark、HBase、Hadoop、Hive、Kafka、Flume和Zookeeper等。这些组件共同构成了大数据处理的核心部分，它们各自承担不同的功能，例如Redis作为缓存系统，...
flume组合模式之高可用配置
星空的风fly
06-18 8720
一、flume简介 1、概念简述 Flume NG是一个分布式，高可用，可靠的系统，它能将不同的海量数据收集，移动并存储到一个数据存储系统中。轻量，配置简单，适用于各种日志收集，并支持 Failover和负载均衡。并且它拥有非常丰富的组件。Flume NG采用的是三层架构：Agent层，Collector层和Store层，每一层均可水平拓展。其中Agent包含Source，Channel和 S...
Kafka配置SSL加密传输
qq_41527073的博客
11-04 7995
Kafka配置SSL加密传输 一、证书配置 1、生成证书 如我输入命令如下：依次是 密码—重输密码—名与姓—组织单位—组织名—城市—省份—国家两位代码—密码—重输密码，后面告警不用管，此步骤要注意的是，名与姓这一项必须输入域名，如 “localhost”,切记不可以随意写，我曾尝试使用其他字符串，在后面客户端生成证书认证的时候一直有问题。 keytool -keystore server.keystore.jks -alias localhost -validity 3650 -genkey Enter k
Flume使用大全之kafka source-kafka channel-hdfs(SSL加密)
xiaoji88326518的专栏
08-07 997
agent.sources = kafkaSource1 agent.channels = kafkaChannel agent.sinks = hdfsSink agent.sources.kafkaSource1.channels = kafkaChannel agent.sinks.hdfsSink.channel = kafkaChannel agent.sour
Kafka2.4.1与Flume1.9.0集成
哈
03-18 424
原理 整合示例 第一步：在flume下的job文件夹中编写Flume配置文件flume-kafka.conf # define a1.sources = r1 a1.sinks = k1 a1.channels = c1 # source a1.sources.r1.type = exec a1.sources.r1.command = tail -F -c +0 /usr/local/te...
flume整合kafka
Rad的博客
04-13 978
在很多实时分析的系统中，经常需要使用Flume+Kafka收集数据，然后Strom或者Spark Stream从Kafka取出数据实时分析。flume能接受多种来源的数据，Kafka具有高吞吐、高负载的特点，将两者结合起来就，这样既可以拥有Kafka的容错能力，和Flume的多种接口。 前一篇是：log4j+flume的整合内容,感兴趣的小伙伴可以先去看看 https://blog.csdn....
大数据组件-Flume高可用集群搭建
03-28
总结来说，本文重点讲解了如何使用Flume构建数据采集和传输的高可用性集群，包括Flume的基本架构、配置文件编写和实战部署方法。理解这些核心概念和步骤对于在大数据处理场景下有效地使用Flume至关重要。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值