Flume 采集rsyslog整个配置和流程

最新推荐文章于 2022-07-12 14:26:25 发布
最新推荐文章于 2022-07-12 14:26:25 发布
阅读量1.8k 收藏
点赞数
分类专栏： 大数据~~Flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhanaolu4821/article/details/82464475
版权

使用flume采集web服务器日志，架构见图

 

每台webserver 的agent的配置：

 

  1. #configuration 'flume74Agent'

  2. flume74Agent.sources=source74

  3. flume74Agent.sinks=sink74-1 sink74-2

  4. flume74Agent.channels=channel74

  5.  

  6. #configuration sinks group

  7. flume74Agent.sinksgroups=group74

  8.  

  9. #配置source为syslogtcp的源

  10. flume74Agent.sources.source74.type=syslogtcp

  11. flume74Agent.sources.source74.port=514

  12. flume74Agent.sources.source74.host=10.21.3.74

  13. flume74Agent.sources.source74.channels=channel74

  14.  

  15. #配置 memory channels，说明capacity必须大于transactionCapacity，容量配置越小，Agent挂了之后丢失的数据量越少，keep-alive的单位是秒，存活时间

  16. flume74Agent.channels.channel74.type=memory

  17. flume74Agent.channels.channel74.capacity=2000

  18. flume74Agent.channels.channel74.transactionCapacity=1000

  19. flume74Agent.channels.channel74.keep-alive=30

  20.  

  21. #配置 file channel，为了提高效率checkpointDir和dataDir的目录最好分开

  22. #flume74Agent.channels.channel74.type=file

  23. #flume74Agent.channels.channel74.checkpointDir=/usr/local/new-cluster/apache-flume-1.6.0-bin/checkpoint

  24. #flume74Agent.channels.channel74.dataDirs=/usr/local/new-cluster/apache-flume-1.6.0-bin/data

  25. #flume74Agent.channels.channel74.transactionCapacity=10000

  26. #flume74Agent.channels.channel74.checkpointInterval=60000

  27. #flume74Agent.channels.channel74.capacity=20000

  28. #flume74Agent.channels.channel74.keep-alive=30

  29.  

  30. #配置第一个sink sink74-1

  31. flume74Agent.sinks.sink74-1.type=avro

  32. flume74Agent.sinks.sink74-1.port=4141

  33. flume74Agent.sinks.sink74-1.hostname=10.21.3.73

  34. flume74Agent.sinks.sink74-1.channel=channel74

  35.  

  36. #配置第二个sink sink74-2

  37. flume74Agent.sinks.sink74-2.type=avro

  38. flume74Agent.sinks.sink74-2.port=4141

  39. flume74Agent.sinks.sink74-2.hostname=10.21.3.75

  40. flume74Agent.sinks.sink74-2.channel=channel74

  41. #配置sink组

  42. flume74Agent.sinkgroups.group74.sinks=sink74-1 sink74-2

  43.  

  44. # 配置sink组的负载均衡，既能分摊压力又能防止其中一个collect采集挂了丢失数据问题

  45. flume74Agent.sinkgroups.group74.processor.type = load_balance

  46. flume74Agent.sinkgroups.group74.processor.backoff = true

  47. flume74Agent.sinkgroups.group74.processor.selector = random

flume collect的agent配置：

 

  1. collection75Agent.sources=source75

  2. collection75Agent.sinks=sink75-1

  3. collection75Agent.channels=channel75

  4.  

  5. #configuration source

  6. collection75Agent.sources.source75.type=avro

  7. collection75Agent.sources.source75.channels=channel75

  8. collection75Agent.sources.source75.bind=10.21.3.75

  9. collection75Agent.sources.source75.port=4141

  10. collection75Agent.sources.source75.interceptors = i1 i2

  11. collection75Agent.sources.source75.interceptors.i1.type = org.apache.flume.interceptor.HostInterceptor$Builder

  12. collection75Agent.sources.source75.interceptors.i1.preserveExisting = false

  13. collection75Agent.sources.source75.interceptors.i1.hostHeader = hostname

  14. collection75Agent.sources.source75.interceptors.i2.type = org.apache.flume.interceptor.TimestampInterceptor$Builder

  15.  

  16. #configuration memory channel

  17. collection75Agent.channels.channel75.type=memory

  18. collection75Agent.channels.channel75.capacity=2000

  19. collection75Agent.channels.channel75.transactionCapacity=1000

  20. collection75Agent.channels.channel75.keep-alive=30

  21.  

  22. #configuration file channel

  23. #collection75Agent.channels.channel75.type=file

  24. #collection75Agent.channels.channel75.checkpointDir=/usr/local/new-cluster/apache-flume-1.6.0-bin/checkpoint

  25. #collection75Agent.channels.channel75.dataDirs=/usr/local/new-cluster/apache-flume-1.6.0-bin/data

  26. #collection75Agent.channels.channel75.transactionCapacity=10000

  27. #collection75Agent.channels.channel75.checkpointInterval=60000

  28. #collection75Agent.channels.channel75.capacity=20000

  29. #collection75Agent.channels.channel75.keep-alive=30

  30.  

  31. #confituration sinks

  32. collection75Agent.sinks.sink75-1.type=hdfs

  33. collection75Agent.sinks.sink75-1.channel=channel75

  34. collection75Agent.sinks.sink75-1.hdfs.path=hdfs://mycluster1/flume/%Y-%m

  35. collection75Agent.sinks.sink75-1.hdfs.filePrefix=syslog75.%Y-%m-%d

  36. collection75Agent.sinks.sink75-1.hdfs.fileSuffix=.log

  37. collection75Agent.sinks.sink75-1.hdfs.round=true

  38. collection75Agent.sinks.sink75-1.hdfs.roundValue=10

  39. collection75Agent.sinks.sink75-1.hdfs.roundUnit=minute

  40. collection75Agent.sinks.sink75-1.hdfs.rollInterval=0 #多久后重新生成日志文件，0从不生成日志文件

  41. collection75Agent.sinks.sink75-1.hdfs.rollSize=0 #日志多大后重新生成日志文件

  42. collection75Agent.sinks.sink75-1.hdfs.batchSize=1000 #flush到hdfs的日志条数

  43. collection75Agent.sinks.sink75-1.hdfs.rollCount=0 #多少条后重新生成日志文件

  44. collection75Agent.sinks.sink75-1.hdfs.fileType = DataStream

  45. collection75Agent.sinks.sink75-1.hdfs.writeFormat=Text

  46. collection75Agent.sinks.sink75-1.hdfs.callTimeout=600000 #和hdfs通讯多久超时

  47. collection75Agent.sinks.sink75-1.hdfs.threadsPoolSize=20

  48. collection75Agent.sinks.sink75-1.hdfs.rollTimerPoolSize=5

  49. collection75Agent.sinks.sink75-1.hdfs.idleTimeout=600 #间隔多久没有往该日志文件写数据，那么把这个文件结束重命名去除.tmp状态，单位为s

  50.  

  51. #confituration sinks

  52. #collection75Agent.sinks.sink75-2.type=hdfs

  53. #collection75Agent.sinks.sink75-2.channel=channel75

  54. #collection75Agent.sinks.sink75-2.hdfs.path=hdfs://mycluster1/flume/%Y-%m

  55. #collection75Agent.sinks.sink75-2.hdfs.filePrefix=syslog2.%Y-%m-%d

  56. #collection75Agent.sinks.sink75-2.hdfs.fileSuffix=.log

  57. #collection75Agent.sinks.sink75-2.hdfs.round=true

  58. #collection75Agent.sinks.sink75-2.hdfs.roundValue=10

  59. #collection75Agent.sinks.sink75-2.hdfs.roundUnit=minute

  60. #collection75Agent.sinks.sink75-2.hdfs.rollInterval=0

  61. #collection75Agent.sinks.sink75-2.hdfs.rollSize=0

  62. #collection75Agent.sinks.sink75-2.hdfs.batchSize=1000

  63. #collection75Agent.sinks.sink75-2.hdfs.rollCount=0

  64. #collection75Agent.sinks.sink75-2.hdfs.fileType = DataStream

  65. #collection75Agent.sinks.sink75-2.hdfs.writeFormat=Text

  66. #collection75Agent.sinks.sink75-2.hdfs.callTimeout=600000

  67. #collection75Agent.sinks.sink75-2.hdfs.threadsPoolSize=20

  68. #collection75Agent.sinks.sink75-2.hdfs.rollTimerPoolSize=5

  69. #collection75Agent.sinks.sink75-2.channel=channel75

后台启动flume Agent：

nohup flume-ng agent -c conf/ -f conf/collection73Agent.conf -n collection73Agent  > start.log 2>&1 &

rsyslog.conf配置图：

 

补充：flume-env.sh配置

JAVA_OPTS="-Xms2048m -Xmx2048m -Xss256k -Xmn512m -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:-UseGCOverheadLimit"

一尘在心
关注
专栏目录
开源日志采集器如何选择？
weixin_43273856的博客
12-14 1171
日志采集是整个日志基础设施中最基础最关键的组件之一，影响着企业内部数据的完整性以及实时性。采集器作为数据链路的前置环节，其可靠性、扩展性、灵活性以及资源（CPU 和内存）消耗等，往往是最被关注的核心技术点。目前开源的日志采集器比较多。各采集器官网上关于其产品特性的描述也都比较相似，基本上都包括日志搜集、转换、路由等功能，并且无一例外都会突出其为高性能而设计。如果单纯看产品文档，其实很难在前面提到的核心技术点上得出有区分度的结论，若直接在生产环境上使用，则无疑是高压线上走钢丝。
分享在企业中大规模数据处理的最佳实践经验和解决方案 ：关键问题和挑战，分析目前已有的开源工具、框架、方法，并提出相应的方案或改进方向
最新发布
程序员光剑
08-01 2491
随着大数据、云计算等新技术的不断涌现，人工智能和机器学习等高端人才越来越多，企业也在不断面临大数据处理能力需求，如何在快速迭代的大环境下有效地运用数据，确保其准确性、完整性、可靠性成为企业绕不开的一道关卡。本文旨在分享在企业中大规模数据处理的最佳实践经验和解决方案。文章主要基于企业大数据的实际应用场景和技术需求，总结出该领域中存在的关键问题和挑战，分析目前已有的开源工具、框架、方法，并提出相应的方案或改进方向。大数据作为一种新兴技术，无论从数量还是质量上都处于世界前列。
Flume采集rsyslog日志并发送到elasticsearch上
u012085379的专栏
03-01 3864
centos 6.4通过flume采集rsyslog发送的linux secure日志，并发送到ES中，通过kibana来展现。
Flume采集rsyslog发送的audit日志
u012085379的专栏
03-03 2563
flume采集rsyslog发送的linux audit日志。
flume 通过syslog协议读取系统日志
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-06 1255
本实验任务主要完成基于ubuntu环境使用flume通过syslog协议读取日志信息。通过完成本实验任务，要求学生了解并掌握flume通过syslog协议去读日志信息的语法和使用的命令，为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。熟悉Flume基本组件Source,Sink,Channel   理解Syslog Source,Syslog UDP Source和Multiport Syslog Source本次环境是：Ubuntu16.04+flume-ng-1.5.0-c
Flume + Rsyslog + Haproxy日志接入
momo898821的博客
07-09 520
介绍 Flume是一款分布式的ETL工具，以流式进行数据接入。它具有分布式、容错机制、可水平扩容的特性，并且使用简单，内置丰富的组件，通过配置文件即可实现数据的转移，不需要编写任何代码，特殊情况下需自行实现接口，编写自定义的组件。 架构 **Source：**数据源，数据通过Source接口进入Flume，内置多种Source，可直接与其他软件进行对接 **Channel：**管道，相当于缓存，Souce中的数据经过处理后会直接进入Channel中 **Sink：**输出，Sink接收Channel中的数据
日志采集——架构分类
ang639
01-19 3520
角色 Agent 消息收集点，运行于消息产生源，分为三个角色： Adaptor，他从物理文件、sock、unixsock、标准输入等抽取原始消息，处理Filter，对不同的消息类型对消息进行不同的格式化，Agent，负责将消息传送出去出 从进程模型上可能是三个进程或者一个进程有多个角色 Collector 采集点。汇集某类型消息，对某类型信息集中加工，比如将高频小写
大数据中台架构栈说课材料.docx
06-21
常见的日志采集框架有 Flume、Logstash、Filebeat、Fluentd、rsyslog 等。其中 Flume 和 Logstash 是两个最常用的框架。 1.1 Flume Flume 是一款由 Cloudera 开发的实时采集日志引擎，主打高并发，高速度，分布式...
分布式系统日志管理和分析实践
# 1. 分布式系统日志管理概述 ### 1.1 什么是分布式系统及其特点 在计算机科学中，分布式系统是由多台计算机组成的...分布式系统日志管理面临诸多挑战，如日志采集困难、存储量巨大、实时性要求高、日志分析复杂等
Flume采集数据到Kafka,然后从kafka取数据存储到HDFS的方法思路和完整步骤
03-08
自己研究大数据多年，写的一个日志数据采集方案笔记，可快速熟悉Flume，Kafka，Hdfs的操作使用，以及相互的操作接口。
Flume 数据采集
liuwei0376的专栏
07-12 3726
（1）在/home/bigdata_admin/bin目录下创建脚本xcall.sh[bigdata_admin@hadoop102 bin]$ vim xcall.sh（2）在脚本中编写如下内容 （3）修改脚本执行权限[bigdata_admin@hadoop102 bin]$ chmod 777 xcall.sh（4）启动脚本[bigdata_admin@hadoop102 bin]$ xcall.sh jps1）安装步骤略2）项目经验（1）项目经验之HDFS存储多目录虚拟机的项目不需要配置，我们只
Flume数据采集
RoundYuan
10-09 380
overview 介绍 安装 使用   介绍 数据采集工具，非高可用 安装 从官网下载包 解压 配置文件 静态文件： #定义三大组件的名称 ag1.sources = source1 ag1.sinks = sink1 ag1.channels = channel1   # 配置source组件 ag1...
Flume（日志采集工具）
weixin_42676014的博客
09-06 1373
Flume框架基础： * 理性认知： 1、Flume在集群中扮演的角色 Flume、Kafka用来实时进行数据收集，Spark、Storm用来实时处理数据，impala用来实时查询。 2、Flume框架简介 1.1 Flume提供一个分布式的，可靠的，对大数据量的日志进行高效收集、聚集、移动的服务，...
Flume的Collector
weixin_34121304的博客
11-13 149
Collector的作用是将多个Agent的数据汇总后，加载到Storage中。它的source和sink与agent类似。 数据源（source），如： 　　collectorSource[(port)]：Collector source，监听端口汇聚数据。 　　autoCollectorSource：通过master协调物理节点自动汇聚数据。 　...
【大数据实战】flume 数据采集
一片冰心
04-07 5590
目录flume快速开始概述系统要求数据流模型安装一个简单的例子采集源目录源执行源Kafka源NetCat TCP 源avro source接收器logger sinkavro sinkHDFS 接收器弹性搜索接收器多层代理实战采集目录文件到HDFS flume 快速开始 概述 Apache Flume 是一个分布式、可靠且可用的系统，用于有效地收集、聚合来自许多不同来源的大量日志数据并将其移动到集中式数据存储。 Apache Flume 的使用不仅限于日志数据聚合。由于数据源是可定制的，Flume 可用于传
利用flume接收syslog日志
普普通通程序猿的博客
07-28 1397
前提：每台服务器上都部署有rsyslog服务 修改rsyslog配置文件：/etc/rsyslog.conf (CentOS操作系统) 添加一行：. @@10.10.10.1:514 如果只想发送info级别的日志，则配置方式为：*.info @@10.10.10.1:514 其中：10.10.10.1为远端接收日志服务器的域名或IP地址；514为远端日志服务器的端口。 注意：@@是必须的，一个@表示UDP连接；@@表示TCP连接 修改完成后，重启rsyslog服务：service rs
Syslog协议介绍
liu_hliang的博客
11-28 1777
在网上搜的文章，写的很全乎。摘抄如下，供大家参考学习 1、介绍     在Unix类操作系统上，syslog广泛应用于系统日志。syslog日志消息既可以记录在本地文件中，也可以通过网络发送到接收syslog的服务器。接收syslog的服务器可以对多个设备的syslog消息进行统一的存储，或者解析其中的内容做相应的处理。常见的应用场景是网络管理工具、安全管理系统、日志审计系统。     完...
Flume+syslog+kafka
泛音青年的博客
07-20 1491
一、概述 1、flume是什么 Flume提供一个分布式的，可靠的，对大数据量的日志进行高效收集、聚集、移动的服务，Flume只能在Linux环境下运行。 Flume基于流式架构，容错性强，也很灵活简单，架构简单。 Flume、Kafka用来实时进行数据收集，Spark、Storm用来实时处理数据，impala用来实时查询。 的 2、flume三层架构 1）flume架构图 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aJyoUX5E-1595242184263)(ht
Flume分布式日志采集框架配置详解
整合Flume可能涉及到多个Agent之间的交互，可以通过配置多个Source、Channel和Sink，以及使用Inter-Process Communication (IPC) 或 Avro作为数据传输协议，实现数据的级联和分发。此外，Flume还支持动态配置更新和...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值