生产JAVA日志的ELK归集方案(一)

最新推荐文章于 2023-05-31 07:16:59 发布
最新推荐文章于 2023-05-31 07:16:59 发布
阅读量774 收藏 2
点赞数
分类专栏： DevOps和生产中间件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zwjzqqb/article/details/103067026
版权

简单说明：

  • 开发经常有需求要监控生产tomcat日志，因此需要一个脱离生产主机的日志服务器
  • 开发需要监控和查询的生产日志一般是实时和近三天内的
  • 生产tomcat实例很多，高负载项目的日志归集后较大，需要定期清理归集的日志
  • 生产tomcat主机之上的原始日志会留存较长时间，一般留存一个月左右
  • 因此日志归集系统稳定性要求不高，归集的日志数据安全性也不高，推荐单机版的ELK架构
    在这里插入图片描述
  • 使用redis对日志做缓存，应对业务高峰期es处理速度不匹配的问题
  • ELK官网：https://www.elastic.co
  • ELK官网官档：https://www.elastic.co/guide/index.html
  • ELK官方历史版本包下载地址：https://www.elastic.co/downloads/past-releases#

Elasticsearch 安装配置：

  • 依据《CentOS7实验机模板搭建部署》克隆部署一台虚拟机 192.168.77.110：
# 主机名配置
HOSTNAME=es1
hostnamectl set-hostname "$HOSTNAME"
echo "$HOSTNAME">/etc/hostname
echo "$(grep -E '127|::1' /etc/hosts)">/etc/hosts
echo "$(ip a|grep "inet "|grep -v 127|awk -F'[ /]' '{print $6}') $HOSTNAME">>/etc/hosts

# 安装java环境
yum -y install java-11-openjdk

# 配置官方yum源
cd /tmp
cat >/etc/yum.repos.d/elasticsearch.repo<<EOF
[ELK-6.x]
name=Elasticsearch repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
# baseurl=https://artifacts.elastic.co/packages/7.x/yum
# elk7.x版本的url如上，当前最新版本是第7版
gpgcheck=0
enabled=1
autorefresh=1
type=rpm-md
EOF
# yum install elasticsearch kibana logstash
# 或者直接下载rpm包部署：
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.8.4.rpm
wget https://artifacts.elastic.co/downloads/kibana/kibana-6.8.4-x86_64.rpm
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.8.4.rpm
###wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.4.2-x86_64.rpm
###wget https://artifacts.elastic.co/downloads/kibana/kibana-7.4.2-x86_64.rpm
###wget https://artifacts.elastic.co/downloads/logstash/logstash-7.4.2.rpm
# 可以使用迅雷拉网速，无需会员，亲测很快

# 配置系统服务的ulimit，重启生效
cat >>/etc/systemd/system.conf<<EOF
DefaultLimitNOFILE=100000
DefaultLimitNPROC=65535
DefaultLimitMEMLOCK=infinity
EOF
reboot
  • 安装配置 elasticsearch
cd /tmp
yum -y localinstall elasticsearch-6.8.4.rpm
cd /etc/elasticsearch
sed -i 's/^path.data/# &/g' elasticsearch.yml
sed -i 's/^path.logs/# &/g' elasticsearch.yml
cat >>elasticsearch.yml<<EOF
cluster.name: vincent-es
node.name: $(hostname)
bootstrap.memory_lock: true
network.host: 0.0.0.0
http.port: 9200
path.data: /elasticsearch/data
path.logs: /elasticsearch/logs
# discovery.zen.ping.unicast.hosts: ["$(hostname)", "XXX", ...]
EOF
mkdir -pv /elasticsearch/{data,logs}
chown -R elasticsearch: /elasticsearch
# 该目录生产需要挂接存储

# 修改jvm参数，设置 Xms=Xmx=物理内存*50%
MEM=$(free -g|grep Mem|awk '{printf "%d\n",$2/2}')
sed -i "s/-Xms1g/-Xms${MEM}g/g" jvm.options
sed -i "s/-Xmx1g/-Xmx${MEM}g/g" jvm.options

# 启动并测试
systemctl start elasticsearch
systemctl enable elasticsearch
systemctl status elasticsearch
netstat -lntup|grep 9200
curl http://$(hostname -i):9200
  • 安装elasticsearch的head插件
cd /tmp
wget https://nodejs.org/dist/v13.1.0/node-v13.1.0-linux-x64.tar.xz
cd /usr/local/
tar -xf /tmp/node-v13.1.0-linux-x64.tar.xz
chown -R root: node-v13.1.0-linux-x64/
echo 'export NODE_HOME=/usr/local/node-v13.1.0-linux-x64'>>/etc/profile
echo 'export PATH=$NODE_HOME/bin:$PATH'>>/etc/profile
source /etc/profile
node -v
npm -v

cd /usr/local
yum -y install git bzip2
git clone https://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head/
# 设置淘宝镜像源加速安装
npm config set registry https://registry.npm.taobao.org
cat >>~/.npmrc<<EOF
sass_binary_site = https://npm.taobao.org/mirrors/node-sass/
phantomjs_cdnurl = https://npm.taobao.org/mirrors/phantomjs/
EOF
npm install

cd /etc/elasticsearch/
cat >>elasticsearch.yml<<EOF
http.cors.enabled: true
http.cors.allow-origin: "*"
EOF
systemctl restart elasticsearch
cd /usr/local/elasticsearch-head/
npm run start &
# 网页访问 http://IP:9100/ 网页上操作连接 http://IP:9200

# 配置head插件的开机启动
cat >/root/checkOS/elasticsearch-headStart.sh<<EOF
#!/bin/bash
source /etc/profile
cd /usr/local/elasticsearch-head/
/usr/local/node-v13.1.0-linux-x64/bin/npm run start &
EOF
chmod +x /root/checkOS/elasticsearch-headStart.sh
echo '/root/checkOS/elasticsearch-headStart.sh'>>/etc/rc.local
  • 配置elasticsearch的数据清理脚本和自动任务
# index的命名要符合 %{+YYYY.MM.dd} 规则
cat >/root/checkOS/elasticsearchCleanIndex.sh<<EOF
#!/bin/bash
source /etc/profile
DT=\$(date +%Y.%m.%d -d'3 day ago')
for index in \$(curl -s -XGET 'http://127.0.0.1:9200/_cat/indices/?v'|awk '{print \$3}'|grep \${DT})
do
  curl -XDELETE "http://127.0.0.1:9200/\${index}"
done
EOF
chmod +x /root/checkOS/elasticsearchCleanIndex.sh
crontab -l>/tmp/crontab.tmp
echo -e '\n# Elasticsearch Clean Index'>>/tmp/crontab.tmp
echo '0 0 * * * /bin/bash /root/checkOS/elasticsearchCleanIndex.sh'>>/tmp/crontab.tmp
cat /tmp/crontab.tmp |crontab
rm -rf /tmp/crontab.tmp

Kibana安装配置

  • 将Kibana直接部署在Elasticsearch主机之上
# 安装配置启动kibana
cd /tmp/
yum -y localinstall kibana-6.8.4-x86_64.rpm
cd /etc/kibana/
cat >>kibana.yml<<EOF
server.host: "0.0.0.0"
server.port: 5601
server.name: "$(hostname)"
elasticsearch.hosts: ["http://$(hostname -i):9200"]
EOF
systemctl start kibana
systemctl enable kibana
systemctl status kibana
netstat -lntup|grep 5601
# 浏览器访问 http://192.168.77.110:5601/

Redis安装配置

  • 依据《Redis4.0 单实例安装配置》克隆一台虚拟机部署redis 192.168.77.100
  • 建议部署安装最新5.X版 http://download.redis.io/releases/redis-5.0.6.tar.gz

Web实验机模拟

  • 依据《CentOS7实验机模板搭建部署》部署一台实验机 192.168.77.10
  • 创建目录，模拟catalina.out文件的写入
HOSTNAME=web
hostnamectl set-hostname "$HOSTNAME"
echo "$HOSTNAME">/etc/hostname
echo "$(grep -E '127|::1' /etc/hosts)">/etc/hosts
echo "$(ip a|grep "inet "|grep -v 127|awk -F'[ /]' '{print $6}') $HOSTNAME">>/etc/hosts

mkdir -pv /web/tomcat8_8080_pro1/logs
mkdir -pv /web/tomcat8_8081_pro2/logs
mkdir -pv /web/tomcat8_8082_pro3/logs
mkdir -pv /web/tomcat8_8083_pro4/logs
for i in $(seq 10000)
do
  cat /tmp/catalina.out>>/web/tomcat8_8080_pro1/logs/catalina.out
  cat /tmp/catalina.out>>/web/tomcat8_8081_pro2/logs/catalina.out
  cat /tmp/catalina.out>>/web/tomcat8_8082_pro3/logs/catalina.out
  cat /tmp/catalina.out>>/web/tomcat8_8083_pro4/logs/catalina.out
  sleep 5
done &

Logstash部署配置

  • 在Web实验机上安装配置Logstash，将数据发送到redis中
cd /tmp
yum -y install java-11-openjdk
yum -y localinstall logstash-6.8.4.rpm
echo 'export LS_HOME=/usr/share/logstash'>>/etc/profile
echo 'export PATH=$LS_HOME/bin:$PATH'>>/etc/profile
source /etc/profile
# 修改logstash启动的jvm所占用的内存
sed -i 's/^-Xms1g/-Xms1g/g' /etc/logstash/jvm.options
sed -i 's/^-Xmx1g/-Xmx1g/g' /etc/logstash/jvm.options
# 创建配置文件，启动logstash将本地文件信息发送到redis中
mkdir /usr/share/logstash/conf
cd /usr/share/logstash/conf
cat >file2redis.conf<<EOF
input {
  file {
    path => "/web/tomcat8_8080_pro1/logs/catalina.out"
    type => "$(hostname -i)-8080-pro1"
    start_position => "beginning"
    discover_interval => 3 
    codec => multiline {
      pattern => "^[^[:blank:]]"
      negate => true
      what => "previous"
    }
  }
  file {
    path => "/web/tomcat8_8081_pro2/logs/catalina.out"
    type => "$(hostname -i)-8081-pro2"
    start_position => "beginning"
    discover_interval => 3 
    codec => multiline {
      pattern => "^[^[:blank:]]"
      negate => true
      what => "previous"
    }
  }
  file {
    path => "/web/tomcat8_8082_pro3/logs/catalina.out"
    type => "$(hostname -i)-8082-pro3"
    start_position => "beginning"
    discover_interval => 3 
    codec => multiline {
      pattern => "^[^[:blank:]]"
      negate => true
      what => "previous"
    }
  }
  file {
    path => "/web/tomcat8_8083_pro4/logs/catalina.out"
    type => "$(hostname -i)-8083-pro4"
    start_position => "beginning"
    discover_interval => 3 
    codec => multiline {
      pattern => "^[^[:blank:]]"
      negate => true
      what => "previous"
    }
  }
}
output {
  if [type] == "$(hostname -i)-8080-pro1" {
    redis {
      host => "redis"
      port => 7000
      data_type => "list"
      key => "$(hostname -i)-8080-pro1"
    }
  }
  if [type] == "$(hostname -i)-8081-pro2" {
    redis {
      host => "redis"
      port => 7000
      data_type => "list"
      key => "$(hostname -i)-8081-pro2"
    }
  }
  if [type] == "$(hostname -i)-8082-pro3" {
    redis {
      host => "redis"
      port => 7000
      data_type => "list"
      key => "$(hostname -i)-8082-pro3"
    }
  }
  if [type] == "$(hostname -i)-8083-pro4" {
    redis {
      host => "redis"
      port => 7000
      data_type => "list"
      key => "$(hostname -i)-8083-pro4"
    }
  }
}
EOF
# 其中codec部分将java的报错日志整合成一条信息
echo '192.168.77.100 redis'>>/etc/hosts
/usr/share/logstash/bin/logstash -f file2redis.conf &
  • logstash 开机自动启动配置：
echo 'source /etc/profile;$LS_HOME/bin/logstash -f $LS_HOME/conf/file2redis.conf &'>>/etc/rc.local
  • redis主机进行测试：
echo 'keys *' |redis-cli -h 192.168.77.100 -p 7000
# 1) "192.168.77.10-8080-pro1"
# 2) "192.168.77.10-8081-pro2"
# 3) "192.168.77.10-8083-pro4"
# 4) "192.168.77.10-8082-pro3"
# 显示出test.conf文件中output标签配置的四个key则表示成功
for i in $(echo 'keys *' |redis-cli -h 192.168.77.100 -p 7000)
do
  echo "llen $i"|redis-cli -h 192.168.77.100 -p 7000
done
# 通过查看对应key的长度来确定消息是否堆积，es的处理是否及时
  • 在Redis主机之上安装配置Logstash，将数据发送到elasticsearch中
cd /tmp
yum -y install java-11-openjdk
yum -y localinstall logstash-6.8.4.rpm
echo 'export LS_HOME=/usr/share/logstash'>>/etc/profile
echo 'export PATH=$LS_HOME/bin:$PATH'>>/etc/profile
source /etc/profile
# 修改logstash启动的jvm所占用的内存
sed -i 's/^-Xms1g/-Xms1g/g' /etc/logstash/jvm.options
sed -i 's/^-Xmx1g/-Xmx1g/g' /etc/logstash/jvm.options

# 创建配置文件，启动logstash将本地文件信息发送到redis中
mkdir /usr/share/logstash/conf
cd /usr/share/logstash/conf
cat >redis2es.conf<<EOF
input {
  redis {
    host => "$(hostname -i)"
    port => 7000
    type => "192.168.77.10-8080-pro1"
    data_type => "list"
    key  => "192.168.77.10-8080-pro1"
  }
  redis {
    host => "$(hostname -i)"
    port => 7000
    type => "192.168.77.10-8081-pro2"
    data_type => "list"
    key  => "192.168.77.10-8081-pro2"
  }
  redis {
    host => "$(hostname -i)"
    port => 7000
    type => "192.168.77.10-8082-pro3"
    data_type => "list"
    key  => "192.168.77.10-8082-pro3"
  }
  redis {
    host => "$(hostname -i)"
    port => 7000
    type => "192.168.77.10-8083-pro4"
    data_type => "list"
    key  => "192.168.77.10-8083-pro4"
  }
}
output {
  if [type] == "192.168.77.10-8080-pro1" {
    elasticsearch {
      hosts => "192.168.77.110"
      index => "192.168.77.10-8080-pro1-%{+YYYY.MM.dd}"
    }
  }
  if [type] == "192.168.77.10-8081-pro2" {
    elasticsearch {
      hosts => "192.168.77.110"
      index => "192.168.77.10-8081-pro2-%{+YYYY.MM.dd}"
    }
  }
  if [type] == "192.168.77.10-8082-pro3" {
    elasticsearch {
      hosts => "192.168.77.110"
      index => "192.168.77.10-8082-pro3-%{+YYYY.MM.dd}"
    }
  }
  if [type] == "192.168.77.10-8083-pro4" {
    elasticsearch {
      hosts => "192.168.77.110"
      index => "192.168.77.10-8083-pro4-%{+YYYY.MM.dd}"
    }
  }
}
EOF
# index命名要符合elasticsearch中部署的index清理脚本要求
/usr/share/logstash/bin/logstash -f redis2es.conf &
  • logstash 开机自动启动配置：
echo 'source /etc/profile;$LS_HOME/bin/logstash -f $LS_HOME/conf/redis2es.conf &'>>/etc/rc.local
  • redis主机验证：
for i in $(echo 'keys *' |redis-cli -h 192.168.77.100 -p 7000)
do
  echo "llen $i"|redis-cli -h 192.168.77.100 -p 7000
done
# 通过查看对应key的长度变化来确定redis写入es是否成功
  • es主机验证：
curl -s -XGET 'http://127.0.0.1:9200/_cat/indices/?v'|column -t 
# 观察docs.count不断增加，store.size不断增大，表示redis写入es成功
# 也可以浏览器打开head插件页面来确认

使用Kibana实时监控日志

  • 浏览器访问：http://192.168.77.110:5601
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

[TOC]

VincentQB
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
elasticsearch 在java与kibana中的应用（一）
juedaifenghua2的博客
01-12 580
elasticsearch 在java与kibana中的应用（一） 1.使用maven项目 在pom文件中添加pom依赖 2.java连接elasticsearch有用户名、密码的客户端 3.java-api操作 4.kibana与DSL的操作
java代码实现自动提取（ELK kibana日志平台）业务日志
junior77的专栏
12-24 3744
近期因进行项目全链路压测，需要对服务部分接口进行业务日志提取，用来做参数化测试数据。据了解，服务日志存储于elk日志平台中。于是为了避免每次手工提取费时费事，且每次不能批量提取大量日志，决定使用脚本实现自动提取，并保存至特定目录文件中。 前提： elk日志平台地址 查询索引名 查询条件 以下为具体java代码，供参考： ImSearchExtractData类 package com.Fulllink.imsearch; import com.Fulllink.utils...
Kibana日志断流 - ElasticSearch Unassigned Shards
Roy杂货铺
01-19 232
登陆Kibana后发现有unassigned shards告警，结合服务器上收到的磁盘空间告警信息，猜测是由于磁盘空间不足导致写入失败且超过了最大重试次数。"deciders"."explaination" 中的信息即为分配失败的原因，对症下药即可。今天生产环境日志在早八点突发断流，影响到线上业务的监控和故障排查。如果之前对症下的药正确，即可看到集群恢复正常了。
生产JAVA日志的ELK归集方案(二)
VincentQB的博客
11-15 286
简单说明： 上篇博文部署搭建了ELK的单机版进行生产JAVA日志的归集，如果想要稍微规范一点，可以部署ELK的集群： 该架构部署了两节点的Elasticsearch集群，每个节点之上均部署Kibana，使用nginx对这两个节点的es做负载均衡，生产推荐三节点以上 该架构依然存在redis的单点问题，可以进一步构建redis的集群来消除该单点问题 如果ELK只是用来做简单的近期日志归集，不推荐...
Java开发 - ELK初体验
CodingFire的博客
03-19 2714
ELK是如今比较流行的一套框架，主要用于日志的采集保存和查询。线上情况，我们不能通过控制台来实时查看，但却可以通过日志输出来定位问题，查看必要的信息。如果保存成文件，也必然是极庞大的体量，并不适合我们去翻看，查找信息，这才有了ELH，其实对于ELK，大家也并不陌生，其中的E，就是我们前段时间学习的ES，全名Elasticsearch，中文名：全文搜索引擎。是不是很惊喜和意外？所以当然，L和K也是两个单独的系统，他们统称为ELK，下面，我们将逐一介绍这三个东西是什么。如果自己做，还是推荐官方的做法。
ELK日志归集 - 搭建及使用说明文档V1.0.docx
11-14
总结来说，ELK日志归集方案利用Elasticsearch的强大存储和分析能力，Logstash的灵活数据处理，Filebeat的轻量级采集，以及Kafka的可靠传输，构建了一个高效、可扩展的日志管理系统。通过这样的系统，可以有效地管理...
ELK分布式日志解决方案.docx
10-26
ELK 分布式日志解决方案是一种基于 Elasticsearch、Logstash、Kibana 三款产品的日志框架解决方案。该解决方案可以在项目中作为日志框架使用，用于收集、存储和可视化日志数据。 一、ELK 组件简介 ELK 分布式日志...
docker安装elk6.7.1-搜集java日志
最新发布
07-09
ELK（Elasticsearch、Logstash、Kibana）是一种流行的日志管理解决方案，广泛应用于大数据环境中。本文将详细介绍如何使用 Docker 安装 ELK 6.7.1，并配置 Logstash搜集 Java 日志。 一、安装 Docker 在开始安装 ...
ELK日志系统实施方案.docx
04-17
《ELK日志系统实施方案》 ELK日志系统，由Elasticsearch、Logstash（在本方案中替换为Filebeat）、Kibana三个组件组成，是目前广泛应用的日志管理和分析解决方案。本文将详述如何实施一个基于Elasticsearch、Kibana...
efk7.13搜集java日志-filebeat配置详解
06-29
efk7.13搜集java日志—filebeat配置详解笔记总结
ekl组件_logstash-6.8.6.tar.gz
03-17
elk组件下载，统一版本号6.8.6，linux版本，jdk要求1.8，logstash-6.8.6.tar.gz，kibana-6.8.6-linux-x86_64.tar.gz，elasticsearch-6.8.6.tar.gz，elk stack。
傻瓜也能玩转日志归集
一猿小讲
06-04 664
关注"一猿小讲"的猿友们都知道，前段时间我在《一文讲懂线上应用系统监控》给大家简单提到了日志归集，埋下了伏笔，今天的这篇分享是来给大家还债的，主要从整体到局部，深入了解一...
Java中多环境Logback配置与ELK日志发送
a616735104的博客
12-03 262
Java中多环境Logback配置与ELK日志发送 一、项目基于SpringBoot实现，引入SpringBoot相关库后，本文还要讲上传到ELK的Logstash，所以需要在pom.xml中加入： <!-- https://mvnrepository.com/artifact/net.logstash.logback/logstash-logba...
自定义分布式日志(完整版带前后台)
u013008898的博客
07-08 282
自定义分布式日志
日志归集系统搭建（2）——配置fluentd并完成功能需求
SK_Jaco的博客
10-26 2214
文章目录完成需求及修改配置需求1 日志存放路径应用+日期划分需求2 存放日志文件按文件大小进行切分需求3 按照日志等级划分日志需求4 将目录通过nginx映射出去需求5 生成一个定大小的日志文件，并能够即时查看日志遇到的问题问题描述解决方案 完成需求及修改配置 在上一节中完成了在日志服务器上单间fluentd，该日志收集服务器有五个需求，通过修改fluentd等配置文件来完成相关的需求。 需求1...
用ELK搭建简单的日志收集分析系统
热门推荐
lzw_2006的专栏
04-29 3万+
缘起在微服务开发过程中，一般都会利用多台服务器做分布式部署，如何能够把分散在各个服务器中的日志归集起来做分析处理，是一个微服务服务需要考虑的一个因素。搭建一个日志系统搭建一个日志系统需要考虑一下一些因素： 利用什么技术，是自己实现还利用现成的组件 日志需要定义统一的格式 日志需要拥有一个锚点来进行全局跟踪 第一个问题，针对我们小公司来说，基本没有自己的研发能力，绝对是选用第三方开源的组件了。ELK配
ELK详解（十二）——多行日志收集
永远是少年
04-07 1295
今天继续给大家介绍Linux运维相关知识，本文主要内容是Logstash的多行日志收集。 一、Logstash日志收集新问题 二、Logstash配置详解 三、效果展示
【分布式应用】ELK企业级日志分析系统
Yuzhang2046的博客
05-31 615
是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。Elasticsearch 是用 Java 开发的，可通过 RESTful Web 接口，让用户可以通过浏览器与Elasticsearch 通信。Elasticsearch是一个实时的、分布式的可扩展的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大容量的日志数据，也可用于搜索许多不同类型的文档。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值