![](https://img-blog.csdnimg.cn/2019091813595558.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
elastic stack
elastic stack
禅剑一如
这个作者很懒,什么都没留下…
展开
-
kibana配置x-pack
背景:基于上篇es配置x-pack一、编辑文件1 在es-docker-compose.yml配置文件中新增kibana配置 kibana01: image: docker.elastic.co/kibana/kibana:7.7.0 container_name: kibana01 environment: CERTS_DIR_KIBANA: ${CERTS_DIR_KIBANA} volumes: - ${PWD}/config/.原创 2020-07-14 15:34:54 · 2674 阅读 · 0 评论 -
es配置x-pack
环境背景:Ubuntu 20.04 LTS、es-7.7.0、docker-19.03.8、docker-compose-1.25.5参考链接:https://www.elastic.co/guide/en/elasticsearch/reference/current/configuring-tls-docker.html一、新建文件1.1在目录/data/operations下分别创建如下3个文件1.1.1 .env文件内容# Use an es_ prefix for al.原创 2020-07-14 12:04:06 · 1311 阅读 · 0 评论 -
metricbeat收集http指标
背景:在metricbeat收集redis日志以及系统日志、python接收请求参数 基础上进行,部分简单内容省略一、查看容器ipdocker inspect metricbeat | egrep IPAddress二、编辑metricbeat.yml配置文件1. 新增http模块的配置 #--------------------------------- HTTP Module --------------------------------- - module: ht.原创 2020-07-03 16:51:13 · 847 阅读 · 0 评论 -
springboot整合es7.8
注:此处spirngboot部分省略背景:在gradle项目整合flyway、jooq插件基础上进行一、引入依赖implementation group: 'org.elasticsearch.client', name: 'elasticsearch-rest-high-level-client', version: '7.8.0'二、添加配置# ES配置es: hosts: [zsx-2.local:9200] scheme: http三、四、...原创 2020-07-02 09:41:28 · 953 阅读 · 0 评论 -
metricbeat收集redis日志以及系统日志
注:部分说明省略一、拉取镜像docker pull elastic/metricbeat:7.7.0二、编写metricbeat.yml配置文件metricbeat.modules: #-------------------------------- System Module -------------------------------- - module: system metricsets: - cpu # CPU usage原创 2020-06-15 19:08:29 · 842 阅读 · 0 评论 -
python模拟发送json数据到logstash
一、模拟日志数据生成脚本json_log.py#!/usr/bin/python# -*- coding: UTF-8 -*-import datetimeimport jsonimport randomimport timeimport requestsheaders = { 'Content-Type': 'application/json',}info_list = {'User error': 'ERROR', 'Password ERROR': 'ERROR.原创 2020-06-09 20:32:23 · 655 阅读 · 0 评论 -
logstash中metrics插件简单使用
注:此处只关注logstash部分,其他部分此处省略Logstash配置文件1. logstash.conf文件内容input { # 自动模拟生成数据2次 generator { count => 2 message => '[ {"env":"test", "timestamp":"2020-06-02 01:04:39.978", "logLevel":"ERROR", "source":"req原创 2020-06-08 11:58:31 · 1047 阅读 · 0 评论 -
filebeat+logstash收集postgres慢查询日志
背景:在win10下docker启动postgres、python连接postgres,创建表和插入数据以及ELK+Filebeat的基础上进行一、Filebeat端处理1. 配置文件修改1.1 filebeat.yml配置文件新增数据源类型- type: log enabled: true paths: - /usr/share/filebeat/log/facilities/*/*.log tags: ["facility"] fields: en...原创 2020-05-29 17:35:30 · 1325 阅读 · 0 评论 -
logstash匹配filebeat传递的log.file.path
一、filebeat容器1. d:/usr2/local/etc/filebeat/目录下filebeat.yml文件配置filebeat.inputs:- type: log enabled: true paths: - /usr/share/filebeat/log/apps/*/*.logoutput.logstash: hosts: ["192.168.1.110:5044"]2. 启动filebeatdocker run -v /d/usr/sh原创 2020-05-27 16:08:28 · 2678 阅读 · 0 评论 -
logstash匹配路径字段
方法一:使用grok插件1. d:/usr2/local/etc/logstash/pipeline1目录下logstash.conf配置文件input { stdin { } }filter { grok { # 匹配路徑 /usr/share/filebeat/log/apps/butler/filebeat5.log中的butler match => {message => "^/%{DATA}/%{DATA}/%{DATA原创 2020-05-27 11:33:15 · 1059 阅读 · 0 评论 -
logstash通过grok插件匹配springBoot默认日志
背景:在Logstash数据源为日志文件操作基础上进行一、修改配置1. logstash.conf文件修改为如下input { stdin { } file { # 容器中日志所在目录的文件 path => ["/usr/share/logstash/logs/*.log"] # 多行匹配方法1 codec => multiline { pattern => "^(..原创 2020-05-25 09:38:59 · 1455 阅读 · 0 评论 -
filebeat采集udp/tcp数据
背景:在win10下docker操作filebeat做日志采集基础上进行一、配置文件1. D:\usr\local\etc\filebeat目录下docker-compose-filebeat.yml文件,新增暴露端口version: '3'services: filebeat: image: elastic/filebeat:7.6.2 container_name: filebeat volumes: - /d/usr/local/logs..原创 2020-05-19 19:33:37 · 3820 阅读 · 0 评论 -
Logstash接收udp/tcp数据
背景:在Logstash数据源为日志文件操作基础上进行一、配置文件1. D:\usr\local\etc\logstash\pipeline1目录下logstash.conf文件配置input { stdin { } udp { host => "0.0.0.0" # 从5000端口获取日志 port => 5000 type => "udp" } tcp { ..原创 2020-05-19 17:35:48 · 5080 阅读 · 0 评论 -
win10下docker启动elasticsearch-head
一、拉取镜像docker pull mobz/elasticsearch-head:5二、修改文件2.1 下载vendor.js文件https://github.com/mobz/elasticsearch-head/blob/master/_site/vendor.js2.2 修改vendor.js文件第6886行 contentType: "application/x-www-form-urlencoded改成contentType: "application/json;..原创 2020-05-15 14:42:39 · 371 阅读 · 0 评论 -
win10下docker操作filebeat做日志采集
一、 拉取镜像docker pull elastic/filebeat:7.6.2 二、编写filebeat配置文件2.1 在目录D:\usr\local\etc\filebeat下分别创建docker-compose-filebeat.yml、filebeat.yml文件2.2docker-compose-filebeat.yml文件内容version: '3'services: filebeat: image: elastic/filebeat:7.6.2 .原创 2020-05-15 14:18:20 · 821 阅读 · 0 评论 -
Logstash数据源为日志文件操作
在Springboot整合ELK基础上进行一、模拟日志1. 在D:\usr\local\bin\start目录下编写python脚本save_log.py#!/usr/bin/python# -*- coding: UTF-8 -*-import datetimeimport threadingimport os# 递归级联创建的目录path = "D:/usr/local/logs"if not os.path.exists(path): os.makedirs(p原创 2020-05-14 19:55:43 · 618 阅读 · 0 评论 -
Springboot整合ELK
一、编写配置文件1. 在目录D:\usr\local\etc\elk下创建docker-compose-elk.yml文件version: '3'services: elasticsearch: image: elasticsearch:7.6.2 container_name: elasticsearch environment: # 设置集群名称为elasticsearch cluster: name=ela原创 2020-05-14 10:23:48 · 1500 阅读 · 0 评论 -
日志整理
一、nginx日志1. 日志类型:访问日志、错误日志2. 默认参数配置log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'3. 参数说明* $remote_addr:客户端(用户)IP地址* $remote_user原创 2020-05-09 14:29:47 · 234 阅读 · 0 评论 -
win10下使用docker容器启动ELK
一、安装Logstash1. 拉取logstash镜像docker pull logstash:7.6.22.3.原创 2020-05-07 11:39:13 · 1283 阅读 · 1 评论 -
win10下使用elasticsearch-head
一、在google浏览器中使用elasticsearch-head插件二、 下载elasticsearch-head.zip文件,直接解压,打开index.html文件下载地址:https://github.com/mobz/elasticsearch-head三、使用内置服务器运行1. 克隆项目到指定目录(E:\elasticsearch-head)git c...原创 2020-04-30 14:33:08 · 342 阅读 · 0 评论 -
win10下ELK( Elasticsearch、Logstash、Kibana)入门
一、安装Elasticsearch1.1 安装Elasticsearch,下载并解压Elasticsearch下载地址:https://www.elastic.co/cn/downloads/elasticsearch1.2 使用默认配置(E:\elasticsearch-7.6.2\config\elasticsearch.yml)启动Elasticsearch,管理员身份启...原创 2020-04-30 11:37:04 · 424 阅读 · 0 评论