ELK的使用和案例（详细）

最新推荐文章于 2024-04-25 09:33:49 发布
最新推荐文章于 2024-04-25 09:33:49 发布
阅读量3.4k 收藏 4
点赞数
分类专栏： elasticsearch 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangmiaomiao001/article/details/106317058
版权

ELK的使用和案例（详细）
1.技术介绍
Elasticsearch是一个搜索引擎，，在该项目案例中用来检索查询；logstash是Elasticsearch的一个插件，在该项目案例中用来上传数据；head也是Elasticsearch的一个插件，在该项目案例中用来查看集群状态、查看数据上传情况；kibana也是Elasticsearch的一个插件，在该项目案例中用来展示数据分析的图表和查询数据显示结果。ELK架构体系主要应用于收集日志和大数据行业。
2.实验内容与过程
．通过logstash把csv文件导入Elasticsearch中，在logstash安装的bin目录下创建transportation.conf：

在此目录下，cmd运行logstash -f transportation.conf：

之后可以在浏览器上输入http://localhost:9100/，查看是否有导入数据时创建的索 引以及导入进去的数据是否有乱码。

         在浏览器中输入http://localhost:9200/：
          
         打开http://127.0.0.1:5601 地址访问Kibana，查询索引信息，查询语法：GET test2

响应信息：

  1. 通过上面的步骤导入数据后，开始数据的可视化，首先新建一个 Index Pattern：

输入索引，会自动匹配刚才传入数据时创建好的索引，点击下一步：

然后选择一个时间筛选字段，点击创建索引：

然后新建一个visualize，来到virsualize设置页面：

我们可以选择不同的图表来展示数据：

然后选择数据源，通过选择刚才创建的索引，Ascending升序，Descending降序。

创建饼图，进入页面：

  1. 设置数据聚合
    比如想看不同地区入境公路检疫点个数对比。先按入境公路检疫点个数分组，再按地区序号分组，查询语法：

响应信息：

在kibana中设置，要展示得数据，可以看到，展示的是每次地方的平均入境检疫点的个数。

我们设置完点击运行之后就可以直接看到运行的结果，如果要想以后还可以看到或者要想在DashBoard中整合多个visualize，一定要把当前的视图保存起来。

保存的名字一定要有代表行，不然以后用的时候不好找：

  1. DashBoard整合多个visualize，进入DashBoard页面设置，点击add

新增panels，找到刚才保存的visualize的名字，搜索关键字，确认后，即可出现在一个Dashboard页面，保存的Dashboard也要写一个好找的名字。

保存后的Dashboard还会在新建Dashboard时的页面显示，如果关闭后，还可以在这里找到。

  1. Discover搜索数据，在Discover设置页面，输入索引和要搜索的条件：

  2. 如果要想更加复杂的查询，可以用Dev Tools：

这个工具比较方便，左侧查询，右侧就会显示结果：

一些常用的查询语句：
单个字段排序：
GET test2/_search
{
“query”:{
“term”:{
“序号”:“1”
}
},
“sort”:[
{“入境公路检疫点个数”:{“order”:“asc”}},
{“入境总人数”:{“order”:“desc”}}
]
}

滚动查询scroll：
GET spnews/news/_search?scroll=1m
{
“query”: {
“match_all”: {}
},
“size”: 10,
“_source”: [“id”]
}

四．实验结果分析

从图中，我们可以看到同一地方重庆籍入境总人数和湖北籍入境总人数的对比。

图中横轴为武汉籍入境总人数，纵轴为入境总人数，通过柱状图，我们可以看出武汉入境总人数在总入境人数中的个占比。这个柱状图的面积代表这个坐标对在数据中出现的次数，y轴的值越大，图形越矮小说明这对数在数据中出现的次数越少。

图中纵轴的不同序号代表不同的地区，所以我们可以清晰得看出各个地区防疫点总数的对比情况，而且y轴越往上，防疫点数越多。

从图中我们可以看出同一地方出境入境防疫点的个数对比。

图中x轴代表入境总人数，两条折线分别代表两种范围，湖北籍入境总人数在零到一千和一千到两千，y轴代表湖北籍入境总人数在这两种范围中的某一个范围出现的次数。

上图展示了各个地方武汉籍入境车辆的对比情况，其中，x轴对应每个地方的序号，y轴代表武汉入境车辆的总数。正如图中所展示的，随着x轴往右延伸所对应的y值越小，因为武汉籍入境车辆检查数设置的是降序。
通过Dashboard可以将上述图形整合到一起，可以提供给用户更加直观的数据分析结果，方便对比分析：

五．实验总结
在大数据的场景下，ELK一直比较受欢迎。不用编写一行代码就可以对数据进行可视化分析。对于分布式部署的项目和微服务架构项目需要收集日志时，ELK提供了一整套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用。目前主流的一种日志系统。ELK运行的原理是logstash传入数据存储起来过滤后交给Elasticsearch建立索引分析、检索，最后kibana的web页面来搜索日志、分析出图表等。
一开始对于elasticsearch的理解就是一个搜索引擎，并且在使用的过程中对于Elasticsearch、logstash、kibana的结合使用并不太懂，在使用logstash上传数据的时候，总是出错，乱码或者没有索引等一系列的问题。然后经过几天的学习，做了几个小案例，慢慢地加深了对于ELK架构的认识。
做完此次大作业我最大的感触就是kibana真的是一个强大的组件，以前只是比葫芦画瓢的进行简单的一些查询操作，对于其他的功能并没有深入地了解。在完成此次项目案例的过程中，我不仅使用了kibana的dev tools，而且还有画图表的visualize和dashboard，简单查询的discover。在kibana页面的左边还有许多其他友好的功能我没有用到。

欢迎使用Markdown编辑器

你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

新的改变

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

  1. 全新的界面设计 ，将会带来全新的写作体验；
  2. 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
  3. 增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
  4. 全新的 KaTeX数学公式 语法；
  5. 增加了支持甘特图的mermaid语法1 功能；
  6. 增加了 多屏幕编辑 Markdown文章功能；
  7. 增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；
  8. 增加了 检查列表 功能。

功能快捷键

撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G
查找：Ctrl/Command + F
替换：Ctrl/Command + G

合理的创建标题，有助于目录的生成

直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

删除文本

引用文本

H2O is是液体。

210 运算结果是 1024.

插入链接与图片

链接: link.

图片: Alt

带尺寸的图片: Alt

居中的图片: Alt

居中并且带尺寸的图片: Alt

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

  • 项目
    • 项目
      • 项目
  1. 项目1
  2. 项目2
  3. 项目3
  • 计划任务
  • 完成任务

创建一个表格

一个简单的表格是这么创建的：

项目Value
电脑$1600
手机$12
导管$1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列第二列第三列
第一列文本居中第二列文本居右第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPEASCIIHTML
Single backticks'Isn't this fun?'‘Isn’t this fun?’
Quotes"Isn't this fun?"“Isn’t this fun?”
Dashes-- is en-dash, --- is em-dash– is en-dash, — is em-dash

创建一个自定义列表

Markdown
Text-to- HTML conversion tool
Authors
John
Luke

如何创建一个注脚

一个具有注脚的文本。2

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 Γ ( n ) = ( n − 1 ) ! ∀ n ∈ N \Gamma(n) = (n-1)!\quad\forall n\in\mathbb N Γ(n)=(n−1)!∀n∈N 是通过欧拉积分

Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t   . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=∫0∞​tz−1e−tdt.

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能，丰富你的文章

Mon 06 Mon 13 Mon 20 已完成 进行中 计划一 计划二 现有任务 Adding GANTT diagram functionality to mermaid
  • 关于 甘特图 语法，参考 这儿,

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：

张三 李四 王五 你好！李四, 最近怎么样? 你最近怎么样，王五？ 我很好，谢谢! 我很好，谢谢! 李四想了很长时间, 文字太长了 不适合放在一行. 打量着王五... 很好... 王五, 你怎么样? 张三 李四 王五

这将产生一个流程图。:

链接
长方形
圆
圆角长方形
菱形
  • 关于 Mermaid 语法，参考 这儿,

FLowchart流程图

我们依旧会支持flowchart的流程图：

Created with Raphaël 2.2.0 开始 我的操作 确认？ 结束 yes no
  • 关于 Flowchart流程图 语法，参考 这儿.

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。

  1. mermaid语法说明 ↩︎

  2. 注脚的解释 ↩︎

福贵猪
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ELK基础及应用案例PPT
03-26
1. ELK简介和应用案例； 2. 通过mdc完善日志中的业务信息； 3. 通过logstash上传日志到elasticsearch; 4. 通过kibana对日志进行查询和统计及分析； 5. 通过api实现应用性能监控； 6. 通过uptime监控应用运行； 7. 通过机器学习分析日志； 8. 通过IP地址在地图上显示访问量统计；
ELK日常使用基础篇
SOHU_TECH的博客
06-18 6259
本文字数：11149字预计阅读时间：28分钟前言在后端开发工程师的日常工作中，在遇到比如定位排查问题或是想要了解系统某些方面的情况时，会遇到以下的场景：查询某个接口请求的日志。查询某...
ELK技术介绍：背景、功能及应用场景全面解析
weixin_54533548的博客
04-25 1999
ELK是由Elasticsearch、Logstash和Kibana三个开源软件组成的日志管理解决方案，这一组合在近年来得到了广泛的关注和应用。ELK的出现，源于大数据和云计算技术的快速发展，以及对高效日志管理的迫切需求。随着企业信息化程度的提高，各类应用系统和服务器产生的日志数据量日益庞大，如何有效收集、处理、分析和利用这些日志数据，成为了企业和开发者面临的重要问题。传统的日志管理方式往往效率低下，无法满足实时性、可扩展性和易用性的需求。
ELK 详解
Jerry的博客
10-14 1619
ElasticSearch 概述 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。官网https://www.elastic.co/。 ElasticSearch6.0版本以上需要jdk8环境才可以运行。Linux系统中Elast
ELK日志管理系统图示全过程详解
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
09-09 8541
概要 我们常说的ELK日志收集系统，完整的应该称为：ELK Stack是软件集合Elasticsearch、Logstash、Kibana的简称，它们都是开源软件,目前称为：Elastic Stack，其是ELK Stack 在 5.0 版本加入 Beats 套件后的新称呼。新增得FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集..................
elk搭建与简单的线上应用
ya_shy的博客
03-29 4149
开源文档： Logstash：https://www.elastic.co/guide/en/logstash/current/index.html Filebeat：https://www.elastic.co/guide/en/beats/filebeat/current/index.html Elasticsearch：https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html Kibana：https://ww
Java开发案例-springboot-26-整合ELK-源代码+文档.rar
最新发布
05-31
Java开发案例-springboot-26-整合ELK-源代码+文档.rar Java开发案例-springboot-26-整合ELK-源代码+文档.rar Java开发案例-springboot-26-整合ELK-源代码+文档.rar Java开发案例-springboot-26-整合ELK-源代码+文档....
ELk知识详解.zip
06-10
6. **实战案例**："ELK收集应用系统日志实战案例.pptx"可能包含具体的实施步骤和技巧，如如何配置Logstash来处理特定类型的日志，如何优化Elasticsearch集群的性能，以及如何使用Kibana创建实用的可视化界面。...
elk stack中文教程
02-17
本教程详细介绍了ELK Stack的每个组成部分，包括如何安装和配置这些组件，如何导入和处理日志数据，以及如何利用Kibana创建可视化界面。此外，还可能涉及以下知识点： 1. **安装与部署**：如何在不同的操作系统上...
elk软件资源包.zip
12-21
ELK（Elasticsearch, Logstash, Kibana）是一个流行的开源日志分析和可视化解决方案，广泛用于收集、解析、存储、搜索和可视化各种来源的日志数据。...正确配置和使用ELK资源包，可以极大地优化企业的日志管理流程。
ELK 简介与安装使用
王清欢的博客
03-11 6339
01 ELK 简介 1.1 ELK架构 ElasticSearch Elasticsearch 是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析。它是一个建立在全文搜索引擎 Apache Lucene 基础上的搜索引擎，使用 Java 语言编写。 Logstash Logstash 是一个具有实时渠道能力的数据收集引擎，主要用于日志的收集与解析，并将其存入 ElasticSearch中。 Kibana Kibana 是一款基于 Apache 开源协议，使用 JavaScript 语言
ELK搭建以及使用教程（多pipiline）
weixin_38405770的博客
11-05 1307
ELK搭建
ELK-采集各类日志配置文件示例
qq_43253382的博客
12-15 389
1、filebeat采集按年月日生成的每天日志。
ELK安装和使用
大帅的博客
12-14 1132
下载相应版本的elastic-search、logstash、kibana 本次使用的是当前最新版本7.10，官网较慢，需要耐心等待 elastic-search分为包含自带JDK和不带JDK版本，默认下载的是自带JDK版本，防止本地JDK版本不匹配（7.10默认JDK11） 选择产品-立即部署，https://www.elastic.co/cn/downloads/ 解压所有的安装包 1.elastic-search配置启动 配置./conf/elasticsearch.yml http.
ELK简介及其配置和常规用法
king_weng的博客
06-02 2078
0、前提 Java环境 注：运行ELK需要有对应的java环境，此处要注意的时候如果ELK的版本不是很高，那么jdk的版本也不宜过高 1、ELK简介 ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。 （1）Elasticsearch： 是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene...
ELK搭建及基础使用（docker版）
weixin_49566876的博客
03-23 1276
ELK平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用，完成更强大的用户对日志的查询、排序、统计需求● ElasticSearch（日志存储和搜索）：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。Elasticsearch 是用 Java 开发的，可通过 RESTful Web 接口，让用户可以通过浏览器与 Elasticsearch通信。
【ELK】系列入门教程一，边学边记之Elasticsearch入门与使用教程
weixin_40779637的博客
04-27 1162
来看教程又不是读小说的，略略略有兴趣自己去看官网Elasticsearch中文文档Elastic官网可以的话，中文文档先大致浏览一遍。
ELK案例实战
xiaolong1155的博客
07-20 279
paths:fields:启动服务。
ELK详解
waghaiping的博客
10-21 6581
一，搜索原理 1，前提条件 数据准备 a.获取数据 - 从互联网中获取数据 爬虫，网站数据 b.建立文档 - 方便本地查询，将之前获取的数 据，以文档的样式存在 采取专用的存储软件，将文件（Document）存储下来，每个Document里面包含了大量的内容区域（Field） c.词语解析 - 从文档里面提取关键字，便于后续检索 提取关键字（Term），便于后续检索 d.创建索引 - 将文档和关键字关联在一起
springboot结合elk实现案例
05-31
下面是一个简单的Spring Boot与ELK集成的实现案例： 1. 添加依赖 在Spring Boot应用程序的pom.xml文件中添加以下依赖： ```xml <dependency> <groupId>net.logstash.logback</groupId> <artifactId>logstash-logback-encoder</artifactId> <version>6.6</version> </dependency> <dependency> <groupId>net.logstash.logback</groupId> <artifactId>logstash-logback-socketappender</artifactId> <version>6.6</version> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-actuator</artifactId> </dependency> <dependency> <groupId>net.logstash.logback</groupId> <artifactId>logstash-logback-encoder</artifactId> <version>6.6</version> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-log4j2</artifactId> <version>2.1.6.RELEASE</version> </dependency> ``` 2. 配置logback.xml 在src/main/resources目录下创建logback.xml文件，并添加以下配置： ```xml <?xml version="1.0" encoding="UTF-8"?> <configuration> <appender name="logstash" class="net.logstash.logback.appender.LogstashTcpSocketAppender"> <destination>${LOGSTASH_HOST}:${LOGSTASH_PORT}</destination> <encoder class="net.logstash.logback.encoder.LogstashEncoder" /> </appender> <logger name="com.example" level="DEBUG" additivity="false"> <appender-ref ref="logstash" /> </logger> <root level="INFO"> <appender-ref ref="logstash" /> </root> </configuration> ``` 3. 配置logstash.conf 在logstash的安装目录下创建logstash.conf文件，并添加以下配置： ```conf input { tcp { port => 5000 codec => json_lines } } output { elasticsearch { hosts => ["${ELASTICSEARCH_HOST}:${ELASTICSEARCH_PORT}"] index => "logstash-%{+YYYY.MM.dd}" document_type => "log" } } ``` 4. 配置application.properties 在Spring Boot应用程序的src/main/resources目录下创建application.properties文件，并添加以下配置： ```properties server.port=8080 spring.application.name=example-app logging.file=./logs/example-app.log # Logstash LOGSTASH_HOST=localhost LOGSTASH_PORT=5000 # Elasticsearch ELASTICSEARCH_HOST=localhost ELASTICSEARCH_PORT=9200 ``` 5. 启动ELK 启动Elasticsearch和Kibana。在logstash的安装目录下执行以下命令启动logstash： ```sh bin/logstash -f logstash.conf ``` 6. 测试应用程序 在浏览器中访问http://localhost:8080/hello，应用程序会记录一条日志。打开Kibana，创建索引模式，然后在Discover页面中可以看到刚刚记录的日志。创建一个仪表板，可以监控应用程序的性能和健康状况。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值