ELK
文章平均质量分 91
catch that elf
一辈子很短,努力的做好两件事就好;第一件事是热爱生活,好好的去爱身边的人;第二件事是努力学习,在工作中取得不一样的成绩,实现自己的价值,而不是仅仅为了赚钱;
展开
-
ES开启身份认证
X-Pack是Elastic Stack扩展功能,提供安全性,警报,监视,报告,机器学习和许多其他功能。X-Pack的发展演变:1,5.X版本之前:没有x-pack,是独立的:security安全,watch查看,alert警告等独立单元。2,5.X版本:对原本的安全,警告,监视,图形和报告做了一个封装,形成了x-pack。3,6.3 版本之前:需要额外安装。4,6.3版本及之后:已经集成在一起发布,无需额外安装,基础安全属于付费黄金版内容。7 .1版本:基础安全免费。原创 2023-07-31 20:47:10 · 1918 阅读 · 0 评论 -
Logstash实战从kafka解析业务日志并保存到ElasticSearch
准备kafka、logstash 、es 环境并启动服务,参考之前的文章这里不重复启动zookeeper:启动kafka:假设日志格式如下,包括基本字段(时间、IP、级别等)和业务字段(字段1,字段2,字段3)。消费消息并打印配置文件如下,从kafka获取日志并直接打印:启动logstash向kakfa发送消息后,logstash接收并打印了消息。消息输出到ES启动ES修改配置文件.output 增加 es输出如下:插入kafka消息控制台有输出es中也有了这条消息,postman查询原创 2022-06-08 22:35:39 · 2199 阅读 · 1 评论 -
Logstash kafka伪集群高可用部署方案
文章目录环境准备Kafka部署Logstash部署高可用测试logstash本身不带高可用部署方案 ,但是可以借助KAFKA GROUP,Logstash伪集群从事间接实现高可用这里对这种方式进行测试环境准备这里使用单节点的kafka,并部署两个Logstash 模拟 集群实现 kafka消息消费的高可用。准备两台虚拟机并安装jdk1.8192.168.195.11 kafka logstash jdk1.8192.168.196.12 logtash jdk1.8jdk自行百度安装原创 2022-05-25 11:19:16 · 1817 阅读 · 0 评论 -
Filebeat+Logstash+Elasticsearch+Kibana实现图形化日志监控
文章目录Elasticsearch集群启动Filebeat 配置及启动Logstash 配置及启动模拟写入数据到日志文件Kibana启动及配置Elasticsearch集群启动启动es集群Filebeat 配置及启动创建配置文件log-monitor.yml内容如下:[root@localhost filebeat]# vi log-monitor.ymlfilebeat.inputs:- type: log enabled: true paths: - /opt/apps/f原创 2020-06-29 19:40:26 · 1665 阅读 · 1 评论 -
Logstash 安装+配置+数据采集示例
文章目录简介部署安装配置详解输入过滤输出读取地自定义日志输出内容到Elasticsearch简介Logstash是一个开源的数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据保存到指定库中,如ES。部署安装logstash运行需要java1.8环境,因此需要先安装java环境下载安装文件并复制到服务器解压后目录结构如下:[root@localhost apps]# ll总用量 687700drwxr-xr-x. 9 elsearch elsearch 155 6原创 2020-06-29 18:36:57 · 1427 阅读 · 0 评论 -
Kibana 安装配置及数据展示
文章目录Kibana介绍配置安装数据探索添加索引信息Metricbeat 仪表盘Nginx 日志仪表盘自定义图表开发者工具Kibana介绍Kibana 是一款开源的数据分析和可视化平台,它是 Elastic Stack 成员之一,设计用于和 Elasticsearch 协作。您可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。您可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。官网:https://www.elastic.co/cn/produc原创 2020-06-29 17:14:36 · 1983 阅读 · 0 评论 -
Metricbeat 指标采集工具应用示例
文章目录Metricbeat介绍Metricbeat组成Metricbeat部署及测试部署配置及测试Module 使用启用nginx Module 并修改配置nginx 安装对应的Module启动 metricbeat 并观察es中指标结果Metricbeat介绍Metricbeat 是一个轻量级指标采集器,可以从系统或服务收集指标存储到es中,进行试试分析Metricbeat组成Metricbeat有2部分组成,一部分是Module,另一部分为Metricset。Module收集的对象,如:m原创 2020-06-29 11:40:58 · 1988 阅读 · 0 评论 -
Filebeat 日志收集工具配置实践
文章目录Filebeat介绍Filebeat工作原理部署与运行解压安装包配置运行读取文件自定义字段输出到Elasticsearch读取Nginx日志文件Module使用Module启用Nginx Module配置Filebeat介绍Filebeat是一个轻量型日志采集器,可以方便的同kibana集成,启动filebeat后,可以直接在kibana中观看对日志文件进行detail的过程。结合搜索功能可以查看某个程序、某个服务器 在某段时间的日志情况。Filebeat工作原理Filebeat由两个主要组原创 2020-06-29 00:19:04 · 2403 阅读 · 0 评论 -
Elasticsearch JavaRESTAPI
文章目录Java RESTAPIJava 低级客户端引入依赖示例代码Java 高级客户端引入依赖示例代码Java RESTAPIElasticsearch提供了2种REST客户端,一种是低级客户端,一种是高级客户端。Java Low Level REST Client:官方提供的低级客户端。该客户端通过http来连接Elasticsearch集群。用户在使用该客户端时需要将请求数据手动拼接成Elasticsearch所需JSON格式进行发送,收到响应时同样也需要将返回的JSON数据手动封装成对象。虽然原创 2020-06-27 19:00:20 · 971 阅读 · 0 评论 -
Elasticsearch集群及数据读写原理
文章目录集群节点搭建集群部署文件修改配置服务启动状态查询分片和副本故障转移将data节点停止将master节点停止分布式文档读写路由文档写操作文档搜索操作全文搜索集群节点ELasticsearch的集群是由多个节点组成的,通过cluster.name设置集群名称,并用于区分其它的集群,每个节点通过node.name指定节点的名称。在Elasticsearch中,节点的类型主要有4种:master节点配置文件中node.master属性为true(默认为true),就有资格被选为master节点。ma原创 2020-06-27 16:58:15 · 2237 阅读 · 0 评论 -
Elasticsearch中文分词及全文检索
分词就是指将一个文本转化成一系列单词的过程,也叫文本分析,在Elasticsearch中称之为Analysis。分词API接口:POST http://192.168.12.10:9200/_analyze参数{ "analyzer":"standard", "text":"我是中国人"}中文分词器 IK AnalyzerIK Analyzer是一个开源的,基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始,IKAnalyzer已经推出了3个大版本。最初原创 2020-06-26 17:58:32 · 3100 阅读 · 0 评论 -
结构化索引及结构化查询
结构化索引前面我们创建的索引以及插入数据,都是由Elasticsearch进行自动判断类型,有些时候我们是需要进行明确字段类型的。Elasticsearch中支持的数据类型和JSON中数据类型对应关系如下(粗体为默认类型):JSON类型ES中数据类型Stringstring , text , keywordWhole numberbyte , short , integer , longFloating pointfloat , doubleBool原创 2020-06-26 00:43:41 · 1082 阅读 · 0 评论 -
ElasticSearch 基础概念及RESTful API
基本概念索引可以把索引看成关系型数据库的表,索引的结构是为快速有效的全文索引准备的。Elasticsearch可以把索引存放在一台机器或者分散在多台服务器上,每个索引有一或多个分片(shard),每个分片可以有多个副本(replica)。文档存储在Elasticsearch中的主要实体叫文档(document)。用关系型数据库来类比的话,一个文档相当于数据库表中的一行记录。Elasticsearch和MongoDB中的文档类似,都可以有不同的结构,但Elasticsearch的文档中,相同字段必须有原创 2020-06-25 22:59:40 · 657 阅读 · 0 评论 -
CentOS7 安装Elasticsearch详细教程
单机安装安装准备安装jdk1.8 并配置网络环境 关闭防火墙准备安装文件 elasticsearch-6.5.4.tar.gz创建用户#创建elsearch用户,Elasticsearch不支持root用户运行useradd elsearch文件解压用root解压安装文件并修改配置tar -xvf elasticsearch-6.5.4.tar.gz解压后修改 文件目录所有者为 elsearchchown elsearch:elsearch elasticsearch-6.5原创 2020-06-23 16:13:00 · 1292 阅读 · 0 评论 -
ELK环境安装 windows
1、单节点安装1)下载并解压下载并解压 ElasticSearch6.5.1 下载地址; https://www.elastic.co/cn/downloads/past-releases/elasticsearch-6-5-12)直接运行 elasticsearch.bat 接口启动(可以根据需要到config目录下修改jvm.options配置jvm参数)ES 5.5.x 的JVM ...原创 2019-04-03 15:11:41 · 612 阅读 · 0 评论