大数据实战第四十课 - ES01

最新推荐文章于 2024-09-23 15:09:01 发布
最新推荐文章于 2024-09-23 15:09:01 发布
阅读量1k 收藏
点赞数 1
分类专栏： 高级班ES课程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhikanjiani/article/details/101151475
版权

第一章：初识Elastic Stack

第二章：使用Elastic

第三章：Elasticsearch的相关插件

第四章：Elasticsearch的一些操作

第一章：初识Elastic

官网：https://www.elastic.co/cn/
它是有中文版本的，网站后的cn是根据本地的local来进行寻址的。

我们先来看一下版本：我们使用的版本是6.6.6版本。

Elasticsearch：对您的数据进行搜索、分析、存储。
Kibana：实现数据可视化。
Logstash：作日志收集用的。

elastic stack(栈)：

  • 很多中小型公司的数据分析选型：Elasticsearch + Kibana，分为单机版和集群版，安装较为简单。

  • 常见的ELK软件：Elasticsearch + Logstash(收集) + Kibana

简介：

  • Elasticsearch是基于JSON的分布式搜索和分析引擎，专门为实现水平可扩展性、高可靠性和管理便捷性而设计的。

Beats和Logstash能够采集任何来源、任何格式的数据：

1、Beats简介：

  • Beats：是一个面向轻量型采集器的平台（集合了多种单一用途数据采集器），这些采集器可以从边缘机器向Logstash和Elasticsearch发送数据。

  • Beats是数据采集的得力工具；将Beats和您的容器一起置于服务器上，或者将Beats作为功能加以部署，然后便可在Elasticsearch中集中处理数据。如果需要更加强大的处理性能，Beats还能将数据输送到Logstash
    进行转换和解析。

2、Logstash简介：

  • Logstash：Logstash是动态数据收集管道，拥有可扩展的插件生态系统，能够与Elasticsearch产生强大的协同作用。

Beats系列有哪些？

1、File beat 日志文件收集器
2、Metricbeat 指标
3、Packetbeat 网络数据
4、Winlogbeat Windows事件日志
5、Auditbeat 审计数据
6、Heartbeat 运行事件监控
7、Functionbeat 无需服务器的采集器

借助强大功能，实现更多成果：

  • 从Security（安全）到Alerting（报警）、Monitoring（监控）、Reporting（报告）、Graph（图）关联分析和Machine Learning（机器学习），轻松获取这些功能，并将您的Elastic stack带入到一个新的高度。

  • 学过线下班，可以使用Elasticsearch做一个监控系统。

  • 无论是就地部署，还是部署在云端，由您来决定。从公有云、到私有云，我们都能够让您轻松地运行和管理Elastic Stack.

第二章：使用Elastic

2.1 版本选择

  • Elasticsearch是一个分布式、RESTful风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例；Elasticsearch作为Elastic Stack的核心，它集中存储您的数据，帮助您发现意料之中以及意料之外的情况。

  • 官网种此时已经更新到了7.3.2版本，注意，它是可以跑在windows上的，它的各个版本之间的兼容性是非常差的。

网址：

  • https://www.elastic.co/cn/downloads/past-releases#elasticsearch

我们此次课程使用的是6.6.2版本的；如果使用的ELK，那么整个生态栈的版本都要使用相同的版本。

2.2 ES的前言

  • ES：主要是用来做搜索

  • MIS：做搜索，底层就是一个select语句（select * from XXX where …），通过一些前端技术将其展示出来的。

为什么我们不采用MIS的搜索方式呢？

1、第一点是因为MIS方式是点对点的查询

  • select * from user where name=’%杜兰特%’

2、如下这种情况我们使用的是分词

  • 情况举例：网络上的喷子给杜兰特的取名如下：书包杜、阿杜、洗澡水，我们使用关键字"洗澡水"测试能否搜索到，结果是可以的，并且网页中的关键字都会标红。

我们在百度下查询，搜索是高亮选项：这个高亮选项在ES中是自带的。
在这里插入图片描述

2.3 为什么ES中可以分词查询（正排索引、倒排索引概念）

为什么ES中可以分词查询呢？

  • ES中引入了正派索引和倒排索引两种概念：

正排索引的规则：doc_id到doc_content的关系

doc_iddoc_content
1若泽数据从事大数据培训
2Spark是一种分布式计算引擎
3大数据培训有很多

倒排索引的规则：从单词到doc_id的关系
引入了分词器概念，不同的分词器查询出来的东西是不一样的，假设是像下面这样拆分的：

worddoc_id
若泽数据1
从事1
大数据培训1，3
Spark2
一种2
分布式2
计算引擎2
很多3
  • 简单说下实现原理：我们搜索大数据培训，在正排索引中是1根3；而使用倒排索引，检索大数据培训，匹配到doc_id中存储的是1，3；再直接拿到整段话（1、若泽数据从事大数据培训））、（3、大数据培训有很多）

2.4 ES核心概念

Basic Concepts

  • There are a few concepts that are core to Elasticsearch. Understanding these concepts from the outset will tremendously help ease the learning process.

Near Realtime(NRT)

1、我们把一个东西构建成索引之后，然后这个索引能够被查出来的时间近乎似实时的；数据进去跟出来有很短的延迟。

  • Elasticsearch is a near-realtime search platform（近实时的搜索平台）. What this means is there is a slight latency（一个很短的延时）（normally one second）from the time you index a document until the time it（从你去建立一个索引到这个东西能够被访问到） becomes until the time it becomes searchable.

Cluster

2、把一个节点的属性设置为同一个名字，自动能被加进集群中去。

  • A Cluster is a collection of one or more nodes (servers)（集群是一个或者多个节点的集合） that together holds your entire data（存储完整的数据） and provides federated indexing（提供联合索引） and search capabilities across all nodes（跨节点的搜索功能）. A cluster is identified by a unique name which by default is “elasticsearch”（一个集群是有一个独一无二的名字的默认是elasticsearch）. This name is important because a node can only be part of a cluster if the node is set up to join the cluster by its name（这个名字是非常重要的因为一个节点仅仅只能够成为一个集群的部分，如果这个节点被设置进集群是通过它的名字的）.

Node

  • A node is a single server（单独的服务器是集群的一部分） that is part of your cluster, stores your data, and participates in the cluster’s indexing and search capabilites（存储数据、构建索引、提供查询）. Just like a cluster, a node is identified by a name which by default is a random Unique IDentifier（UUUID）that is assigned to the node at startup（有一个随机的UUID在启动的时候就会被分配）. You can define any node name you want if you do not want the default（你能够重新定义这个名字）. This name is important for administration purposes where you want to identify which servers in your network correspond to which nodes in your Elasticsearch cluster.

Index（索引）

  • An index is a collection of documents that have somewhat similar characteristics. For example, you can have an index for customer data, another index for a product catalog, and yet another index for order data. An index is identified by a name (that must be all lowercase) and this name is used to refer to the index when performing indexing, search, update, and delete operations against the documents in it.

Type

  • Deprecated in 6.0.0中

  • A type used to be a logical category/partition of your index（用来描述索引中逻辑的概念和分区） to allow you to store different types of documents in the same index, eg: one type for users, another type for blog posts. it is no longer possible to create multiple types in an index, and the whole concept of types will be removed in a later version.

我们把index理解为数据库，Type就是数据库中的表；目前一个index中只能有一个type，没有那么的重要

Document：

  • 理解为一行一行的数据：
  • A document is a basic unit of information（信息的一个最基本的单元能够被建立索引） that can be indexed. For example, you can have a document for a single order. This document is expressed in JSON (JavaScript Object Noation) （都是以JSON的方式进行表述的）which is a ubiquitous internet data intercahnge format.

此外还有一个Field的概念：

Field : column

我们常用的是Index、Document、Type、Field

2.5 正式搭建Elasticsearch6.6.2

1、下载、解压、环境变量

2、目录结构如下：

bin：所有的脚本
config：一堆的配置信息
lib：一堆jar包
logs：日志文件
plugins：ES支持插件，存放插件用的

前置环境要求：

  • Centos7+，如果是centos6版本会有各种各样的问题（会有各种limit）
  • JDK至少是1.8

2.6 启动Elasticsearch及配置文件修改

一、启动Elasticsearch

  • 进入到bin目录，使用：./elasticsearch命令进行启动。
  • ip + port(9200)

在本机上进行测试：curl -XGET 127.0.0.1:9200，我们发现在本机上是通的，为什么浏览器访问不了？？？

方式一：修改Elasticsearch配置文件：

  • 修改elasticsearch.yml配置文件，我们cat查看其中的信息：

  • 查看到elasticsearch.yml中有个network的信息：network.host需要进行修改：

ES的限制比较多：curl -XGET hadoop004:9200 curl -XGET 127.0.0.1:9200

进行如下修改：

1、修改cluster-name：ruozedata-es-cluster

2、修改node-name：ruozedata-es-node1

3、修改network.host : 0.0.0.0

4、修改path.data: /home/hadoop/app/elasticsearch-6.6.2/data

修改完成后再次启动ES，./elasticsearch

测试能否进行通信：

curl -XGET localhost:9200
curl -XGET 172.19.149.226:9200		//这个是内网IP
curl -XGET 127.0.0.1:9200

在这里插入图片描述

方式二：启动的时候后面跟上参数这种方式也行：

bin/elasticsearch -E cluster.name=ruozedata-es-cluster2 -E node.name=ruozedata-es-node2

在这里插入图片描述
直接使用浏览器的方式去观察：

  • 配置文件中就存在的和命令行输入的一个优先级的问题：
  • 生产上使用yml的方式比较常用一点。

生产上的启动方式（后台启动）：

  • bin/elasticsearch -d

  • 查看近200行日志，看哦不哦K，tail -200f logs/elasticsearch.log

2.7 如何在一台机器上搭建多个节点（仅仅做测试用）

参考博客如下：

  • https://www.cnblogs.com/wxw16/p/6160186.html

举例：一台机器上搭建两个节点：

  • 我们的数据默认是存储在：/home/hadoop/app/elasticsearch-6.6.2/data 这个节点下的；如果部署两台机器的话，data的目录一定要修改。

进行测试，报错如下：

  • 第一个节点启动没问题，第二个节点目录不变的话就会报错，需要自己执行目录
    在这里插入图片描述

于是添加参数-E path.data：

  • -E path.data=ruozedata-es-node1-data 这个是指定的输出路径

启动如下：

  • 节点1： bin/elasticsearch -E cluster.name=ruozedata-es-cluster -E node.name=ruozedata-es-node1 -E path.data=ruozedata-es-node1-data
  • 节点2：bin/elasticsearch -E cluster.name=ruozedata-es-cluster -E node.name=ruozedata-es-node2 -E path.data=ruozedata-es-node2-data

问题：

  • 每一个节点数据都存在data目录，两个的话目录不改掉就会启动不了

此时通过浏览器去访问：

1、就是查看节点信息：

  • 106.14.186.41:9200/_cat/nodes 阿里云机器使用公网IP访问

注意：模拟的是一个集群下的两个节点
在这里插入图片描述
2、查看节点健康状况：

  • 106.14.186.41:9200/_cluster/health?pretty 使用公网IP

在这里插入图片描述

  • 此种方式仅作测试用，生产上肯定是一台机器部署一个elasticsearch的；但是在学习过程中，很多情况下需要实现Elasticsearch的分布式效果，所以需要启动多个节点，所以就需要在一台服务器上部署多个节点，分别是node1和node2。

在这里插入图片描述

出现的问题：另外一个节点访问不到了，WHY?

  • 排查下来启动的参数写错了

2.8 启动Elasticsearch出现的问题

  • limit错误：
ERROR: [2] bootstrap checks failed
[1]: max file descriptors [65535] for elasticsearch process is too low, increase to at least [65536]
[2]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
[2019-09-22T17:57:22,598][INFO ][o.e.n.Node               ] [ruozedata-es-node1] stopping ...
[2019-09-22T17:57:22,614][INFO ][o.e.n.Node               ] [ruozedata-es-node1] stopped
[2019-09-22T17:57:22,614][INFO ][o.e.n.Node               ] [ruozedata-es-node1] closing ...
[2019-09-22T17:57:22,623][INFO ][o.e.n.Node               ] [ruozedata-es-node1] closed

报错问题解决：

  • 这些limit限制如何解决：
https://blog.csdn.net/lilongsy/article/details/82115980

2.9 生产中的调优点

在config/这个目录下的jvm.options下，里面的参数调整：

  • JVM heap size 此参数默认1g
    GC configuration：

第三章：Elasticsearch中的插件

3.1 Elasticsearch-head插件安装

elasticsearch-head插件下载地址：

  • https://github.com/mobz/elasticsearch-head/releases/tag/v5.0.0

插件安装步骤如下网址依次安装部署：

  • https://github.com/mobz/elasticsearch-head

我的测试机器是阿里云购买的付费云主机，所需安装的服务有node.js 、npm、bzip2；

安装步骤如下：

1、安装所需的服务

  • yum install -y node.js npm bzip2
    在这里插入图片描述

2、npm install 我的当前环境报错了，解决如下：
https://www.jianshu.com/p/e5c117746060

3、npm run start
启动这个服务，不过启动前需要修改配置：

不建议直接使用第三步npm run start启动：

进行修改：

  • 在这个目录下：/home/hadoop/app/elasticsearch-head-5.0.0，编辑这个文件：vi Gruntfile.js，需要添加一行hostname: ‘*’，否则的话外部浏览器会访问不了。
    在这里插入图片描述
  • 另外一个配置：/home/hadoop/app/elasticsearch-head-5.0.0/_site/app.js，修改信息如下：
    在这里插入图片描述

如何启动elasticsearch-head插件：

  • PK哥习惯使用这种方式启动：

1、进入到这个目录：

  • cd /home/hadoop/app/elasticsearch-head-5.0.0/node_modules/grunt/bin

2、使用命令开始启动：

  • 命令：./grunt server &

3、http://106.14.186.41:9100/ 公网IP+port

  • 显示未连接是为什么？缺少了跨域访问。
    在这里插入图片描述

启动前需要先配置跨域访问：

在这个路径下编辑这个文件：

[hadoop@hadoop005 config]$ pwd
/home/hadoop/app/elasticsearch-6.6.2/config
[hadoop@hadoop005 config]$ ll
total 36
-rw-rw---- 1 hadoop hadoop   207 Sep 22 21:01 elasticsearch.keystore
-rw-rw---- 1 hadoop hadoop  2947 Sep 22 22:53 elasticsearch.yml

添加如下在这个配置文件中的头部位置：

http.cors.enabled: true
http.cors.allow-origin: "*"

在这里插入图片描述

再次启动测试：

  • 节点1： bin/elasticsearch -E cluster.name=ruozedata-es-cluster -E node.name=ruozedata-es-node1 -E path.data=ruozedata-es-node1-data
  • 节点2：bin/elasticsearch -E cluster.name=ruozedata-es-cluster -E node.name=ruozedata-es-node2 -E path.data=ruozedata-es-node2-data

如下图是访问okay：

在这里插入图片描述

此处需注意的点：

  • 由于我是阿里云服务器：在root用户下需要编辑：/etc/hosts文件，添加外网ip+hostname的映射：
  • 阿里云服务器还要在安全组配置中开放相对应的端口，否则本地浏览器也是无法访问的。
  • 在windows本地如下路径：‪C:\Windows\System32\drivers\etc\hosts，也需要添加外网ip+hostname的映射关系才能出现如上图的这个界面。

3.2 Kibana插件安装

Kibana简介：

  • Kibana让您能够自由的选择如何呈现自己的数据。借助于Kibana的交互可视化，可以先从一个问题触发，看看能够从中发现什么。

基本内容：

一、Kibana核心产品搭载了一批经典功能：柱状图、线装图、饼图、旭日图、等等

二、通过Kibana中的Canvas，发挥无限创意
不受条条框框的限制，可以通过徽标、颜色和能够突出贵公司品牌特色的设计元素将自己的品牌和风格融入到数据中，讲述独属于您的故事。Canvas能够基于实时数据发挥无限创意，并且它还支持SQL.

三、安全的分享与合作

  • 只需要选择适合您的分享选项，即可轻松地把Kibana可视化分享给你选择的任何人：你的团队成员、老板、老板的老板、你的客户。嵌入仪表板，分享链接，或者导出为PDF、PNG或CSV文件并作为附件发送给别人。

四、超级安全

  • 通过Kibana Spaces整理你的仪表板和可视化。通过基于角色的访问控制，邀请用户访问某些空间（但不允许访问其他空间），让他们能够查看特定内容并使用特定功能。

五、用于数据采集等操作的堆栈管理

一、Kibana的下载网址：

  • https://www.elastic.co/cn/downloads/past-releases/kibana-6-6-2

通过Kibana，您可以对自己的Elasticsearch进行可视化，还可以在Elastic Stack中进行导航，这样就可以进行各种操作了，从跟踪查询负载，到理解请求如何流经您的整个应用，都能够轻松完成。

二、Kibana的部署安装：

  • 解压到如下这个目录：/home/hadoop/app/kibana-6.6.2-linux-x86_64，进入到config目录下，编辑kibana.yml这个文件，修改两个地方就行。
1、To allow connections from remote users, set this parameter to a non-loopback address.
server.host: "0.0.0.0"

2、The Kibana server's name.  This is used for display purposes.
server.name: "ruozedata-kibnana"

配置文件修改完成后，直接进入到bin目录，启动Kibana：./kibana，我们去到浏览器上查看：外网IP+5061端口号；此时发现浏览器不能访问，于是在阿里云控制台上配置安全组；修改完后直接在浏览器中访问：http://106.14.186.41:5601/app/kibana#/home?_g=()

在这里插入图片描述

1、Dev Tools

  • 除了我们在浏览器中使用了http://106.14.186.41:9200/_cat/nodes命令，和GET _cat/nodes查看出来的信息是一样的。
    在这里插入图片描述

2、Discover

3、Visualize（可视化）

  • 为我们展示了多种多样不同类型的图。
    在这里插入图片描述

4、Dashboard（指示板）

  • 可以把几张图并到一张图上查看信息。

等等等等，还有很多…

3.3 图解如何登陆Kibana

在这里插入图片描述

  • 我们使用账号登录进数据平台，在数据平台中搞一个link，把url连接过来；所有的权限都是通过login账号来控制的；不同人的权限不同。

第四章：Elasticsearch的一些操作

  • curl --help 查看curl的命令帮助：

常用参数：PUT、POST、DELETE

  • post和put参数的主要区别：post是用来提交、put是用来修改。

4.1 Elasticsearch中的索引库

第一步操作：

  • curl -XPUT ‘http://hadoop000:9200/es’

一个index索引库，默认是5个分片，2个副本；在node1中，分为0、2、4（黑框是主分片）；在node2中，分为1、3.
在这里插入图片描述

第二步：索引库可以不用手动添加，添加索引的时候它会默认带上去。

注意：索引只能小写，大写ES它是不认的。

第三步：我们在Dev Tools中进行测试

在这里插入图片描述

4.2 Elasticsearch中创建索引

1、索引的创建：

  • curl -XPOST ‘http://hadoop005:9200/es/student/1’ -d ‘{
    “name”:“zhangsan”,
    “age”:“30”,
    “interests”:[“spakr”,“flink”]
    }’

  • 报错信息如下：{“error”:“Content-Type header [application/x-www-form-urlencoded] is not supported”,“status”

需要指定content-type：

  • curl -XPOST -H “Content-Type:application/json” ‘http://hadoop005:9200/es/student/1’ -d ‘{
    “name”:“zhangsan”,
    “age”:“30”,
    “interests”:[“spakr”,“flink”]
    }’

  • 解析：-H是用来指定Content-Type的

此时我们去到这个网址中：106.14.186.41:9100，点击数据浏览，点击es中就能查看到这些信息。
在这里插入图片描述

测试再次放入一条记录：

curl -XPOST -H "Content-Type:application/json" 'http://hadoop005:9200/es/student/2' -d '{
"name":"lisi",
"age":"40",
"interests":["eat","speak"]
}'


2、输入上述命令后控制台的打印：
{"_index":"es","_type":"student","_id":"2","_version":1,"result":"created","_shards":{"total":2,"successful":2,"failed":0},"_seq_no":0,"_primary_term":1}

在这里插入图片描述

Elasticsearch-head中的效果：数据已经插入进去了：

在这里插入图片描述

查看其在Kibana中的效果：

1、进入到Kibana中的网址：
在这里插入图片描述

2、点击Index Pattern，我们看到此处只有三个系统默认的索引库；需要点击Create index pattern，输入创建的索引库名字es，点击Next Step --> Create index pattern来进行关联。
在这里插入图片描述

3、回到Kibana中的Discover中去查看：
在这里插入图片描述

4.2.1 curl POST和PUT的区别：

CURL POST和PUT的区别：
POST：新增
PUT：修改

注意：我们新增的时候，可以不指定id，系统会为我们自动生成这个信息。

curl post测试：

curl -XPOST -H "Content-Type:application/json" 'http://hadoop005:9200/es/student/' -d '{
"name":"wangwu",
"age":"50",
"interests":["Beautiful-girl","Money"]
}'

Elasticsearch-head中观察到如下：id是系统自动为我们生成的，且不会重复
在这里插入图片描述

curl put测试：

put是修改，肯定是对已有的进行修改（这句话是错误的）：

  • 测试如下：id=100并不存在，我们使用curl -put
curl -XPUT -H "Content-Type:application/json" 'http://hadoop005:9200/es/student/100' -d '{
"name":"Mico",
"age":"23",
"interests":["take photo","play"]
}'

在这里插入图片描述

测试对已有的id=100的进行修改：

  • 结论：数据确实发生了修改
curl -XPUT -H "Content-Type:application/json" 'http://hadoop005:9200/es/student/100' -d '{
"name":"Mico",
"age":"24",
"interests":["make love","study"]
}'

在这里插入图片描述

RESTful风格的API了解？ 博士论文

总结：

1、post方式可以指定id和不指定id的方式都可以

2、put的方式可以指定不存在的id和对已经存在的id的索引内容进行修改。

Kibana中进行修改：
在Dev Tools：
在这里插入图片描述

我们刚刚插入的数据：

  • 在Elasticsearch-head中查询：
    在这里插入图片描述
  • 在Kibana中查询如下：在这里插入图片描述
  • 在浏览器中查询出来的效果也是一样的：
    在这里插入图片描述

4.3 ES中索引和索引库的删除操作

索引的删除操作：

我们把具体的某一个索引删除，在Kibana中操作：

  • DELETE es/student/100

测试成功删除。

删除索引库：

  • 在elasticsearch-head中删除：
    在这里插入图片描述

  • 在虚拟机下直接用命令行删除：

  • curl -XDELETE ‘http://hadoop005:9200/test’

zhikanjiani
关注
专栏目录
《大数据实验手册》：大数据从入门到实战其实没有那么难！
weixin_34216036的博客
04-13 985
随着教育部公布2017年度普通高等学校本科专业备案和审批结果的通知，目前申请获批数据科学与大数据技术专业（专业代码：080910T）的高校已增至278所。在获批高校越来越多的同时，如何在专业建设过程中选择适用教材，却逐渐成为了各大高校面临的一大难题。而早在2016年，清华大学博士、南京大数据研究院院长刘鹏教授就联合国内多所高校从事一线教学科研任务的专业师资，开始编写大数据系列教材。目前，《云计算》...
[ELK]使用脚本写入带scripted field的index pattern时发生的错误
世上无难事，只要肯放弃
11-16 2916
学习ELK的童鞋们肯定知道要在kibana上面进行查询时，至少要创建一个index pattern.我们可以直接在页面上面创建，当然也可以使用Elasticsearch提供的RESTful API直接写进去。           关于如何创建script field, 参考另外一篇博客http://blog.csdn.net/u014781370/article/details/49868029
极客ES01
huotong
09-22 365
ES 入门 ES的安装与简单配置 安装ES 1.安装JAVA环境 在7.0版本之后，ES内置的JAVA环境，不需要再次安装 2.官网下载ES https://www.elastic.co/cn/products/elastic-stack 3.Es文件目录结构 目录 配置文件 描述 bin 脚本文件，包含启动elasticSearch，安装插件，运行统计数据等 con...
windows上安装Kibana服务
weixin_34166847的博客
08-20 1117
windows上安装Kibana 官网:https://www.elastic.co/cn/dow...NSSM:http://www.nssm.cc/download本文实验版本为5.5.1 Windows安装Kibana服务步骤 创建ELK文件夹,解压在ELK文件夹下 将NSSM解压并将nssm.exe拷贝到kibana的bin\目...
Elasticsearch 使用 Kibana
zbdaowohao的博客
05-13 320
Elasticsearch 使用 Kibana一、环境准备二、启动容器三、[配置文件](https://www.elastic.co/guide/cn/kibana/current/settings.html) 一、环境准备 #开启防火墙 firewall-cmd --zone=public --add-port=9200/tcp --permanent systemctl restart firewalld.service mkdir -p /home/kibana/config 编写配置文件: #
Flink - 尚硅谷- 大数据高级 Flink 技术精讲 - 1
MiaoSO的博客
08-24 4088
Flink - 尚硅谷- 大数据高级 Flink 技术精讲 Flink - 尚硅谷- 大数据高级 Flink 技术精讲 一、Flink 简介 二、Quick Start 2.1 环境 2.1 Flink 安装包 2.2 nc 2.3 pom 配置 2.2 批处理 2.3 流处理 三、Flink 部署 3.1 Standalone 模式 3.2 Yarn 模式 3.2.1 Flink on Yarn 3.2.2 Session Cluster 3.2.3 Per Job Cluster
Flink - 尚硅谷- 大数据高级 Flink 技术精讲 - 3
MiaoSO的博客
08-24 988
附.项目实战 1. 项目整体介绍 1.1 电商用户行为分析 1.2 项目模块设计 2. 实时热门商品统计 3. 实时流量统计 3.1 PVTopN - 热点网站 3.2 PV - 网站总浏览量 3.3 UV - 网站独立访客数 4. 市场营销商业指标统计分析 4.1 APP 市场推广统计 4.2 页面广告分析 5. 恶意登陆监控 5.1 Demo 5.2 CEP 6. 订单支付实时监控 6.1 付款超时 - Cep Code 6.2 付款超时 - Without Cep 6.3.
彩印图文版《Elasticsearch实战》文档，阿里内部共享，堪称精品
m0_72327953的博客
09-16 599
1.1 文档内容1.2 面向人员1.3 笔记优势1.4 学习路径。
Elasticsearch技术解析与实战
最新发布
modouwu的博客
09-23 634
启动发现当Elasticsearch节点启动时，它会尝试连接到配置中的种子节点列表中的每个节点。如果节点是首次启动或需要加入一个新的集群，它会通过种子节点列表来发现集群中的其他节点。Ping操作节点之间通过Ping操作来确认彼此的存在和状态。Elasticsearch会定期向集群中的其他节点发送Ping请求，以检测节点是否仍然在线。构建集群视图通过Ping操作，每个节点都能构建出集群的完整视图，包括集群中所有节点的信息。
Go操作elasticsearch合集
m0_46937429的博客
02-03 1349
【代码】Go操作elasticsearch 基础操作。
Training_LogInfo.csv
10-10
Training_LogInfo.csv
Elastic：如何使用 Ansible自动化部署 Elastic Stack - Kibana（三）
Elastic 中国社区官方博客
01-25 1208
在之前的文章 “如何使用 Ansible自动化部署 Elastic Stack （一） 及 （二）”，我分别描述了如何使用 Ansible 来自动部署一个 Webserver 及 Elasticsearch。在今天的教程中，我来介绍如何安装 Kibana。如果你还没做完之前的练习，请先做那些练习。 部署 Kibana 和之前的安装部署步骤一样，我们先创建一个叫做 kibana 的角色： $ pwd /Users/liuxg/ansible/elasticsearch/roles $ ansib.
kibana搭建（windows&linux）
m0_37615458的博客
02-27 863
搭建kibana方便查询es库，本文分别对windows和linux版本进行安装，因为es集群版本是7.4.1，所以配套的kibana也是选择相同版本。其中server.host: "0.0.0.0" 类似访问白名单，配置允许的ip即可，访问地址http://虚拟机IP或服务器IP:5601。/bin/kibana.bat 双击启动即可，默认端口5601，访问地址http://localhost:5601。下载zip包，解压文件到固定目录，进入解压目录的config目录，编辑kibana.yml。
kibana连接ES集群
热门推荐
HouYing
08-30 2万+
# Kibana is served by a back end server. This setting specifies the port to use.server.port: 5601 # Specifies the address to which the Kibana server will bind. IP addresses and host names are both va...
大数据实验——环境配置2
CandraLee的博客
08-10 868
大数据实验——环境配置2
ELK+kafka部署
幽兰空谷
07-19 682
一、ELK使用的组件的功能： Logstash： 采集、处理、传输日志， Elasticsearch： 搜索引擎，保存日志 Kibana： 数据可视化显示 Kafka： 消息队列，用于缓存logstash到es传输的日志，防止日志爆发，es来不及储存而引起数据丢失。 Zookeeper： Kafka集群搭建依赖于Zookeeper集群 二、系统架构图 架构解析： 1.logstash占用资源比较...
Elasticsearch 使用 Index Pattern 配置
爱死亡机器人
03-17 2775
Index Pattern
ELK安装和使用
大帅的博客
12-14 1175
下载相应版本的elastic-search、logstash、kibana 本次使用的是当前最新版本7.10，官网较慢，需要耐心等待 elastic-search分为包含自带JDK和不带JDK版本，默认下载的是自带JDK版本，防止本地JDK版本不匹配（7.10默认JDK11） 选择产品-立即部署，https://www.elastic.co/cn/downloads/ 解压所有的安装包 1.elastic-search配置启动 配置./conf/elasticsearch.yml http.
三、ElasticSearch可视化工具Kibana安装
心情舒畅
07-03 2247
ELK是包含但不限于Elasticsearch（简称es）、Logstash、Kibana 三个开源软件的组成的一个整体。这三个软件合成ELK。是用于数据抽取（Logstash）、搜索分析（Elasticsearch）、数据展现（Kibana）的一整套解决方案，所以也称作ELK stack。 “ELK”是三个开源项目的首字母缩写，这三个项目分别是：Elasticsearch、Logstash 和 Kibana。 Elasticsearch 是一个搜索和分析引擎。 Logstash 是服务器端数据.
Python大数据后端开发：mypy-boto3-es库更新至*.**.**.*
从标签"python elasticsearch 开发语言 后端 大数据"可以推测，这个库是为了让Python开发者能够高效地与Elasticsearch进行交互，并利用AWS的云服务来构建大数据处理和分析的后端应用。Python在大数据领域很受欢迎，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值