docker环境中安装ES、ES快照与恢复、docker ES修改配置文件后启动失败

最新推荐文章于 2024-05-12 06:42:38 发布
最新推荐文章于 2024-05-12 06:42:38 发布
阅读量4.8k 收藏 15
点赞数 5
分类专栏： Elasticsearch 文章标签： elasticsearch docker linux ubuntu 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zy2350555/article/details/106471033
版权

Docker环境中安装Elasticsearch和ES快照与恢复

安装ES的docker版本

  1. 拉取镜像
docker pull elasticsearch:7.2.0
  1. 创建并启动容器
docker run -d --name es -p 9200:9200 -p 9300:9300 -e ES_JAVA_OPTS="-Xms512m -Xmx512m" -e "discovery.type=single-node" elasticsearch:7.2.0
创建时，调整内存的分配“ES_JAVA_OPTS=-Xms512m -Xmx512m”。
增加9200/9300的端口映射
  1. 检测是否可以正常访问
    在这里插入图片描述
  2. 进入容器修改配置文件
docker exec -it es /bin/bash
cd config
vi elasticsearch.yaml

在这里插入图片描述

  • cluster.name：自定义集群名称；
  • network.host：当前es节点绑定的ip地址；
  • http.cors.enabled：是否支持跨域，默认为false；
  • http.cors.allow-origin：当设置允许跨域，默认为*，表示支持所有域名，如果我们只是允许某些网站能访问，那么可以使用正则表达式。
  1. 重启容器
docker restart es

ES快照介绍

在这里插入图片描述
快照是对于一个正在运行的ES集群的备份，可以对于一个或多个索引进行快照，快照是增量的。这意味着，当创建索引快照时，Elasticsearch避免复制任何已存储在存储库中的数据。因此，可以非常频繁地为群集创建快照。

版本兼容性问题：

  • 在6.x中创建的索引快照可以恢复到7.x。

  • 在5.x中创建的索引快照可以恢复到6.x。

  • 在2.x中创建的索引快照可以恢复到5.x。

  • 可以将在1.x中创建的索引快照恢复到2.x。

  • 无法将1.X中创建的索引直接的恢复到5.x或6.x …

  • 同时不建议从后期版本向前期版本恢复快照，在某些情况下，无法还原，例如在在7.6.0中创建的快照无法还原到7.5.0。

存储库的安装

创建存储库

必须先注册快照存储库，才能执行快照和还原的操作，如果多个集群同时注册同一个快照存储库，只有一个可以有写权限，其余集群设置为readonly模式

PUT /_snapshot/my_backup
{
  "type": "fs",
  "settings": {
    "location": "my_backup_location"
  }
}

直接插入会提示错误
直接发送put命令会提示错误，需要再进行以下几步的操作：

  1. 首先进入容器，创建存储库地址，并修改文件夹所有者
进入指定容器
docker exec -it es /bin/bash
创建存储库地址
mkdir backup
使用修改文件夹所有者
chown -R elasticsearch backup

在这里插入图片描述

  1. 查看文件在docker中所属的路径
查看文件在docker中所属路径
pwd

在这里插入图片描述

  1. 修改elasticsearch.yml文件
    在这里插入图片描述
增加设置
path.repo: ["/usr/share/elasticsearch/backup"]

在这里插入图片描述

  1. 重启容器
docker restart es
  1. 再次发送PUT命令已经可以正常创建存储库了

在这里插入图片描述
支持以下设置：

  • location 快照的位置。必选
  • compress 打开快照文件的压缩。压缩仅应用于元数据文件（索引映射和设置）。数据文件未压缩。默认为true。
  • chunk_size 如果需要，可以在快照过程中将大文件分解为多个块。指定块尺寸的值，并且单元，例如：1GB，10MB，5KB，500B。默认为null（无限制的块大小）。
  • max_restore_bytes_per_sec 每个节点的恢复速度。默认为40mb每秒。
  • max_snapshot_bytes_per_sec 每个节点的快照速率。默认为40mb每秒。
  • readonly 使存储库为只读。默认为false。
  1. 查看存储库的信息
GET /_snapshot/my_backup

在这里插入图片描述

所有的存储库信息
GET /_snapshot
或者
GET /_snapshot/_all

只读网址存储库

URL存储库支持以下协议：“ http”，“ https”，“ ftp”，“ file”和“ jar”。URL与储存库http:， https:以及ftp:网址必须由指定允许的URL被列入白名单repositories.url.allowed_urls设置。此设置在主机，路径，查询和片段的位置支持通配符。例如：

repositories.url.allowed_urls: ["http://www.example.org/root/*", "https://*.mydomain.com/*?*#*"]

源存储库

通过源存储库，您可以创建最少的仅源快照，这些磁盘占用的磁盘空间最多减少50％。仅源快照包含存储的字段和索引元数据。它们不包括索引或doc值结构，并且在还原后不可搜索。恢复的唯一来源快照后，必须重新索引 数据到一个新的索引

PUT _snapshot/my_src_only_repository
{
  "type": "source",
  "settings": {
    "delegate_type": "fs",
    "location": "my_backup_location"
  }
}

存储库的验证

注册存储库后，需要在主节点和数据节点上对存储库进行验证，保证集群中存在的所有节点上都可以正常运行，会返回已经成功验证的节点列表，或验证失败的错误消息

PUT /_snapshot/my_unverified_backup?verify=false
{
  "type": "fs",
  "settings": {
    "location": "my_unverified_backup_location"
  }
}
或
POST /_snapshot/my_unverified_backup/_verify

在这里插入图片描述

执行快照操作

一个存储库可以包含同一个集群的许多快照，快照由集群中的唯一名称作为标识，创建一个名称为snapshot_1 的快照命令：

PUT /_snapshot/my_backup/snapshot_1?wait_for_completion=true

在这里插入图片描述
默认情况下回生成集群中所有打开和启动的索引，如果需要修改，使用一下的命令

PUT /_snapshot/my_backup/snapshot_2?wait_for_completion=true
{
  "indices": "index_1,index_2",
  "ignore_unavailable": true,
  "include_global_state": false
}
  • gnore_unavailable选项。将其设置为true将会导致快照创建期间不存在的索引被忽略。默认情况下，如果ignore_unavailable未设置选项并且缺少索引，则快照请求将失败。
  • include_global_state为false，可以防止将群集全局状态存储为快照的一部分。默认情况下，如果参与快照的一个或多个索引没有所有可用的主分片，则整个快照将失败。可以通过设置为partial来更改此行为true。

快照名称可以使用日期数学表达式自动导出，类似于创建新索引时。请注意，特殊字符需要进行URI编码。
例如，snapshot-2018.05.11可以使用以下命令来创建名称为like的当前日期的快照：

# PUT /_snapshot/my_backup/<snapshot-{now/d}>
PUT /_snapshot/my_backup/%3Csnapshot-%7Bnow%2Fd%7D%3E

索引快照过程是增量的。在制作索引快照的过程中，Elasticsearch分析已存储在存储库中的索引文件的列表，并仅复制自上次快照以来创建或更改的文件。这样可以将多个快照以紧凑的形式保存在存储库中。快照过程以非阻塞方式执行。可以继续对正在快照的索引执行所有索引和搜索操作。但是，快照代表的是时间点视图，在快照创建后添加进索引的记录，不会出现在快照中。

群集中任何时间都只能执行一个快照过程。在创建特定分片的快照时，该分片无法移动到另一个节点，这可能会干扰重新平衡过程和分配筛选。Elasticsearch等待快照完成后将分片移动到另一个节点

创建快照后，可以使用以下命令获取有关该快照的信息：

GET /_snapshot/my_backup/snapshot_1
  • IN_PROGRESS 快照当前正在运行。
  • SUCCESS 快照完成，所有分片已成功存储。
  • FAILED 快照以错误结束，无法存储任何数据。
  • PARTIAL 全局群集状态已存储，但至少一个分片的数据没有成功存储，在这种情况下，该部分应包含有关未正确处理的分片的更多详细信息。
  • INCOMPATIBLE 快照是使用旧版本的Elasticsearch创建的，因此与集群的当前版本不兼容。

在这里插入图片描述
与存储库类似，可以一次性查询有关多个快照的信息，并支持通配符：

GET /_snapshot/my_backup/snapshot_*,some_other_sn

查询所有
GET /_snapshot/my_backup/_all
如果某些快照不可用，该命令将失败。布尔参数ignore_unavailable可用于返回当前可用的所有快照。

查看正在运行的快照
GET /_snapshot/my_backup/_current

删除快照
DELETE /_snapshot/my_backup/snapshot_2

从存储库中删除快照后，Elasticsearch会删除与删除的快照相关联且未被其他任何快照使用的所有文件。如果在创建快照时执行了删除的快照操作，则快照过程将中止，并且将清理作为快照过程一部分创建的所有文件。因此，删除快照操作可用于取消误启动的长时间运行的快照操作。
可以使用以下命令注销存储库：

DELETE /_snapshot/my_backup

取消注册存储库后，Elasticsearch仅删除对该存储库存储快照的位置的引用。快照本身保持不变。

快照恢复

  1. 首先，拷贝出快照
# backup/. 会将backup的内容复制到外部backup文件夹中，如果不加/.就会导致backup文件夹到backup文件夹中变成  backup/backup/...
docker cp es:/usr/share/elasticsearch/backup/. /backup/

在这里插入图片描述

  1. 拷贝到本地打开看一下完全是看不懂
    在这里插入图片描述
    首先拷贝到第二台虚拟机中

在这里插入图片描述

  1. 重复一遍注册数据仓库的动作，创建仓库，查询无误
    在这里插入图片描述

  2. 拷贝快照文件夹至容器内部

docker cp /backup/. es:/usr/share/elasticsearch/backup/
  1. 查看是否拷贝成功
    在这里插入图片描述
  2. 先查看目前的ES中是否有数据
    在这里插入图片描述
  3. 进行恢复操作
POST /_snapshot/my_backup/snapshot_1/_restore

返回true
在这里插入图片描述

  1. 再进行查询操作，第一台ES的数据已经被恢复到第二台ES中
    在这里插入图片描述
    默认情况下，将还原快照中的所有索引，并且不还原群集状态 。通过使用还原请求主体中的indices和include_global_state选项，可以选择应该还原的索引以及允许还原全局群集​​状态。索引列表支持多索引语法。该rename_pattern 和rename_replacement选项也可用于使用正则表达式重命名索引。设置include_aliases为false防止别名与关联索引一起还原
POST /_snapshot/my_backup/snapshot_1/_restore
{
  "indices": "index_1,index_2",
  "ignore_unavailable": true,
  "include_global_state": true,
  "rename_pattern": "index_(.+)",
  "rename_replacement": "restored_index_$1"
}

还原时改变设置

在还原过程中，可以覆盖大多数索引设置。例如，以下命令将index_1还原索引而不创建任何副本

POST /_snapshot/my_backup/snapshot_1/_restore
{
  "indices": "index_1",
  "index_settings": {
    "index.number_of_replicas": 0
  },
  "ignore_index_settings": [
    "index.refresh_interval"
  ]
}

监控快照或还原的进度

有几种方法可以监视快照的进度并在进程运行时还原它们。这两个操作都支持wait_for_completion阻塞客户端直到操作完成。这是最简单的方法，可用于获取有关操作完成的通知。
也可以通过定期调用快照信息来监视快照操作：

GET /_snapshot/my_backup/snapshot_1

请注意，快照信息操作使用与快照操作相同的资源和线程池。因此，在对大型碎片进行快照时执行快照信息操作可能会导致快照信息操作在返回结果之前等待可用资源。在很大的碎片上，等待时间可能很长。
要获取有关快照的更多即时信息和完整信息，可以改为使用快照状态命令：

GET / _snapshot / my_backup / snapshot_1 / _status

启动失败和纠错过程

在第一次进行配置后，启动失败，在此记录一下排错的过程

  1. 查看容器日志
查看指定容器最后100行的日志
docker logs --tail 100 es

在这里插入图片描述
日志显示没有backup文件夹的访问权限
需要导出日志文件，恢复配置后导入，才能继续启动

导出
docker cp 容器id：docker容器中配置文件路径  主机路径
docker cp es:/usr/share/elasticsearch/config/elasticsearch.yml /backup
删除配置 path.repo
导入
docker cp /backup/elasticsearch.yml es:/usr/share/elasticsearch/config/elasticsearch.yml

重新导入配置文件后执行docker start es，启动正常
在这里插入图片描述

张益达达达达达达达
关注
  • 5
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
Docker之修改/etc/default/docker 里的DOCKER_OPTS参数不生效问题
09-29
主要介绍了Docker之修改/etc/default/docker 里的DOCKER_OPTS参数不生效问题，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
docker修改配置文件之后，导致不能启动
weixin_43859511的博客
05-12 1361
首先，给大家介绍一下，我是不是脑子瓦特了，去修改mysql的配置文件。起因是由于我的系统是Window10，我凭借我7s中的记忆记得mysql不区分大小写啊。所以我在导出mysql的时候就没有考虑。结果 mysql的脚本文件就存在大写，我把文件上传到linux 服务器上之后，导致我本地连接服务器数据库的时候，就因为大小写错误。 方法一：删除数据库，从把文件弄成小写，然后重新运行 方法二：向我这样不管不顾的就修改了人家mysql的配置文件，悲剧就是这样来的猝不及防，我的mysql光荣牺牲了。 解决办法： do
最全ES(Elasticsearch)的docker安装部署教程_docker 安装es(1)，2024年最新字节跳动大数据开发研发岗这些知识点内部泄露出来了
m0_74932057的博客
05-12 336
cd /data。
删除docker容器时后发现无法启动同样名称的容器（Error response from daemon: service endpoint with name XXX already exist）
黄先生的博客
10-09 1586
项目场景： 昨天还未下班前，开发同事找我说，Jenkins构建服务总是失败，让我帮忙看下，我打开Jenkins一看，连续六七次项目构建失败。细细查看每一次错误构建，发现在第一次报错时，执行删除容器遇到了无法删除的文件，导致删除容器命令后续没有执行，后面其他构建错误就都是报（Error response from daemon: service endpoint with name XXX already exist） 问题描述： Error response from daemon..
docker 部署 elasticsearch后 修改 ES_JAVA_OPTS 参数
宿夏星
06-13 2874
docker 部署elasticsearch 修改运行占用内存大小
解决docker运行elastic服务端启动不成功
jiaohuizhuang6019的博客
11-18 1413
解决docker运行elastic服务端启动不成功
ARM架构CPU基于docker-compose离线部署elasticsearch7.17.21+kibana7.17.21工具
05-22
5、支持elasticsearch及kibana 数据目录、日志目录、备份目录、配置文件持久化。 6、支持创建、启动、停止、卸载、检测等操作。 7、支持es对外服务层https加密、es节点间传输层加密、kibana对外服务https加密、...
基于x86-64架构docker-compose离线部署elasticsearch7.17.21+kibana7.17.21工具
最新发布
06-20
5、支持elasticsearch及kibana 数据目录、日志目录、备份目录、配置文件持久化。 6、支持创建、启动、停止、卸载、检测等操作。 7、支持es对外服务层https加密、es节点间传输层加密、kibana对外服务https加密、...
elasticsearch-snapshot:用于获取Elasticsearch快照的Docker容器
05-23
elasticsearch快照 该容器可用于轻松管理Elasticsearch快照。 环境变量 ELASTICSEARCH_URL （默认： http://elasticsearch-9200.service.consul:9200 ） 到达您的Elasticsearch服务器的URL。 注意：这必须是完整...
EventFlow.Example：使用遵循CQRS-ES架构的EventFlow的DDD + CQRS + Event-sourcing示例。 它配置有RabbitMQ，MongoDB（快照存储），PostgreSQL（读存储），EventStore（GES）。 它针对.Net Core 2.2，并包含docker compose文件
02-04
它配置有RabbitMQ，MongoDB（快照存储），PostgreSQL（读存储），EventStore（GES）。 它针对.Net Core 2.2，并包含。 事件源/ CQRS架构 最常见的CQRS / ES架构如下图所示 该示例包含以下概念，每个概念如下所示 ...
足球云服务器配置
02-07
同时，日志管理系统（如Logstash、Elasticsearch、Kibana，即ELK栈）能帮助分析服务器运行状况。 10. **自动化运维**：利用DevOps工具，如Ansible、Docker和Kubernetes，实现服务器配置的自动化，提高效率，保证...
docker 下重新配置elasticSearch 虚拟机内存大小导致启动失败原因分析
weixin_40263285的博客
06-02 573
docker run --name elasticsearch -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -e ES_JAVA_OPTS="-Xms64m -Xmx512m" -v /mydata/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /mydata/elasticsearch/data.
docker-容器启动失败分析
OlderSheep编程达人
05-31 2087
1.内存溢出问题 当运行某一个容器时，可以看到转态信息，发现并没有运行成功 查看日志 docker logs [容器名称] 可以看到错误信息是否存在下面错误： OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c0000000, 1073741824, 0) failed; error='Cannot allocate memory' (errno=12) # # There is insufficient memo
Docker环境下的ES快照备份
kka1412的博客
01-09 1026
Docker环境下的ES快照备份仓库创建仓库查看仓库查看仓库列表快照创建快照查看快照删除快照还原 仓库 注册前要配置文件加上 path.repo: ["/usr/share/elasticsearch/backup"] ##注意ES容器备份地址只能选择/usr/share/elasticsearch目录 必须先注册一个快照仓库，然后才能进行快照和恢复操作，快照备份文件存放在仓库里。 如果是ES集群，备份的路径需要是所有节点都能够访问的地址，需要部署nfs，将仓库目录共享，并且所有ES节点都设置改目录为仓库
Docker容器启动失败修改内部配置文件
MAKEJAVAMAN的博客
08-23 969
Docker容器启动失败修改内部配置文件
【记录】docker容器无法启动后,如何修改里面的配置文件
qq_41287158的博客
07-11 2048
在容器内修改了一个配置文件，然后保存。再重新启动容器结果就启不来了。然而我们又想把刚才修改的配置给修改为原来的再启起来，我们该怎么办呢？
docker容器无法自启
坚持小胖子的博客
06-12 1384
 linux服务器无法开机自动启动容器，这个问题困扰了我很久，每次都是开机之后用命令（docker start xx)。查阅资料：试了以下方法1. 在/etc/init.d添加启动命令2. docker logs XX 查看启动日志发现文件中添加开机自启命令无效，还是无效，并且log中没有任何报错的命令。最后：看到这个方法。1. docker run的时候：docker run --restart...
群晖docker下载失败_群晖DS218+部署mysql
weixin_39971172的博客
11-20 967
起因是懒我是个Java程序员，在家写代码时离不开redis、mysql、kafka这些基础服务，通常做法是打开电脑，启动redis、mysql、kafka，用完再关闭电脑，麻烦呀(您想骂我懒么？您骂得对.....)并非第一次折腾之前曾折腾过家里的群晖DS218+，装了maven私服nexus3，地址：《群晖DS218+做maven私服(nexus3)》群晖DS218+家里有一台群晖DS218+，很...
ElasticSearch修改数据存储路径及创建仓库快照（实践可用！！！）
Ginny_2019的博客
03-22 7807
1.先备份ES中的数据，重要！！！ 运行准备的脚本，下面步骤中 2.创建新的存储路径 mkdir /home/elsearch/data/ 3.修改elasticsearch.yml中的路径，将旧路径改成新的路径 重要：修改路径之前一定要先停掉ES的服务，不然找不到数据路径，会将Linux跑崩溃的， 血的教训 旧的数据路径： path.data: /home/data/elastics...
docker安装Elasticsearch并挂在配置文件方法
06-07
以下是在Docker中安装Elasticsearch并挂载配置文件的步骤： 1. 准备配置文件：首先，您需要准备好Elasticsearch的配置文件。您可以从Elasticsearch官方网站下载默认配置文件，并将其保存在本地文件系统中。例如，将配置文件保存在`/path/to/elasticsearch.yml`。 2. 拉取Elasticsearch镜像：使用以下命令从Docker Hub上的官方Elasticsearch镜像中拉取最新版本的Elasticsearch： ``` docker pull docker.elastic.co/elasticsearch/elasticsearch:7.14.0 ``` 注意：此命令会拉取Elasticsearch 7.14.0版本的镜像，您也可以根据需要使用其他版本。 3. 启动Elasticsearch容器：使用以下命令在Docker中启动Elasticsearch容器，并将配置文件挂载到容器中： ``` docker run -p 9200:9200 -p 9300:9300 -v /path/to/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml docker.elastic.co/elasticsearch/elasticsearch:7.14.0 ``` 该命令会启动一个Elasticsearch容器，并将容器的9200和9300端口映射到主机的9200和9300端口。`-v /path/to/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml`参数将本地文件系统上的配置文件挂载到容器的`/usr/share/elasticsearch/config/elasticsearch.yml`路径中。 4. 验证Elasticsearch：在容器启动后，您可以在浏览器中访问http://localhost:9200，如果看到以下输出，则表示Elasticsearch已成功安装并正在运行： ``` { "name" : "xxxxx", "cluster_name" : "docker-cluster", "cluster_uuid" : "xxxxx", "version" : { "number" : "7.14.0", "build_flavor" : "default", "build_type" : "docker", "build_hash" : "xxxxx", "build_date" : "xxxxx", "build_snapshot" : false, "lucene_version" : "8.9.0", "minimum_wire_compatibility_version" : "6.8.0", "minimum_index_compatibility_version" : "6.0.0-beta1" }, "tagline" : "You Know, for Search" } ``` 以上就是在Docker中安装Elasticsearch并挂载配置文件的基本步骤。您可以根据需要自定义Elasticsearch容器的配置，并将其他文件挂载到容器中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值