kubernetes故障处理

最新推荐文章于 2024-04-12 09:23:38 发布
最新推荐文章于 2024-04-12 09:23:38 发布
阅读量248 收藏
点赞数
分类专栏： kubernetes 文章标签： kubernetes linux 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zorsea/article/details/128441908
版权

1、rbd挂载由于节点故障无法解绑

kubernetes节点宕机了，pvc依然还是会绑定在宕机节点上，这样会导致其它节点挂载不上，处理方法需要在ceph集群上把该挂载通过osd黑名单方式进行删除

1 先使用 rbd status pool-name/rbd-name 查看是否是被挂载使用中

rbd status okd311-m8user-rbd-pool/kubernetes-dynamic-pvc-0390a6ee-dfb2-11e9-8fbb-5254006c44e5

2 添加客户端到 ceph 黑名单

ceph osd blacklist add 172.28.64.18:0/2370571833

3 清理黑名单

ceph osd blacklist rm 172.28.64.18:0/2370571833

4 检查黑名单

ceph osd blacklist ls
ahisky
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
K8S节点GPU虚拟化(vGPU)
关于代码的那些事
02-26 703
vGPU实现方案4paradigm提供了k8s-device-plugin，该插件基于NVIDIA官方插件(NVIDIA/k8s-device-plugin)，在保留官方功能的基础上，实现了对物理GPU进行切分，并对显存和计算单元进行限制，从而模拟出多张小的vGPU卡。在k8s集群中，基于这些切分后的vGPU进行调度，使不同的容器可以安全的共享同一张物理GPU，提高GPU的利用率。此外，插件还可以对显存做虚拟化处理（使用到的显存可以超过物理上的显存），运行一些超大显存需求的任务，或提高共享的任务数。
k8s学习笔记——ceph rbd本地手动挂载
潮落拾贝
08-02 1920
//在客户端节点上执行 1、创建rbd手动挂载 //cephosd pool create <pool> [<pg_num:int>] [<pgp_num:int>] sudo ceph osd pool create rbd 5 5 //初始化pool为rbd应用 //rbd应用格式属于块存储，可以直接当硬盘挂载到操作系统或k8s容器下，不过不支持多点挂载同一个image，无法实现多点文件共享交换 sudo rbd pool init rbd //创..
【云原生】K8S中PV和PVC
怎么也想不出名字的博客
03-03 1394
容器磁盘上的文件的生命周期是短暂的，这就使得在容器中运行重要应用时会出现一些问题。首先，当容器崩溃时，kubelet 会重启它，但是容器中的文件将丢失——容器以干净的状态（镜像最初的状态）重新启动。其次，在Pod中同时运行多个容器时，这些容器之间通常需要共享文件。Kubernetes 中的Volume抽象就很好的解决了这些问题。Pod中的容器通过Pause容器共享Volume。这里定义5个PV，并且定义挂载的路径以及访问模式，还有PV划分的大小。
Kubernetes（K8s）与虚拟GPU（vGPU）：实现高效管理和利用GPU资源的最佳实践
最新发布
专注于全栈开发领域
04-12 377
Kubernetes是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用程序。它提供了一个灵活的、可扩展的架构，可以轻松地管理和编排大规模的容器集群。Kubernetes的核心概念包括Pod、Service、Deployment等，可以实现应用程序的高可用性、自动伸缩和负载均衡。虚拟GPU（vGPU）是一种将物理GPU划分为多个虚拟GPU的技术。vGPU使多个用户可以同时共享一块物理GPU，并在虚拟机或容器中独立地运行GPU加速的工作负载。
ceph-rbd kvm 删除数据后集群空间不释放
weixin_33695082的博客
06-29 1375
环境描述ceph版本：luminous 12.2.5OSD三节点，monitor三节点，同时运行在三台物理服务器；KVM宿主机运行多台虚拟机，其中一台挂载ceph-rbd块存储； KVM调用ceph-rbd1.ceph集群创建存储池，创建映像；2.ceph集群设定映像大小，属性；3.ceph集群创建针对此存储池访问账户，指定权限；4.KVM宿主机上创建虚拟机；5.编辑虚拟机配置文件，添加网络硬盘块...
手动解除k8s对ceph rbd的挂载
s7799653的博客
03-07 3328
pod漂移失败: 在 kubernetes 中,如果某个节点出现问题(比如 kubelet 服务不可用), 集群会自动把这个节点上的pod 飘到其他节点.但是,如果一个pod挂载了ceph rbd类型的存储卷(pv),那么这个pod在新节点上是无法正常启动的.会提示如下错误: Multi-Attach errorforvolume&quot;pvc-4f91d1a6-fcec-11e8-bd06-6c92b...
k8s（kubernetes）常见故障处理总结-详细笔记文档总结
06-21
kubernetes（k8s）常见故障处理总结 kubernetes（k8s）作为一个容器编排系统，广泛应用于云计算和大数据等领域。然而，在实际使用中，k8s 也会出现各种故障，影响系统的稳定性和可用性。因此，本文总结了 k8s 中...
kubernetes快速安装1
08-08
Kubernetes的出现使得系统设计者可以更专注于业务逻辑，因为它自动处理负载均衡、服务发现、高可用性、滚动升级和自动伸缩等任务，降低了开发和运维成本。Kubernetes的简写K8s源于其名称中的8个字母。 云原生应用...
Kubernetes基础概念1
08-04
通过 Kubernetes，开发者和运维人员能够构建可弹性扩展、高度可用的分布式系统，轻松应对应用程序的扩展要求、故障转移和多种部署模式，如Canary部署。 Kubernetes 架构由控制平面组件和工作节点组成。控制平面负责...
Kubernetes架构.pptx
05-26
1. **服务发现和负载均衡**：Kubernetes 通过DNS或自定义IP公开容器，可自动进行负载均衡，确保流量平稳分布，避免单点故障。 2. **存储编排**：支持自动挂载各种存储系统，如本地存储或云端存储，方便数据持久化。...
Kubernetes-cka1.28.pdf
12-20
在这个例子中，`webserver`这个Deployment被扩展到了6个Pod，以增加服务的可用性或处理能力。 第四个任务是关于Pod的节点选择器。节点选择器允许我们将Pod调度到具有特定标签的节点上。这里创建了一个名为`nginx-...
宕机处理：Kubernetes集群高可用实战总结
QcloudCommunity的博客
08-18 1667
导语 |在企业生产环境，Kubernetes高可用是一个必不可少的特性，其中最通用的场景就是如何在Kubernetes集群宕机一个节点的情况下保障服务依旧可用。本文对在该场景下实现集群...
大规模 Kubernetes 集群故障注入的利器-ChaosBlade
阿里巴巴中间件
10-31 792
01ChaosBladeAliware随着云原生的发展，云原生应用一致性、可靠性、灵活编排的能力让大部分企业选择将应用往云上迁移，但同时云基础设施在稳定性、可观测、也接受的强大的考验。ChaosBlade 是阿里巴巴开源的一款遵循混沌工程原理和混沌实验模型的实验注入工具，帮助企业提升分布式系统的容错能力，并且在企业上云或往云原生系统迁移过程中业务连续性保障。ChaosBlade Operator ...
深入剖析Kubernetes之资源模型和GPU 管理
Carroll的博客
09-04 186
在实际的使用中，强烈建议你将 DaemonSet 的 Pod 都设置为 Guaranteed 的 QoS 类型。否则，一旦 DaemonSet 的 Pod 被回收，它又会立即在原宿主机上被重建出来，这就使得前面资源回收的动作，完全没有意义了。
探索NVIDIA k8s-device-plugin：优化GPU资源管理的利器
gitblog_00002的博客
03-23 983
探索NVIDIA k8s-device-plugin：优化GPU资源管理的利器 项目地址:https://gitcode.com/NVIDIA/k8s-device-plugin 在现代云计算环境中，特别是深度学习和高性能计算应用中，GPU扮演着至关重要的角色。为了充分利用这些硬件资源，NVIDIA推出了k8s-device-plugin，这是一个专为Kubernetes设计的设备插件，用于高效、...
如何优雅的让 Kubernetes 集群使用 GPU 节点
easylife206的专栏
05-08 996
公众号关注「奇妙的 Linux 世界」设为「星标」，每天带你玩转 Linux ！如何让你的Kubernetes 集群使用 GPU 节点CUDA 驱动程序如果您还没有这样做，请确保您已在GPU节点上安装了NVIDIA CUDA驱动程序。CUDA是来自nvidia的并行计算平台。https://docs.nvidia.com/cuda/cuda-install...
Kubernetes容器平台下的 GPU 集群算力管控
alauda_andy的博客
03-28 1315
这种结合将充分发挥每块显卡的算力，并通过 Kubernetes 的弹性伸缩特性，实现对 GPU 算力的灵活调度和管理，为大规模 AI 模型的训练和推理提供了可靠的基础支持。在单个进程的任务处理，对GPU利用率不高的情况下是非常有用的。GPU 虚拟化，除了 GPU 厂商能够在硬件和驱动层面对各种资源进行划分进而形成隔离的虚拟化方案之外，其他主流方案本质上都是对 CUDA 调用的劫持与管控，这里包括阿里的 cGPU、百度的 qGPU、火山引擎的 mGPU 和灵雀云的 vGPU 方案等。
使用 Elastic GPU 管理 Kubernetes GPU 资源
吉小白的博客
04-20 3132
关于我们 更多关于云原生的案例和知识，可关注同名【腾讯云原生】公众号~ 福利： ①公众号后台回复【手册】，可获得《腾讯云原生路线图手册》&《腾讯云原生最佳实践》~ ②公众号后台回复【系列】，可获得《15个系列100+篇超实用云原生原创干货合集》，包含Kubernetes 降本增效、K8s 性能优化实践、最佳实践等系列。 ③公众号后台回复【白皮书】，可获得《腾讯云容器安全白皮书》&《降本之源-云原生成本管理白皮书v1.0》 ④公众号后台回复【光速入门】，可获得腾讯云专家5万字精华教程，光速入门
k8s node故障处理
10-11
当一个 Kubernetes 节点出现故障时，可以采取以下步骤进行处理： 1. 确认节点是否真的故障，可以通过检查节点的状态和日志来判断。 2. 如果节点无法恢复，可以将其从集群中删除。 3. 如果节点上运行了一些 Pod，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值