k8s集群中namespace状态一直显示Terminating

于 2024-02-04 10:07:59 发布
阅读量118 收藏
点赞数
文章标签： kubernetes docker 容器
原文链接：https://blog.csdn.net/weixin_40579389/article/details/134186164
版权

一、问题现象

今天在做测试时，在一个namespace下无法启动pod，查看ns状态一直显示Terminating

[root@node1 ~]# kubectl get ns
NAME                   STATUS        AGE
configmap              Terminating   135d
default                Active        207d
harbor                 Active        207d
kube-flannel           Terminating   17m
kube-node-lease        Active        207d
kube-public            Active        207d
kube-system            Active        207d
kubekey-system         Active        207d
kubernetes-dashboard   Active        207d
local-path-storage     Active        187d
nginx                  Active        146d
test                   Terminating   126d

使用–force 删除也是一直卡着的状态

[root@node1 ~]# kubectl delete ns test --force 
Warning: Immediate deletion does not wait for confirmation that the running resource has been terminated. The resource may continue to run on the cluster indefinitely.
namespace "test" force deleted

二、查看ns下的资源

根据以上现象，怀疑是该ns下有未释放的资源，使用如下命令查看

1: 查看所有资源
[root@node1 ~]# kubectl get all -n  test
No resources found in test namespace.
[root@node1 ~]# 
以上得知该ns下没有任何未释放的资源

##################
我看网上有使用kubectl api-resources -o name --verbs=list --namespaced | xargs -n 1 kubectl get --show-kind --ignore-not-found -n test这个命令查看的，也是返回结果为空

三、问题处理

以json格式导出ns的详细信息

[root@node1 ~]# kubectl get  ns test -o json  > test.json

编辑test.json文件，确保spec中内容为空，如下：

    "spec": {
        "finalizers": [    #########
            "kubernetes"   ######### 删除这三行内容，告知k8s要删除的ns中内容为空
        ]                  #########
    },

将空ns通过调用k8s的api接口覆盖掉原来的ns

[root@node1 ~]# curl -k \
> -H "Content-Type: application/json" \
> -X PUT \
> --data-binary @test.json \
> http://127.0.0.1:8081/api/v1/namespaces/test/finalize
curl: (7) Failed connect to 127.0.0.1:8081; Connection refused

因为k8s主节点使用了认证，如果直接使用命令会拒绝连接,需要使用kube-proxy进行代理8081端口

使用kube-proxy开启端口

[root@node1 ~]# kubectl proxy --port=8081 
Starting to serve on 127.0.0.1:8081

 打开新的终端，再次执行上述命令，返回如下内容

[root@node1 ~]# curl -k -H "Content-Type: application/json" -X PUT --data-binary @test.json http://127.0.0.1:8081/api/v1/namespaces/test/finalize
{
  "kind": "Namespace",
  "apiVersion": "v1",
  "metadata": {
    "name": "test",
    "uid": "f2676c45-a75b-49be-9e01-84958bedc4a0",
    "resourceVersion": "33942216",
    "creationTimestamp": "2023-06-28T06:02:07Z",
    "deletionTimestamp": "2023-06-28T06:02:24Z",
    "labels": {
      "kubernetes.io/metadata.name": "test"
    },
    "annotations": {
      "kubectl.kubernetes.io/last-applied-configuration": "{\"apiVersion\":\"v1\",\"kind\":\"Namespace\",\"metadata\":{\"annotations\":{},\"creationTimestamp\":\"2023-06-28T06:02:07Z\",\"deletionTimestamp\":\"2023-06-28T06:02:24Z\",\"labels\":{\"kubernetes.io/metadata.name\":\"test\"},\"name\":\"test\",\"resourceVersion\":\"28081915\",\"uid\":\"f2676c45-a75b-49be-9e01-84958bedc4a0\"},\"spec\":{},\"status\":{\"conditions\":[{\"lastTransitionTime\":\"2023-06-28T06:02:29Z\",\"message\":\"Discovery failed for some groups, 1 failing: unable to retrieve the complete list of server APIs: metrics.k8s.io/v1beta1: an error on the server (\\\"Internal Server Error: \\\\\\\"/apis/metrics.k8s.io/v1beta1\\\\\\\": the server could not find the requested resource\\\") has prevented the request from succeeding\",\"reason\":\"DiscoveryFailed\",\"status\":\"True\",\"type\":\"NamespaceDeletionDiscoveryFailure\"},{\"lastTransitionTime\":\"2023-06-28T06:02:29Z\",\"message\":\"All legacy kube types successfully parsed\",\"reason\":\"ParsedGroupVersions\",\"status\":\"False\",\"type\":\"NamespaceDeletionGroupVersionParsingFailure\"},{\"lastTransitionTime\":\"2023-06-28T06:02:29Z\",\"message\":\"All content successfully deleted, may be waiting on finalization\",\"reason\":\"ContentDeleted\",\"status\":\"False\",\"type\":\"NamespaceDeletionContentFailure\"},{\"lastTransitionTime\":\"2023-06-28T06:02:29Z\",\"message\":\"All content successfully removed\",\"reason\":\"ContentRemoved\",\"status\":\"False\",\"type\":\"NamespaceContentRemaining\"},{\"lastTransitionTime\":\"2023-06-28T06:02:29Z\",\"message\":\"All content-preserving finalizers finished\",\"reason\":\"ContentHasNoFinalizers\",\"status\":\"False\",\"type\":\"NamespaceFinalizersRemaining\"}],\"phase\":\"Terminating\"}}\n"
    },
    "managedFields": [
      {
        "manager": "kubectl-create",
        "operation": "Update",
        "apiVersion": "v1",
        "time": "2023-06-28T06:02:07Z",
        "fieldsType": "FieldsV1",
        "fieldsV1": {
          "f:metadata": {
            "f:labels": {
              ".": {},
              "f:kubernetes.io/metadata.name": {}
            }
          }
        }
      },
      {
        "manager": "kube-controller-manager",
        "operation": "Update",
        "apiVersion": "v1",
        "time": "2023-09-27T07:02:23Z",
        "fieldsType": "FieldsV1",
        "fieldsV1": {
          "f:status": {
            "f:conditions": {
              ".": {},
              "k:{\"type\":\"NamespaceContentRemaining\"}": {
                ".": {},
                "f:lastTransitionTime": {},
                "f:message": {},
                "f:reason": {},
                "f:status": {},
                "f:type": {}
              },
              "k:{\"type\":\"NamespaceDeletionContentFailure\"}": {
                ".": {},
                "f:lastTransitionTime": {},
                "f:message": {},
                "f:reason": {},
                "f:status": {},
                "f:type": {}
              },
              "k:{\"type\":\"NamespaceDeletionDiscoveryFailure\"}": {
                ".": {},
                "f:lastTransitionTime": {},
                "f:message": {},
                "f:reason": {},
                "f:status": {},
                "f:type": {}
              },
              "k:{\"type\":\"NamespaceDeletionGroupVersionParsingFailure\"}": {
                ".": {},
                "f:lastTransitionTime": {},
                "f:message": {},
                "f:reason": {},
                "f:status": {},
                "f:type": {}
              },
              "k:{\"type\":\"NamespaceFinalizersRemaining\"}": {
                ".": {},
                "f:lastTransitionTime": {},
                "f:message": {},
                "f:reason": {},
                "f:status": {},
                "f:type": {}
              }
            }
          }
        },
        "subresource": "status"
      },
      {
        "manager": "kubectl-client-side-apply",
        "operation": "Update",
        "apiVersion": "v1",
        "time": "2023-11-02T02:46:01Z",
        "fieldsType": "FieldsV1",
        "fieldsV1": {
          "f:metadata": {
            "f:annotations": {
              ".": {},
              "f:kubectl.kubernetes.io/last-applied-configuration": {}
            }
          }
        }
      }
    ]
  },
  "spec": {},
  "status": {
    "phase": "Terminating",
    "conditions": [
      {
        "type": "NamespaceDeletionDiscoveryFailure",
        "status": "True",
        "lastTransitionTime": "2023-06-28T06:02:29Z",
        "reason": "DiscoveryFailed",
        "message": "Discovery failed for some groups, 1 failing: unable to retrieve the complete list of server APIs: metrics.k8s.io/v1beta1: an error on the server (\"Internal Server Error: \\\"/apis/metrics.k8s.io/v1beta1\\\": the server could not find the requested resource\") has prevented the request from succeeding"
      },
      {
        "type": "NamespaceDeletionGroupVersionParsingFailure",
        "status": "False",
        "lastTransitionTime": "2023-06-28T06:02:29Z",
        "reason": "ParsedGroupVersions",
        "message": "All legacy kube types successfully parsed"
      },
      {
        "type": "NamespaceDeletionContentFailure",
        "status": "False",
        "lastTransitionTime": "2023-06-28T06:02:29Z",
        "reason": "ContentDeleted",
        "message": "All content successfully deleted, may be waiting on finalization"
      },
      {
        "type": "NamespaceContentRemaining",
        "status": "False",
        "lastTransitionTime": "2023-06-28T06:02:29Z",
        "reason": "ContentRemoved",
        "message": "All content successfully removed"
      },
      {
        "type": "NamespaceFinalizersRemaining",
        "status": "False",
        "lastTransitionTime": "2023-06-28T06:02:29Z",
        "reason": "ContentHasNoFinalizers",
        "message": "All content-preserving finalizers finished"
      }
    ]
  }
}

查看ns是否被删除

[root@node1 ~]#kubectl get ns    ####名为test的ns已经被删除 
NAME                   STATUS        AGE
configmap              Terminating   135d
default                Active        207d
harbor                 Active        207d
kube-flannel           Terminating   21m
kube-node-lease        Active        207d
kube-public            Active        207d
kube-system            Active        207d
kubekey-system         Active        207d
kubernetes-dashboard   Active        207d
local-path-storage     Active        187d
nginx                  Active        146d

其他Terminating状态的ns也可以使用上述方法删除
#######################
注意，ns的名字不要用和资源类型一样，要不然会把ns名称识别成资源类型报错。上面名为configmap的ns就是这个问题，导致删除报错无法清理，只能调用etcd进行删除。

振宇i
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
查看、分析memcached使用状态
06-04
访问量上升，数据库压力大，怎么办？好办法是在中间挡一层缓存！这个缓存要求高效，不能比数据库慢，否则服务质量受影响；如果能把数据用hash打散存储到硬盘，也是可以的，不过在内存越来越便宜的今天，还是使用内存吧！
在大规模Kubernetes集群上实现高SLO的方法1
08-03
1. Cluster health state 2. Success rate 3. Number of Terminating Pod 1. Collect
oracle 11g rac terminating the instance due to error 481 Doc ID 1383737.1
07-02
oracle 11g rac terminating the instance due to error 481 Doc ID 1383737.1
Microsoft Codeview and Utilities User's Guide
04-30
从 Windows 3.0 SDK 发掘的资源，英文原版 + HTML版本 Microsoft Codeview and Utilities User's Guide Microsoft(R) CodeView(R) and Utilities User's Guide Version 2.3 for MS(R) OS/2 and MS-DOS(R) Operating Systems MICROSOFT CORPORATION Information in this document is subject to change without notice and does not represent a commitment on the part of Microsoft Corporation. The software described in this document is furnished under a license agreement or nondisclosure agreement. The software may be used or copied only in accordance with the terms of the agreement. It is against the law to copy the software on any medium except as specifically allowed in the license or nondisclosure agreement. No part of this manual may be reproduced or transmitted in any form or by any means, electronic or mechanical, including photocopying and recording, for any purpose without the express written permission of Microsoft. (c)Copyright Microsoft Corporation, 1987, 1989. All rights reserved. Simultaneously published in the U.S. and Canada. Printed and bound in the United States of America. Microsoft, MS, MS-DOS, XENIX, and CodeView are registered trademarks of Microsoft Corporation. AT&T is a registered trademark of American Telephone and Telegraph Company. Eagle is a registered trademark of Eagle Computer, Inc. IBM is a registered trademark of International Business Machines Corporation. Intel is a registered trademark of Intel Corporation. Lotus is a registered trademark of Lotus Development Corporation. Tandy is a registered trademark of Tandy Corporation. Document No. LN0801A-500-R00-0889 Part No. 07824 10 9 8 7 6 5 4 3 2 1 %@CR:MCVTOC00@% Table of Contents Introduction New Features of the CodeView(R) Debugger About this Manual Document Conventions Part 1 The CodeView Debugger Chapter 1 Getting Started 1.1 Restrictions 1.2 The CodeView Environment 1.3 Preparing Programs for the CodeView Debugger 1.3.1 Programming Considerations 1.3.2 CodeView Compile Options 1.3.3 CodeView Link
电源技术中的研诺推出恒电流升压转换器AAT1239-1
11-24
研诺逻辑科技有限公司(AnalogicTech， 纳斯达克股票市场代码：AATI) ，今日宣布推出一款高频率、高效率、恒电流升压转换器AAT1239-1，它可驱动多达10个串联的白光型发光二极管(WLED)。该款新型驱动器芯片是针对个人导航设备(PND)、电子词典、电子相框和蜂窝手机的背光应用专门设计，采用研诺专有的简化串行控制S2C单线接口，有效地减少常用的低频率脉宽调制(PWM)控制设计中产生的屏闪。   “由于便携式系统设计人员在其产品中不断扩充功能，因此他们需要使用日趋先进的照明功能来支持那些新的性能，”研诺产品线经理Phil Dewsbury说道。“通过驱动多达10个串联的WLED
k8s中namespace处于Terminating状态
qq_43164571的博客
06-16 2584
每当删除 namespace 或 pod 等一些 Kubernetes 资源时，有时资源状态会卡在 Terminating，很长时间无法删除，甚至有时增加 --force grace-period=0 之后还是无法正常删除。这时就需要 edit 该资源，或者将该资源导出为 json（通过调用原生接口进行删除）, 将 finalizers 字段设置为 []，之后 Kubernetes 资源就正常删除了。 查看ns装填 # kubectl get ns NAME STATUS .
k8s集群namespace一直处于Terminating状态不释放解决办法
我是小bā吖的博客
04-13 2066
Kubernetes中namespace有两种常见的状态，即Active和Terminating状态，其中Terminating状态一般会比较少见，当对应的命名空间下还存在运行的资源，但该命名空间被删除时才会出现所谓的Terminating状态，这种情况下只要等待Kubernetes本身将命名空间下的资源回收后，该命名空间将会被系统自动删除。想要删除kuboard这个命名空间，但是命名空间却一直处于Terminating状态不释放。但大部分时候，这些资源也杀不掉，最好的解决办法是使用原生接口删除。
Namespace 无法删除一直处于 Terminating 状态
因上努力，果上随缘。但行好事，莫问前程。
07-27 3684
4.执行如下命令来删除namespace，其中tmp.json为第一步中导出的json文件，需替换为实际的namespace。删除namespace失败，通过kubectl查看namespace状态，发现其一直处于terminating状态。如果依然存在资源未被删除，需等待其被清理。如果没有残留资源，却依然处于Terminating状态，可参照后续步骤执行。5.重新查看namespace是否被删除，此时应该已经删除了。......
【转载】namespace为啥会Terminating？以及解决方法
liu_阳的博客
03-10 958
当我们删除集群中的某个namespace之后，有时候namespace并没有按照我们的期望正常删除，而是一直卡在Terminating状态。本文主要讨论下Terminating状态发生的可能性以及解决办法。 删除namespace后发生了什么 我们从kubectl delele namespace动作开始，当执行了删除命名空间的动作后，k8s并不会直接删除该命名空间，而是设置了namespace对象的metadata.deleteTimestasp字段，然后kube-controlller-manager组
云原生|kubernetes|删除不掉的namespace 一直处于Terminating状态的解决方案
zsk_john的技术分享专用博客
06-24 2596
在kubesphere部署的过程中，由于kubernetes集群的版本和kubesphere的版本不匹配，因此想要回退重新部署，但发现要用的namespace kubesphere-system普通的删除方法无效，一直处于Terminating状态
自动更新
dkopg24406的专栏
09-04 376
C# 编写自动更新程序 现在但凡是一个程序都有相应的升级程序，如果你的程序没有相应的升级程序，那么你就需要留意了。你的用户很可能丢失！！！网上关于自动升级的例子也有很多，前几天一个朋友很苦恼的跟我说它的客户在逐渐减少（据他所说，他都客户因为他的程序升级很麻烦，所以很多人放弃了使用它的软件），问我说怎么办？其实他也知道该怎么办？所以...朋友嘛！就给他做了一个自动升级程序。恰好今...
K8S：分享一次“乌龙问题”（人为导致的无法正常删除命名空间）
ttropsstack的博客
05-07 274
结合官方文档相关资料和自己平常的经验反思了一下这个事情，kube-state-metrics 组件是负责监控 K8S 集群的状态，并且它会定期获取集群内各个资源的指标数据，这些指标数据会被 Metrics Server 组件使用。当 kube-state-metrics 组件无法正常工作时，Metrics Server 组件就无法获取到指标数据，从而导致 Metrics Server 组件无法正常运行。
k8s删除Terminating状态的命名空间
qq_29860591的博客
07-26 1125
k8s中namespace有两种常见的状态，即Active和Terminating状态，其中后者一般会比较少见，只有当对应的命名空间下还存在运行的资源，但是该命名空间被删除时才会出现所谓的terminating状态，这种情况下只要等待k8s本身将命名空间下的资源回收后，该命名空间将会被系统自动删除。但是今天遇到命名空间下已没相关资源，但依然无法删除terminating状态的命名空间的情况，特此...
静态代码检查工具PMD安装、使用
最新发布
听海边涛声
08-31 1810
静态代码检查工具PMD安装、使用
关闭Tomcat报错appears to have started a thread named [Abandoned connection-cleanup] but has failed to st
热门推荐
chenzhiyuan09的专栏
05-27 1万+
关闭Tomcat报错The web application [ROOT] appears to have started a thread named [Abandoned connection cleanup thread] but has failed to stop it. This is very likely to create a memory leak.
k8s delete namespace Terminating
Vv的博客
06-21 3479
k8s delete namespace Terminating
k8s的namespace资源一直terminating问题解决
lyf0327的博客
04-19 2625
问题：删除ns时一直显示terminating的状态 解决： 方法一： 通过强制删除，并且设置优雅删除时间为0（默认为30s） kubectl delete ns cattle-system --force --grace-period=0 实践后发现并不好使 方法二： 通过k8s提供的api接口，把.metadata.finalizers字段及其内容删除，从而k8s会直接将该ns删除 $ kubectl get ns cattle-system -o json > cattle-s
k8s删除namespace失败,状态Terminating解决方案,cattle-system一直为Terminating状态解决方案
码农崛起
12-08 1903
解决方案,删除其中的spec字段，因为k8s集群是携带认证的： kubectl proxy--port=8081 & 1，导出信息 kubectl get namespace wubo -o json > tmp.json 2，删除spec 3 执行 curl -k -H "Content-Type: application/json" -X PUT --data-binary @tmp.json http://127.0.0.1:8081/api/v1/namespa.
65 K8S的namespace一直处于terminating状态怎么办
明日之星
03-20 584
1、方法一 2、方法二 3、方法三 4、方法四 （1）尝试了强制删除 kubectl delete namespace [namespace] --force --grace-period=0 和通过接口删除不怎么好使，下来有时间再做详细研究。（2）直接问我们公司大佬，平常在工作中帮助我不少，感觉欠人家许多人情，有机会一定回报。（这个是我的心理话，大家勿喷！）
k8s namespace中terminating是
06-13
"terminating"是Kubernetes Namespace的一种状态，表示该Namespace正在被删除。当删除一个Namespace时，Kubernetes会将Namespace的状态设置为"terminating"，并且开始删除该Namespace中的所有资源对象。一旦所有资源对象都被删除，Kubernetes会将Namespace的状态设置为"Terminated"。在Namespace处于"terminating"状态时，该Namespace中的所有资源对象都不能被修改或删除。只有在Namespace的状态切换为"Terminated"后，才能再次创建同名的Namespace。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值