遇到问题---ceph---ceph的rbd命令没反应卡住

最新推荐文章于 2024-07-10 21:25:10 发布
最新推荐文章于 2024-07-10 21:25:10 发布
阅读量7.5k 收藏 2
点赞数
分类专栏： 云存储云计算 遇到问题解决方案集锦
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zzq900503/article/details/80328428
版权
本文介绍了当Ceph的rbd命令无响应时如何进行故障排查和解决。问题源于集群的不健康状态，可能是由于副本数量不足或PG数量不够。解决方案包括调整副本数、检查网络和时间同步服务，以及重启OSD节点。通过执行特定的Ceph命令，可以诊断和修复问题，最终恢复集群健康。
摘要由CSDN通过智能技术生成

情况

ceph的rbd命令没反应卡住
使用命令查看健康状态

ceph -s

如下图:

原因

undersized+degraded+peered
集群处于不健康的状态，所以禁止了io读写。

有两种可能一种是osd的节点不够副本的设置数量，比如设置了3副本但是只有2个osd。

另一个可能是 pg的num不够，会报错too few PGs per OSD (21 < min 30)。

这种情况下除了增加osd之外可以减少副本数量。

更多诊断方式

使用命令

ceph osd dump --format=json-pretty |more

输出如下:


                

                
                
        

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
            

        

    

      

        

            

              
                
                  张小凡vip
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          

                

                        订阅专栏
                









                



	

		

			

				
					
K8s-ceph-csi-rbd连接资源

				
			

			

				

					06-15
				

			

		

		

			
				
RBD（RADOS Block Device）是Ceph中的块存储组件，它允许直接将Ceph存储作为块设备映射到计算节点。CSI（Container Storage Interface）是Kubernetes定义的一个标准接口，旨在使存储提供商能够为Kubernetes提供存储...

			
		

	



                

              
                



	

		

			

				
					
【ceph】ceph集群在执行ceph-volume命令卡住了，惊住了！

				
			

			

				

					zerotoall的博客
				

				

					11-17
					
					354
					
				

			

		

		

			
				
【ceph】ceph集群在执行ceph-volume命令卡住了，惊住了！

			
		

	



                


  
              

                


	

		

			

				
					
ceph rados ls命令卡死不返回

				
			

			

				

					winux的专栏
				

				

					11-29
					
					4013
					
				

			

		

		

			
				
在测试ceph故障时，发现如果osd节点故障，那么 rados ls命令将长时间hang住，一直不返回。
测试是这样进行的，

搭建一个由1个monitor, 3个OSD组成的集群。
创建一个pool tp, size=3,
关闭osd2, osd3
运行命令rados -p tp ls ，会发现命令一直不返回。

从ceph的bug库里面看到一个类似的记录： http://tracker.cep...

			
		

	





	

		

			

				
					
Ceph块存储系统RDB接口

					
最新发布

				
			

			

				

					2402_83805984的博客
				

				

					07-10
					
					2247
					
				

			

		

		

			
				
在管理节点对镜像创建快照。列出指定镜像所有快照。限制镜像可创建快照数。

			
		

	



		

			
		



	

		

			

				
					
记一次ceph排错过程

				
			

			

				

					Moolight_shadow的专栏
				

				

					07-17
					
					1268
					
				

			

		

		

			
				
问题描述

ceph作为openstack cinder的后端存储，在openstack创建云硬盘的时候报错，其中 /var/log/cinder/scheduler.log报错如下



2018-07-09 08:49:16.996 974009 ERROR cinder.scheduler.filter_scheduler [req-e97fdc3e-e66b-461e-a1ff-bb064...

			
		

	





	

		

			

				
					
Ceph 的简单部署步骤

				
			

			

				

					未冬生
				

				

					12-30
					
					9767
					
				

			

		

		

			
				
部署方案：一台 admin，一台 mds + mon，两台 OSD，四台都是在虚拟机上安装CentOS7.


1、
部署完 MON 之后，通过 ceph -s 查看集群状态，提示 ERROR: missing keyring, cannot use cephx for authentication

[ceph@mdsmon ~]$ ceph -s
2015-12-29 23:49

			
		

	





	

		

			

				
					
Ceph问题及解决办法

				
			

			

				

					gaoZhuanMing的博客
				

				

					11-28
					
					864
					
				

			

		

		

			
				
问题1
创建存储池之后出现 100.000% pgs not active，导致后续 rbd 命令执行时卡住不返回？
解决办法：
cd /etc/ceph/
ceph osd getcrushmap -o /etc/ceph/crushmap
crushtool -d /etc/ceph/crushmap -o /etc/ceph/crushmap.txt
sed -i 's/step chooseleaf firstn 0 type host/step chooseleaf firstn 0 type o

			
		

	





	

		

			

				
					
ceph15（Octopus）问题排查处理 - centos8

				
			

			

				

					盲盒岛
				

				

					06-30
					
					3648
					
				

			

		

		

			
				
由测试集群关闭两周重新启动后而引发的问题排查！！！
eg1：mds error 错误排查
[root@ceph135 ~]# ceph orch ps --daemon-type mds
NAME HOST STATUS REFRESHED AGE VERSION IMAGE NAME IMAGE ID CONTAINER ID
mds.fs-cluster.ceph135.loopbh ceph135 running (98s) 17s ago 13d 15.2.3 docker.io/ceph/ceph

			
		

	





	

		

			

				
					
Ceph常见问题

				
			

			

				

					任我行的博客
				

				

					04-11
					
					3011
					
				

			

		

		

			
				
进一步查看Pod的资源定义，可以看到负责创建的脚本/opt/ceph/ceph-storage-key.sh挂载自ConfigMap ceph-bin中的ceph-storage-key.sh。可以看到牵涉到两个Secret：pvc-ceph-conf-combined-storageclass、pvc-ceph-client-key，你需要把正确的Keyring内容写入其中。对于ID为14的OSD，将宿主机/var/lib/ceph/osd/ceph-14/keyring的内容替换为。

			
		

	





	

		

			

				
					
ceph-luminous.tar.gz

				
			

			

				

					05-15
				

			

		

		

			
				
3. **多协议支持**: Ceph Luminous不仅支持传统的RADOS Block Device (RBD)和Ceph File System (CephFS)，还引入了对OpenStack Cinder和Swift的支持，使其成为OpenStack云环境的理想存储后端。  4. **Erasure Coding...

			
		

	





	

		

			

				
					
云存储---ceph简介架构原理和一些基本概念

				
			

			

				

					01-27
				

			

		

		

			
				
Ceph是一个高度分布式、弹性的开源存储解决方案，旨在提供对象、块和文件存储服务，同时具备高可用性、高扩展性和容错能力。Ceph最初由Sage Weil开发，作为一个PhD研究项目，旨在创建高性能的分布式文件系统。随着...

			
		

	





	

		

			

				
					
Ceph学习笔记2-在Kolla-Ansible中使用Ceph后端存储

				
			

			

				

					10-31
				

			

		

		

			
				
### Ceph学习笔记2-在Kolla-Ansible中使用Ceph后端存储  #### 环境搭建与概述  本篇文章将引导读者通过Kolla-Ansible在CentOS 7上部署OpenStack Queens，并结合Ceph作为后端存储解决方案。文章假定读者已熟悉基本的...

			
		

	





	

		

			

				
					
Ceph性能优化与增强

				
			

			

				

					渡江客涂鸦板
				

				

					05-28
					
					3009
					
				

			

		

		

			
				
Ceph是一个非常复杂的存储系统，它具有几种我们可以用来提高性能的方式。幸运的是，Ceph的开箱即用非常好，许多性能设置几乎利用了自动调整和缩放功能。在探索一些性能增强时，了解您的工作负载很重要，这样您就可以选择最适合您的选项。

			
		

	





	

		

			

				
					
"ceph"这个命令无法使用

				
			

			

				

					Hequan的专栏
				

				

					04-05
					
					3400
					
				

			

		

		

			
				
如果你也遇到了这个问题：[root@node3 sh]# ceph -s
Traceback (most recent call last):
  File "/usr/local/bin/ceph", line 112, in <module>
    from ceph_argparse import \
ImportError: cannot import name descsort_key

			
		

	





	

		

			

				
					
Ceph 存储（最详细！）

					
热门推荐

				
			

			

				

					A1100886的博客
				

				

					07-14
					
					1万+
					
				

			

		

		

			
				
存储机制会把数据分散存储到多个节点上，具有高扩展性、高性能、高可用性等优点。Ceph使用C++语言开发，是一个开放、自我修复和自我管理的开源分布式存储系统。具有高扩展性、高性能、高可靠性的优点。Ceph目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack，Kubernetes都可与Ceph整合以支持虚拟机镜像的后端存储。粗略估计，我国70%—80%的云平台都将Ceph作为底层的存储平台，由此可见Ceph俨然成为了开源云平台的标配。

			
		

	





	

		

			

				
					
k8s学习笔记——ceph rbd本地手动挂载

				
			

			

				

					潮落拾贝
				

				

					08-02
					
					2000
					
				

			

		

		

			
				
//在客户端节点上执行

1、创建rbd手动挂载


//cephosd pool create <pool> [<pg_num:int>] [<pgp_num:int>]

sudo ceph osd pool create rbd 5 5

//初始化pool为rbd应用

//rbd应用格式属于块存储，可以直接当硬盘挂载到操作系统或k8s容器下，不过不支持多点挂载同一个image，无法实现多点文件共享交换

sudo rbd pool init rbd

//创..

			
		

	





	

		

			

				
					
ceph运维操作及解决问题

				
			

			

				

					明日之星
				

				

					05-23
					
					867
					
				

			

		

		

			
				
分布式存储ceph运维操作
—、统一节点上ceph.conf 文件
如果是在admin节点修改的ceph.conf，想推送到所有其他节点，则需要执行下述命令
ceph-deploy --overwrite-conf config push mon01 mon02 mon03 osd01 osd02 osd03

修改完毕配置文件后需要重启服务生效
二、ceph集群服务管理
@@!!!下述操作均需要在具体运行服务的那个节点上运行，而不是admin节点!!! @@
1.方式一
在各具体节点执行下行命令，重启节点

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
张小凡vip

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值