分布式存储ceph osd 常用操作

查看 集群osd 状态:

ceph osd tree

或

ceph osd df tree

WEIGHT 调整（默认1T大小硬盘比率为1,500G比率为0.5，可根据实际需求调整）：

#ceph osd ｛osd_id｝ crush reweight ｛ratio｝

ceph osd 7  crush reweight  1.8342

REWEIGHT调整（设置新写入数据权重值，硬盘使用率较高时降低权重以平衡数据）。

#ceph osd reweight ｛osd_id｝ ｛ratio｝

ceph osd reweight 23 1

自动调整REWEIGHT, 按使用率均衡数据存储（根据硬盘使用率调整新数据写入比重）：

ceph osd reweight-by-utilization

设备关机维护时禁止状态更新和数据平衡：

for i in noout nodown nobackfill norecover norebalance noscrub nodeep-scrub;do ceph osd set $i;done

#或者单条命令输入：
ceph osd set noout
ceph osd set norecover
ceph osd set norebalance
ceph osd set nobackfill
ceph osd set nodown
ceph osd set pause
ceph osd set noscrub
ceph osd set nodeep-scrub
###设备启动完成并确认所有osd上线后：

for i in noout nodown nobackfill norecover norebalance noscrub nodeep-scrub;do ceph osd unset $i;done

###或
ceph osd unset noout
ceph osd unset norecover
ceph osd unset norebalance
ceph osd unset nobackfill
ceph osd unset nodown
ceph osd unset pause
ceph osd unset noscrub
ceph osd unset nodeep-scrub

故障盘定位：

###定位故障盘

ceph osd tree | grep -i down

单个osd启动：

##使用ceph osd tree 查看osd挂载所对应的节点：
### systemctl restart ceph-osd@｛osd_id｝
systemctl restart ceph-osd@1
#在线设置osd的up 或 down 状态

###手动设置指定id 的osd up 状态
#ceph osd in osd.{id}
###先确认osd硬件挂载正常且无错误信息
ceph osd in osd.1
###手动设置指定id 的osd down 状态
#ceph osd out osd.{id}
ceph osd out osd.1

从集群中删除osd

###手动删除指定id的osd
#ceph osd rm osd.{id}
ceph osd rm osd.1

从集群中删除osd的crush信息

###手动删除指定id的osd的crush信息
#ceph osd crush rm osd.{id}
ceph osd crush rm osd.1

从集群中删除osd的认证auth信息

###手动删除指定id的osd的auth信息
#ceph auth del osd.{id}
ceph auth del osd.1

osd 根据磁盘类型分组调整

###查看已有磁盘类型
ceph osd crush class ls

###如不满足多个类型, 先删除osd已有类型
for i in {0..11} ; do ceph osd crush rm-device-class osd.$i;done

###将指定磁盘设置分组
for i in {0..11};do ceph osd crush set-device-class ssd osd.${i};done

###新建ssd和hdd磁盘对应分类规则
ceph osd crush rule create-replicated rule-ssd default host ssd
ceph osd crush rule create-replicated rule-hdd default host hdd

###创建存储池并应用相应规则
#ceph osd pool create ｛ssdpool｝ ｛64｝ ｛64｝ ｛rule-ssd｝
ceph osd pool create ssdpool 64 64 rule-ssd
ceph osd pool create hddpool 64 64 rule-hdd

###修改已创建pool绑定的rule
# ceph osd pool set ｛volumes｝ crush_rule rule-ssd
ceph osd pool set cephfs_data crush_rule rule-ssd
ceph osd pool set cephfs_metadata crush_rule rule-ssd

###查看存储池信息
ceph osd pool ls detail

调整 pool 副本数量（大部分系统默认副本数为3，表示同一份数据存储多少个备份，不重要的数据可设置为2或1）

###查看testpool1的副本数量：
ceph osd pool get testpool1 size
###将testpool1的副本数量设置为2：
ceph osd pool set testpool1 size 2

###将testpool1的最小副本数量设置为1：
ceph osd pool set testpool1 min_size 1

ceph中pg代表数据分布，默认已经开启了自动调整，

很多情况下需要手动调整pg数量，设置ceph的pg或pgp数量（自动调整或手动调整）：

###查看pg自动调整是否开启：
ceph osd pool autoscale-status

###查看单个pool的pg自动调整状态：
ceph osd pool get testpool1 pg_autoscale_mode

###将testpool1的pg自动调整关闭：
ceph osd pool set testpool1 pg_autoscale_mode off

###关闭之后手动调整testpool的pg和pgp数量
ceph osd pool set testpool1 pg_num 64
ceph osd pool set testpool1 pgp_num 64