离线安装ceph集群(ceph-13.2.10)

记录：332

场景：在CentOS 7.9操作系统上，使用ceph的rpm-mimic的ceph-13.2.10安装ceph集群。应用ceph对象存储(ceph object store)；应用ceph块设备(ceph block device)；应用ceph文件系统(ceph file system)。

版本：

操作系统：CentOS 7.9

ceph版本：ceph-13.2.10

名词：

Ceph:一个开源的分布式存储系统。

Ceph: Ceph uniquely delivers object, block, and file storage in one unified system.

Monitors: A Ceph Monitor (ceph-mon) maintains maps of the cluster state, including the monitor map, manager map, the OSD map, the MDS map, and the CRUSH map.

Managers: A Ceph Manager daemon (ceph-mgr) is responsible for keeping track of runtime metrics and the current state of the Ceph cluster, including storage utilization, current performance metrics, and system load.

Ceph OSDs: An Object Storage Daemon (Ceph OSD, ceph-osd) stores data, handles data replication, recovery, rebalancing, and provides some monitoring information to Ceph Monitors and Managers by checking other Ceph OSD Daemons for a heartbeat.

MDSs: A Ceph Metadata Server (MDS, ceph-mds) stores metadata on behalf of the Ceph File System (i.e., Ceph Block Devices and Ceph Object Storage do not use MDS).

来源官网：https://docs.ceph.com/en/quincy/start/intro/

1.主机规划

1.1主机磁盘规划

(1)安装ceph集群节点主机规划

主节点app161；内存：4GB；硬盘(SCSI)：50GB；硬盘2(SCSI)：40GB。

从节点app162；内存：4GB；硬盘(SCSI)：50GB；硬盘2(SCSI)：40GB。

从节点app163；内存：4GB；硬盘(SCSI)：50GB；硬盘2(SCSI)：40GB。

要求：主机app161、app162、app163都挂载一个干净硬盘，该硬盘是专门给集群挂载ceph文件系统使用。

(2)安装ceph客户端挂载ceph文件系统节点主机

从节点app164；内存：4GB；硬盘(SCSI)：50GB。

从节点app165；内存：4GB；硬盘(SCSI)：50GB。

1.2主机软件规划

ceph集群和ceph客户端的主机、IP以及组件分布规划。

2.下载安装包

(1)在公网下载ceph的rpm包

主机：可连接公网的机器。

下载rpm包：使用reposync命令下载。

下载地址：https://mirrors.aliyun.com/ceph

ceph-13.2.10版本noarch包：https://mirrors.aliyun.com/ceph/rpm-mimic/el7/noarch

ceph-13.2.10版本x86_64包：https://mirrors.aliyun.com/ceph/rpm-mimic/el7/x86_64

(2)已下载的rpm包拷贝到内网机器

(3)在内网制作本地ceph镜像仓库

主机：内网主机。

制作本地镜像：使用createrepo命令。

发布本地镜像：使用httpd发布。

(4)满足使用yum命令安装ceph需求

确认本地镜像仓库包含版本：ceph-13.2.10。

查看命令：yum list --showduplicates ceph-13.2.10

(5)搭建本地镜像仓库参考博文

参考博文：https://blog.csdn.net/zhangbeizhen18/article/details/128010070

3.主机基础环境

(1)JDK环境

查看版本：java -version

打印信息：java version "1.8.0_281"

(2)设置主机名称

B161机器：hostnamectl  set-hostname  app161

B162机器：hostnamectl  set-hostname  app162

B163机器：hostnamectl  set-hostname  app163

B164机器：hostnamectl  set-hostname  app164

B165机器：hostnamectl  set-hostname  app165

(3)hosts文件

修改命令：vi /etc/hosts

修改内容：

192.168.19.161  app161
192.168.19.162  app162
192.168.19.163  app163
192.168.19.164  app164
192.168.19.165  app165

(4)关闭SELinux

修改指令：vi /etc/selinux/config

修改内容：把SELINUX=enforcing改成SELINUX=disabled

(5)关闭防火墙

设置开机禁用防火墙：systemctl stop firewalld

(6)设置swappiness

设置swappiness命令：echo vm.swappiness = 10 >> /etc/sysctl.conf

(7)关闭透明大页面

编辑指令：vi /etc/rc.d/rc.local

if test -f /sys/kernel/mm/transparent_hugepage/enabled;
then echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag;
then echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi

添加可执行命令：chmod +x /etc/rc.d/rc.local

(8)设置最大文件句柄数

修改指令：vi /etc/security/limits.conf

修改内容：

* soft nofile 102400

* hard nofile 102400

(9)配置免密登录

公钥和秘钥生成指令：ssh-keygen -t rsa

拷贝公钥到目标主机：ssh-copy-id app162

验证免密登录：ssh root@app162

(10)配置ntp时间同步服务器

查看ntp状态命令：ntpstat

(11)配置本地yum源镜像仓库

查看仓库中ceph包：yum list --showduplicates ceph

(12)其它工具

安装命令：yum install -y net-tools.x86_64 yum-utils

安装命令：yum install -y python-setuptools

安装命令：yum install -y perl

4.ceph集群安装软件说明

ceph集群由ceph、mon、mgr、osd、rgw等模块组成，需逐个模块创建，才能完成部署。

(1)主从节点安装软件包说明

在主节点app161安装ceph-deploy、ceph、ceph-radosgw软件包。

在从节点app162、app163安装ceph、ceph-radosgw软件包。

(2)主节点使用ceph-deploy说明

在主节点使用ceph-deploy命令，完成ceph集群的ceph、mon、mgr、mds、osd、rgw等模块创建和部署。

5.主节点安装ceph

主机app161是主节点，ceph的组件：mon、mgr、osd、rgw创建集群等操作都在主节点操作。

(1)安装ceph-deploy和ceph

安装命令：yum install -y ceph-deploy ceph-13.2.10

(2)安装ceph-radosgw

安装命令：yum install -y ceph-radosgw-13.2.10

(3)安装完成后目录和文件说明

配置文件目录：/etc/ceph/

日志目录：/var/log/ceph

查看ceph：ll /usr/bin/ | grep ceph

查看radosgw：ll /usr/bin/ | grep radosgw

6.从节点安装ceph

主机app162和app163是从节点。

(1)安装ceph

安装命令：yum install -y ceph-13.2.10

(2)安装ceph-radosgw

安装命令：yum install -y ceph-radosgw-13.2.10

(3)安装完成后目录和文件说明

配置文件目录：/etc/ceph/

日志目录：/var/log/ceph

查看ceph：ll /usr/bin/ | grep ceph

查看radosgw：ll /usr/bin/ | grep radosgw

7.创建ceph的mon模块

在主节点app161操作，操作目录：cd /etc/ceph。操作工具：ceph-deploy。

(1)创建ceph集群

命令：ceph-deploy new app161 app162 app163

解析：使用ceph-deploy new命令创建一个集群。在/etc/ceph目录下，生成的配置文件：ceph.conf、ceph-deploy-ceph.log、ceph.mon.keyring、rbdmap。

(2)创建并初始化mon模块

命令：ceph-deploy mon create-initial

解析：在ceph集群中创建并初始mon，创建Ceph的mon守护进程管理器。

在主节点/etc/ceph下生成并写配置文件：ceph.bootstrap-mds.keyring、ceph.bootstrap-mgr.keyring、ceph.bootstrap-osd.keyring、ceph.bootstrap-rgw.keyring、ceph.client.admin.keyring、ceph.conf、ceph-deploy-ceph.log、ceph.mon.keyring、rbdmap。

在从节点/etc/ceph下生成并写配置文件：ceph.conf、rbdmap、tmp5mSKU7。

(3)查看集群状态

命令：ceph -s

解析：集群安装完成后，可以使用ceph -s，查看集群状态。包括cluster、services、data三个模块。

8.创建ceph的osd模块

在主节点app161操作，操作目录：cd /etc/ceph。操作工具：ceph-deploy。

(1)确认每个节点挂载的磁盘

主节点app161磁盘：/dev/sdb

从节点app162磁盘：/dev/sdb

从节点app163磁盘：/dev/sdb

查看命令：ceph-deploy disk list app161

解析：使用ceph-deploy disk list查主机磁盘。

(2)格式化每个节点挂载磁盘

app161节点硬盘格式化：ceph-deploy disk zap app161 /dev/sdb

app162节点硬盘格式化：ceph-deploy disk zap app162 /dev/sdb

app163节点硬盘格式化：ceph-deploy disk zap app163 /dev/sdb

解析：格式化需挂载的磁盘。

(3)创建osd并挂载到磁盘

将每个主机的/dev/sdb磁盘挂载为osd盘。

app161节点：ceph-deploy osd create --data /dev/sdb app161

app162节点：ceph-deploy osd create --data /dev/sdb app162

app163节点：ceph-deploy osd create --data /dev/sdb app163

(3)查看集群状态

命令：ceph -s

解析：集群安装完成后，可以使用ceph -s，查看集群状态。包括cluster、services、data三个模块。

9.创建ceph的mgr模块

在主节点app161操作，操作目录：cd /etc/ceph。操作工具：ceph-deploy。

9.1创建mgr模块

(1)创建mgr

命令：ceph-deploy mgr create app161 app162 app163

解析：创建mgr，收集ceph集群状态，提供可视化界面用于监控集群。

(2)查看集群状态

命令：ceph -s

解析：集群安装完成后，可以使用ceph -s，查看集群状态。包括cluster、services、data三个模块。

 9.2配置dashboard

(1)开启dashboard功能

命令：ceph mgr module enable dashboard

解析：开启dashboard功能。

(2)创建证书

命令：ceph dashboard create-self-signed-cert

解析：创建证书。

(3)配置web登录的用户名和密码

命令：ceph dashboard set-login-credentials hangzhou demo123456

解析：在web页面登录的用户名和口令。

(4)修改dashboard默认端口

配置端口，默认端口是8443，修改为18443，修改后需重启mgr，修改端口才生效。

修改端口命令：ceph config set mgr mgr/dashboard/server_port 18443

重启mgr命令：systemctl restart ceph-mgr.target

(5)查看发布服务地址

命令：ceph mgr services

解析：

(6)登录ceph的dashboard

默认登录地址：https://192.168.19.161:8443/

修改后登录地址：

https://192.168.19.161:18443/

https://192.168.19.162:18443/

https://192.168.19.163:18443/

执行ceph -s查看，哪个可用。

用户名/口令：hangzhou/demo123456

10.创建ceph的mds模块

在主节点app161操作，操作目录：cd /etc/ceph。操作工具：ceph-deploy。

(1)创建mds

命令：ceph-deploy mds create app161 app162 app163

解析：创建mds，使用cephfs文件系统服务时，需安装mds。作用：数据元服务。

(2)查看集群状态

命令：ceph -s

解析：集群安装完成后，可以使用ceph -s，查看集群状态。包括cluster、services、data三个模块。

11.创建ceph的rgw模块

在主节点app161操作，操作目录：cd /etc/ceph。操作工具：ceph-deploy。

(1)创建rgw

命令：ceph-deploy rgw create app161 app162 app163

解析：创建rgw，使用对象网关。

(2)查看集群状态

命令：ceph -s

解析：集群安装完成后，可以使用ceph -s，查看集群状态。包括cluster、services、data三个模块。

12.启动和停止ceph组件

在主节点app161操作，操作目录：cd /etc/ceph。

12.1启动服务

systemctl start ceph.target

systemctl start ceph-mds.target

systemctl start ceph-mgr.target

systemctl start ceph-mon.target

systemctl start ceph-osd.target

systemctl start ceph-radosgw.target

12.2停止服务

systemctl stop ceph.target

systemctl stop ceph-mds.target

systemctl stop ceph-mgr.target

systemctl stop ceph-mon.target

systemctl stop ceph-osd.target

systemctl stop ceph-radosgw.target

12.3重启服务

systemctl restart ceph.target

systemctl restart ceph-mds.target

systemctl restart ceph-mgr.target

systemctl restart ceph-mon.target

systemctl restart ceph-osd.target

systemctl restart ceph-radosgw.target

13.操作存储池pool

在主节点app161操作，操作目录：cd /etc/ceph。

存储池作用是存放数据和元数据。默认三个副本。

13.1创建存储池pool

(1)创建pool

命令：ceph osd pool create hz_data 16

解析：创建一个存储池，名称hz_data，分配16个pg。

(2)查看pool的pg数量

命令：ceph osd pool get hz_data pg_num

解析：查看pool的pg_num数量。

(3)指定pool的pg数量

命令：ceph osd pool set hz_data pg_num 18

解析：设置pool的pg_num数量。

(4)查看集群状态

命令：ceph -s

解析：查看集群状态。包括cluster、services、data三个模块。

13.2删除存储池pool

(1)设置允许删除pool

修改文件：vi /etc/ceph/ceph.conf

修改内容：mon_allow_pool_delete=true

分发配置到每个主机：ceph-deploy --overwrite-conf admin app161 app162 app163

重启ceph-mon命令(3个主机)：systemctl restart ceph-mon.target

(2)删除pool

命令：ceph osd pool delete hz_data hz_data --yes-i-really-really-mean-it

解析：删除pool时，pool的名称需要传两次。

(4)查看集群状态

命令：ceph -s

解析：查看集群状态。包括cluster、services、data三个模块。

14.操作ceph文件系统

使用ceph文件系统存储，需部署mds。

14.1创建ceph文件系统

在主节点app161操作，操作目录：cd /etc/ceph。

(1)查看mds确定已安装mds

查看命令：ceph mds stat

解析：查看mds状态，如果没安装mds，那么需安装mds。

安装命令：ceph-deploy  mds create app161 app162 app163

(2)创建两个存储池

一个ceph文件系统至少要两个RADOS存储池，一个用于存放数据，一个用于存放元数据。

创建存放数据pool：ceph osd pool create xihu_data 16

创建存放元数据pool：ceph osd pool create xihu_metadata 8

解析：创建存储池xihu_data和xihu_metadata。

(3)创建ceph文件系统

命令：ceph fs new hangzhoufs xihu_metadata xihu_data

解析：使用ceph fs new创建ceph文件系统；文件系统名称：hangzhoufs；存储池xihu_data和xihu_metadata。

(4)查ceph文件系统

命令：ceph fs ls

解析：查看ceph文件系统，打印文件系统名称和存储池。

打印信息：name: hangzhoufs, metadata pool: xihu_metadata, data pools: [xihu_data ]

(5)查看集群状态

命令：ceph -s

解析：查看集群状态。包括cluster、services、data三个模块。mds下已经看到hangzhoufs文件系统。

14.2开启客户端认证

在主节点app161操作，操作目录：cd /etc/ceph。

(1)确认ceph.conf文件

文件：/etc/ceph/ceph.conf

内容：auth_client_required = cephx

(2)确认客户端秘钥

秘钥文件名称：/etc/ceph/ceph.client.admin.keyring

秘钥内容：

[client.admin]
key = AQDtioBjVwefMBAAu0/oJPK2khWK+juNOQkyZw==
caps mds = "allow *"
caps mgr = "allow *"
caps mon = "allow *"
caps osd = "allow *"

14.3客户端挂载ceph文件系统

在客户端节app166操作，操作目录：cd /etc/ceph。

挂载ceph文件系统目的就是把ceph文件系统挂载到客户端app166中。

14.3.1安装客户端

安装客户端：yum install -y ceph-common

14.3.2配置户端

(1)创建配置目录

命令：mkdir -p /etc/ceph

解析：如果没有则创建目录。

(2)生成配置文件

配置内容取自主节点app161的/etc/ceph/ceph.client.admin.keyring中的key值。

方式一：

创建文件：vi client-admin.key

添加内容：AQDtioBjVwefMBAAu0/oJPK2khWK+juNOQkyZw==

方式二：

命令：echo 'AQDtioBjVwefMBAAu0/oJPK2khWK+juNOQkyZw==' >>client-admin.key

(3)创建挂载文件系统的目录

命令：mkdir /hangzhoufs_data

解析：此目录就是为了把远程文件系统挂载到本地使用。

(4)挂载文件系统

挂载ceph文件系统命令：mount.ceph  192.168.19.161:6789:/ /hangzhoufs_data/ -o name=admin,secretfile=/etc/ceph/client-admin.key

解析：mount.ceph，挂载命令。192.168.19.161:6789:/，指定主机和端口，其中端口6789是mon的端口，/斜杆表示从文件系统根目录。/hangzhoufs_data/，表示挂载到本地的目录。-o表示指定参数选项。name=admin，表示用户名，实际就是ceph.client.admin.keyring文件中的admin。secretfile，表示秘钥文件。

(5)查看客户端挂载文件系统

命令：df -h

解析：挂载后：192.168.19.161:6789:/ 37G 0 37G 0% /hangzhoufs_data；从磁盘挂载信息看到已经挂载成功。

(6)在客户端操作挂载目录

目录：cd /hangzhoufs_data

14.4删除ceph文件系统

14.4.1删除客户端数据

在客户端节app166操作，操作目录：cd /hangzhoufs_data。

(1)删除数据

命令：rm -rf /hangzhoufs_data/*

解析：删除已经挂载目录数据。

(2)卸载已挂载的目录

命令：umount  /hangzhoufs_data/

解析：卸载已挂载的目录

(3)查看磁盘

命令：df -h

解析：查看磁盘情况。

14.4.2停止mds守护进程

节点app161：systemctl stop ceph-mds.target

节点app162：systemctl stop ceph-mds.target

节点app163：systemctl stop ceph-mds.target

14.4.3删除ceph文件系统

命令：ceph fs rm hangzhoufs --yes-i-really-mean-it

解析：hangzhoufs是已创建的ceph文件系统名称。

14.4.4删除ceph存储池pool

删除元数据池：ceph osd pool delete xihu_metadata xihu_metadata  --yes-i-really-really-mean-it

删除数据池：ceph osd pool delete xihu_data xihu_data --yes-i-really-really-mean-it

解析：删除pool时，需传递两次pool的名称。

14.4.5重启mds守护进程

节点app161：systemctl start ceph-mds.target

节点app162：systemctl start ceph-mds.target

节点app163：systemctl start ceph-mds.target

解析：重启mds。

15操作ceph块存储

15.1同步主节点配置文件到客户端

在主节点app161操作，操作目录：cd /etc/ceph。

(1)执行同步配置文件操作

命令：ceph-deploy admin 192.168.19.166

解析：ceph-deploy admin，执行同步配置命令；192.168.19.166，是客户端主机ip，如果没有配置免密，那么就需要输入密码确认。

(2)同步的文件列表

从主节点app161同步到客户端节点的配置文件：

ceph.client.admin.keyring、ceph.con、tmpW4qEGF。

15.2创建块存储

在客户端app166操作，操作目录：cd /etc/ceph。

15.2.1客户端创建存储池与初始化

(1)创建存储池

命令：ceph osd pool create hz_rbd_pool 32

解析：存储池名称：hz_rbd_pool。

(2)初始化存储池

命令：rbd pool init hz_rbd_pool

解析：存储池名称：hz_rbd_pool。

15.2.2客户端创建image

在主节点app161操作，操作目录：cd /etc/ceph。

(1)创建image

命令：rbd create hz_volume --pool hz_rbd_pool --size 1024

解析：创建image名称：hz_volume；对应存储池：hz_rbd_pool；指定大小：1024MB。

(2)查看image

命令：rbd ls hz_rbd_pool

解析：查看hz_rbd_pool，会打印出 hz_volume。

(3)查看rbd image详细信息

命令：rbd info hz_volume -p hz_rbd_pool

解析：查看rbd image详细信息

15.2.3把image映射成块存储

在主节点app161操作，操作目录：cd /etc/ceph。

(1)image映射成块存

映射步骤一：rbd feature disable hz_rbd_pool/hz_volume object-map fast-diff deep-flatten

映射步骤二：rbd map hz_rbd_pool/hz_volume

解析：映射成功后，打印信息：/dev/rbd0。映射到rbd0.

(2)查看映射

查看映射命令：rbd showmapped

解析：能查看映射目的目录。

(3)取消映射

命令：rbd unmap /dev/rbd0

解析：取消映射。

(4)查看映射的块

命令：lsblk

解析：已经看到块rdb0.

15.2.4块存储分区、创建文件系统和挂载

15.2.4.1块分区

(1)块分区

分区：fdisk /dev/rbd0

解析：把磁盘/dev/rbd0块分区；按提示分区。

(2)查看结果

查看分区结果：lsblk

15.2.4.2创建文件系统

命令：mkfs.xfs /dev/rbd0p1

解析：创建为/dev/rbd0p1文件系统。

15.2.4.3挂载磁盘

(1)创建挂载目录

命令：mkdir -p /mnt/hz_data

(2)挂载磁盘

命令：mount /dev/rbd0p1 /mnt/hz_data

解析：磁盘挂载到/mnt/hz_data。

(3)查看挂载结果

命令：df -h

15.2.5应用块存储

(1)写入一条数据到文件。

命令：echo 'Hangzhou is a city.'>>/mnt/hz_data/hz.txt

解析：写入到挂载目录，需求全路径名称。

15.3块存储在线扩容

在客户端app166操作。对块存储/dev/rbd0，做块存储在线扩容。

注意：块存储在线扩容必须在/dev/rbd0块设备上才支持；在块存储分区/dev/rbd0p1上不能扩容。

(1)卸载已挂载的块存储

卸载命令：umount /mnt/hz_data

解析：使用umount命令，卸载已挂载到/mnt/hz_data目录的块设备/dev/rbd0。

(2)删除/dev/rbd0分区

删除分区：fdisk /dev/rbd0

解析：在执行过程中根据提示，选择d代表删除、w代表写入和保存。

(3)对/dev/rbd0设备格式化

命令：mkfs.xfs -f /dev/rbd0

解析：格式化文件系统。

(4)挂载设备

命令：mount /dev/rbd0 /mnt/hz_data

解析：使用mount挂载设备。

(5)在线扩容

命令：rbd resize --size 1800 hz_rbd_pool/hz_volume

解析：使用rbd resize在线扩容。

(6)扩展文件系统

命令：xfs_growfs -d /mnt/hz_data

解析：fs_growfs命令来扩容xfs文件系统，将磁盘和文件系统容量对应上。

(7)查看扩展结果

查看磁盘：lsblk

查看文件系统：df -h

15.4块存储离线缩容

缩容前，数据备份。

(1)缩容

命令：rbd resize --size 600 hz_rbd_pool/hz_volume --allow-shrink

解析：缩容到600MB。

查看缩容后信息：rbd info hz_rbd_pool/hz_volume | grep size

(2)卸载已挂载的块存储

卸载命令：umount /mnt/hz_data

解析：使用umount命令，卸载已挂载到/mnt/hz_data目录的块设备/dev/rbd0。

(3)格式化文件系统

命令：mkfs.xfs -f /dev/rbd0

解析：格式化文件系统。

(4)挂载存储块

命令：mount /dev/rbd0 /mnt/hz_data

解析：使用mount挂载设备。

(5)查看缩容结果

查看磁盘：lsblk

查看文件系统：df -h

15.5删除块存储

(1)卸载已挂载的块存储

卸载命令：umount /mnt/hz_data

解析：使用umount命令，卸载已挂载到/mnt/hz_data目录的块设备/dev/rbd0。

(2)删除设备映射

命令：rbd unmap /dev/rbd0

(3)删除块存储此

命令：ceph osd pool delete hz_rbd_pool hz_rbd_pool --yes-i-really-really-mean-it

解析：删除pool时，需传递两次pool的名称。

16操作ceph对象存储

16.1确认已经安装rgw

在主节点app161操作，操作目录：cd /etc/ceph。

(1)确认已安装rgw

命令：ceph -s

解析：查看集群状态，确认rgw已安装。

(2)安装rgw

命令：ceph-deploy rgw create app161 app162 app163

解析：如果没有安装rgw，那么使用此命令安装。

16.2客户端生成操作对象存储秘钥

在客户端app166操作，操作目录：cd /etc/ceph。

(1)创建秘钥

命令：radosgw-admin user create --uid="hangzhou" --display-name="hangzhou"

解析：radosgw-admin是安装ceph-common已安装；hangzhou，是指定的名称。

(2)生成秘钥信息

生成key信息：

...
"user": "hangzhou",
"access_key": "IH7D60Y1FCF3RZR9NG36",
"secret_key": "vAG2dK6kyhJTRPbH5Nogw0Uqja2UR8egPeRoxDNb"
...

16.3使用S3操作对象存储

使用s3工具连接ceph的对象存储进行操作对象存储。

(1)安装s3cmd

命令：yum install -y s3cmd

解析：安装s3cmd。

安装辅助包：yum install -y python-pip

(2)配置s3cmd

修改文件：vi /root/.s3cfg

修改内容：

[default]
access_key=IH7D60Y1FCF3RZR9NG36
secret_key=vAG2dK6kyhJTRPbH5Nogw0Uqja2UR8egPeRoxDNb
host_base=192.168.19.161:7480
host_bucket=192.168.19.161:7480/%(bucket)
cloudfront_host=192.168.19.161:7480
use_https=False

(3)创建一个bucket(桶)

命令：s3cmd mb s3://hangzhou

解析：创建一个桶hangzhou。

(4)查看bucket

命令：s3cmd ls

解析：查看桶。

(5)上传文件到bucket

命令：s3cmd put /home/jdk-8u281-linux-x64.tar.gz s3://hangzhou

解析：上传文件到ceph的桶中存储。

(6)从bucket下文件

命令：s3cmd get s3://hangzhou/jdk-8u281-linux-x64.tar.gz

解析：从ceph的桶中下载文件到本地。

17卸载ceph集群

卸载集群使用ceph-deploy，在主节点上的/etc/ceph目录。

(1)卸载

卸载命令：ceph-deploy purge app161 app162 app163

卸载命令：ceph-deploy purgedata app161 app162 app163

(2)取消挂载目录

查看挂载目录：df -h

可以看到挂载在：/var/lib/ceph/osd/ceph-0

取消挂载命令：umount /var/lib/ceph/osd/ceph-0

(3)删除相关目录

查看相关目录：find / -name ceph

删除相关目录：/var/lib/ceph、/etc/ceph、/run/ceph、/var/run/ceph/、/var/local/osd0

以上，感谢。

2022年11月26日