分布式存储ceph之RGW接口

1、对象存储概念

对象存储（object storage）是非结构数据的存储方法，对象存储中每一条数据都作为单独的对象存储，拥有唯一的地址来识别数据对象，通常用于云计算环境中。不同于其他数据存储方法，基于对象的存储不使用目录树。

虽然在设计与实现上有所区别，但大多数对象存储系统对外呈现的核心资源类型大同小异。从客户端的角度来看，分为以下几个逻辑单位：
●Amazon S3：
提供了
1、用户（User）
2、存储桶（Bucket）
3、对象（Object）

三者的关系是：
1、User将Object存储到系统上的Bucket
2、存储桶属于某个用户并可以容纳对象，一个存储桶用于存储多个对象
3、同一个用户可以拥有多个存储桶，不同用户允许使用相同名称的Bucket，因此User名称即可做为Bucket的名称空间

●OpenStack Swift： 
提供了user、container和object分别对应于用户、存储桶和对象，不过它还额外为user提供了父级组件account，用于表示一个项目或用户组，因此一个account中可以包含一到多个user，它们可共享使用同一组container，并为container提供名称空间

●RadosGW：
提供了user、subuser、bucket和object，其中的user对应于S3的user，而subuser则对应于Swift的user，不过user和subuser都不支持为bucket提供名称空间，因此不同用户的存储桶不允许同名；不过，自jewel版本起，RadosGW引入了tenant（租户）用于为user和bucket提供名称空间，但他是个可选组件

从上可以看出大多数对象存储的核心资源类型大同小异，如 Amazon S3、OpenStack Swift 与 RadosGw。其中 S3 与 Swift 互不兼容，RadosGw 为了兼容 S3 与 Swift， Ceph 在 RadosGW 集群的基础上提供了 RGW（RadosGateway）数据抽象层和管理层，它可以原生兼容 S3 和 Swift 的 API。

S3和Swift它们可基于http或https完成数据交换，由RadosGW内建的Civetweb提供服务，它还可以支持代理服务器包括nginx、haproxy等以代理的形式接收用户请求，再转发至RadosGW进程。
RGW 的功能依赖于对象网关守护进程实现，负责向客户端提供 REST API 接口。出于冗余负载均衡的需求，一个 Ceph 集群上通常不止一个 RadosGW 守护进程。（##可以在多个节点去开启RGW守护进程）

2、创建 RGW 接口

如果需要使用到类似 S3 或者 Swift 接口时候才需要部署/创建 RadosGW 接口，RadosGW 通常作为对象存储（Object Storage）使用，类于阿里云OSS。

（1） 管理节点创建一个 RGW 守护进程

20.0.0.10（admin）

cd /etc/ceph
ceph-deploy rgw create node01

创建成功后默认情况下会自动创建一系列用于 RGW 的存储池

ceph osd pool ls
rgw.root 
default.rgw.control			#控制器信息
default.rgw.meta			#记录元数据
default.rgw.log				#日志信息
default.rgw.buckets.index	#为 rgw 的 bucket 信息，写入数据后生成
default.rgw.buckets.data	#是实际存储的数据信息，写入数据后生成

默认情况下 RGW 监听 7480 号端口

node01节点
netstat -lntp | grep 7480

 

admin节点
curl node01:7480

（2）开启 http+https ，更改监听端口

RadosGW 守护进程内部由 Civetweb 实现，通过对 Civetweb 的配置可以完成对 RadosGW 的基本管理。

admin节点
#要在 Civetweb 上启用SSL，首先需要一个证书，在 rgw 节点生成证书
1）生成CA证书私钥：
openssl genrsa -out civetweb.key 2048
 
2）生成CA证书公钥：
openssl req -new -x509 -key civetweb.key -out civetweb.crt -days 3650 -subj "/CN=20.0.0.20"
 
#3、将生成的证书合并为pem
cat civetweb.key civetweb.crt > /etc/ceph/civetweb.pem

更改监听端口

Civetweb 默认监听在 7480 端口并提供 http 协议，如果需要修改配置需要在管理节点编辑 ceph.conf 配置文件

vim ceph.conf
添加以下配置
[client.rgw.node01]
rgw_host = node01
rgw_frontends = "civetweb port=80+443s ssl_certificate=/etc/ceph/civetweb.pem num_threads=500 request_timeout_ms=60000"
 
------------------------------------------------------------
●rgw_host：对应的RadosGW名称或者IP地址
●rgw_frontends：这里配置监听的端口，是否使用https，以及一些常用配置：
•port：如果是https端口，需要在端口后面加一个s。
•ssl_certificate：指定证书的路径。
•num_threads：最大并发连接数，默认为50，根据需求调整，通常在生产集群环境中此值应该更大
•request_timeout_ms：发送与接收超时时长，以ms为单位，默认为30000
•access_log_file：访问日志路径，默认为空
•error_log_file：错误日志路径，默认为空
------------------------------------------------------------
 
#修改完 ceph.conf 配置文件后需要重启对应的 RadosGW 服务，再推送配置文件
ceph-deploy --overwrite-conf config push node0{1..3}
 
scp civetweb.pem node01:/etc/ceph     #推送证书文件给node节点
scp civetweb.pem node02:/etc/ceph
scp civetweb.pem node03:/etc/ceph

node01节点
systemctl restart ceph-radosgw.target
netstat -lntp | grep :80
netstat -lntp | grep radosgw
 
client访问验证
curl node01:80
curl -k https://node01:443

（3）创建 RadosGW 账户

20.0.0.10（admin）

radosgw-admin user create --uid="scj" --display-name="rgw test user"

#创建成功后将输出用户的基本信息，其中最重要的两项信息为 access_key 和 secret_key 。用户创建成后功，如果忘记用户信息可以使用下面的命令查看
radosgw-admin user info --uid="scj"

（4）客户端测试

1）在客户端安装 python3、python3-pip
yum install -y python3 python3-pip
 
python3 -V         #查看
Python 3.6.8
 
pip3 -V
 
2）安装 boto 模块，用于测试连接 S3
pip3 install boto
 

3）测试访问 S3 接口
#coding:utf-8
#boto s3手册：http://boto.readthedocs.org/en/latest/ref/s3.html
#boto s3快速入门：http://boto.readthedocs.org/en/latest/s3_tut.html
#如果脚本长时间阻塞，请检查集群状态，开启的端口等
import ssl
import boto.s3.connection
from boto.s3.key import Key
#异常抛出
try:
    _create_unverified_https_context = ssl._create_unverified_context
except AttributeError:
    pass
else:
    ssl._create_default_https_context = _create_unverified_https_context
#test用户的keys信息
access_key = "A1HILZD6RHGGC4JV0U9Q"
secret_key = "v0i9JnYIlVFAqfT7uAPVLIshxKuHdKKLwsTJppYy"
#rgw的ip与端口
host = "20.0.0.20"
#如果使用443端口，下述链接应设置is_secure=True
port = 443
#如果使用80端口，下述链接应设置is_secure=False
#port = 80
conn = boto.connect_s3(
    aws_access_key_id=access_key,
    aws_secret_access_key=secret_key,
    host=host,
    port=port,
    is_secure=True,
    validate_certs=False,
    calling_format=boto.s3.connection.OrdinaryCallingFormat()
)
 
##一:创建存储桶
conn.create_bucket(bucket_name='bucket01')
#conn.create_bucket(bucket_name='bucket02')
#
##二：判断是否存在，不存在返回None
#exists = conn.lookup('bucket01')
#print(exists)
#exists = conn.lookup('bucket02')
#print(exists)
#
##三：获得一个存储桶
#bucket1 = conn.get_bucket('bucket01')
#bucket2 = conn.get_bucket('bucket02')
#
##四：查看一个bucket下的内容
#print(list(bucket1.list()))
#print(list(bucket2.list()))
#
##五：向s3上存储数据，数据来源可以是file、stream、or string
##5.1、上传文件
#bucket1 = conn.get_bucket('bucket01')
## name的值是数据的key
#key = Key(bucket=bucket1, name='myfile')
#key.set_contents_from_filename(r'D:\PycharmProjects\ceph\123.txt')
## 读取 s3 中文件的内容，返回 string 即文件 123.txt 的内容
#print(key.get_contents_as_string())
#
##5.2、上传字符串
##如果之前已经获取过对象，此处不需要重复获取
#bucket2 = conn.get_bucket('bucket02')
#key = Key(bucket=bucket2, name='mystr')
#key.set_contents_from_string('hello world')
#print(key.get_contents_as_string())
#
##六：删除一个存储桶，在删除存储桶本身时必须删除该存储桶内的所有key
#bucket1 = conn.get_bucket('bucket01')
#for key in bucket1:
#    key.delete()
#bucket1.delete()
##bucket1.get_all_keys()[0].delete() #删除某一个 key
#
##迭代遍历删除 buckets and keys
#for bucket in conn:
#    for key in bucket:
#        print(key.name,key.get_contents_as_string())
##—个判断文件夹中是否有文件的方法
#bucket1 = conn.get_bucket('bucket01')
#res = bucket1.get_all_keys()
#if len(res) > 0:
#    print('有文件')
#else:
#    print('为空')
 
 
 
 
#注释34-85行

测试创建存储桶bucket01

vim test.py
取消35行注释
 
python3 test.py  #执行

vim test.py
35行添加注释
取消39-42注释
 
python3 test.py

 

.获取存储桶中的内容

vim test.py
 
39-42添加注释
删除45、49注释
 
python3 test.py

 

传入存储桶内容

cd /opt
echo 'zhangsan lisi' > scj.txt

 

vim test.py
 
添加45、49注释
54、56、57删除注释
 
 
key.set_contents_from_filename(r'/opt/scj.txt')   #57行修改
 
python3 test.py  #执行

vim test.py
 
删除45、49注释
54、56、57添加注释
 
python3 test.py

vim test.py
 
打开56、59行
 
python3 test.py

通过字符串方式上传内容

vim test.py
 
注释45、49、56、59
打开36行注释
 
python3 test.py

vim test.py
 
注释36行注释
打开39-42注释
 
python3 test.py   

vim test.py
 
注释39-42
63-65 打开注释
 
修改64、65配置
key = Key(bucket=bucket2, name='tangjun')
key.set_contents_from_string('tangjun like scj')
 
python3 test.py   

vim test.py
 
注释63-65
打开45、46、49、50
python3 test.py   

vim test.py
 
打开56、59、64、66
python3 test.py   

删除指定存储桶

vim test.py
34-85都注释
打开69、73
 
修改
bucket2 = conn.get_bucket('bucket02')
bucket2.get_all_keys()[0].delete() #删除某一个 key
python3 test.py 

vim test.py
 
注释69、73
打开46、50行
python3 test.py   

删除整个存储桶

vim test.py
 
注释46、50
打开69-72行并修改
 69 bucket2 = conn.get_bucket('bucket02')
 70 for key in bucket2:
 71     key.delete()
 72 bucket2.delete()
 
python3 test.py   

vim test.py
打开39-42
注释69-72行并修改
 
python3 test.py   

3、OSD 故障模拟与恢复

（1）模拟 OSD 故障

20.0.0.10（admin）

ceph osd tree
 
模拟8号故障

20.0.0.40（node03节点）

systemctl stop ceph-osd@8.service
systemctl status ceph-osd@8.service

20.0.0.10（admin）

（2）将坏掉的 osd 踢出集群

用综合步骤，删除配置文件中针对坏掉的 osd 的配置
ceph osd purge osd.8 --yes-i-really-mean-it

（3）把原来坏掉的 osd 修复后重新加入集群

#在 osd 节点创建 osd，无需指定名，会按序号自动生成
cd /etc/ceph
 
ceph osd create
 
#创建账户
ceph-authtool --create-keyring /etc/ceph/ceph.osd.8.keyring --gen-key -n osd.8 --cap mon 'allow profile osd' --cap mgr 'allow profile osd' --cap osd 'allow *'
 
#导入新的账户秘钥
ceph auth import -i /etc/ceph/ceph.osd.8.keyring
 
ceph auth list

node3节点
更新对应的 osd 文件夹中的密钥环文件
 
ceph auth get-or-create osd.8 -o /var/lib/ceph/osd/ceph-8/keyring

admin节点
加入 crushmap
ceph osd crush add osd.8 1.000 host=node03
 
#加入集群
ceph osd in osd.8
 
ceph osd tree
 

node3节点重启
重启 osd 守护进程
systemctl restart ceph-osd@8

admin服务器查看
ceph osd tree		#稍等片刻后 osd 状态为 up