ceph（分布式存储）

一、ceph的组件和功能

1.简介

Ceph是一种为了优秀的性能、可靠性和可扩展性而设计的统一的、 分布式的存储系统。
“统一的” ： 意味着Ceph可以一套存储系统同时提供对象存储、 块存储和文件系统存储三种功能， 以便在满足不同应用需求的前提下简化部署和运维。
“分布式” ： 在Ceph系统中则意味着真正的无中心结构和没有理论上限的系统规模可扩展性。

2.层次结构和功能

RADOS： 是一个完整的对象存储系统，所有存储在Ceph系统中的用户数据最终都是由这一层来存储的，主要由OSD、Monitor组成。

OSD：由数目可变的大规模OSD（Object Storage Devices）组成的集群，负责存储所有的Objects数据。（ 默认有3个副本，但可以调整副本数）

Monitor：由少量Monitors组成的强耦合、小规模集群，负责管理Cluster Map。其中，Cluster Map是整个RADOS系统的关键数据结构，管理集群中的所有成员、关系和属性等信息以及数据的分发。

LIBRADOS：层的功能是对RADOS进行抽象和封装，并向上层提供API。

RADOSGW：功能特性基于LIBRADOS之上，提供当前流行的RESTful协议的网关，API抽象层次更高，并且兼容S3和Swift接口，作为对象存储

RBD（Rados Block Device）：功能特性也是基于LIBRADOS之上，通过LIBRBD创建一个块设备，通过QEMU/KVM附加到VM上，作为传统的块设备来用。目前OpenStack、CloudStack等都是采用这种方式来为VM提供块设备，同时也支持快照、COW（Copy On Write）等功能。

Ceph FS（Ceph File System）：功能特性是基于RADOS来实现分布式的文件系统，引入了MDS（Metadata Server），主要为兼容POSIX文件系统提供元数据。一般都是当做文件系统来挂载。（也就是说，Ceph 块设备和 Ceph 对象存储不使用MDS ）

MGR (ceph-mgr) ：该组件的主要作用是分担和扩展monitor的部分功能，减轻monitor的负担，让更好地管理ceph存储系统

二、ceph的数据读写流程

当某个client需要向Ceph集群写入一个file时， 首先需要在本地完成寻址流程， 将file变为一个object， 然后找出存储该object的一组三个OSD。

找出三个OSDS， client将直接和Primary OSD通信，
发起写入操作(步驟1 ) ；
Primary OSD收到请求后， 分别向Secondary OSD和
Tertiary OSD发起写入操作（步驟2 、 3) ；
当Secondary OSD和Tertiary OSD各自完成写入操作后， 将分别向Primary OSD发送确认信息(步骤4、 5) ；
当Primary OSD确信其他两个OSD的写入完成后， 则自己也完成数据写入， 并向client确认object写入操作完成（ 步骤6) ；

三、使用ceph-deploy安装一个最少三个节点的ceph集群(推荐3个或以上的磁盘作为专用osd)

1.基础配置

IP地址	主机名	附加磁盘	系统
192.168.43.111	node1	sdb,sdc,sdd	CentOS 7 X64
192.168.43.112	node2	sdb,sdc,sdd	CentOS 7 X64
192.168.43.113	node3	sdb,sdc,sdd	CentOS 7 X64
192.168.43.114	client	sdb,sdc,sdd	CentOS 7 X64

sdb划分为两个区各5G，作为journal跟cache的缓存盘；sdc，sdd为数据共享盘

关闭防火墙和selinux

配置主机名

[root