RHCS

一.RHCS基本原理

---

1.基本套件

---

2.CMAN
Cluster manager 简称CMAN，是一个分布式集群管理工具，运行在集群的各个节点上，为RHCS提供集群管理任务。
它用于管理集群成员、消息和通知。它通过监控每个节点的运行状态来了解节点成员之间的有关系。当集群中某个节点出现故障时，节点成员关系将发生改变，CMAN及时将这种改变通知底层，进而做出相应的调整。
CMAN根据每个节点的运行状态，统计出一个法定节点数，作为集群是否存活的依据。当整个集群中有多于一半的节点处于激活状态时，表示达到了法定节点数，此集群可以正常运行，当集群中有一半或少于一半的节点处于激活状态时，表示没有达到法定的节点数，此时整个集群系统将变得不可用。
CMAN依赖于CCS，并且CMAN通过CCS读取cluster.conf文件。

---

3.DLM锁管理
Distributed Lock Manager，简称DLM，是一个分布式锁管理器，它是RHCS的一个底层基础构件，同时也为集群提供了一个公用的锁运行机制。DLM运行在每个节点上,GFS通过锁管理器的机制来同步访问文件系统的元数据。CLVM通过锁管理器来同步更新数据到LVM卷和卷组。
DLM不需要设定锁管理服务器，它采用对等的锁管理方式，大大提高了处理性能。同时，DLM避免了单个节点失败需要整体恢复的性能瓶颈。另外，DLM的请求是本地的，不需要网络请求，因此请求会立即生效。最后，DLM通过分层机制，可以实现多个锁空间的并行锁模式。

---

4.CCS
Cluster configuration system 简称CCS，主要用于集群配置文件管理和配置文件在节点之间的同步。CCS运行在集群的每个节点上，监控每个集群节点上的单一配置文件/etc/cluster/cluster.conf的状态。当这个文件发生任何变化 时，都将些变化更新至集群中的每个节点上，时刻保持每个节点的配置文件同步。
Cluster.conf是一个XML文件，其中包含集群名称，集群节点信息，集群资源和服务信息，fence设备等。

---

5.FENCE
通过栅设备可以从集群共享存储中断开一个节点，切断I/O以保证数据的完整性。当CMAN确定一个节点失败后，它在集群结构中通告这个失败的节点，fenced进程将失败的节点隔离，以保证失败节点不破坏共享数据。它可以避免因出现不可预知的情况而造成的“脑裂”（split-brain）现象。“脑裂”是指当两个节点之间的心跳线中断时，两台主机都无法获取对方的信息，此时两台主机都认为自己是主节点，于是对集群资源（共享存储，公共IP地址）进行争用，抢夺。
Fence的工作原理是：当意外原因导致主机异常或宕机时，备用机会首先调用fence设备，然后通过fence设备将异常的主机重启或从网络上隔离，释放异常主机占据的资源，当隔离操作成功后，返回信息给备用机，备用机在接到信息后，开始接管主机的服务和资源。

---

6.高可用服务管理器
rgmanager： Resource Group Manager主要用来监督、启动、停止集群的应用、服务和资源，与cman一样，rgmanager也是RHCS中的一个核心服务，可通过系统中的serivce命令进行启/停操作；当一个节点的服务失败时，rgmanager提供自动透明的Failover错误切换功能：可以将服务从失败节点转移至其它健康节点。RHCS通过rgmanager来管理集群服务，rgmanager运行在每个集群节点上，为集群中的服务和资源提供Failover错误切换功能。在一个RHCS集群中，高可用服务管理器包含集群服务和集群资源两个方面，集群服务其实就是应用服务，例如apache、mysql等，集群资源有很多种，例如一个IP地址、一个运行脚本、ext3/GFS文件系统等。

---

7.Failover Domain故障转移域
与服务相关，Failover Domain指定了集群中某个节点故障以后，该节点上的Service和Resource所能够转移的目标节点，进而限定了一个Resource能够转移的节点范围，可以理解为服务的故障转移域；每个Node都允许与多个Failover Domain进行绑定，也就是说每个Node都可以为多个Service服务，因此可以实现双主方式的集群配置

---

8.集群配置和管理工具Conga
Conga是新的基于网络的集群配置工具。它是web界面管理的，由luci和ricci组成，luci可以安装在一台独立的计算机上，也可安装在节点上，用于配置和管理集群，ricci是一个代理，安装在每个集群节点上，luci通过ricci和集群中的每个节点通信。

---

二.配置
高可用主机开启nginx
server2 172.25.254.2
server3 172.25.254.3
后端主机
server4 172.25.254.4
server6 172.25.254.6

---

1.分别在 server2 和server3 上安装ricci，前提是在yum源如下

 yum install ricci -y

并分别设置密码redhat如下

chkconfig ricci on ###开机自启

---

2.选择server2 作为托管主机，当然也可以用一台新的主机作为托管主机，一般root用户登陆

---

3.两台主机上分别开启ricci，托管机上开启luci

---

4.创建集群和节点
首先root用户登陆

创建集群qq，包含两个节点，passwd为ricci的设置密码，第一个对勾的意思是加入集群前重启，第二个勾的意思是共享存储

---

5.之后两台主机会分别重启，ricci开机自启，然后需要手动启动luci，此时web界面如下

---

三.安装Fence

---

1.在真机172.25.254.7上 yum install -y fence-*
之后创建fence
默认多波模式，默认地址

默认端口1229，网卡br0，key文件的放置位置

因为我之前创建过，所以此处提醒是否代替（第一次创建时不会这样）

---

2.创建key

make /etc/cluster

---

创建随机key文件值

---

3.开启fence

---

4.将key文件传给两台主机

---

四.添加fence
1.web界面添加fence设备，名字为vmfence

---

可查看/etc/cluster/cluster.conf 文件，此时已经改变

---

2.两个节点上添加fence name
点击server2 ，点击Add Fence Method , Method Name :fence1
点击server3，点击Add Fence Method , Method Name :fence2

---

3.两个节点上分别添加fence instance（fence 事件），server3 与server2的操作一致
点击server2 ，点击Add Fence Instance，选择vmfence

Domain 为server2的UUID

---

结果如下

---

server3 也如上操作，添加fence事件

---

4.测试
使server3 宕机，会自动重启

---

五.前期准备
1. 首先配置两个节点上nginx对两个后端可用，一般先配置好一个节点（编译–修改配置文件–创建nginx用户-开启nginx），然后将/usr/local下的nginx目录直接拷贝到另一台节点上，记得在另一台主机上也需创建nginx用户。此处不再赘述具体步骤，值的注意的是，此处我们不用/usr/local/nginx/sbin/nginx二进制文件作为开启或关闭nginx的工具，而要用自己的脚本文件nginx，将其拷贝到/etc/init.d/,并给与执行权限，两个节点上均需此脚本

---

2.结果如下

---

六.故障转移域
名字为自起，排序优先级，在指定节点上运行，不回切，可以给两个节点设置优先级

---

七.添加资源
此处是添加虚拟ip，以及脚本

---

结果如下

---

八.添加服务
1.名字自起

---

2.点击Add Resource,添加ip

---

3.点击Add Resource，添加nginx脚本，之后提交

---

j九.查看测试

1.将服务转移到server3上的

---

2.server3 宕机后

server2自动接管