drbd 高可用工具

DRBD的基本原理是基于已有的磁盘设备,再虚拟出一个DRBD存储设备,操作系统将使用这个虚拟设备(而不是直接使用磁盘设备)来创建文件系统及存储数据。同时,就像DRBD名字中所昭示的,它是一套分布式的系统,这就代表着它有多个节点,每个节点上都存在虚拟出的DRBD存储设备。


DRBD引入了资源组的概念,每个资源组可以理解成为一个DRBD集群,每个集群中的节点,分为主(Master)和从(Secondary)两种角色,注意此Master非MySQL中的Master哟。DRBD集群的Master节点写入的数据,由该节点的DRBD服务通过网络同步到其他节点的DRBD设备中(同步策略也有多种方式,以适用不同的场景),进而实现数据再多节点间同步,针对它的这一特点,江湖人松外号:网络RAID1。


只有主(Master)角色才能看到和操作DRBD设备,才能向其中写入数据,从(Secondary)角色的DRBD只被动接收主角色传输过来的数据以保持同步。同步效率和数据安全严重依赖于网络,主端或从端之间同步数据是直接基于块粒度进行写入和同步,因此我们才管它叫物理的同步方案。只需要两台服务器,两个节点是一主一备的形态,相互间就可以提供物理级别的冗余保护,最重要的是不需要独立的共享存储设备,省钱。


DRBD通过protocol参数来控制数据同步策略的选项,它支持三种协议:
A:数据写入本地磁盘,同时通过TCP向secondary节点发送数据,不过它支管发不管确认,因此不能确保数据是否能够成功发送给目标服务器,以及是否成功写到目标节点的物理磁盘。
B:数据写入本地磁盘的同时,也要写入其他节点的网络缓存。表示数据已经写入目标服务器,但目标服务器是否能够成功写入物理盘并不影响本地数据的提交。
C:数据写入本地磁盘的同时,也要写入其他节点的物理磁盘。推荐使用C选项,该选项能够确保本地与远端节点存储设备间的数据一致。


在一组DRBD集群中,多个节点之间DRBD设备中的数据一模一样(完全对等),但正如前面多次提到的,角色却分为两种:Master和Secondary。一组DRBD集群中,最多只能有一个Master角色,而对持有Secondary角色的数量则无限制,也就是说可以所有节点都是Secondary角色的节点。不过只有持有了Master角色的节点,才能够读写DRBD设备,而持有Secondary角色的节点,能够看到DRBD设备,但无法执行读写操作。

##添加新的硬盘
##首先在虚拟机上面添加一块新的硬盘sdb,大小1G,然后启动虚拟机。sdb磁盘分两个分区sdb1和sdb2。sdb1用来存放需要同步的data,sdb2存放DRBD的元数据。sdb1分配800M,剩下的空间全部分配给sdb2。在实际工作中,存放元数据的磁盘分配1~2G足以。还有需要注意的是,sdb2分区为meta data分区,不需要格式化操作。
# fdisk /dev/sdb  ##如果放数据的磁盘超过2T,就需要用parted命令来分区磁盘。
# partprobe
# mkfs.ext4 /dev/sdb1      ##sdb2分区为meta data分区,不需要格式化操作。
# tune2fs -c -1 /dev/sdb1

##环境规划
##添加一块新的网卡eth1
data-1-1:
eth0:192.168.1.109 (管理IP)
eth1:10.0.0.9    (心跳网卡,不需要配网关)
vip:192.168.1.119
drbd管理名称:data
drbd挂载目录:/data
drbd逻辑设备:/dev/drbd0
drbd对接IP:eth1:10.0.0.9/24
drbd存储设备:/dev/sdb1
drbd meta设备:/dev/sdb2[0]
--------------------------------------------
data-1-2:
eth0:192.168.1.110 (管理IP)
eth1:10.0.0.10   (心跳网卡,不需要配网关)
vip:192.168.1.120
drbd管理名称:data
drbd挂载目录:/data
drbd逻辑设备:/dev/drbd0
drbd对接IP:eth1:10.0.0.10/24
drbd存储设备:/dev/sdb1
drbd meta设备:/dev/sdb2[0]

##修改/etc/hosts
##hosts里面的ip地址,最好换成心跳IP。
10.0.0.9	data-1-1
10.0.0.10	data-1-2
##还有记得修改主机名,修改主机名的地方:/etc/sysconfig/network

##禁用selinux
修改/etc/selinux/config文件
将SELINUX=enforcing改为SELINUX=disabled重启机器即可。
查看selinux状态:
[root@CentOS ~]# getenforce
# service iptables stop
# chkconfig iptables off
# service ip6tables stop
# chkconfig ip6tables off

##配置服务器间心跳连接路由
[root@data-1-1 ~]# route add -host 10.0.0.10 dev eth1             ##到对端的心跳路由
[root@data-1-2 ~]# route add -host 10.0.0.9 dev eth1              ##到对端的心跳路由


##yum配置
(1)进入yum源配置目录:cd /etc/yum.repos.d
(2)备份系统自带的yum源:mv CentOS-Base.repo CentOS-Base.repo.bak
(3)下载163网易的yum源:wget http://mirrors.163.com/.help/CentOS6-Base-163.repo
(4)更改文件名:mv CentOS6-Base-163.repo CentOS-Base.repo
(5)更新玩yum源后,执行下边命令更新yum配置,使操作立即生效:yum clean all yum makecache

##DRBD安装
(1)首先我们要升级内核,升级之后我们重启 yum -y update kernel 和 yum install kernel-devel 这里请注意要加载新的内核
(2)# rpm -Uvh http://www.elrepo.org/elrepo-release-6-6.el6.elrepo.noarch.rpm
(3)安装DRBD: yum -y install drbd83-utils kmod-drbd83
(4)加载DRBD模块到内核: modprobe drbd
(5)检测DRBD是否安装成功: lsmod | grep drbd 显示信息:drbd	311209  0
(6)modprobe -l | grep -i drbd 可以查看路径
##安装完成后会在/etc/init.d/drbd生成启动脚本。不要设置echo 'modprobe drbd' >>/etc/rc.loca开机自动加载drbd模块
# chkconfig drbd off

##配置DRBD
# vi /etc/drbd.conf 
global { usage-count no; } 
common { syncer { rate 10M; verify-alg  crc32c; } }
resource data { 
	protocol C; 
	disk { on-io-error detach; } 
	on data-1-1 { 
		device	/dev/drbd0; 
		disk	/dev/sdb1; 
		address	10.0.0.9:7888; 
		meta-disk	/dev/sdb2[0]; 
	} 
	on data-1-2 { 
		device	/dev/drbd0; 
		disk	/dev/sdb1; 
		address	10.0.0.10:7888; 
		meta-disk	/dev/sdb2[0]; 
	} 
}
##至此,DRBD的配置算是做完了。我这里是用虚拟机,所以上面我都是在data-1-1里面做的,然后这里再复制data-1-1为data-1-2,并修改网卡配置。

##初始化meta分区(两边都要做)
# drbdadm create-md data
Writing meta data...
initializing activity log
NOT initialized bitmap
New drbd meta data block successfully created.

##启动drbd(两边都要做)
# drbdadm up all
# cat /proc/drbd
version: 8.3.16 (api:88/proto:86-97)
GIT-hash: a798fa7e274428a357657fb52f0ecf40192c1985 build by phil@Build32R6, 2014-11-24 14:49:06
 0: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r-----
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:827316
# service drbd status
drbd driver loaded OK; device status:
version: 8.3.16 (api:88/proto:86-97)
GIT-hash: a798fa7e274428a357657fb52f0ecf40192c1985 build by phil@Build32R6, 2014-11-24 14:49:06
m:res   cs         ro                   ds                         p  mounted  fstype
0:data  Connected  Secondary/Secondary  Inconsistent/Inconsistent  C

##初始化设备同步(覆盖备节点,保持数据一致)(注意,只在data-1-1上面操作)
[root@data-1-1 ~]# drbdadm -- --overwrite-data-of-peer primary all
[root@data-1-1 ~]# cat /proc/drbd
version: 8.3.16 (api:88/proto:86-97)
GIT-hash: a798fa7e274428a357657fb52f0ecf40192c1985 build by phil@Build32R6, 2014-11-24 14:49:06
 0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r-----
    ns:253952 nr:0 dw:0 dr:254624 al:0 bm:15 lo:0 pe:6 ua:0 ap:0 ep:1 wo:f oos:574132
	[=====>..............] sync'ed: 30.7% (574132/827316)K
	finish: 0:00:53 speed: 10,700 (10,548) K/sec
[root@data-1-1 ~]# cat /proc/drbd
version: 8.3.16 (api:88/proto:86-97)
GIT-hash: a798fa7e274428a357657fb52f0ecf40192c1985 build by phil@Build32R6, 2014-11-24 14:49:06
 0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
    ns:827316 nr:0 dw:0 dr:827988 al:0 bm:51 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0

##挂载drbd分区到data数据目录(注意,只在data-1-1上面操作)
[root@data-1-1 ~]# mkdir /data
[root@data-1-1 ~]# mount /dev/drbd0 /data
[root@data-1-1 ~]# df -h
Filesystem                     Size  Used Avail Use% Mounted on
/dev/mapper/vg_centos-lv_root   27G  5.0G   20G  21% /
tmpfs                          504M     0  504M   0% /dev/shm
/dev/sda1                      477M   50M  402M  12% /boot
/dev/drbd0                     780M  824K  739M   1% /data
[root@data-1-1 ~]# cd /data/
[root@data-1-1 data]# ll
总用量 16
drwx------ 2 root root 16384 12月 26 07:31 lost+found
[root@data-1-1 data]# touch `seq 10`
[root@data-1-1 data]# ls
1  10  2  3  4  5  6  7  8  9  lost+found
[root@data-1-1 data]# cat /proc/drbd 
version: 8.3.16 (api:88/proto:86-97)
GIT-hash: a798fa7e274428a357657fb52f0ecf40192c1985 build by phil@Build32R6, 2014-11-24 14:49:06
 0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
    ns:827388 nr:0 dw:72 dr:828345 al:2 bm:51 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0

##测试DRBD
[root@data-1-1 ~]# umount /data
[root@data-1-1 ~]# drbdadm down all
[root@data-1-1 ~]# cat /proc/drbd 
version: 8.3.16 (api:88/proto:86-97)
GIT-hash: a798fa7e274428a357657fb52f0ecf40192c1985 build by phil@Build32R6, 2014-11-24 14:49:06
 0: cs:Unconfigured
[root@data-1-2 ~]# drbdadm primary all
[root@data-1-2 ~]# mount /dev/drbd0 /mnt
[root@data-1-2 ~]# df -h
Filesystem                     Size  Used Avail Use% Mounted on
/dev/mapper/vg_centos-lv_root   27G  5.0G   20G  21% /
tmpfs                          504M     0  504M   0% /dev/shm
/dev/sda1                      477M   50M  402M  12% /boot
/dev/drbd0                     780M  824K  739M   1% /mnt
[root@data-1-2 ~]# cd /mnt/
[root@data-1-2 mnt]# ls
1  10  2  3  4  5  6  7  8  9  lost+found
[root@data-1-2 mnt]# cat /proc/drbd 
version: 8.3.16 (api:88/proto:86-97)
GIT-hash: a798fa7e274428a357657fb52f0ecf40192c1985 build by phil@Build32R6, 2014-11-24 14:49:06
 0: cs:WFConnection ro:Primary/Unknown ds:UpToDate/DUnknown C r-----
    ns:0 nr:827408 dw:827412 dr:1029 al:1 bm:51 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:4


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值