Heartbeat+DRBD+MySQL高可用架构方案与实施过程细节

最新推荐文章于 2021-02-15 18:51:06 发布
最新推荐文章于 2021-02-15 18:51:06 发布
阅读量938 收藏
点赞数
分类专栏： Linux架构部分 文章标签： Keepalived Mysql Lvs

原文出自老男孩博文，这篇博文写的很是好，如此转载。

http://blog.51cto.com/oldboy/1240412

互联网公司从初期到后期的数据库架构拓展

124150957.jpg

 

 

Heartbeat介绍

 

官方站点：http://linux-ha.org/wiki/Main_Page

heartbeat可以资源(VIP地址及程序服务)从一台有故障的服务器快速的转移到另一台正常的服务器提供服务，heartbeat和keepalived相似，heartbeat可以实现failover功能，但不能实现对后端的健康检查

 

DRBD介绍

官方站点：http://www.drbd.org/

DRBD(DistributedReplicatedBlockDevice)是一个基于块设备级别在远程服务器直接同步和镜像数据的软件，用软件实现的、无共享的、服务器之间镜像块设备内容的存储复制解决方案。它可以实现在网络中两台服务器之间基于块设备级别的实时镜像或同步复制(两台服务器都写入成功)/异步复制(本地服务器写入成功)，相当于网络的RAID1，由于是基于块设备(磁盘，LVM逻辑卷)，在文件系统的底层，所以数据复制要比cp命令更快

DRBD已经被MySQL官方写入文档手册作为推荐的高可用的方案之一

 

MySQL介绍

官方站点：http://www.mysql.com/

MySQL是一个开放源码的小型关联式数据库管理系统。目前MySQL被广泛地应用在Internet上的中小型网站中。由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，许多中小型网站为了降低网站总体拥有成本而选择了MySQL作为网站数据库。

 

heartbeat和keepalived应用场景及区别

很多网友说为什么不使用keepalived而使用长期不更新的heartbeat，下面说一下它们之间的应用场景及区别

1、对于web，db，负载均衡(lvs,haproxy,nginx)等，heartbeat和keepalived都可以实现

2、lvs最好和keepalived结合，因为keepalived最初就是为lvs产生的，(heartbeat没有对RS的健康检查功能，heartbeat可以通过ldircetord来进行健康检查的功能)

3、mysql双主多从，NFS/MFS存储，他们的特点是需要数据同步，这样的业务最好使用heartbeat，因为heartbeat有自带的drbd脚本

总结：无数据同步的应用程序高可用可选择keepalived，有数据同步的应用程序高可用可选择heartbeat

1、Heartbeat+DRBD+MySQL安装部署

(1)、架构拓扑

124150265.jpg

架构说明：

一主多从最常用的架构，多个从库可以使用lvs来提供读的负载均衡

解决一主单点的问题，当主库宕机后，可以实现主库宕机后备节点自动接管，所有的从库会自动和新的主库进行同步，实现了mysql主库的热备方案

(2)、系统环境

系统环境

系统

CentOSrelease5.8

系统位数

X86

内核版本

2.6.18

软件环境

heartbeat

heartbeat-2.1.3-3

drbd

drbd83-8.3.13-2

mysql

5.5.27

(3)、部署环境

角色

IP

VIP

192.168.4.1(内网提供服务的地址)

master1

eth0:(数据库无公网地址)

eth1:192.168.4.2/16(内网)

eth2:172.16.4.2/16(心跳线)

eth3:172.168.4.2/16(DRBD千兆数据传输)

master2

eth0:(数据库无公网地址)

eth1:192.168.4.3/16(内网)

eth2:172.16.4.3/16(心跳线)

eth3:172.168.4.3/16(DRBD千兆数据传输)

slave1

eth1:192.168.4.4/16(外网)

说明：从库通过主库的VIP进行主从同步replication

需求：

1、主库master1宕机后master2自动接管VIP以及所有从库

2、在master2接管时，不影响从库的主从同步replication

 

(4)、主库服务器数据分区信息

磁盘

容量

分区

挂载点

说明

/dev/sdb

1G

/dev/sdb1

/data/

存放数据

/dev/sdb2

 

存放drbd同步的状态信息

注意

1、metadata分区一定不能格式化建立文件系统(sdb2存放drbd同步的状态信息)

2、分好的分区不要进行挂载

3、生产环境DRBDmetadata分区一般可设置为1-2G，数据分区看需求给最大

4、在生产环境中两块硬盘一样大

 

2、heartbeat安装部署

(1)、配置服务器间心跳连接路由

主节点

1

2

[root@master1 ~]# route add -host 172.16.4.3 dev eth2<==到对端的心跳路由

[root@master1 ~]# route add -host 172.168.4.3 dev eth3<==到对端的DRBD数据路由

备节点

1

2

[root@master2 ~]# route add -host 172.16.4.2 dev eth2

[root@master2 ~]# route add -host 172.168.4.2 dev eth3

(2)、安装heartbeat

1

2

3

[root@master1 ~]# yum install heartbeat -y

[root@master1 ~]# yum install heartbeat -y

提示：需要执行两遍安装heartbeat操作

(3)、配置heartbeat

主备节点两端的配置文件(ha.cfauthkeysharesources)完全相同

1)、ha.cf

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

[root@master1 ~]# vim /etc/ha.d/ha.cf

#log configure

debugfile /var/log/ha-debug

logfile /var/log/ha-log

logfacility local1

#options configure

keepalive 2

deadtime 30

warntime 10

initdead 120

#bcast  eth2

mcast eth2 225.0.0.7 694 1 0

#node configure

auto_failback on

node    master1     <==主节点主机名

node    master2     <==备节点主机名

crm no

2)、配置authkeys

1

2

3

[root@master1 ~]# vim /etc/ha.d/authkeys

auth 1

1 sha1 47e9336850f1db6fa58bc470bc9b7810eb397f04

3)、配置haresources

1

2

3

4

5

6

7

[root@master1 ~]# vim /etc/ha.d/haresources

master1 IPaddr::192.168.4.1/16/eth1

#master1 IPaddr::192.168.4.1/16/eth1 drbddisk::data Filesystem::/dev/drbd1::/data::ext3 mysqld

说明：

drbddisk::data      <==启动drbd data资源，相当于执行/etc/ha.d/resource.d/drbddisk data stop/start操作

Filesystem::/dev/drbd1::/data::ext3     <==drbd分区挂载到/data目录，相当于执行/etc/ha.d/resource.d/Filesystem /dev/drbd1 /data ext3 stop/start        <==相当于系统中执行mount /dev/drbd1 /data

mysql               <==启动mysql服务脚本，相当于/etc/init.d/mysql stop/start

(4)、启动heartbeat

1

2

3

[root@master1 ~]# /etc/init.d/heartbeat start

[root@master1 ~]# chkconfig heartbeat off

说明：关闭开机自启动，当服务器重启时，需要人工去启动

(5)、测试heartbeat

正常状态

1

2

3

4

5

6

7

8

[root@master1 ~]# ip addr|grep eth1

3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 1000

inet 192.168.4.2/16 brd 192.168.255.255 scope global eth1

inet 192.168.4.1/16 brd 192.168.255.255 scope global secondary eth1:0

[root@master2 ~]# ip addr|grep eth1

3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 1000

inet 192.168.4.3/16 brd 192.168.255.255 scope global eth1

说明：master1节点拥有vip地址，master2节点没有

模拟主节点宕机后的状态

1

2

3

4

5

6

[root@master1 ~]# /etc/init.d/heartbeat stop

[root@master2 ~]# ip addr|grep eth1

3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 1000

inet 192.168.4.3/16 brd 192.168.255.255 scope global eth1

inet 192.168.4.1/16 brd 192.168.255.255 scope global secondary eth1:0

说明：master1宕机后，vip地址漂移到master2节点上，master2成为主节点

模拟主节点故障恢复后的状态

1

2

3

4

5

6

[root@master1 ~]# /etc/init.d/heartbeat start

[root@master1 ~]# ip addr|grep eth1

3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 1000

inet 192.168.4.2/16 brd 192.168.255.255 scope global eth1

inet 192.168.4.1/16 brd 192.168.255.255 scope global secondary eth1:0

说明：master1抢占vip资源

 

3、DRBD安装部署

(1)、新添加硬盘

1

2

3

4

5

6

7

[root@master1 ~]# fdisk /dev/sdb

说明：sdb磁盘分两个分区sdb1和sdb2

[root@master1 ~]# partprobe

[root@master1 ~]# mkfs.ext3 /dev/sdb1

说明：sdb2分区为meta data分区，不需要格式化操作

[root@master1 ~]# tune2fs -c -1 /dev/sdb1

说明：设置最大挂载数为-1

(2)、安装DRBD

1

2

3

[root@master1 ~]# yum install kmod-drbd83 drbd83 -y

[root@master1 ~]# modprobe drbd

注意：不要设置echo 'modprobe drbd' >>/etc/rc.loca开机自动加载drbd模块，如果drbd服务是开机自启动的，会先启动drbd服务在加载drbd的顺序，导致drbd启动不了出现的问题

(3)、配置DRBD

主备节点两端配置文件完全一致

 

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

[root@master1 ~]# cat /etc/drbd.conf

global {

# minor-count 64;

# dialog-refresh 5; # 5 seconds

# disable-ip-verification;

usage-count no;

}

common {

protocol C;

disk {

on-io-error   detach;

#size 454G;

no-disk-flushes;

no-md-flushes;

}

net {

sndbuf-size 512k;

# timeout       60;    #  6 seconds  (unit = 0.1 seconds)

# connect-int   10;    # 10 seconds  (unit = 1 second)

# ping-int      10;    # 10 seconds  (unit = 1 second)

# ping-timeout   5;    # 500 ms (unit = 0.1 seconds)

max-buffers     8000;

unplug-watermark   1024;

max-epoch-size  8000;

# ko-count 4;

# allow-two-primaries;

cram-hmac-alg "sha1";

shared-secret "hdhwXes23sYEhart8t";

after-sb-0pri disconnect;

after-sb-1pri disconnect;

after-sb-2pri disconnect;

rr-conflict disconnect;

# data-integrity-alg "md5";

# no-tcp-cork;

}

syncer {

rate 120M;

al-extents 517;

}

}

resource data {

on master1 {

device     /dev/drbd1;

disk       /dev/sdb1;

address    192.168.4.2:7788;

meta-disk  /dev/sdb2 [0];

}

on master2 {

device     /dev/drbd1;

disk       /dev/sdb1;

address    192.168.4.3:7788;

meta-disk  /dev/sdb2 [0];

}

}

 

(4)、初始化meta分区

1

2

3

4

5

[root@master1 ~]# drbdadm create-md data

Writing meta data...

initializing activity log

NOT initialized bitmap

New drbd meta data block successfully created.

(5)、初始化设备同步(覆盖备节点，保持数据一致)

1

[root@master1 ~]# drbdadm -- --overwrite-data-of-peer primary data

(6)、启动drbd

1

2

[root@master1 ~]# drbdadm up all

[root@master1 ~]# chkconfig drbd off

(7)、挂载drbd分区到data数据目录

1

2

3

[root@master1 ~]# drbdadm primary all

[root@master1 ~]# mount /dev/drbd1 /data

说明：/data目录为数据库的数据目录

(8)、测试DRBD

正常状态

 

1

2

3

4

5

6

7

8

9

10

11

[root@master1 ~]# cat /proc/drbd

version: 8.3.13 (api:88/proto:86-96)

GIT-hash: 83ca112086600faacab2f157bc5a9324f7bd7f77 build by mockbuild@builder10.centos.org, 2012-05-07 11:56:36

1: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----

ns:497984 nr:0 dw:1 dr:498116 al:1 bm:31 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

[root@master2 ~]# cat /proc/drbd

version: 8.3.13 (api:88/proto:86-96)

GIT-hash: 83ca112086600faacab2f157bc5a9324f7bd7f77 build by mockbuild@builder10.centos.org, 2012-05-07 11:56:36

1: cs:Connected ro:Secondary/Primary ds:UpToDate/UpToDate C r-----

ns:0 nr:497984 dw:497984 dr:0 al:0 bm:30 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

说明：master1为主节点，master为备节点

模拟master1宕机

 

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

[root@master1 ~]# umount /dev/drbd1

[root@master1 ~]# drbdadm down all

[root@master2 ~]# cat /proc/drbd

version: 8.3.13 (api:88/proto:86-96)

GIT-hash: 83ca112086600faacab2f157bc5a9324f7bd7f77 build by mockbuild@builder10.centos.org, 2012-05-07 11:56:36

1: cs:WFConnection ro:Secondary/Unknown ds:UpToDate/DUnknown C r-----

ns:0 nr:497985 dw:497985 dr:0 al:0 bm:30 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

[root@master2 ~]# drbdadm primary all

[root@master2 ~]# mount /dev/drbd1 /data

[root@master2 ~]# df -h

Filesystem            Size  Used Avail Use% Mounted on

/dev/sda3              19G  5.1G   13G  29% /

/dev/sda1             190M   18M  163M  10% /boot

tmpfs                  60M     0   60M   0% /dev/shm

/dev/drbd1            471M   11M  437M   3% /data

说明：master1宕机后，master2可以升级为主节点，可挂载drbd分区继续使用

 

4、MySQL安装部署

注意：三台数据库都安装mysql服务，master2只安装到makeinstall即可，mysqld服务不要设置为开机自启动

(1)、解决perl编译问题

1

2

echo 'export LC_ALL=C'>> /etc/profile

source /etc/profile

 

(2)、安装CAMKE

1

2

3

4

5

6

cd /home/xu/tools

wget http://www.cmake.org/files/v2.8/cmake-2.8.4.tar.gz

tar zxf cmake-2.8.4.tar.gz

cd cmake-2.8.4

./configure

make & make install

 

(3)、创建用户

1

2

groupadd mysql

useradd -g mysql mysql

 

(4)、编译安装mysql

1

2

3

4

5

6

7

8

9

10

11

12

wget http://mysql.ntu.edu.tw/Downloads/MySQL-5.5/mysql-5.5.27.tar.gz

tar zxf mysql-5.5.27.tar.gz

cd mysql-5.5.27

cmake -DCMAKE_INSTALL_PREFIX=/usr/local/mysql \

-DMYSQL_UNIX_ADDR=/tmp/mysql.sock \

-DDEFAULT_CHARSET=utf8 \

-DDEFAULT_COLLATION=utf8_general_ci \

-DWITH_EXTRA_CHARSETS=complex \

-DWITH_READLINE=1 \

-DENABLED_LOCAL_INFILE=1

make -j 4

make install

 

(5)、设置mysql环境变量

1

2

[root@master1 ~]# echo 'PATH=$PATH:/usr/local/mysql/bin' >>/etc/profile

[root@master1 ~]# source /etc/profile

 

(6)、初始化数据库

1

2

3

4

[root@master1 ~]# mount /dev/drbd1 /data

说明：数据库存放数据的目录是drbd分区

[root@master1 ~]# cd /usr/local/mysql/

[root@master1 ~]# ./scripts/mysql_install_db --datadir=/data/ --user=mysql

 

(7)、启动数据库

1

2

3

4

5

[root@master1 ~]# vim /etc/init.d/mysqld

datadir=/data

说明：修改mysql启动脚本，指定数据库的目录为/data

[root@master1 ~]# /etc/init.d/mysqld start

[root@master1 ~]# chkconfig mysqld off

 

(8)、测试数据库

1

2

3

4

5

6

7

8

[root@master1 ~]# mysql -uroot -e "show databases;"

+--------------------+

| Database           |

+--------------------+

| information_schema |

| mysql              |

| performance_schema |

+--------------------+

 

 

5、故障切换测试

(1)、架构正常状态

master1主节点正常状态

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

[root@master1 ~]# ip addr|grep eth1

3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 1000

inet 192.168.4.2/16 brd 192.168.255.255 scope global eth1

inet 192.168.4.1/16 brd 192.168.255.255 scope global secondary eth1:0

[root@master1 ~]# cat /proc/drbd

version: 8.3.13 (api:88/proto:86-96)

GIT-hash: 83ca112086600faacab2f157bc5a9324f7bd7f77 build by mockbuild@builder10.centos.org, 2012-05-07 11:56:36

1: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----

ns:39558 nr:12 dw:39570 dr:151 al:16 bm:1 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

[root@master1 ~]# mysql -uroot -e "create database coral;"

[root@master1 ~]# mysql -uroot -e "show databases like 'coral';"

+------------------+

| Database (coral) |

+------------------+

| coral            |

+------------------+

说明：master1为主节点，拥有VIP地址，为drbd的主节点

master2备节点正常状态

1

2

3

4

5

6

7

8

9

[root@master2 ~]# ip addr|grep eth1

3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 1000

inet 192.168.4.3/16 brd 192.168.255.255 scope global eth1

[root@master2 ~]# cat /proc/drbd

version: 8.3.13 (api:88/proto:86-96)

GIT-hash: 83ca112086600faacab2f157bc5a9324f7bd7f77 build by mockbuild@builder10.centos.org, 2012-05-07 11:56:36

1: cs:Connected ro:Secondary/Primary ds:UpToDate/UpToDate C r-----

ns:0 nr:48 dw:48 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

说明：master2备节点没有VIP地址，为drbd备节点

 

 

(2)、模拟master1宕机故障状态

 

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

[root@master1 ~]# /etc/init.d/heartbeat stop    <==模拟master1故障宕机

[root@master2 ~]# tailf /var/log/ha-log         <==查看备节点接管日志

heartbeat[13209]: 2013/01/23_04:09:36 info: Received shutdown notice from 'master1'.

heartbeat[13209]: 2013/01/23_04:09:36 info: Resources being acquired from master1.

heartbeat[15293]: 2013/01/23_04:09:36 info: acquire local HA resources (standby).

heartbeat[15294]: 2013/01/23_04:09:37 info: No local resources [/usr/share/heartbeat/ResourceManager listkeys master2] to acquire.

heartbeat[15293]: 2013/01/23_04:09:37 info: local HA resource acquisition completed (standby).

heartbeat[13209]: 2013/01/23_04:09:37 info: Standby resource acquisition done [foreign].

harc[15319]:    2013/01/23_04:09:37 info: Running /etc/ha.d/rc.d/status status

mach_down[15335]:       2013/01/23_04:09:37 info: Taking over resource group IPaddr::192.168.4.1/16/eth1

ResourceManager[15361]: 2013/01/23_04:09:37 info: Acquiring resource group: master1 IPaddr::192.168.4.1/16/eth1 drbddisk::data Filesystem::/dev/drbd1::/data::ext3 mysqld

IPaddr[15388]:  2013/01/23_04:09:37 INFO:  Resource is stopped

ResourceManager[15361]: 2013/01/23_04:09:37 info: Running /etc/ha.d/resource.d/IPaddr 192.168.4.1/16/eth1 start

IPaddr[15486]:  2013/01/23_04:09:38 INFO: Using calculated netmask for 192.168.4.1: 255.255.0.0

IPaddr[15486]:  2013/01/23_04:09:38 INFO: eval ifconfig eth1:0 192.168.4.1 netmask 255.255.0.0 broadcast 192.168.255.255

IPaddr[15457]:  2013/01/23_04:09:38 INFO:  Success

ResourceManager[15361]: 2013/01/23_04:09:38 info: Running /etc/ha.d/resource.d/drbddisk data start

Filesystem[15636]:      2013/01/23_04:09:39 INFO:  Resource is stopped

ResourceManager[15361]: 2013/01/23_04:09:39 info: Running /etc/ha.d/resource.d/Filesystem /dev/drbd1 /data ext3 start

Filesystem[15717]:      2013/01/23_04:09:39 INFO: Running start for /dev/drbd1 on /data

Filesystem[15706]:      2013/01/23_04:09:39 INFO:  Success

ResourceManager[15361]: 2013/01/23_04:09:40 info: Running /etc/init.d/mysqld  start

mach_down[15335]:       2013/01/23_04:09:44 info: /usr/share/heartbeat/mach_down: nice_failback: foreign resources acquired

mach_down[15335]:       2013/01/23_04:09:44 info: mach_down takeover complete for node master1.

heartbeat[13209]: 2013/01/23_04:09:44 info: mach_down takeover complete.

heartbeat[13209]: 2013/01/23_04:10:09 WARN: node master1: is dead

heartbeat[13209]: 2013/01/23_04:10:09 info: Dead node master1 gave up resources.

heartbeat[13209]: 2013/01/23_04:10:09 info: Link master1:eth2 dead.

说明：当备节点无法检测到主节点的心跳时，自动接管资源，启动VIP地址、drbd服务，自动挂载drbd，启动mysqld服务，备节点接管后，数据依然存在，检测启动的服务如下：

[root@master2 ~]# ip addr|grep eth1

3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 1000

inet 192.168.4.3/16 brd 192.168.255.255 scope global eth1

inet 192.168.4.1/16 brd 192.168.255.255 scope global secondary eth1:0

[root@master2 ~]# cat /proc/drbd

version: 8.3.13 (api:88/proto:86-96)

GIT-hash: 83ca112086600faacab2f157bc5a9324f7bd7f77 build by mockbuild@builder10.centos.org, 2012-05-07 11:56:36

1: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----

ns:3 nr:95 dw:98 dr:10 al:1 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

[root@master2 ~]# df -h

Filesystem            Size  Used Avail Use% Mounted on

/dev/sda3              19G  4.7G   14G  26% /

/dev/sda1             190M   18M  163M  10% /boot

tmpfs                  60M     0   60M   0% /dev/shm

/dev/drbd1            471M   40M  408M   9% /data

[root@master2 ~]# mysql -uroot -e "show databases like 'coral';"

+------------------+

| Database (coral) |

+------------------+

| coral            |

+------------------+

 

(3)、模拟master1宕机恢复状态

启动的顺序是：先启动VIP--启动drbd资源--挂载drbd分区--启动mysqld服务，日志如下：

 

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

[root@master1 ~]# /etc/init.d/heartbeat start

[root@master1 ~]# tailf /var/log/ha-log

heartbeat[27970]: 2013/01/09_17:34:14 info: Version 2 support: no

heartbeat[27970]: 2013/01/09_17:34:14 WARN: Logging daemon is disabled --enabling logging daemon is recommended

heartbeat[27970]: 2013/01/09_17:34:14 info: **************************

heartbeat[27970]: 2013/01/09_17:34:14 info: Configuration validated. Starting heartbeat 2.1.3

heartbeat[27971]: 2013/01/09_17:34:14 info: heartbeat: version 2.1.3

heartbeat[27971]: 2013/01/09_17:34:14 info: Heartbeat generation: 1351554533

heartbeat[27971]: 2013/01/09_17:34:14 info: glib: UDP multicast heartbeat started for group 225.0.0.7 port 694 interface eth2 (ttl=1 loop=0)

heartbeat[27971]: 2013/01/09_17:34:14 info: G_main_add_TriggerHandler: Added signal manual handler

heartbeat[27971]: 2013/01/09_17:34:14 info: G_main_add_TriggerHandler: Added signal manual handler

heartbeat[27971]: 2013/01/09_17:34:14 info: G_main_add_SignalHandler: Added signal handler for signal 17

heartbeat[27971]: 2013/01/09_17:34:14 info: Local status now set to: 'up'

heartbeat[27971]: 2013/01/09_17:34:16 info: Link master2:eth2 up.

heartbeat[27971]: 2013/01/09_17:34:16 info: Status update for node master2: status active

harc[27978]:    2013/01/09_17:34:16 info: Running /etc/ha.d/rc.d/status status

heartbeat[27971]: 2013/01/09_17:34:17 info: Comm_now_up(): updating status to active

heartbeat[27971]: 2013/01/09_17:34:17 info: Local status now set to: 'active'

heartbeat[27971]: 2013/01/09_17:34:17 info: remote resource transition completed.

heartbeat[27971]: 2013/01/09_17:34:17 info: remote resource transition completed.

heartbeat[27971]: 2013/01/09_17:34:17 info: Local Resource acquisition completed. (none)

heartbeat[27971]: 2013/01/09_17:34:18 info: master2 wants to go standby [foreign]

heartbeat[27971]: 2013/01/09_17:34:20 info: standby: acquire [foreign] resources from master2

heartbeat[27997]: 2013/01/09_17:34:20 info: acquire local HA resources (standby).

ResourceManager[28010]: 2013/01/09_17:34:20 info: Acquiring resource group: master1 IPaddr::192.168.4.1/16/eth1 drbddisk::data Filesystem::/dev/drbd1::/data::ext3 mysqld

IPaddr[28037]:  2013/01/09_17:34:21 INFO:  Resource is stopped

ResourceManager[28010]: 2013/01/09_17:34:21 info: Running /etc/ha.d/resource.d/IPaddr 192.168.4.1/16/eth1 start

IPaddr[28135]:  2013/01/09_17:34:21 INFO: Using calculated netmask for 192.168.4.1: 255.255.0.0

IPaddr[28135]:  2013/01/09_17:34:21 INFO: eval ifconfig eth1:0 192.168.4.1 netmask 255.255.0.0 broadcast 192.168.255.255

IPaddr[28106]:  2013/01/09_17:34:21 INFO:  Success

ResourceManager[28010]: 2013/01/09_17:34:21 info: Running /etc/ha.d/resource.d/drbddisk data start

Filesystem[28286]:      2013/01/09_17:34:21 INFO:  Resource is stopped

ResourceManager[28010]: 2013/01/09_17:34:21 info: Running /etc/ha.d/resource.d/Filesystem /dev/drbd1 /data ext3 start

Filesystem[28367]:      2013/01/09_17:34:21 INFO: Running start for /dev/drbd1 on /data

Filesystem[28356]:      2013/01/09_17:34:21 INFO:  Success

ResourceManager[28010]: 2013/01/09_17:34:22 info: Running /etc/init.d/mysqld  start

heartbeat[27997]: 2013/01/09_17:34:25 info: local HA resource acquisition completed (standby).

heartbeat[27971]: 2013/01/09_17:34:25 info: Standby resource acquisition done [foreign].

heartbeat[27971]: 2013/01/09_17:34:25 info: Initial resource acquisition complete (auto_failback)

heartbeat[27971]: 2013/01/09_17:34:25 info: remote resource transition completed.

 

 

备节点释放资源顺序：停止mysqld服务--卸载drbd1分区--设置drbd为备节点--关闭VIP地址，日志如下：

 

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

[root@master2 ~]# tailf /var/log/ha-log

heartbeat[13209]: 2013/01/23_04:26:53 info: Heartbeat restart on node master1

heartbeat[13209]: 2013/01/23_04:26:53 info: Link master1:eth2 up.

heartbeat[13209]: 2013/01/23_04:26:53 info: Status update for node master1: status init

heartbeat[13209]: 2013/01/23_04:26:53 info: Status update for node master1: status up

harc[16151]:    2013/01/23_04:26:53 info: Running /etc/ha.d/rc.d/status status

harc[16167]:    2013/01/23_04:26:53 info: Running /etc/ha.d/rc.d/status status

heartbeat[13209]: 2013/01/23_04:26:53 info: all clients are now paused

heartbeat[13209]: 2013/01/23_04:26:55 info: Status update for node master1: status active

harc[16183]:    2013/01/23_04:26:55 info: Running /etc/ha.d/rc.d/status status

heartbeat[13209]: 2013/01/23_04:26:55 info: all clients are now resumed

heartbeat[13209]: 2013/01/23_04:26:55 info: remote resource transition completed.

heartbeat[13209]: 2013/01/23_04:26:55 info: master2 wants to go standby [foreign]

heartbeat[13209]: 2013/01/23_04:26:55 info: standby: master1 can take our foreign resources

heartbeat[16199]: 2013/01/23_04:26:55 info: give up foreign HA resources (standby).

ResourceManager[16212]: 2013/01/23_04:26:55 info: Releasing resource group: master1 IPaddr::192.168.4.1/16/eth1 drbddisk::data Filesystem::/dev/drbd1::/data::ext3 mysqld

ResourceManager[16212]: 2013/01/23_04:26:55 info: Running /etc/init.d/mysqld  stop

ResourceManager[16212]: 2013/01/23_04:26:57 info: Running /etc/ha.d/resource.d/Filesystem /dev/drbd1 /data ext3 stop

Filesystem[16297]:      2013/01/23_04:26:57 INFO: Running stop for /dev/drbd1 on /data

Filesystem[16297]:      2013/01/23_04:26:57 INFO: Trying to unmount /data

Filesystem[16297]:      2013/01/23_04:26:57 INFO: unmounted /data successfully

Filesystem[16286]:      2013/01/23_04:26:57 INFO:  Success

ResourceManager[16212]: 2013/01/23_04:26:57 info: Running /etc/ha.d/resource.d/drbddisk data stop

ResourceManager[16212]: 2013/01/23_04:26:57 info: Running /etc/ha.d/resource.d/IPaddr 192.168.4.1/16/eth1 stop

IPaddr[16445]:  2013/01/23_04:26:58 INFO: ifconfig eth1:0 down

IPaddr[16416]:  2013/01/23_04:26:58 INFO:  Success

heartbeat[16199]: 2013/01/23_04:26:58 info: foreign HA resource release completed (standby).

heartbeat[13209]: 2013/01/23_04:26:58 info: Local standby process completed [foreign].

heartbeat[13209]: 2013/01/23_04:27:02 WARN: 1 lost packet(s) for [master1] [15:17]

heartbeat[13209]: 2013/01/23_04:27:02 info: remote resource transition completed.

heartbeat[13209]: 2013/01/23_04:27:02 info: No pkts missing from master1!

heartbeat[13209]: 2013/01/23_04:27:02 info: Other node completed standby takeover of foreign resources.

 

 

6、从库同VIP同步

(1)、master配置

1)、设置server-id值并开启Binlog参数

1

2

3

4

5

[root@master1 ~]# vim /etc/my.cnf

log-bin=/usr/local/mysql/mysql-bin

server-id = 3

[root@master1 ~]# /etc/init.d/mysqld restart

注意：只有master1有重启操作，master2无需重启操作，因为备节点的mysql是未启动状态，备节点只有heartbeat才能启动mysql

 

2)、授权并建立同步账户rep

1

2

[root@master1 ~]# mysql -uroot -p

mysql> GRANT REPLICATION SLAVE ON *.* TO 'rep'@'192.168.4.%' IDENTIFIED BY 'rep';

 

(2)、slave配置

1)、设置server-id值并关闭binlog设置

1

2

3

4

5

[root@slave1 ~]# vim /etc/my.cnf

#log-bin=mysql-bin

server-id       = 4

[root@slave1 ~]# /etc/init.d/mysqld restart

说明：从库无需开启binlog日志功能，除非有需求做级联复制架构或对mysql增量备份操作才开启

2)、配置同步参数

1

2

3

4

5

6

7

8

[root@Slave ~]# mysql -uroot

CHANGE MASTER TO

MASTER_HOST='192.168.4.1',

MASTER_PORT=3306,

MASTER_USER='rep',

MASTER_PASSWORD='rep',

MASTER_LOG_FILE='mysql-bin.000001',

MASTER_LOG_POS=0;

3)、检查是否主从同步

1

2

3

4

5

6

[root@Slave ~]# mysql -uroot

mysql> show slave status\G

...

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

...

(3)、模拟高可用宕机切换是否影响从库同步

1)、主从正常状态

1

2

3

4

5

6

7

8

9

10

11

12

[root@master1 ~]# mysql -uroot

mysql> create database coral1;

Query OK, 1 row affected (0.02 sec)

[root@slave1 ~]# mysql -uroot -e "show slave status\G"|egrep "Slave_IO_Running|Slave_SQL_Running"

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

[root@slave1 ~]# mysql -uroot -e "show databases like 'coral%';"

+-------------------+

| Database (coral%) |

+-------------------+

| coral1            |

+-------------------+

2)、模拟高可用主节点宕机

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

[root@master1 ~]# /etc/init.d/heartbeat stop

说明：模拟主节点宕机

[root@master2 ~]# ip addr|grep eth1

3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 1000

inet 192.168.4.3/16 brd 192.168.255.255 scope global eth1

inet 192.168.4.1/16 brd 192.168.255.255 scope global secondary eth1:0

[root@master2 ~]# mysql -uroot

mysql> create database coral2;

Query OK, 1 row affected (0.08 sec)

说明：VIP地址已经漂移到master2上面

[root@slave1 ~]# mysql -uroot -e "show slave status\G"|egrep "Slave_IO_Running|Slave_SQL_Running"

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

[root@slave1 ~]# mysql -uroot -e "show databases like 'coral%'"

+-------------------+

| Database (coral%) |

+-------------------+

| coral1            |

| coral2            |

+-------------------+

注意：高可用主备节点切换过程中，会有一段时间从库才能连接上，大于在60秒内

说明：此时主从同步是正常的

3)、模拟高可用主节点宕机恢复

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

[root@master1 ~]# /etc/init.d/heartbeat start

[root@master1 ~]# mysql -uroot

mysql> create database coral3;

[root@slave1 ~]# mysql -uroot -e "show slave status\G"|egrep "Slave_IO_Running|Slave_SQL_Running"

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

[root@slave1 ~]# mysql -uroot -e "show databases like 'coral%'"

+-------------------+

| Database (coral%) |

+-------------------+

| coral1            |

| coral2            |

| coral3            |

+-------------------+

说明：高可用主节点故障恢复后也不影响主从库的同步

6、高可用脑裂问题及解决方案

(1)、导致裂脑发生的原因

1、高可用服务器之间心跳链路故障，导致无法相互检查心跳

2、高可用服务器上开启了防火墙，阻挡了心跳检测

3、高可用服务器上网卡地址等信息配置不正常，导致发送心跳失败

4、其他服务配置不当等原因，如心跳方式不同，心跳广播冲突，软件BUG等

(2)、防止裂脑一些方案

1、加冗余线路

2、检测到裂脑时，强行关闭心跳检测(远程关闭主节点，控制电源的电路fence)

3、做好脑裂的监控报警

4、报警后，备节点在接管时设置比较长的时间去接管，给运维人员足够的时间去处理(人为处理)

5、启动磁盘锁，正在服务的一方锁住磁盘，裂脑发生时，让对方完全抢不走"共享磁盘资源"

磁盘锁存在的问题：

使用锁磁盘会有死锁的问题，如果占用共享磁盘的一方不主动"解锁"另一方就永远得不到共享磁盘，假如服务器节点突然死机或崩溃，就不可能执行解锁命令，备节点也就无法接管资源和服务了，有人在HA中设计了智能锁，正在提供服务的一方只在发现心跳全部断开时才会启用磁盘锁，平时就不上锁

紫色飞猪
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Heartbeat+MySQL+DRBD构建高可用MySQL方案
12-07
### Heartbeat+MySQL+DRBD构建高可用MySQL方案 #### 一、DRBD原理及架构 ##### 1、原理简述 DRBD（Distributed Replicated Block Device）是一种分布式的块设备复制技术，主要用于实现高可用性和数据冗余。它可以...
keeplive+mysql+drbd高可用架构安装步骤
01-20
DRBD(DistributedReplicatedBlockDevice)是一个基于块设备级别在远程服务器直接同步和镜像数据的开源软件，类似于RAID1数据镜像，通常配合keepalived、heartbeat等HA软件来实现高可用性。 DRBD是一种块设备,可以被...
MySQL 高可用工具 DRBD 实战部署详解
02-25
Re： MySQL 高可用工具 DRBD 实战部署详解 ========================================# DRBD 是什么（用三句话总结） 目的：类似于 rsync + inotify 数据目录（/data）变化时，实现数据同步 功能：类似于本地磁盘阵列 raid-1，保持磁盘或者分区的一致性，但最终的目的是（/data）数据目录的一致性。 原理：类似于MySQL的主从复制，一份写在磁盘中，一份写在二进制日志中；DRBD原理也是一份写在磁盘中，另一份通过DRBD软件，经过tcp/ip协议，基于block变化，传输到远程磁盘中做记录。 # DRBD 的功能 Distributed Replicated Block Divice（缩略：DRBD）（分布式复制块设备） 基于高可用 HA 服务器之间的数据同步解决方案 基于块设备在不同的高可用服务器之间同步和镜像数据的软件，通过它可以实现在网络中的两台服务器之间基于“块”（block）设备级别的实时或异步镜像或同步复制（【原理】：类似MySQL主从复制） # DRBD 的目的 类似于DRBD ≈（rsync + inotify）的架构：单inotify基于文件系统‘上层’，当文件系统中有数据发生变化，就调用 rsync 服务，将文件系统中的文件同步到备库。 但是DRBD是基于文件系统底层（主要区别），即 block 块级别的更‘底层’，而 inotify是在文件系统之上的实际物理文件（文件复制），因此DRBD效率更高（类似克隆方式 GHOST 克隆软件）！ 相对而言：（rsync + inotify）工作原理（效率低...）... # DRBD 的应用 heartbeat + DRBD + nfs/mfs/gfs    下章演示... heartbeat + DRBD + mysql    本章演示... heartbeat + DRBD + oracle   甚至放弃 Oracle 原厂 RAC + DataGuard 等标配 HA方案        
MySQL高可用之DRBD
wzy0623的专栏
11-14 4910
目录 一、DRBD简介 1. 工作原理 2. DRBD 支持的底层设备 3. DRBD资源 4. DRBD 配置工具 5. DRBD与RAID1区别 6. DRBD与共享存储 二、DRBD安装配置 1. 实验环境 2. 配置前准备 3. 下载安装DRBD 4. 配置DRBD 四、测试MySQL数据同步 五、heartbeat+DRBD+mysql高可用方案 1....
Heartbeat+DRBD+MySQL高可用方案
weixin_34107739的博客
04-19 164
1.方案简介 本方案采用Heartbeat双机热备软件来保证数据库的高稳定性和连续性，数据的一致性由DRBD这个工具来保证。默认情况下只有一台mysql在工作，当主mysql服务器出现问题后，系统将自动切换到备机上继续提供服务，当主数据库修复完毕，又将服务切回继续由主mysql提供服务。 2.方案优缺点 优点：安全性高、稳定性高、可用性高，出现故障自动切换。 缺点：只有一台服务器提供服务，...
heartbeat+drbd
weixin_34372728的博客
09-10 128
heartbeat简介：Heartbeat 项目是 Linux-HA 工程的一个组成部分，它实现了一个高可用集群系统。心跳服务和集群通信是高可用集群的两个关键组件，在 Heartbeat 项目里，由 heartbeat 模块实现了这两个功能。下面描述了 heartbeat 模块的可靠消息通信机制，并对其实现原理做了一些介绍。hartbeat原理：heartbeat （Linu...
DRBD Mysql方案
weixin_34336292的博客
03-02 52
DRBD Mysql方案 测试环境：rhel5.5，drbd 8.0.7，mysql5.0.51-rc-log 1、首先从www.drbd.org下载了源代码包（我下载的8.0.7版本的包） 2、检查主机上面有没有linux的内核源代码，如果没有，需要找到相对应版本的源代码包安装上去。 3、开始安装drbd： 1) 解压：tar -zxvf drbd-8.0...
MySQL高可用扩展集群应用之配置mysql+heartbeat+drbd实现Mysql写操作高可用.pdf
07-11
在本资料中，我们关注的是通过配置MySQL与Heartbeat和DRBD来实现写操作的高可用性。以下是详细的知识点说明： 1. **DRBD（Distributed Replicated Block Device）**： - DRBD是一种分布式存储解决方案，它可以在两...
MySQL+Heartbeat+DRBD+构建高可用MySQL
11-12
### 构建高可用MySQL环境：MySQL + Heartbeat + DRBD #### 1. 概述 在构建高可用MySQL环境中，使用MySQL + Heartbeat + DRBD是一种常见且高效的方案。这种架构通过DRBD（Distributed Replicated Block Device）...
heartbeat+drbd+mysql安装部署
12-19
heartbeat+drbd+mysql安装部署
Mysql+drbd+heartbeat+amoeba集群配置详解
04-21
根据提供的信息，我们可以详细探讨如何构建一个基于MySQL、DRBD（Distributed Replicated Block Device）、Heartbeat以及Amoeba的高可用性和负载均衡的数据库集群系统。这种集群配置旨在提高系统的稳定性和数据的...
mysql+heartbeat+drbd软件集合
05-17
在实际部署中，MySQL+Heartbeat+DRBD的组合通常用于构建高可用性的数据库环境。首先，MySQL的主服务器负责处理所有写入操作，同时通过DRBD将这些更改实时同步到备用服务器。Heartbeat则负责监控这两台服务器的状态，...
Heartbeat MySQL DRBD构建高可用MySQL方案
04-26
总结来说，"Heartbeat MySQL DRBD构建高可用MySQL方案"是一种结合了软件层面的心跳监控与硬件级别的数据复制的高可用性解决方案。它通过DRBD的实时数据同步和Heartbeat的故障检测及资源管理，实现了MySQL数据库的高...
MySQL 高可用（DRBD + heartbeat）
02-25
Re： MySQL 高可用（DRBD + heartbeat） （Distributed Replicated Block Device）============================================ 架构师主要解决问题是 ：数据库（本章重点）和存储 数据库（核心数据：例如用户数据，支付数据等等）和  存储  （边缘数据 ：例如图片或附件等等）               结论：数据库HA架构更难，重要性更强！ # （MySQL + DRBD + heartbeat）架构由来 MYSQL数据库架构中，我们不难发现，虽然从库是多个，但是主库仅有一个，也就是说主库一旦宕机，所以写的业务都会终止，而从库宕机一个就没什么影响，那么如何解决这个主库单点的问题呢， 1) 最简单的方案就是做好监控，然后主库宕机后，有管理人为手工选择最快的从库改为主，然后让其它从库和新的主同步，这个方案是简单易行的，但是需要人工处理，对有些高要求场合不能够及时和快捷 2) 采用（MySQL + DRBD + heartbeat）高可用架构自动切换‘主’库，同时防止裂脑        
Heartbeat+Drbd实现
weixin_33936401的博客
09-26 135
继续之前的操作，在drbd部署完成之后，将drbd和heartbeat结合起来，实现drbd服务的高可用，并在主节点完成自动挂载，且能够做到故障自动切换。按照之前的部署，只需要修改heartbeat中的资源，也即修改/etc/init.d/haresources文件的内容。1、准备工作注意：在配置drbd高可用之前，需要保证drbd服务是启动的，而且要实现两端都是second...
drbd和mysql_DRBD+MYSQL实现高可用的数据库环境
weixin_35218304的博客
02-15 387
运行环境：Ubuntu8.0.4DRBD-8.0.11MySQL-5.1.36-log服务器名称及IP：DBTest1 192.168.0.101 primary nodeDBTest2 192.168.0.102 secondary node步骤：一，编译安装MySQL在DBTest1和DBTest2上分别执行如下步骤#tar -zxvf mysql-5.1.36.tar.gz#cat mysq...
Heartbeat+DRBD+MySQL：高可用架构详解
"本文主要探讨了基于Heartbeat+DRBD+MySQL的高可用架构方案，以及其实施过程的细节。这种架构旨在确保互联网公司的数据库在面对故障时仍能保持服务的连续性和数据的一致性。文章还介绍了Heartbeat、DRBD和MySQL的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值