glusterFS 安装

使用 yum 安装

#安装服务
yum install -y glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma

#启动服务
systemctl start glusterd.service
systemctl enable glusterd.service
systemctl status glusterd.service

#添加信任池
gluster peer probe 172.23.227.154

#查看信任池
gluster peer status

#删除服务器
gluster peer detach 192.168.1.233

#创建挂载卷  创建的数据复制三份。互为备份的磁盘是按录入顺序决定的，从上到下每三个互备一份数据。
gluster volume create dir_rep_vol_01 replica 3 transport tcp \
10.220.42.226:/export/glusterFS/dir_rep_vol_01 \
10.220.42.243:/export/glusterFS/dir_rep_vol_01 \
10.220.45.33:/export/glusterFS/dir_rep_vol_01 \
10.220.45.36:/export/glusterFS/dir_rep_vol_01 \
10.220.45.42:/export/glusterFS/dir_rep_vol_01 \
10.220.45.43:/export/glusterFS/dir_rep_vol_01 \
10.220.45.49:/export/glusterFS/dir_rep_vol_01 

#添加磁盘

gluster volume add-brick dir_rep_vol_02 \
172.23.239.111:/export/grid/10/dir_rep_vol_02 \
172.23.239.112:/export/grid/10/dir_rep_vol_02 \
172.23.239.113:/export/grid/10/dir_rep_vol_02 \
172.23.239.114:/export/grid/10/dir_rep_vol_02 \
 172.23.226.12:/export/grid/10/dir_rep_vol_02 \
172.23.227.150:/export/grid/10/dir_rep_vol_02 

#启动挂载卷
gluster volume start dir_rep_vol_01

#查看挂载卷
gluster volume info

gluster volume status

#替换挂载卷disk
gluster volume replace-brick dir_rep_vol_02 172.23.227.156:/export/grid/02/vop_rep_vol 172.23.227.156:/export/grid/11/vop_rep_vol commit force

#删除disk
gluster volume remove-brick dir_rep_vol_02 replica 3 172.23.227.154:/export/grid/02/dir_rep_vol_02 172.23.227.154:/export/grid/03/dir_rep_vol_02 172.23.227.154:/export/grid/04/dir_rep_vol_02 172.23.227.154:/export/grid/05/dir_rep_vol_02 172.23.227.154:/export/grid/06/dir_rep_vol_02 172.23.227.154:/export/grid/07/dir_rep_vol_02 172.23.227.154:/export/grid/08/dir_rep_vol_02 172.23.227.154:/export/grid/09/dir_rep_vol_02 172.23.227.154:/export/grid/11/dir_rep_vol_02 force

#设置扩展属性出发自愈

setfattr -n trusted.non-existent-key -v abc /mnt

setfattr -x trusted.non-existent-key /mnt

#检查卷的状态是否需要替换

gluster volume heal dir_rep_vol_01 info

#检查脑裂情况

gluster volume heal dir_rep_vol_01 info split-brain

获取文件扩展属性

getfattr -d -m . -e hex filename

getfattr -d -m "trusted.afr.*" -e hex filename

#创建目录
mkdir  /export/data
#挂载目录
mount -t glusterfs 172.23.227.153:/dir_rep_vol_01 /export/data

添加参数：

Auth_allow　　#IP访问授权；缺省值（*.allow all）；合法值：Ip地址
Cluster.min-free-disk　　#剩余磁盘空间阀值；缺省值（10%）；合法值：百分比
Cluster.stripe-block-size　　#条带大小；缺省值（128KB）；合法值：字节
Network.frame-timeout　　#请求等待时间；缺省值（1800s）；合法值：1-1800
Network.ping-timeout　　#客户端等待时间；缺省值（42s）；合法值：0-42
Nfs.disabled　　#关闭NFS服务；缺省值（Off）；合法值：Off|on
Performance.io-thread-count　　#IO线程数；缺省值（16）；合法值：0-65
Performance.cache-refresh-timeout　　#缓存校验时间；缺省值（1s）；合法值：0-61
Performance.cache-size　　#读缓存大小；缺省值（32MB）；合法值：字节
Performance.quick-read: #优化读取小文件的性能
Performance.read-ahead: #用预读的方式提高读取的性能，有利于应用频繁持续性的访问文件，当应用完成当前数据块读取的时候，下一个数据块就已经准备好了。
Performance.write-behind:先写入缓存内，在写入硬盘，以提高写入的性能。
Performance.io-cache:缓存已经被读过的、

 

1.开启指定volume的配额
gluster volume quota k8s-volume enable
2.限制指定volume的配额
gluster volume quota k8s-volume limit-usage / 5GB
3.设置cache大小, 默认32MB
gluster volume set dir_rep_vol_01  performance.cache-size 1024MB
4.设置io线程, 太大会导致进程崩溃
gluster volume set dir_rep_vol_01  performance.io-thread-count 16
5.设置网络检测时间, 默认42s
gluster volume set dir_rep_vol_01  network.ping-timeout 10
6.设置写缓冲区的大小, 默认1M
gluster volume set dir_rep_vol_01 performance.write-behind-window-size 512MB