K8S笔记05 -- 数据持久化-NFS

在 Docker中 ，当容器删除时，容器中的数据也一起会被删除，想要持久化使用数据，需要把主机上的目录挂载到 Docker 中去。K8s 数据卷 docker 数据卷的扩展，K8S 可以适配各种存储系统。如：EmptyDir，HostPath， 网络存储（NFS，GlusterFS，PV/PVC）等。这里采用 NFS + PV/PVC 网络存储方案实现我们的 Kubernetes 数据持久化

NFS概念及原理

NFS 是 Network File System 的简写，即网络文件系统。NFS 基于 RPC (Remote Procedure Call) 远程过程调用实现，其允许一个系统在网络上与它人共享目录和文件。通过使用 NFS，用户和程序就可以像访问本地文件一样访问远端系统上的文件。NFS 是一个非常稳定的，可移植的网络文件系统。具备可扩展和高性能等特性，且达到了企业级应用质量标准。受益网络速度的增加和延迟的降低，NFS 系统一直是通过网络提供文件系统服务的不错选择 。

NFS 原理
NFS 使用 RPC (Remote Procedure Call) 的机制进行实现，经由操作系统的内核，将 NFS 文件系统的调用请求通过 TCP/IP 发送至服务端的 NFS 服务。NFS 服务器执行相关的操作，并将操作结果返回给客户端。

NFS主要进程
rpc.nfsd：最主要的 NFS 进程，管理客户端是否可登录
rpc.mountd：挂载和卸载 NFS 文件系统，包括权限管理
rpc.lockd：非必要，管理文件锁，避免同时写出错
rpc.statd：非必要，检查文件一致性，可修复文件

配置信息及工具
主要配置文件：/etc/exports
NFS 文件系统维护命令：/usr/bin/exportfs
共享资源的日志文件：/var/lib/nfs/*tab
客户端查询共享资源命令：/usr/sbin/showmount
端口配置：/etc/sysconfig/nfs

服务端配置
在 NFS 服务器端的主要配置文件为 /etc/exports ，此配置文件可以设置共享文件目录。每条配置记录由 NFS 共享目录、NFS 客户端地址和参数这 3 部分组成，格式如下：

[NFS 共享目录] [NFS 客户端地址 1 (参数 1, 参数 2, 参数 3……)] [客户端地址 2 (参数 1, 参数 2, 参数 3……)]

NFS 共享目录：服务器上共享出去的文件目录
NFS 客户端地址：允许其访问的 NFS 服务器的客户端地址，可以是客户端 IP 地址，也可以是一个网段 (192.168.141.0/24) * 表示所有
访问参数：括号中包括权限参数、映射参数，逗号分隔项等权限选项 如下：
1.访问权限参数
ro 客户端对于共享文件目录为只读权限。默认
rw 客户端对于共享文件目录具有读写权限

2. 用户映射参数

root_squash 使客户端使用 root 账户访问时，服务器映射为服务器本地的匿名账号
no_root_squash 客户端连接服务端时如果使用的不是 root，那么也拥有对服务端分享的目录的 root 权限 安全性低
all_squash 将所有客户端用户请求映射到匿名用户或用户组（nfsnobody)
no_all_squash 与上相反。默认
anonuid=xxx 将远程访问的所有用户都映射为匿名用户，并指定该用户为本地用户(UID=xxx)
anongid=xxx 将远程访问的所有用户组都映射为匿名用户组账户，并指定该匿名用户组账户为本地用户组账户(GUI=xxx)

3. 其他参数
   sync 同步写操作，数据写入存储设备后返回成功信息。默认
   async 异步写提作，数据在未完全写入存储设备前就返回成功信息，实际还在内存，
   wdelay 延迟写入选项，将多个写提请求合并后写入硬盘，减少 I/O 次数， NFS 非正常关闭数据可能丢失。默认
   no_wdelay 与上相反，不与 async 同时生效，如果 NFS 服务器主要收到小且不相关的请求，该选项实际会降低性能
   subtree 若输出目录是一个子目录，则 NFS 服务器将检查其父目录的权限。默认
   no_subtree 即使输出目录是一个子目录， NFS 服务器也不检查其父目录的权限，这样可以提高效率
   secure 限制客户端只能从小于 1024 的 TCP/IP 端口连接 NFS 服务器。默认
   insecure 允许客户端从大于 1024 的 TCP/IP 端口连接服务器

安装NFS服务端

这里克隆一台单独的虚拟机，
主机名：server7 系统： Ubuntu Server 18.04 硬盘 ：40G ip:192.168.90.37

1. 创建一个要共享的目录并增加读写权限

eric@server7:~$ sudo mkdir -p /usr/local/kubernetes/volumes --创建目录
eric@server7:~$ sudo chown eric:eric /usr/local/kubernetes/volumes --改变所有者
eric@server7:~$ cd /usr/local/kubernetes/volumes
eric@server7:/usr/local/kubernetes/volumes$ chmod a+rw /usr/local/kubernetes/volumes --增加读写权限

2. 安装nfs服务端

sudo apt-get update
sudo apt-get install -y nfs-kernel-server

3. 修改配置
   编辑 文件 /etc/exports 增加如下内容

usr/local/kubernetes/volumes *(rw,sync,no_subtree_check,no_root_squash)

4. 重启服务

sudo /etc/init.d/nfs-kernel-server restart

安装NFS客户端并验证

eric@server7:/usr/local/kubernetes$ sudo apt-get install -y nfs-common  --安装nfs客户端程序
eric@server7:/usr/local/kubernetes$ sudo mkdir -p /usr/local/kubernetes/volumes-mount  --创建挂载目录  用来挂载到 网络硬盘
eric@server7:/usr/local/kubernetes$ sudo  mount 192.168.90.37:/usr/local/kubernetes/volumes   /usr/local/kubernetes/volumes-mount   -- 挂载目录到 nfsserver目录

eric@server7:/usr/local/kubernetes$ df  --查看硬盘信息
Filesystem                                  1K-blocks    Used Available Use% Mounted on
udev                                          1492148       0   1492148   0% /dev
tmpfs                                          304964    1000    303964   1% /run
/dev/mapper/ubuntu--vg-ubuntu--lv            39986464 6991312  30934252  19% /
tmpfs                                         1524816       0   1524816   0% /dev/shm
tmpfs                                            5120       0      5120   0% /run/lock
tmpfs                                         1524816       0   1524816   0% /sys/fs/cgroup
/dev/sda2                                      999320  152800    777708  17% /boot
tmpfs                                          304960       0    304960   0% /run/user/0
tmpfs                                          304960       0    304960   0% /run/user/1000
----挂载成功
192.168.90.37:/usr/local/kubernetes/volumes  39986688 6991360  30934528  19% /usr/local/kubernetes/volumes-mount
e


eric@server7:/usr/local/kubernetes$ sudo ip addr > /usr/local/kubernetes/volumes-mount/test.txt   --新建文件到 volumes-mount 目录，
eric@server7:/usr/local/kubernetes$ ll
total 16
drwxr-xr-x  4 root root 4096 Aug 22 12:23 ./
drwxr-xr-x 11 root root 4096 Aug 22 12:08 ../
drwxrwxrwx  2 eric eric 4096 Aug 22 12:27 volumes/
drwxrwxrwx  2 eric eric 4096 Aug 22 12:27 volumes-mount/
eric@server7:/usr/local/kubernetes$ ll volumes  --可以看到 nfs服务端代码也有了该文件
total 12
drwxrwxrwx 2 eric eric 4096 Aug 22 12:27 ./
drwxr-xr-x 4 root root 4096 Aug 22 12:23 ../
-rw-rw-r-- 1 eric eric  976 Aug 22 12:27 test.txt

执行如下命令可以取消挂载

umount /usr/local/kubernetes/volumes-mount