记一次Cephfs客户端读写大文件卡死问题解决

环境

集群版本：12.2.10
集群启动了个MDS，其中三个active 一个standby
客户端内核3.10，使用ceph-fuse 12.2.10进行挂载使用，挂载到客户机/data1/test目录下使用

情况

往/data1/test中cp小文件无异常，但是使用中cp一个3GB大小的文件时候，发现cp运行了一会就卡死了，CTRL+C和kill都无法杀死cp进程。这个时候在其他机器上挂载该路径写数据也都会卡死
通过ps -aux|grep cp 查看cp进程发现，该进程已经处于D状态（disk sleep,表示硬件资源不满足而处于深度休眠状态, 一般是等待磁盘。这种情况下无法杀死进程，除非重启机器）
但是在同一网段中某些机器上却不会出现卡死的情况

问题的解决

1. 检查MDS
   通过查看ceph官方文档https://ceph.seekerliu.com/cephfs/troubleshooting/，官方文档中列出了以下可能情况：

• 系统过载（如果你还有空闲内存，增大 mds cache size 配置试试，默认才 100000 。活跃文件比较多，超过 MDS 缓存容量是此问题的首要起因！）
• 客户端比较老（行为异常），或者
• 底层的 RADOS 问题。
  由于集群刚搭建起来，目前没有其他人使用，因此不存在过载问题；此外ceph-fuse客户端版本和集群版本一致，不存在客户端版本问题；
  并且查看了MDS节点的日志并没有发现什么异常，故排除上述原因

2. 检查客户端
   首先在ceph.conf中添加如下信息

[client]
debug fuse = 5
debug ms = 1
debug monc = 5
debug objectcacher = 5
log file = /var/log/ceph/ceph-client.log

然后使用以下命令开启ceph-fuse的日志 （指定ceph.conf的位置）

sudo ceph-fuse -n client.$user -r $cephfsPath --key $keyring -m $monHost $path --conf /etc/ceph/ceph.conf

然后挂载成功后，再次往路径中cp大文件，发现卡住了，查看发现以下错误日志：

7f6842bed700  1 -- 10.18.8.95:0/741587067 >> 10.18.10.12:6801/237272 conn(0x56267a223800 :-1 s=STATE_CONNECTING_RE pgs=0 cs=0 l=1)._process_connection reconnect failed

其中10.18.8.95是客户机，10.18.10.12是ceph集群中部分osd节点所在机器。
此时10.18.8.95 ping 10.18.10.12无法ping通，但是反过来是能ping通的

Reply From 10.18.10.12 : Destination Host Unreachable

同一网段10.18.8.92却能pin通10.18.10.12,很奇怪
在10.18.8.95运行以下命令

[@ss-8-95 ~]# arp -a|grep 10.18.10.12
? (10.18.10.12) at <incomplete> on eth2

原来是10.18.10.12这台机器的MAC地址没有在10.18.8.95的arp缓存中？很奇怪。跟网络部门的同学反馈了这个问题，他们说是网卡驱动的问题，机器重启后好了。无奈
这下就不会卡死了

题外话

使用ceph-fuse时候cp卡死了但又不想重启机器怎么办？
步骤如下：

1. 找到ceph-fuse进程kill
2. 然后umount挂载路径