chris_dev-CSDN博客

转载 Linux OOM机制

Linux下面有个特性叫OOM killer（Out Of Memory killer），这个东西会在系统内存耗尽的情况下跳出来，选择性的干掉一些进程以求释放一些内存。典型的情况是：某天机器突然登不上了能ping通，但是ssh死活连不了。原因是sshd进程被OOM killer干掉了。重启机器后查看系统日志会发现Out of Memory:...

2019-03-15 14:26:49 282

原创 Linux OOM机制&线上osd异常kill

一引言某日早上收到邮件告警信息，上报pg stale以及recovery信息，于是登录系统运维。二排查&解决登录系统后发现系统已恢复正常，按照正常来讲并无影响，但系统既已出现recovery信息意味着一定有osd down发生。于是排查osd日志，发现某osd上报心跳问题。登录到所在osd 查看osd日志，并无对应错误，但osd进程莫名其妙重启了。查阅进程验证...

2019-03-15 14:17:07 428

原创 ceph集群换盘

一引言某地项目运行两年后磁盘批量报错，利用smartctl检测发现出现大量扇区错误，但并未达到彻底无法读写程度，统计下来发现数量接近40块，考虑批次换盘。坏盘期间为了保证不影响业务，需拟定一个较好的方案。二方案在查阅一堆资料后，发现无论采用哪种方案换盘都会出现大量的数据迁移。上图引用至张鹏博客由于线上项目数据量巨大，恢复周期长，采取这种方式换盘并不能完全达到我们的需求。因...

2019-03-13 10:39:00 737

原创集群ceph df中pool 与 global不一致问题

一引言某地存储项目中由于每天都需要统计存储使用量及业务量，在某一日统计存储使用量时发现global中容量与各池的可用容量不一致，由此产生疑问。二 Global & Pool统计分析代码，发现ceph df在monitor中的处理逻辑是monito.cc handle_command：这部分代码里主要分为两部分：一部分是对于Global输出的统计，另外一部分是对于各池的统计。{...

2019-03-13 10:02:35 1725 1

原创 FileStore omap的实现

目录一引言二 omap实现三 omap寻址四 omap属性设置五 header ->seq的由来一引言ceph分布式存储中在本地存储方面采用插件模式，支持filestore、bluestore、memstore等存储引擎。FileStore承载着数据的存储，除了要将数据写入本地文件系统外，还需要存储部分数据的属性信息，少量的元数据信息存储在文件系统的xattr...

2019-03-12 13:11:26 558

原创 SPDK示例代码分析

一 SPDK简介SPDK是intel公司为NVME ssd硬件开发的一套用于加速硬件性能的一款开发套件，支持不同层面的lib库，包括nvme ssd driver、ioat、bdev等。二源码目录app app/iscsi_tgt: iscsi targetapp/nvmf_tgt: NVMe-oF targetapp/iscsi_top：iscsi top工具类似于linux top

2018-01-24 15:18:31 6893

原创 S3FS简介及安装部署

一概述S3FS是google开发的一款支持将对象存储中的bucket以文件形式导出的文件系统接口，兼容POSIX语义。S3fs是基于FUSE开发文件系统，允许Linux和Mac Os X挂载S3的存储桶在本地文件系统，S3fs能够保持对象原来的格式。二环境os：ubuntu16.04三安装部署3.1 获取源码git clone https://github.com/s3fs-fuse/s3fs

2018-01-23 17:08:19 18046

一.概述随着硬盘、闪存技术的高速发展，NVME-ssd已逐渐进入分布式存储的核心领域。伴随着NVME-ssd的出现，涌现出一批新型的存储名词，包括分层存储、分级存储、冷热存储、混合存储等。而这些名词的出现，也意味着ssd在当前大环境下由于其昂贵的价格还无法大量应用。根据预测，ssd价格将在19年末出现大幅下降，藉此，ssd将成为存储领域重要的存储介质。 ssd存储介质正在取代传统数据中心的机械硬盘

2018-01-23 15:39:09 18481 1

原创 NFS-Ganesha 安装部署及测试

一、概览自从Jewel版本，nfs-ganesha开始支持ceph，ganesha通过两种方式支持将ceph通过posix及nfs语义导出。一种通过rgw，一种通过cephfs，通过FSAL模块连接到RGW或者CephFS，其中，FSAL_RGW调用librgw2将NFS协议转义为S3协议再通过RGW存入到Ceph中，FSAL_CEPH 调用libcephfs1将NFS转义为Cephfs协

2018-01-23 09:57:22 8591 1

原创 cephFS MDSdaemon类解析

1.MDS构成 MDS数据结构由MDSdaemon类构成，MDSdaemon类继承与Dispatcher、md_config_obs_t类。 2.方法及释义 admin_sock:bool asok_command(string command, cmdmap_t& cmdmap, string format, ostream& ss)---> command=sta

2018-01-22 17:45:25 1306

原创开源bacula9.0.4 基于ubuntu16.04安装

一.Bacula介绍 Bacula是一款开源的跨平台网络备份工具，提供基于企业级的CS的备份解决方案。可以对数据进行备份、恢复、以及完整性校验。一个完整的bacula备份系统，由下面5个部分组成 Director Daemon：负责监听所有的备份、恢复、验证、存档事务，以及定制备份和恢复文件计划等，并将整个系统运行状况记录在一个数据库文件中。其配置文件为bacula-dir.conf。 Sto

2017-10-23 17:07:33 1731

原创基于ubuntu16.04的ceph v10.2.9源码编译

1.环境准备在进行源码编译之前首先安装源码编译过程中可能用到的安装包。apt install libtool automake cmake gcc g++ cython snappy libsnappy-devlibleveldb-dev libblkid-dev libudev-dev libkeyutils-dev libcrypto++-dev libfcgi-dev libcurl4

2017-09-27 15:56:38 769

原创 redhat6.6离线安装ceph jewel 10.2.7

1.背景由于项目需求，需要在redhat6.6上安装部署ceph 10.2.7版本客户端，目前使用ceph-fuse。2.如何升级众所周知，redhat6.6版本内核是2.6.32版本，系统不支持cephfs内核版本以及rbd，升级内核是其中最有效的办法。如果无法进行内核升级，需要重新在redhat6.6平台上进行ceph编译，并按照编译环境升级系统环境。这里由于客户机器无法进行内核升级，所以只好进

2017-04-20 11:07:44 1432

原创 Redhat 6.6离线升级gcc-4.8

一.背景由于项目需要，必须在redhat6.6上安装ceph jewel安装包，而jewel（10.2.7）版本的源码依赖于gcc-4.8，所以必须在redhat6.6上先升级gcc到4.8版本。二.获取源码从http://gcc.gnu.org/下载gcc安装包 gcc-4.8.1.tar.gz 从ftp://ftp.gnu.org/gnu/gmp/ 下载GMP安装包 gmp-4.3.2 .ta

2017-04-20 10:00:17 5122 1

原创 ceph 源码编译in redhat6.6

一.背景由于某地项目需要需要ceph支持redhat6.6客户端，因此需要在redhat6.6 basic server进行源码的编译以及rpm包的生成。二.获取ceph源码获取ceph源码有几种方式，可以选择从git库上获取，也可以在官网获取，值得一提的是，如果在git库上获取时，默认是只clone 主分支源码到当前工作目录，并不会递归clone ceph submodule里的代码，因此

2017-02-28 15:13:56 691

原创博客初记

博客初记以此共勉毕业至今已快4年，博客开通也已有些时日，至今尚未发表一篇博客。偶然与部门老大交谈，得知他在写博客加上之前一次面试时候被问及博客地址（博客无内容比较尴尬⊙﹏⊙‖∣），因此决定开始记录博客，以此记录工作历程，并促进技术进步。

2017-02-24 14:41:08 362

zlarm的专栏