![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ceph
文章平均质量分 68
chris_dev
云存储行业从业者
展开
-
redhat6.6离线安装ceph jewel 10.2.7
1.背景由于项目需求,需要在redhat6.6上安装部署ceph 10.2.7版本客户端,目前使用ceph-fuse。2.如何升级众所周知,redhat6.6版本内核是2.6.32版本,系统不支持cephfs内核版本以及rbd,升级内核是其中最有效的办法。如果无法进行内核升级,需要重新在redhat6.6平台上进行ceph编译,并按照编译环境升级系统环境。这里由于客户机器无法进行内核升级,所以只好进原创 2017-04-20 11:07:44 · 1432 阅读 · 0 评论 -
集群ceph df中pool 与 global不一致问题
一 引言某地存储项目中由于每天都需要统计存储使用量及业务量,在某一日统计存储使用量时发现global中容量与各池的可用容量不一致,由此产生疑问。二 Global & Pool统计分析代码,发现ceph df在monitor中的处理逻辑是monito.cc handle_command:这部分代码里主要分为两部分:一部分是对于Global输出的统计,另外一部分是对于各池的统计。{...原创 2019-03-13 10:02:35 · 1725 阅读 · 1 评论 -
FileStore omap的实现
目录一 引言二 omap实现三 omap寻址四 omap属性设置五 header ->seq的由来一 引言ceph分布式存储中在本地存储方面采用插件模式,支持filestore、bluestore、memstore等存储引擎。FileStore承载着数据的存储,除了要将数据写入本地文件系统外,还需要存储部分数据的属性信息,少量的元数据信息存储在文件系统的xattr...原创 2019-03-12 13:11:26 · 559 阅读 · 0 评论 -
Linux OOM机制&线上osd异常kill
一 引言某日早上收到邮件告警信息,上报pg stale以及recovery信息,于是登录系统运维。二 排查&解决登录系统后发现系统已恢复正常,按照正常来讲并无影响,但系统既已出现recovery信息意味着一定有osd down发生。于是排查osd日志,发现某osd上报心跳问题。登录到所在osd 查看osd日志,并无对应错误,但osd进程莫名其妙重启了。查阅进程验证...原创 2019-03-15 14:17:07 · 428 阅读 · 0 评论 -
SPDK示例代码分析
一 SPDK简介SPDK是intel公司为NVME ssd硬件开发的一套用于加速硬件性能的一款开发套件,支持不同层面的lib库,包括nvme ssd driver、ioat、bdev等。二 源码目录app app/iscsi_tgt: iscsi targetapp/nvmf_tgt: NVMe-oF targetapp/iscsi_top:iscsi top工具 类似于linux top原创 2018-01-24 15:18:31 · 6893 阅读 · 0 评论 -
S3FS简介及安装部署
一 概述S3FS是google开发的一款支持将对象存储中的bucket以文件形式导出的文件系统接口,兼容POSIX语义。S3fs是基于FUSE开发文件系统,允许Linux和Mac Os X挂载S3的存储桶在本地文件系统,S3fs能够保持对象原来的格式。二 环境os:ubuntu16.04三 安装部署3.1 获取源码git clone https://github.com/s3fs-fuse/s3fs原创 2018-01-23 17:08:19 · 18047 阅读 · 0 评论 -
SPDK简介及基本使用
一.概述随着硬盘、闪存技术的高速发展,NVME-ssd已逐渐进入分布式存储的核心领域。伴随着NVME-ssd的出现,涌现出一批新型的存储名词,包括分层存储、分级存储、冷热存储、混合存储等。而这些名词的出现,也意味着ssd在当前大环境下由于其昂贵的价格还无法大量应用。根据预测,ssd价格将在19年末出现大幅下降,藉此,ssd将成为存储领域重要的存储介质。 ssd存储介质正在取代传统数据中心的机械硬盘原创 2018-01-23 15:39:09 · 18481 阅读 · 1 评论 -
NFS-Ganesha 安装部署及测试
一、概览自从Jewel版本,nfs-ganesha开始支持ceph,ganesha通过两种方式支持将ceph通过posix及nfs语义导出。一种通过rgw,一种通过cephfs,通过FSAL模块 连接到RGW或者CephFS, 其中,FSAL_RGW调用librgw2将NFS协议转义为S3协议再通过RGW存入到Ceph中,FSAL_CEPH 调用libcephfs1将NFS转义为Cephfs协原创 2018-01-23 09:57:22 · 8591 阅读 · 1 评论 -
cephFS MDSdaemon类解析
1.MDS构成 MDS数据结构由MDSdaemon类构成,MDSdaemon类继承与Dispatcher、md_config_obs_t类。 2.方法及释义 admin_sock:bool asok_command(string command, cmdmap_t& cmdmap, string format, ostream& ss)---> command=sta原创 2018-01-22 17:45:25 · 1306 阅读 · 0 评论 -
基于ubuntu16.04的ceph v10.2.9源码编译
1.环境准备 在进行源码编译之前首先安装源码编译过程中可能用到的安装包。apt install libtool automake cmake gcc g++ cython snappy libsnappy-devlibleveldb-dev libblkid-dev libudev-dev libkeyutils-dev libcrypto++-dev libfcgi-dev libcurl4原创 2017-09-27 15:56:38 · 769 阅读 · 0 评论 -
ceph 源码编译in redhat6.6
一.背景 由于某地项目需要需要ceph支持redhat6.6客户端,因此需要在redhat6.6 basic server进行源码的编译以及rpm包的生成。二.获取ceph源码 获取ceph源码有几种方式,可以选择从git库上获取,也可以在官网获取,值得一提的是,如果在git库上获取时,默认是只clone 主分支源码到当前工作目录,并不会递归clone ceph submodule里的代码,因此原创 2017-02-28 15:13:56 · 691 阅读 · 0 评论 -
ceph集群换盘
一引言某地项目运行两年后磁盘批量报错,利用smartctl检测发现出现大量扇区错误,但并未达到彻底无法读写程度,统计下来发现数量接近40块,考虑批次换盘。坏盘期间为了保证不影响业务,需拟定一个较好的方案。二 方案在查阅一堆资料后,发现无论采用哪种方案换盘都会出现大量的数据迁移。上图引用至张鹏博客由于线上项目数据量巨大,恢复周期长,采取这种方式换盘并不能完全达到我们的需求。因...原创 2019-03-13 10:39:00 · 737 阅读 · 0 评论