cheney的专栏

k8s集群中使用Prometheus Operator对外部ceph集群进行监控，Grafana基于webhook对ceph集群的告警信息发送到企业微信机器人

本文主要介绍如何基于helm3安装prometheus oprator. 全文包括values.yaml文件的配置，以及安装过程中遇到的问题修复

本文主要介绍Prometheus Operator相关的概念以及架构图和组件

规划4个节点， 2个分片， 每个分片2个副本。分片1的副本在主机clickhouse1和clickhouse2上， 2分片的副本在主机clickhouse3和clickhouse4上。metrika.xml文件主要用来配置分片及副本的数目和机器的匹配情况，每台机器的配置都不一样，具体如下。官方建议zookeeper集群与clickhouse集群分开部署，避免资源竞争导致服务异常。用于存储1分片的数据备份, 与clickhouse1的数据相同。用于存储2分片的数据备份, 与clickhouse3的数据相同。

Apache ZooKeeper是一个分布式的开源协调服务，用于分布式应用程序。ZooKeeper允许你读取、写入和观察数据的更新。数据以文件系统的形式组织，并复制到整个集群（一组ZooKeeper服务器）的所有ZooKeeper服务器。所有对数据的操作都是原子的和顺序一致的。ZooKeeper通过使用Zab共识协议在整个集群的所有服务器上复制状态机来确保这一点。元数据存储：ZooKeeper 存储了 ClickHouse 集群的元数据，包括表结构、分片配置、副本配置等。

最近k8s在使用过程中遇到这样一个问题由于Pod没有对内存及CPU进行限制，导致Pod在运行过程中所需的内存超过了节点本身的内存（OOM），从而导致节点崩溃，使得运行在该节点上的所有Pod都失败了为了解决这个问题以及提高节点的稳定性，综合k8s的一些特性，方案如下每个节点为系统守护进程预留计算资源(CPU、内存、磁盘空间)Pod驱逐：节点资源到达一定使用量，开始驱逐 pod每个Pod需指定所需资源。

容器存储接口（Container Storage Interface），简称 CSI，CSI 试图建立一个行业标准接口的规范，借助 CSI 容器编排系统（CO）可以将任意存储系统暴露给自己的容器工作负载。csi 卷类型是一种 out-tree（即跟其它存储插件在同一个代码路径下，随 Kubernetes 的代码同时编译的） 的 CSI 卷插件，用于 Pod 与在同一节点上运行的外部 CSI 卷驱动程序交互。部署 CSI 兼容卷驱动后，用户可以使用 csi 作为卷类型来挂载驱动提供的存储。

官方介绍Nginx：反向代理负载均衡器：Ingress Controller 可以理解为控制器，它通过不断的跟 Kubernetes API 交互，实时获取后端 Service、Pod 等的变化，比如新增、删除等，然后结合 Ingress 定义的规则生成配置，然后动态更新上边的 Nginx 负载均衡器，并刷新使配置生效，来达到服务自动发现的作用。Ingress：Ingress 则是定义规则，通过它定义某个域名的请求过来之后转发到集群中指定的 Service。

k8s集群创建完成后，在部署应用的时候发现master节点无法部署pod, 解决步骤如下。如果出现NoSchedule，说明节点不允许被调度，需要调整node的角色。

基于haproxy + keepalived，kubeadm安装高可用kubernets 1.24 集群

nc-服务器间文件传输nc软件介绍安装使用服务器之间文件传输server(服务器A)client(服务器B)nc软件介绍nc，全名叫 netcat，它可以用来完成很多的网络功能，譬如端口扫描、建立TCP/UDP连接，数据传输、网络调试等等，因此，它也常被称为网络工具的瑞士军刀。安装Linux系统一般不会默认安装该软件，在使用时需要手动安装，安装脚本如下# centosyum install nc# ubuntuapt-get install netcat使用nc [-46Ddhklnr

最近在做图片相关的工作，面对各种格式的图片转换，在OpenCV跟Pillow之间来回切换。觉得有必要把这些东西记录下来，以备不时之需。首先介绍一下图片的常见三种存储格式。1、图片的存储格式不同的场景，经常会使用不同存储格式的图片。在给人们展示时，一般是采用文件的方式进行存储，常见的有jpg,png,jpeg等等文件格式，便于人们区分理解。在计算机网络中传输时，一般是采用字节流的方式进行存...

随着人工智能如火如荼的发展，无论是学界的模型创新，还是业界的模型应用，如何去评价模型的优劣都是十分重要的工作。每年业界或学术界都会举办很多AI方面的比赛，而作为量化所有参赛者的成绩则是运用他们的模型在给定的测试集下计算出对应的指标。我给大家深入分析下CV场景下评测指标的含义。无论您是作为开发工程师，还是算法工程师，希望这篇文章能够让你弄清楚这些指标的含义。1、图像分类指标分类模型的指标主要有...

1 cephfs客户端挂载失败1.1 kernel client挂载失败即执行下述挂载命令sudo mount -t ceph IP1,IP2,IP3:6789:/ /mnt/mycephfs出现的错误。wrong fs typemount: wrong fs type, bad option, bad superblock on 11.154.211.212:6789:/,...

常用操作本部分介绍了 Ceph 集群的常用操作，包括进程的起停、集群的监控、用户管理、MDS/MON/OSD 的增加和删除、存储池(pool)的操作、修改集群的配置，以及 Crushmap 的管理、修改 Monitor 的 IP 等操作。1 MDS增删1.1 新增元数据服务器(metadata server)创建一个存储mds的数据节点：/var/lib/ceph/mds/ceph-{...

基于第三篇，我们搭建好了一个健康的ceph集群：3个mon节点组成的mon集群9个osd节点组成的osd集群3个mgr节点(ceph luminous版本才有的)3个mds服务(cephfs使用)[root@ceph-1 ceph]# ceph -s cluster: id: c165f9d0-88df-48a7-8cc5-11da82f99c93 hea...

第二篇介绍了部署Ceph的环境准备工作，本篇主要内容是介绍手动部署Ceph的全过程。环境集群环境第二篇，我们创建了3台虚拟机，虚拟机配置如下：[root@ceph-1 ~]# lsblkNAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTsda 8:0 0 100G 0 disk├─sda1 ...

第一篇简单介绍了Ceph的架构，让我们对Ceph有了一个初步的印象。接下来，我将在MAC上介绍如何基于本机搭建ceph集群及cephfs、cephrgw、cephrbd服务。集群规划：生产环境至少3台物理机组成Ceph集群双网卡测试环境1台主机也可以单网卡也可以本文使用虚拟机搭建集群，集群设置如下：mon集群：3台虚拟机组成mon集群osd集群：...

Ceph架构简介最近工作中要使用ceph作为底层存储架构，故对其进行了一番调研，本篇乃ceph系列的第一篇。CephCeph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenSt...

Convolutional Neural Networks: Step by StepWelcome to Course 4’s first assignment! In this assignment, you will implement convolutional (CONV) and pooling (POOL) layers in numpy, including both forw