k8s pod数据存储Volumes

一、说在前面的话

在 Kubernetes 的 Deployment 中，您可以使用多种类型的 Volumes 来管理 Pod 中的数据。
作用是用来共享目录及配置，不用在每个pod里进行配置。

本文主要概述怎么使用HostPath、PersistentVolumeClaim、ConfigMap。

二、k8s有哪些Volumes

来自chatgpt

以下是一些常见的 Volume 类型：

1. **EmptyDir**: 这是一个临时目录，在 Pod 被调度到 Node 上时创建，Pod 终止时被删除。可以用于容器之间共享临时数据。

2. **HostPath**: 将宿主机的文件或目录挂载到 Pod 中。在一些特定场景中可能会用到，但要注意宿主机文件的权限和共享问题。

3. **PersistentVolumeClaim (PVC)**: PVC 是与持久卷 (Persistent Volume, PV) 绑定的声明，它表示 Pod 对持久卷的需求。通过 PVC，Pod 可以请求特定的持久存储。

4. **ConfigMap**: ConfigMap 可以用于将配置文件或配置数据注入到 Pod 中。可以用于配置容器的环境变量、配置文件等。

5. **Secret**: Secret 类型的 Volume 用于将敏感信息（如密码、凭据等）安全地注入到 Pod 中。

6. **NFS**: 允许将 NFS (Network File System) 挂载到 Pod 中，用于实现持久化存储。

7. **Azure Disk/Azure File**: Azure Cloud 提供的磁盘和文件存储，在 Azure Kubernetes Service (AKS) 中常用。

8. **GCE Persistent Disk**: Google Cloud 提供的持久磁盘，在 Google Kubernetes Engine (GKE) 中常用。

9. **AWS Elastic Block Store (EBS)**: Amazon Web Services (AWS) 提供的块存储，在 Amazon Elastic Kubernetes Service (EKS) 中常用。

10. **Ceph RBD**: Ceph 是一个分布式存储系统，RBD (Rados Block Device) 可以用于在 Pod 中挂载 Ceph 存储。

这些是 Kubernetes 中常见的 Volume 类型，您可以根据应用的需求选择合适的 Volume 类型来管理 Pod 的数据。

下面，我将选几种volumes进行详细说明。

三、PersistentVolumeClaim (PVC)

1、deployment.yaml

• {{.Values.appName}} 为项目名称，这里都以xx-job为例。
• 注意，这里有一个subPath，值是xx-job

    containers:       
        volumeMounts:
         - mountPath: /opt/xxx/{{ .Values.appName }}/resources
           name: volume-resources
           subPath: {{ .Values.appName }}
    volumes:
        - name: volume-resources
          persistentVolumeClaim:
            claimName: application-resources

2、创建pvc

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
# pvc的名称，对应上文的claimName
  name: application-resources
# 命名空间，必须填写，和Pod的namespace在一起
  namespace: java-service
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 10Gi
  # 需要先创建存储类：Storage Class，或者指定已创建好的volumeName
  storageClassName: managed-nfs-storage
  volumeMode: Filesystem
  # 如果没有像下面这样指定volumeName，则需要指定存储类storageClassName
  # volumeName: nfs-mvn-repo

创建成功，见下图：

如此，它会自动创建pv：pvc-25c8493c-d820-49c4-b523-111c86ceaa6d

验证是否已创建了持久化卷。

• 可以看到，目录下已创建了子目录xx-job。

# 挂载nfs
mount -t nfs 192.168.80.170:/srv/nfs/disk /mnt/nfs/

# 各个pod之间共享目录xx-job下的内容
root@dev-vm-k8s-master:/mnt/nfs/java-service-application-resources-pvc-25c8493c-d820-49c4-b523-111c86ceaa6d# ll
total 8
drwxrwxrwx  3 root root   28 Aug  2 09:30 ./
drwxr-xr-x 33 root root 4096 Aug  3 00:35 ../
drwxrwxrwx  2 root root   10 Aug  2 09:30 xx-job/

四、HostPath

使用示例：

    containers:
		volumeMounts:
	           - mountPath: /etc/localtime
	             name: volume-localtime
    volumes:
       - hostPath:
          path: /etc/localtime
          type: ''
        name: volume-localtime

五、ConfigMap

可以用于将配置文件或配置数据注入到 Pod 中。可以用于配置容器的环境变量、配置文件等

deployment.yaml引用ConfigMap有好几种方式：

• 使用ConfigMap中的配置

     containers:
         envFrom:
            - configMapRef:
                name: {{ .Values.appName }}

• 使用特定的配置项

     containers:
         env:
	        - name: ENV_VAR_NAME
	          valueFrom:
	            configMapKeyRef:
	              name: {{ .Values.appName }}
	              key: key-in-configmap

• 挂载的方式

     containers:
         volumeMounts:
            - mountPath: /opt/xxx/{{ .Values.appName }}/config
              name: config-volume
              readOnly: true
    volumes:
        - configMap:
            name: {{ .Values.appName }}
          name: config-volume

创建ConfigMap

kind: ConfigMap
apiVersion: v1
metadata:
  name: xx-job
  namespace: java-service
  labels:
    app: xx-job
data:
  spring.profiles.active: dev
  application.yml: |-
    spring:
      datasource:
        url: jdbc:log4jdbc:mysql://192.168.8.19:3306/xxl_job_k8s?zeroDateTimeBehavior=CONVERT_TO_NULL&useUnicode=true&characterEncoding=utf8&autoReconnect=true&failOverReadOnly=false&serverTimezone=Asia/Shanghai
        username: root
        password: 123456
        driver-class-name: net.sf.log4jdbc.DriverSpy

Pod节点可以读取到环境变量spring.profiles.active，其值为dev。

另外，你在目录/opt/xxx/xx-job/config已挂载了application.yml和spring.profiles.active。

• 进入pod容器里验证，可以看到已经把ConfigMap(xx-job)内的key、file挂载上来。

/opt/xxx/xx-job/config # ls
spring.profiles.active application.yml

六、总结

不同的Volumes，适用于不同的数据或文件的共享。
在我们的开发过程中，会遇到各种各样的情景：

• 环境变量
• 第三方jar包所依赖的文件，比如Hanlp的data数据
• 支付所需的证书文件
• 字节码技术的java agent jar包，用于数据透传、灰度发布、apm等场景，比如pinpoint/skywalking、transmittable-thread-local等等