K8s系列之:Pod的配置管理
- 应用部署的一个最佳实践是将应用所需的配置信息与程序进行分离,这样可以使得应用程序被更好地复用,通过不同的配置也能实现更灵活的功能。
- 将应用打包为容器镜像后,可以通过环境变量或者外挂文件的方式在创建容器时进行配置注入,但在大规模容器集群的环境中,对多个容器进行不同的配置将变得非常复杂。
- K8s提供了一种统一的应用配置管理方案-ConfigMap。
一、ConfigMap概述
ConfigMap供容器使用的典型用法如下:
- 生成为容器内的环境变量
- 设置容器启动命令的启动参数(需设置为环境变量)
- 以Volume的形式挂载为容器内部的文件或目录
ConfigMap以一个或多个key:value的形式保存在K8s系统中供应用使用,既可以用于表示一个变量的值(例如apploglevel=info),也可用于表示一个完整配置文件的内容(例如server.xml=<?xml…>)
可以通过yaml配置文件或者直接使用kubectl create configmap命令行的方式来创建ConfigMap。
二、创建ConfigMap资源对象
1.通过yaml配置文件方式创建
下面的例子cm-appvars.yaml描述了将几个应用所需的变量定义为ConfigMap的用法:
cm-appvars.yaml
apiVersion: v1
kind: ConfigMap
metadata:
name: cm-appvars
data:
apploglevel: info
appdatadir: /var/data
执行kubectl create命令创建该ConfigMap:
kubectl create -f cm-appvars.yaml
configmap "cm-appvars" created
查看创建好的Configmap
kubectl get coinfigmap
NAME DATA AGE
cm-appvars 2 3s
kubectl describe configmap cm-appvars
Name: cm-appvars
Namespace: default
Labels: <none>
Annotations: <none>
Data:
====
appdatadir: 9 bytes
apploglevel: 4 bytes
kubectl get configmap cm-appvars -o yaml
apiVersion: v1
data:
appdatadir: /var/data
apploglevel: info
kind: ConfigMap
metadata:
creationTimestamp: 2016-07-28T19:57:16Z
name: cm-appvars
namespace: default
resourceVersion: "78709"
selfLink: /api/v1/namespaces/default/configmaps/cm-appvars
uid: 7bb2e9c0
下面的例子cm-appconfigfiles.yaml描述了将两个配置文件server.xml和logging.properties定义为ConfigMap的用法,设置key为配置文件的别名,value则是配置文件的全部文本内容:
apiVersion: v1
kind: ConfigMap
metadata:
name: cm-appconfigfiles
data:
key-serverxml:
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
<logger name="org.apache.kafka.clients" level="info" />
</configuration>
key-loggingproperties: "flume.root.logger=INFO,LOGFILE,
flume.log.dir=./logs,
flume.log.file=flume.log"
执行kubectl create创建该ConfigMap:
kubectl create -f cm-appconfigfiles.yaml
configmap "cm-appconfigfiles" created
kubectl get configmap cm-appconfigfiles
NAME DATA AGE
cm-appconfigfiles 2 14s
kubectl describe configmap cm-appconfigfiles
Name: cm-appconfigfiles
Namespace: default
Labels: <none>
Annotations: <none>
Data:
====
key-loggingproperties: 1809 bytes
key-serverxml: 1686 byte
查看已经创建的ConfigMap的详细内容,可以看到两个配置文件的全文:
kubectl get configmap cm-appconfigfiles -o yaml
2.通过kubectl命令行方式创建
不使用yaml文件,直接通过kubectl create configmap,也可以创建ConfigMap,可以使用参数–from-file或–from-literal指定内容,并且可以在一行命令中指定多个参数。
1)通过–from-file参数从文件中进行创建,可以指定key的名称,也可以在一个命令行中创建包含多个key的ConfigMap,语法为:
kubectl create configmap NAME --from-file=[key]source --from-file=[key=]source
2)通过–from-file参数从文件中进行创建,该目录下的每个配置文件名都被设置为key,文件的内容被设置为value,语法为:
kubectl create configmap NAME --from-file=config-files-dir
3)–from-literal从文本中进行创建,直接将指定的key#=value#创建为ConfigMap的内容,语法为:
kubectl create configmap NAME --from-literal=key1=value1 --from-literal=key2=value2
3.kubectl命令创建configmap用法举例
例一:当前目录下含有配置文件server.xml,可以创建一个包含该文件内容的ConfigMap:
kubectl create configmap cm-server.xml --from-file=server.xml
kubectl describe configmap cm-server.xml
例二:configfiles目录下包含两个配置文件server.xml和logging.properties,创建一个包含这两个文件内容的ConfigMap:
kubectl create configmap cm-appconf --from-file=configfiles
kubectl describe configmap cm-appconf
例三:使用–from-literal参数进行创建的示例如下:
kubectl create configmap cm-appenv --from-literal=loglevel=info --from-literal=appdatedir=/var/data
三、容器应用对ConfigMap使用方法
- 通过环境变量获取ConfigMap中的内容
- 通过Volume挂载的方式将ConfigMap中的内容挂载为容器内部的文件或目录
四、在Pod中使用ConfigMap
1.通过环境变量方式使用ConfigMap
以创建的ConfigMap "cm-appvars"为例:
apiVersion: v1
kind: ConfigMap
metadata:
name: cm-appvars
data:
apploglevel: info
appdatadir: /var/data
在Pod “cm-test-pod”的定义中,将ConfigMap "cm-appvars"中的内容以环境变量(APPLOGLEVEL和APPDATADDIR)设置为容器内部的环境变量,容器的启动命令将现实这两个环境变量的值(“env | grep APP”)
apiVersion: v1
kind: Pod
metadata:
name: cm-test-pod
spec:
containers:
- name: cm-test
image: busybox
command: ["/bin/sh","-c","env | grep APP"]
env:
- name: APPLOGLEVEL #定义环境变量名称
valueFrom: #key为"apploglevel"
name: cm-appvars #定义环境变量的名称
key: apploglevel
- name: APPDATADIR
valueFrom: #key "appdatadir"对应的值
configMapKeyRef:
name: cm-appvars #环境变量的值取自cm-appvars中
key: appdatadir #key为"appdatadir"
restarPolicy: Never
使用kubectl create -f命令创建该Pod,由于是测试Pod,所以该Pod在执行完启动命令后将会退出,并且不会被系统自动重启(restartPolicy=Never):
kubectl create -f cm-test-pod.yaml
使用kubectl get pods --show-all查看已经停止的Pod:
kubectl get pods --show-all
NAME READY STATUS RESTARTS AGE
cm-test-pod 0/1 Completed 0 8s
查看该Pod的日志,可以看到启动命令"env|grep APP"的执行结果如下:
kubectl logs cm-test-pod
APPDATADIR=/var/data
APPLOGLEVEL=info
说明容器内部的环境变量使用ConfigMap cm-appvars中的值进行了正确的设置。
也可以通过envFrom实现在Pod环境内将ConfigMap(也可用于Secret资源对象)中所有定义的key=value自动生成为环境变量:
apiVersion: v1
kind: Pod
metadata:
name: cm-test-pod
spec:
containers:
- name: cm-test
image: busybox
command: ["/bin/sh","-c","env | grep APP"]
envFrom:
- configMapRef
name: cm-appvars #根据cm-appvars中的可以=value自动生成环境变量
restarPolicy: Never
通过这个定义,在容器内部将会生成如下环境变量:
APPDATADIR=/var/data
APPLOGLEVEL=info
注意:环境变量的名称受POSIX命名规范([a-zA-Z_][a-zA-Z0-9_]*)约束,不能以数字开头。如果包含非法字符,则系统将跳过该条环境变量的创建,并记录一个Event来描述变量无法生成,但并不阻止Pod的启动。
2.通过volumeMount使用ConfigMap
下面所示的cm-appconfigfiles.yaml例子中包含两个配置文件的定义:server.xml和logging.properties
apiVersion: v1
kind: ConfigMap
metadata:
name: cm-appconfigfiles
data:
key-serverxml:
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
<logger name="org.apache.kafka.clients" level="info" />
</configuration>
key-loggingproperties: "flume.root.logger=INFO,LOGFILE,
flume.log.dir=./logs,
flume.log.file=flume.log"
在Pod "cm-test-app"的定义中,将ConfigMap “cm-appconfigfiles”中的内容以文件的形式mount到容器内部的/configfiles目录中去。
Pod配置文件cm-test-app.yaml的内容如下:
apiVersion: v1
kind: Pod
metadata:
name: cm-test-app
spec:
containers:
- name: cm-test-app
image: kubeguide/tomcat-app:v1
ports:
- containerPort: 8080
volumeMounts:
- name: serverxml # 引用volume名
moutPath: /configfiles #挂载到容器内的目录
volumes:
- name: serverxml #定义volume名
configMap:
name: cm-appconfigfiles #使用ConfigMap "cm-appconfigfiles"
items:
- key: key-serverxml # key=key-serverxml
path: server.xml # value将server.xml文件名进行挂载
- key: key-loggingproperties #key=key-loggingproperties
path: logging.properties #value将logging.properties文件名进行挂载
创建该Pod:
kubectl create -f cm-test-app.yaml
登陆容器,查看到/configfiles目录下存在server.xml和logging.properties文件,两个文件的内容就是ConfigMap "cm-appconfigfiles"中两个key定义的内容。
kubectl exec -ti cm-test-app -- bash
root@cm-test-app:/# cat /configfiles/server.xml
root@cm-test-app:/# cat /configfiles/logging.properties
如果在引用ConfigMap时不能指定items,则使用volumeMount方式在容器内的目录中为每个item生成一个文件名为key的文件。
Pod配置文件cm-test-app.yaml的内容如下:
apiVersion: v1
kind: Pod
metadata:
name: cm-test-app
spec:
containers:
- name: cm-test-app
image: kubeguide/tomcat-app:v1
imagePullPolicy: Never
ports:
- containerPort: 8080
volumeMounts:
- name: serverxml # 引用volume名
moutPath: /configfiles #挂载到容器内的目录
volumes:
- name: serverxml #定义volume名
configMap:
name: cm-appconfigfiles #使用ConfigMap "cm-appconfigfiles"
创建该Pod
kubectl create -f cm-test-app.yaml
登录容器,查看到/configfiles目录下存在key-loggingproperties和key-serverxml文件,文件的名称来自ConfigMap cm-appconfigfiles中定义的两个key的名称,文件的内容则为value的内容:
# ls /configfiles
key-serverxml key-loggingproperties
五、使用ConfigMap的限制条件
使用ConfigMap的限制条件如下:
- ConfigMap必须在Pod之前创建
- ConfigMap受Namespace限制,只有处于相同Namespaces中的Pod可以引用它
- ConfigMap中的配额管理还未能实现
- kubelet只支持可以被API Server自动管理的Pod使用ConfigMap
- kubelet在本Node上通过–manifest-url或–config自动创建的静态Pod将无法引用ConfigMap
- 在Pod对ConfigMap进行挂载的操作时,容器内部只能挂载为目录,无法挂载为文件。在挂载到容器内部后,目录将包含ConfigMap定义的每个item。如果该目录下原来还有其他文件,则容器内的该目录将会被挂载的ConfigMap覆盖。如果应用程序需要保留原来的其他文件,则需要进行额外的处理。可以将ConfigMap挂载到容器内部的临时目录,再通过启动脚本将配置文件复制或者链接到(cp或link命令)应用所用的实际配置目录下。