kubernetes集群搭建

准备环境

• 操作系统：CentOS 7.6 64位
• 参考资料：CentOS部署Kubernetes集群

部署规划

环境配置及部署情况：

服务器IP	服务器配置	部署内容
192.168.1.11	2核CPU + 2G内存 + 20G磁盘	master节点(etcd,kubernetes-master,flannel)
192.168.1.12	2核CPU + 2G内存 + 20G磁盘	node节点1(etcd,kubernetes-node,docker,flannel)
192.168.1.13	2核CPU + 2G内存 + 20G磁盘	node节点2(etcd,kubernetes-node,docker,flannel)

安装配置

安装etcd集群

分别在master、node1、node2三台服务器上安装etcd服务

master上安装etcd

[root@master ~]# yum install -y etcd

配置etcd：

[root@master ~]# vim /etc/etcd/etcd.conf
# 以下是修改内容，注意IP、端口、etcd名称
ETCD_DATA_DIR="/var/lib/etcd/etcd1.etcd"
ETCD_LISTEN_PEER_URLS="http://192.168.1.11:2380"
ETCD_LISTEN_CLIENT_URLS="http://192.168.1.11:2379,http://127.0.0.1:2379"
ETCD_NAME="etcd1"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.1.11:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.1.11:2379"
ETCD_INITIAL_CLUSTER="etcd1=http://192.168.1.11:2380,etcd2=http://192.168.1.12:2380,etcd3=http://192.168.1.13:2380"

启动etcd服务

[root@master ~]# systemctl enable etcd 
[root@master ~]# systemctl start etcd
[root@master ~]# systemctl status etcd

node1上安装etcd

[root@node1 ~]# yum install -y etcd

配置etcd：

[root@node1 ~]# vim /etc/etcd/etcd.conf
# 以下是修改内容，注意IP、端口、etcd名称
ETCD_DATA_DIR="/var/lib/etcd/etcd2.etcd"
ETCD_LISTEN_PEER_URLS="http://192.168.1.12:2380"
ETCD_LISTEN_CLIENT_URLS="http://192.168.1.12:2379,http://127.0.0.1:2379"
ETCD_NAME="etcd2"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.1.12:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.1.12:2379"
ETCD_INITIAL_CLUSTER="etcd1=http://192.168.1.11:2380,etcd2=http://192.168.1.12:2380,etcd3=http://192.168.1.13:2380"

启动etcd服务

[root@node1 ~]# systemctl enable etcd 
[root@node1 ~]# systemctl start etcd
[root@node1 ~]# systemctl status etcd

node2上安装etcd

[root@node2 ~]# yum install -y etcd

配置etcd：

[root@node2 ~]# vim /etc/etcd/etcd.conf
# 以下是修改内容，注意IP、端口、etcd名称
ETCD_DATA_DIR="/var/lib/etcd/etcd3.etcd"
ETCD_LISTEN_PEER_URLS="http://192.168.1.13:2380"
ETCD_LISTEN_CLIENT_URLS="http://192.168.1.13:2379,http://127.0.0.1:2379"
ETCD_NAME="etcd3"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.1.13:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.1.13:2379"
ETCD_INITIAL_CLUSTER="etcd1=http://192.168.1.11:2380,etcd2=http://192.168.1.12:2380,etcd3=http://192.168.1.13:2380"

启动etcd服务

[root@node2 ~]# systemctl enable etcd 
[root@node2 ~]# systemctl start etcd
[root@node2 ~]# systemctl status etcd

etcd配置项解释

[member]
ETCD_NAME ：ETCD的节点名
ETCD_DATA_DIR：ETCD的数据存储目录
ETCD_SNAPSHOT_COUNTER：多少次的事务提交将触发一次快照
ETCD_HEARTBEAT_INTERVAL：ETCD节点之间心跳传输的间隔，单位毫秒
ETCD_ELECTION_TIMEOUT：该节点参与选举的最大超时时间，单位毫秒
ETCD_LISTEN_PEER_URLS：该节点与其他节点通信时所监听的地址列表，多个地址使用逗号隔开，其格式可以划分为scheme://IP:PORT，这里的scheme可以是http、https
ETCD_LISTEN_CLIENT_URLS：该节点与客户端通信时监听的地址列表
[cluster]
ETCD_INITIAL_ADVERTISE_PEER_URLS：该成员节点在整个集群中的通信地址列表，这个地址用来传输集群数据的地址。因此这个地址必须是可以连接集群中所有的成员的。
ETCD_INITIAL_CLUSTER：配置集群内部所有成员地址，其格式为：ETCD_NAME=ETCD_INITIAL_ADVERTISE_PEER_URLS，如果有多个使用逗号隔开
ETCD_ADVERTISE_CLIENT_URLS：广播给集群中其他成员自己的客户端地址列表

检查etcd健康状态

[root@master ~]# etcdctl cluster-health
member 108d28f155454496 is healthy: got healthy result from http://192.168.1.13:2379
member caf8261ac09ba8aa is healthy: got healthy result from http://192.168.1.12:2379
member ff3afdb92f5c1db7 is healthy: got healthy result from http://192.168.1.11:2379
cluster is healthy

安装kubernetes集群

在master上安装kubernetes-master，在node上安装docker-ce、kubernetes-node、flannel

master安装kubernetes-master、flannel

[root@master ~]# yum install -y kubernetes-master flannel

配置APIServer

[root@master ~]# vim /etc/kubernetes/apiserver
# 以下是apiserver配置，注意IP、端口
KUBE_API_ADDRESS="--address=0.0.0.0"
KUBE_API_PORT="--port=8080"
KUBELET_PORT="--kubelet-port=10250"
KUBE_ETCD_SERVERS="--etcd-servers=http://192.168.1.11:2379,http://192.168.1.12:2379,http://192.168.1.13:2379"
KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.254.0.0/16"
KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ServiceAccount,ResourceQuota"
KUBE_API_ARGS=""

启动master上核心组件

[root@master ~]# for SERVER in kube-apiserver kube-controller-manager kube-scheduler 
do 
systemctl enable $SERVER && 
systemctl restart $SERVER && 
systemctl status $SERVER 
done

node1安装docker-ce、kubernetes-node、flannel

[root@node1 ~]# yum install -y docker-ce kubernetes-node flannel

配置config

[root@node1 ~]# vim /etc/kubernetes/config
# 以下是config配置，注意master IP和端口
KUBE_LOGTOSTDERR="--logtostderr=true"
KUBE_LOG_LEVEL="--v=0"
KUBE_ALLOW_PRIV="--allow-privileged=false"
KUBE_MASTER="--master=http://192.168.1.11:8080"

配置kubelet：

[root@node1 ~]# vim /etc/kubernetes/kubelet
# 以下是config配置，注意IP、端口
KUBELET_ADDRESS="--address=0.0.0.0"
KUBELET_HOSTNAME="--hostname-override=192.168.1.12"
KUBELET_API_SERVER="--api-servers=http://192.168.1.11:8080"
KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=registry.access.redhat.com/rhel7/pod-infrastructure:latest"
KUBELET_ARGS=""

启动node1上核心组件

[root@node1 ~]# for SERVER in kubelet kube-proxy 
do 
systemctl enable $SERVER && 
systemctl restart $SERVER && 
systemctl status $SERVER 
done

node2安装docker-ce、kubernetes-node、flannel

[root@node2 ~]# yum install -y docker-ce kubernetes-node flannel

配置config

[root@node2 ~]# vim /etc/kubernetes/config
# 以下是config配置，注意master IP和端口
KUBE_LOGTOSTDERR="--logtostderr=true"
KUBE_LOG_LEVEL="--v=0"
KUBE_ALLOW_PRIV="--allow-privileged=false"
KUBE_MASTER="--master=http://192.168.1.11:8080"

配置kubelet：

[root@node2 ~]# vim /etc/kubernetes/kubelet
# 以下是config配置，注意IP、端口
KUBELET_ADDRESS="--address=0.0.0.0"
KUBELET_HOSTNAME="--hostname-override=192.168.1.13"
KUBELET_API_SERVER="--api-servers=http://192.168.1.11:8080"
KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=registry.access.redhat.com/rhel7/pod-infrastructure:latest"
KUBELET_ARGS=""

启动node2上核心组件

[root@node2 ~]# for SERVER in kubelet kube-proxy 
do 
systemctl enable $SERVER && 
systemctl restart $SERVER && 
systemctl status $SERVER 
done

配置网络

安装集群组件时，以安装flannel网络组件，下面配置网络环境。

master上配置flannel

[root@master ~]# vim /etc/sysconfig/flanneld 
# 以下是flannel配置，注意IP、端口、etcd的key值
FLANNEL_ETCD_ENDPOINTS="http://192.168.1.11:2379"
FLANNEL_ETCD_KEY="/coreos.com/network"

node1上配置flannel

[root@node1 ~]# vim /etc/sysconfig/flanneld 
# 以下是flannel配置，注意IP、端口、etcd的key值
FLANNEL_ETCD_ENDPOINTS="http://192.168.1.11:2379"
FLANNEL_ETCD_KEY="/coreos.com/network"

node2上配置flannel

[root@node2 ~]# vim /etc/sysconfig/flanneld 
# 以下是flannel配置，注意IP、端口、etcd的key值
FLANNEL_ETCD_ENDPOINTS="http://192.168.1.11:2379"
FLANNEL_ETCD_KEY="/coreos.com/network"

master上为flannel分配网络

[root@master ~]# etcdctl mk /coreos.com/network/config '{"Network": "10.1.0.0/16"}' 

注意
若要重新建网络，则需要先删除现有网络

[root@master ~]# etcdctl rm /coreos.com/network/ --recursive

重置docker0网桥的配置
删除docker启动时默认创建的docker0网桥，flannel启动时会获取到一个网络地址，并且配置docker0的IP地址，作为该网络的网关地址，如果此时docker0上配置有IP地址，那么flannel将会启动失败。

[root@node1 ~]# ip link del docker0
[root@node2 ~]# ip link del docker0

检查安装状态

master检查kubernetes状态

[root@master ~]# kubectl get nodes
NAME           STATUS    AGE
192.168.1.12   Ready     3d
192.168.1.13   Ready     3d

master检查etcd状态

[root@master ~]#etcdctl member list
108d28f155454496: name=etcd3 peerURLs=http://192.168.1.13:2380 clientURLs=http://192.168.1.13:2379 isLeader=false
caf8261ac09ba8aa: name=etcd2 peerURLs=http://192.168.1.12:2380 clientURLs=http://192.168.1.12:2379 isLeader=true
ff3afdb92f5c1db7: name=etcd1 peerURLs=http://192.168.1.11:2380 clientURLs=http://192.168.1.11:2379 isLeader=false