一、k3s介绍
1.1、什么是k3s
中文网站:快速入门指南 | Rancher文档
k3s是经过CNCF认证的由Rancher公司开发维护的一个轻量级的 Kubernetes 发行版,内核机制还是和 k8s 一样,但是剔除了很多外部依赖以及 K8s 的 alpha、beta 特性,同时改变了部署方式和运行方式,目的是轻量化 K8s,简单来说,K3s 就是阉割版 K8s,消耗资源极少。它主要用于边缘计算、物联网等场景。K3s 具有以下特点:
1)安装简单,占用资源少,只需要512M内存就可以运行起来;
2)apiserver 、schedule 等组件全部简化,并以进程的形式运行在节点上,把程序都打包为单个二进制文件,每个程序只需要占用100M内存;
3)使用基于sqlite3
的轻量级存储后端作为默认存储机制。同时支持使用etcd3、MySQL 和PostgreSQL作为存储机制;
4)默认使用 local-path-provisioner
提供本地存储卷;
5)默认安装了Helm controller
和 Traefik Ingress controller
;
6)所有 Kubernetes control-plane 组件的操作都封装在单个二进制文件和进程中,使 K3s 具有自动化和管理包括证书分发在内的复杂集群操作的能力。
7)减少外部依赖,操作系统只需要安装较新的内核(centos7.6就可以,不需要升级内核)以及支持cgroup即可,k3s安装包已经包含了containerd、Flannel、CoreDNS,非常方便地一键式安装,不需要额外安装Docker、Flannel等组件。
1.2、边缘计算
1.3、k3s架构
1.3.1、单节点的k3s架构
1)k3s server节点是运行k3s server命令的机器(裸机或者虚拟机),而k3s Agent 节点是运行k3s agent命令的机器。
2)单点架构只有一个控制节点(在 K3s 里叫做server node,相当于 K8s 的 master node),而且K3s的数据存储使用 sqlite 并内置在了控制节点上
3)在这种配置中,每个 agent 节点都注册到同一个 server 节点。K3s 用户可以通过调用server节点上的K3s API来操作Kubernetes资源。
1.3.2、高可用的K3S架构
虽然单节点 k3s 集群可以满足各种用例,但对于 Kubernetes control-plane 的正常运行至关重要的环境,可以在高可用配置中运行 K3s。一个高可用 K3s 集群由以下几个部分组成:
1)K3s Server 节点:两个或者更多的server节点将为 Kubernetes API 提供服务并运行其他 control-plane 服务
2)外部数据库:外部数据存储(与单节点 k3s 设置中使用的嵌入式 SQLite 数据存储相反)
二、k3s部署
2.1、环境规划
集群角色 | ip地址 | 安装的组件 | 配置 |
---|---|---|---|
server节点 | 172.17.87.0 | k3s server | 2C2G |
agent节点 | 172.17.87.3 | k3s agent | 2C2G |
2.2、安装步骤
0)系统初始化(所有节点上执行)
# 1、关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
# 2、关闭selinux
sed -i 's/enforcing/disabled/' /etc/selinux/config # 永久
setenforce 0 # 临时
# 3、关闭swap
swapoff -a # 临时
sed -ri 's/.*swap.*/#&/' /etc/fstab # 永久
# 4、在master添加hosts
cat >> /etc/hosts << EOF
172.17.87.0 k3s-server1
172.17.87.1 k3s-server2
172.17.87.2 k3s-server3
172.17.87.3 k3s-agent1
172.17.86.255 k3s-agent2
172.17.86.254 k3s-agent3
EOF
# 5、根据规划设置主机名
hostnamectl set-hostname <hostname>
bash
# 6、将桥接的IPv4流量传递到iptables的链
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system # 生效
# 7、时间同步
yum install ntpdate -y
ntpdate time.windows.com
1)节点访问免密设置(只在k3s-server1:172.17.87.0上执行 )
目标:实现 k3s-server1 到集群内任意agent节点免密访问
cd /root/.ssh/
# 执行命令,一路回车
ssh-keygen -t rsa -b 2048
# 如果只有零星数量的 k3-server 或者 k3s-node,可以执行(与下面二选一)
ssh-copy-id -p 22 root@k3s-agent1
# 如果有多个节点需要免密,请参考,手动粘贴密码即可(与上面二选一)
for i in k3s-server2 k3s-server3 k3s-agent1 k3s-agent2 k3s-agent3;do ssh-copy-id -p 22 root@$i ;done
2)安装containerd (所有节点上执行)
yum install -y yum-utils
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum install containerd -y
systemctl start containerd && systemctl enable containerd
systemctl status containerd
3)安装k3s (k3s-server1上执行,或者新增server节点上执行)
# 在k3s server上执行
curl -sfL http://rancher-mirror.cnrancher.com/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn sh -
4)验证安装是否成功(k3s-server1上执行)
[root@k3s-server1 ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
k3s-server1 Ready control-plane,master 13m v1.21.2+k3s1
[root@k3s-server ~]# kubectl get pods -n kube-system
NAME READY STATUS RESTARTS AGE
metrics-server-86cbb8457f-bpt5v 1/1 Running 0 13m
coredns-7448499f4d-fsvsd 1/1 Running 0 13m
local-path-provisioner-5ff76fc89d-xqlq9 1/1 Running 0 13m
helm-install-traefik-crd-k5dcn 0/1 Completed 0 13m
helm-install-traefik-lg4cs 0/1 Completed 0 13m
svclb-traefik-nnlmh 2/2 Running 0 7m59s
traefik-97b44b794-qlkwx 1/1 Running 0 8m
[root@k3s-server ~]# kubectl get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.43.0.1 <none> 443/TCP 14m
5)k3s集群添加work节点
- 预先在k3s-server1上获取 join token
- 接下来,在k3s-agent1上执行,或者新增agent节点上执行命令,加入节点到集群
- K3S_URL为k3s-server1:172.17.87.0上的地址,请注意替换
# 提取join token
[root@k3s-server1 ~]# cat /var/lib/rancher/k3s/server/node-token
K10f7ff54283077e0112c2dc93e3543fe17b17f78bca832df29be1474dd38088439::server:e5ea4499d3cc09c6019e5863ee8dfddd
# 在agent上执行
[root@k3s-agent1 ~]# curl -sfL http://rancher-mirror.cnrancher.com/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn K3S_URL=https://172.17.87.0:6443 K3S_TOKEN=K10f7ff54283077e0112c2dc93e3543fe17b17f78bca832df29be1474dd38088439::server:e5ea4499d3cc09c6019e5863ee8dfddd sh -
三、验证
# 查看
[root@k3s-server1 ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
k3s-server1 Ready control-plane,master 21m v1.21.2+k3s1
k3s-agent1 Ready <none> 68s v1.21.2+k3s1