『高级篇』docker之kubernetes搭建集群添加认证授权（上）（38）

最新推荐文章于 2023-03-05 22:41:46 发布
最新推荐文章于 2023-03-05 22:41:46 发布
阅读量296 收藏
点赞数
分类专栏： 「高级篇」docker+k8s微服务容器化实践 手把手docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhugeaming2018/article/details/87932102
版权

原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！
原文链接地址：『高级篇』docker之kubernetes搭建集群添加认证授权（上）（38）

kubernetes最复杂的就是认证和授权，这次从头搭建另外一套3个虚机的kubernetes，还是通过vagrant来进行搭建，具体vagrant的配置信息查看源码：https://github.com/limingios/msA-docker k8s分支

预先环境准备

  • 虚拟机介绍和安装

3台虚拟机还是通过vagrant来生成对应的虚拟机。vagrant已经安装了 对应的docker。

系统类型IP地址节点角色CPUMemoryHostname
Centos7192.168.68.101master24Gserver01
Centos7192.168.68.102worker12Gserver02
Centos7192.168.68.103worker12Gserver03
  • 三台机器mac开通远程登录root用户下
#设置 PasswordAuthentication yes
vi /etc/ssh/sshd_config
sudo systemctl restart sshd

  • 三台机器接受所有ip的数据包转发
vi /lib/systemd/system/docker.service
   
#找到ExecStart=xxx，在这行上面加入一行，内容如下：(k8s的网络需要)
ExecStartPost=/sbin/iptables -I FORWARD -s 0.0.0.0/0 -j ACCEPT

  • 三台机器启动服务
systemctl daemon-reload
service docker restart

image.png

系统设置（所有节点）

关闭、禁用防火墙(让所有机器之间都可以通过任意端口建立连接)
systemctl stop firewalld
systemctl disable firewalld
#查看状态
systemctl status firewalld

####设置系统参数 - 允许路由转发，不对bridge的数据进行处理

#写入配置文件
cat <<EOF > /etc/sysctl.d/k8s.conf
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
 
#生效配置文件
sysctl -p /etc/sysctl.d/k8s.conf

配置host文件
#配置host，使每个Node都可以通过名字解析到ip地址
vi /etc/hosts
#加入如下片段(ip地址和servername替换成自己的)
192.168.68.101 server01
192.168.68.102 server02
192.168.68.103 server03

准备二进制文件（所有节点）

kubernetes的安装有几种方式，不管是kube-admin还是社区贡献的部署方案都离不开这几种方式：

  • 使用现成的二进制文件

直接从官方或其他第三方下载，就是kubernetes各个组件的可执行文件。拿来就可以直接运行了。不管是centos，ubuntu还是其他的linux发行版本，只要gcc编译环境没有太大的区别就可以直接运行的。使用较新的系统一般不会有什么跨平台的问题。

  • 使用源码编译安装

编译结果也是各个组件的二进制文件，所以如果能直接下载到需要的二进制文件基本没有什么编译的必要性了。

  • 使用镜像的方式运行

同样一个功能使用二进制文件提供的服务，也可以选择使用镜像的方式。就像nginx，像mysql，我们可以使用安装版，搞一个可执行文件运行起来，也可以使用它们的镜像运行起来，提供同样的服务。kubernetes也是一样的道理，二进制文件提供的服务镜像也一样可以提供。

从上面的三种方式中其实使用镜像是比较优雅的方案，容器的好处自然不用多说。但从初学者的角度来说容器的方案会显得有些复杂，不那么纯粹，会有很多容器的配置文件以及关于类似二进制文件提供的服务如何在容器中提供的问题，容易跑偏。
所以我们这里使用二进制的方式来部署。二进制文件已经这里备好，大家可以打包下载，把下载好的文件放到每个节点上，放在哪个目录随你喜欢，放好后最好设置一下环境变量$PATH，方便后面可以直接使用命令。(科学上网的老铁也可以自己去官网找找)
####[下载地址（kubernetes 1.9.0版本）] (https://pan.baidu.com/s/1bMnqWY)

  • 将下载的k8s上传到linux服务器上

密码都是vagrant

yum -y install lrzsz
#选中文件上传就可以了，这次是在windows环境，上次基础搭建是在mac上
rz

  • 解压k8s，改名

解压后，改名成bin就是为了不在配置环境变量

tar -xvf kubernetes-bins.tar.gz 
mv ~/kubernetes-bins/ bin

准备配置文件（所有节点）

上一步我们下载了kubernetes各个组件的二进制文件，这些可执行文件的运行也是需要添加很多参数的，包括有的还会依赖一些配置文件。现在我们就把运行它们需要的参数和配置文件都准备好。

下载配置文件
#安装git
yum -y install git
#到home目录下载项目
git clone https://github.com/limingios/kubernetes-starter.git
#看看git内容
cd ~/kubernetes-starter && ll

文件说明

shell脚本，用来根据每个老铁自己的集群环境(ip，hostname等)，根据下面的模板，生成适合大家各自环境的配置文件。生成的文件会放到target文件夹下。

  • kubernetes-simple

简易版kubernetes配置模板（剥离了认证授权）。
适合刚接触kubernetes的老铁，首先会让大家在和kubernetes初次见面不会印象太差（太复杂啦~~），再有就是让大家更容易抓住kubernetes的核心部分，把注意力集中到核心组件及组件的联系，从整体上把握kubernetes的运行机制。

  • kubernetes-with-ca

在simple基础上增加认证授权部分。大家可以自行对比生成的配置文件，看看跟simple版的差异，更容易理解认证授权的（认证授权也是kubernetes学习曲线较高的重要原因）

  • service-config

这个先不用关注，它是我们曾经开发的那些微服务配置。
等我们熟悉了kubernetes后，实践用的，通过这些配置，把我们的微服务都运行到kubernetes集群中。

3台机器生成配置

这里会根据大家各自的环境生成kubernetes部署过程需要的配置文件。
在每个节点上都生成一遍，把所有配置都生成好，后面会根据节点类型去使用相关的配置。

#cd到之前下载的git代码目录
cd ~/kubernetes-starter
#编辑属性配置（根据文件注释中的说明填写好每个key-value）
vi config.properties
#生成配置文件，确保执行过程没有异常信息


生成配置（所有节点）

跟基础环境搭建一样，我们需要生成kubernetes-with-ca的所有相关配置文件

#生成配置
./gen-config.sh with-ca


PS：这个截图master_ip应该是192.168.68.101

安装cfssl（所有节点）

cfssl是非常好用的CA工具，我们用它来生成证书和秘钥文件
安装过程比较简单，

#下载
  wget  https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 \
  https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
#修改为可执行权限
chmod +x cfssl_linux-amd64 cfssljson_linux-amd64
#移动到bin目录
mv cfssl_linux-amd64 /usr/local/bin/cfssl
mv cfssljson_linux-amd64 /usr/local/bin/cfssljson
#验证
cfssl version

生成根证书（主节点）

根证书是证书信任链的根，各个组件通讯的前提是有一份大家都信任的证书（根证书），每个人使用的证书都是由这个根证书签发的。

#所有证书相关的东西都放在这
mkdir -p /etc/kubernetes/ca
#准备生成证书的配置文件
cp ~/kubernetes-starter/target/ca/ca-config.json /etc/kubernetes/ca
cp ~/kubernetes-starter/target/ca/ca-csr.json /etc/kubernetes/ca
#生成证书和秘钥
cd /etc/kubernetes/ca
cfssl gencert -initca ca-csr.json | cfssljson -bare ca
#生成完成后会有以下文件（我们最终想要的就是ca-key.pem和ca.pem，一个秘钥，一个证书）
ls

改造etcd(主节点)

准备证书

etcd节点需要提供给其他服务访问，就要验证其他服务的身份，所以需要一个标识自己监听服务的server证书，当有多个etcd节点的时候也需要client证书与etcd集群其他节点交互，当然也可以client和server使用同一个证书因为它们本质上没有区别。

#etcd证书放在这
mkdir -p /etc/kubernetes/ca/etcd
#准备etcd证书配置
cp ~/kubernetes-starter/target/ca/etcd/etcd-csr.json /etc/kubernetes/ca/etcd/
cd /etc/kubernetes/ca/etcd/
#使用根证书(ca.pem)签发etcd证书
cfssl gencert \
        -ca=/etc/kubernetes/ca/ca.pem \
        -ca-key=/etc/kubernetes/ca/ca-key.pem \
        -config=/etc/kubernetes/ca/ca-config.json \
        -profile=kubernetes etcd-csr.json | cfssljson -bare etcd
#跟之前类似生成三个文件etcd.csr是个中间证书请求文件，我们最终要的是etcd-key.pem和etcd.pem
ls

更新etcd服务：

cp ~/kubernetes-starter/target/master-node/etcd.service /lib/systemd/system/
mkdir -p /var/lib/etcd
systemctl enable etcd.service
systemctl daemon-reload
service etcd start
#验证etcd服务（endpoints自行替换）
ETCDCTL_API=3 etcdctl \
  --endpoints=https://192.168.68.101:2379  \
  --cacert=/etc/kubernetes/ca/ca.pem \
  --cert=/etc/kubernetes/ca/etcd/etcd.pem \
  --key=/etc/kubernetes/ca/etcd/etcd-key.pem \
  endpoint health

api-server(主节点)

准备证书
#api-server证书放在这，api-server是核心，文件夹叫kubernetes吧，如果想叫apiserver也可以，不过相关的地方都需要修改哦
mkdir -p /etc/kubernetes/ca/kubernetes
#准备apiserver证书配置
cp ~/kubernetes-starter/target/ca/kubernetes/kubernetes-csr.json /etc/kubernetes/ca/kubernetes/
cd /etc/kubernetes/ca/kubernetes/
#使用根证书(ca.pem)签发kubernetes证书
cfssl gencert \
        -ca=/etc/kubernetes/ca/ca.pem \
        -ca-key=/etc/kubernetes/ca/ca-key.pem \
        -config=/etc/kubernetes/ca/ca-config.json \
        -profile=kubernetes kubernetes-csr.json | cfssljson -bare kubernetes
#跟之前类似生成三个文件kubernetes.csr是个中间证书请求文件，我们最终要的是kubernetes-key.pem和kubernetes.pem
ll

api-server服务

生成token认证文件

#生成随机token
head -c 16 /dev/urandom | od -An -t x | tr -d ' '
0b1bd95b94caa5534d1d4a7318d51b0e

#按照固定格式写入token.csv，注意替换token内容
echo "0b1bd95b94caa5534d1d4a7318d51b0e,kubelet-bootstrap,10001,\"system:kubelet-bootstrap\"" > /etc/kubernetes/ca/kubernetes/token.csv

更新api-server服务

cp ~/kubernetes-starter/target/master-node/kube-apiserver.service /lib/systemd/system/
systemctl daemon-reload
service kube-apiserver start

#检查日志
journalctl -f -u kube-apiserver
cat /lib/systemd/system/kube-apiserver.service

controller-manager

controller-manager一般与api-server在同一台机器上，所以可以使用非安全端口与api-server通讯，不需要生成证书和私钥。

controller-manager服务

更新controller-manager服务

cd ~/kubernetes-starter/
cp ~/kubernetes-starter/target/master-node/kube-controller-manager.service /lib/systemd/system/
systemctl daemon-reload
service kube-controller-manager start

#检查日志
journalctl -f -u kube-controller-manager
cat /lib/systemd/system/kube-controller-manager.service

scheduler

scheduler一般与apiserver在同一台机器上，所以可以使用非安全端口与apiserver通讯。不需要生成证书和私钥。

scheduler服务

查看diff
比较会发现两个文件并没有区别，不需要改造

cd ~/kubernetes-starter/
cp ~/kubernetes-starter/target/master-node/kube-scheduler.service /lib/systemd/system/
systemctl enable kube-scheduler.service

启动服务

service kube-scheduler start
#检查日志
journalctl -f -u kube-scheduler
cat /lib/systemd/system/kube-scheduler.service

PS：下次开始kubectl，calico，cni，kube-proxy，kube-dns的认证，授权。

zhugeaming2018
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于Docker搭建K8s集群离线包
04-24
基于Docker搭建K8s集群离线包，包含部署时所需的全部文件，可在内网环境中使用，K8s为1.23.0版本，docker为20.10.9-3版本
kubeadm搭建kubernetes集群
01-27
首先环境还是三台虚拟机，虚拟机地址如下 ...yumdownloader下载，然后scp到本地，虽然能解决问题，但是蛋碎一地…最后找到了源头，如下Kubernetes编译的各种发行版安装包来源于Github上的另一个叫release的项目，地址
Docker（三）官方仓库的搭建、仓库的加密和认证
Gong_yz的博客
03-05 2441
当下载一个镜像的时候，首先会去index服务上做认证，然后查找镜像所在的registry的地址并放回给docker客户端，docker客户端再从registry下载镜像，在下载过程中 registry会去index校验客户端token的合法性，不同镜像可以保存在不同的registry服务上，其索引信息都放在index服务上。客户端向index请求删除，index向客户端返回允许delete和token，然后客户端访问仓库，校验完成后在仓库中删除，仓库完成删除后和index之间同步信息。
docker添加证书认证
u010826341的博客
04-28 2902
docker添加证书认证
【docker系列】docker API管理接口增加CA安全认证
字母哥博客
06-06 7738
前文中我们曾经介绍过《使用IDEA远程工具》连接Docker REST API，我们会发现一个问题，任何知道Docker 服务器IP、端口的第三方都可以访问这个API，非常的不安全。为了保证Docker API的安全性，我们有必要使用数字证书进行安全验证。...
【K8S 二】搭建Docker Registry私有仓库（自签发证书+登录认证）（K8S和非K8S环境下）
刘元林的博客
11-19 5743
Go 1.15 版本开始废弃 CommonName，因此推荐使用 SAN 证书 docker run -d -e REGISTRY_AUTH="htpasswd" -e REGISTRY_AUTH_HTPASSWD_PATH="/auth/htpasswd" \ -e REGISTRY_AUTH_HTPASSWD_REALM="Registry Realm" \ -v /opt/registry/images:/var/lib/registry \
基于kubernetes构建Docker集群环境培训视频.rar
10-01
│ 17-kubernetes dashboard认证及分级授权.mp4 │ 18-配置网络插件flannel.mp4 │ 19-基于canel的网络策略.mp4 │ 20-调度器、预选策略及优选函数.mp4 │ 21-kubernetes高级调度方式.mp4 │ 22-容器资源需求、资源...
基于Docker、Kubernetes实现高效可靠的规模化CI/CD流水线的搭建
01-27
高效可靠的CI/CD流水线是一个IT组织实现软件服务快速交付的基础，现如今大量企业采用 jenkins集群来搭建其交付流水线。...上述这些问题一直困拢着集群管理员，近两年随着虚拟化技术突飞猛进的发展，Docker,Kubernetes
Kubernetes集群搭建：基于Kubeadm
02-24
*K8S版本为15.1*Docker版本最高支持18.06.11，清除原Docker环境，原版本为最新版2，如果清除后依旧包冲突错误通过yum命令手动移除冲突包3，安装18.06.1版本Docker1，基础环境准备a，机器节点准备，虚拟机搭建，内存...
docker创建私有仓库和k8s中使用私有镜像
qa1986nibuhao的博客
06-27 3163
docker私有仓库建立环境说明我们选取192.168.5.2做私有仓库地址 yum install docker -y1.启动docker仓库端口服务docker run -d -p 5000:5000 --privileged=true -v /data/history:/data/registry registry [root@Control docker_dw_images]# do...
docker引擎开启TLS双向认证
qq_21442867的博客
07-07 931
文章目录0 环境信息1 创建CA证书1.1 创建CA私钥1.2 生成CA证书2 用ca 证书签发服务端 证书3 为docker引擎部署服务端证书5 用ca 证书签发客户端证书：6 验证 tls 证书7 补充 0 环境信息 docker 引擎服务端 192.168.3.16 docker 客户端 192.168.3.14 docker 版本 19.03.9 1 创建CA证书 1.1 创建CA私钥 可在任意一个可以使用 openssl 命令行工具的操作系统 创建证书相关的文件 创建一个
创建认证授权的docker私有仓库
Cumu Blog
04-18 2980
之前介绍过简单的搭建docker私有仓库的方法（见http://blog.csdn.net/jthink_/article/details/50596239），但是如果是在测试、开发、生产环境中都使用该私有仓库，必须做一些认证授权相关的限制，否则任何人都能创建和更改一个镜像，这样有可能会对镜像造成污染。安装docker简单方式，daocloud提供的方式：curl -sSL https://get
docker idea 权限不够_Docker idea服务端搭建（坑，需要有docker官方授权才可使用）...
weixin_29927965的博客
01-17 631
使用dokcer下拉idea镜像docker run --rm mplatform/mquery crazymax/jetbrains-license-server:latest参数配置说明：TZ：分配给容器的时区(默认UTC)PUID:JLS UID(默认1000)PGID:JLS GID(默认1000)JLS_VIRTUAL_HOSTS：许可证服务器可用的虚拟主机(多个主机用逗号分隔)JLS_...
【如何添加docker 权限给当前用户（linux）】
weixin_44112313的博客
02-11 1258
说明 在使用docker 的过程中发现需要root权限才可以。这种情况需要给当前用户添加docker的权限。 创建docker 组 sudo groupadd docker 将用户加入docker group sudo gpasswd -a ${USER} docker 重启 docker 服务 sudo service docker restart #或 sudo systemctl restart docker 更新用户组 newgrp docker 参考链接：https://www.c
docker registry auth 的加密规则
小单的博客专栏
06-05 4185
Linux安装docker之后，访问registry需要先使用命令 docker login 进行登录，登录成功之后，会在文件 ~/.docker/config.json 中生成 auth 串，在后续对docker进行pull和push的时候，这个auth就是凭证。 文件 ~/.docker/config.json 的内容如下示例： { "auths": { "registry.cn-sha...
bash : docker :command not found 的解决办法
热门推荐
shifengwang123的博客
08-13 9万+
此问题原因：这是由于docker版本升级的问题。 解决方法：1.升级处理：sudo apt-get update 缺包，包的版本旧等问题可以由此解决，如果不是的话那就是缺失认证，需要生成自己的认证证书。 2.生成自己的认证证书， 先建一个文件夹 $ mkdir -p certs 之后创建证书，证书生成在刚才创建的文件夹中 $ openssl req -newkey rsa:4096 -nodes...
如何给K8S集群添加STS权限？
weixin_34279579的博客
05-14 459
1. 登陆集群列表，找到要配置的集群： 2. 点击查看节点列表； 3. 点击某个master节点的实例ID，可以查看对应的RAM角色名： 同理，点击worker的实例ID，可以查看他的RAM角色， 4.到RAM控制台编辑RAM信息： 5....
公网部署k8s集群(wireguard将公网IP映射为内网IP)
Yuan_xii的博客
01-05 5524
没错，k8s还是难用了些，因此换成k3s 问题：由于公网ip不是绑定在物理机上的，因此通过一般的部署方式总会有问题 解决方案：使用wireguard将公网ip映射成内网ip 1.通用基础配置（全部节点均需执行） 1.1.开启IP地址转发 vim /etc/sysctl.conf # 添加 net.ipv4.ip_forward = 1 net.ipv4.conf.all.proxy_arp = 1 # 更新 sysctl -p /etc/sysctl.conf #添加iptables规则 iptable
搭建kubernetes集群
最新发布
05-26
搭建 Kubernetes 集群可以分为以下几个步骤： 1. 确保所有节点上安装了 Docker 和 kubelet，并启动服务。 2. 安装 kubeadm、kubectl 和 kubelet 工具。 3. 在主节点上使用 kubeadm 初始化 Kubernetes 集群。 4. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值