【kubernetes/k8s概念】kube-ovn-controller 源码分析之一

    kube-ovn-controller 逻辑职责是翻译 kubernetes 网络概念到 OVN，可以理解为 kube-ovn 的控制面功能，通过 kube-apiserver watch 所有网络相关事件，包括 Pod creation/deletion, Service/Endpoint modification, Networkpolicy changes 等等。然后翻译转为 OVN 逻辑网络的修改。也 watch kube-ovn 添加的 CRD，比如 VPC Subnet Vlan IP 等

    启动脚本为 start-controller.sh，实质是获取南向数据库和北向数据库地址，kube-ovn-controler 启动命令为：

kube-ovn-controller

     --ovn-nb-addr=tcp:[172.16.236.238]:6641

     --ovn-sb-addr=tcp:[172.16.236.238]:6642

     --default-cidr=10.16.0.0/16

     --default-gateway=10.16.0.1

     --default-exclude-ips=

     --node-switch-cidr=100.64.0.0/16

     --network-type=geneve

     --default-interface-name=

     --default-vlan-id=100

     --pod-nic-type=veth-pair

1. CmdMain 函数

   分析命令行，实例化 Configuration 结构体，文件为 pkg/controller/config.go

config, err := controller.ParseFlags()
if err != nil {
	klog.Fatalf("parse config failed %v", err)
}

   1.1 NewController 实例化 Controller 结构体

    定义为 pkg/controller/controller.go 文件，关注的资源包括，vpc vpc-nat-gateway subnet ips vlans provider-networks pod namespace node service endpoint networkpolicy config

ctl := controller.NewController(config)

   1.2 Run 方法

     1.2.1 InitDefaultVpc 方法初始化 ovn-cluster vpc，这个对应逻辑网络 router，更新状态信息

status:
  default: true
  defaultLogicalSwitch: ovn-default
  router: ovn-cluster
  standby: true
  subnets:
  - join
  - ovn-default
  tcpLoadBalancer: cluster-tcp-loadbalancer
  tcpSessionLoadBalancer: cluster-tcp-session-loadbalancer
  udpLoadBalancer: cluster-udp-loadbalancer
  udpSessionLoadBalancer: cluster-udp-session-loadbalancer

   1.2.2 InitOVN 方法

    initClusterRouter 调用北向数据接口命令 "ovn-nbctl --format=csv --data=bare --no-heading --columns=name find logical_router"，如果不存在 ovn-cluster logical_router，在创建 “ovn-nbctl --may-exist lr-add ovn-cluster -- set Logical_router ovn-cluster external_ids:vendor=kube-ovn”

    initLoadBalancer 初始化默认的 tcp 和 upd loadbalancer，调用命令查找 ovn-nbctl --data=bare --no-heading --columns=_uuid find load_balancer name=cluster-tcp-loadbalancer，如果不存在则创建，还包括 cluster-tcp-session-loadbalancer cluster-udp-loadbalancer cluster-udp-session-loadbalancer

    initDefaultVlan 函数如果网络类型不是 vlan 不处理，initDefaultProviderNetwork 创建默认的 provider ProviderNetwork 资源，vlan ID 范围 0 < vlanID < 4096

apiVersion: kubeovn.io/v1
kind: ProviderNetwork
metadata:
  creationTimestamp: "2021-07-28T06:45:00Z"
  generation: 4
  name: provider
  resourceVersion: "765904"
  uid: 449c48b1-1421-4b4b-b36f-56e50f311e11
spec:
  defaultInterface: eth0

    initNodeSwitch 函数查 subnet join，如果不存在则创建，这个主要是打通 pods 由 node 网络通信

spec:
  cidrBlock: 100.64.0.0/16
  default: false
  disableInterConnection: true
  excludeIps:
  - 100.64.0.1
  gateway: 100.64.0.1
  gatewayNode: ""
  gatewayType: distributed
  natOutgoing: false
  private: false
  protocol: IPv4
  provider: ovn
  underlayGateway: false
  vpc: ovn-cluster

     initDefaultLogicalSwitch 函数查  ovn-default 子网，如果不存在则创建，如果未指定子网，默认创建的 pod 网络属于该子网

spec:
  cidrBlock: 10.16.0.0/16
  default: true
  disableInterConnection: false
  excludeIps:
  - 10.16.0.1
  gateway: 10.16.0.1
  gatewayNode: ""
  gatewayType: distributed
  natOutgoing: true
  private: false
  protocol: IPv4
  provider: ovn
  underlayGateway: false
  vpc: ovn-cluster

   1.2.3 InitIPAM 函数遍历所有子网，更新 ipam map，对 alive pod 注解地址处理，node 注解处理，先不详细分析

   1.2.4 主要逻辑在 startWorkers，异步处理各种资源

2. VPC 处理

  2.1 函数 runAddVpcWorker

  主要逻辑函数是 handleAddOrUpdateVpc 添加或者更新 VPC，对应逻辑网络 router

   createVpcRouter 调用命令 “ovn-nbctl --format=csv --data=bare --no-heading --columns=name find logical_router" 查询已存在的 routers，ovnClient.CreateLogicalRouter 创建逻辑 router

   如果不是默认 ovn-cluster router 的处理，可以配置静态路由，调用 ovn-nbclt lr-router-list xxx。

ovn-nbctl lr-route-del router cide 删除路由，ovn-nbctl lr-route-add router cidr gw 添加路由

switch a07eb43f-fc52-4874-8b0e-840eb2493d7b (join)
    port node-node1
        addresses: ["00:00:00:FB:59:C5 100.64.0.2"]
    port join-ovn-cluster
        type: router
        addresses: ["00:00:00:BF:CD:B0"]
        router-port: ovn-cluster-join
router ca02f48e-4459-4db5-8cae-9ef125ed0ee1 (test-vpc-2)
router a7cb924e-300e-4183-a1c9-4676cbfc3765 (test-vpc-1)

   

3. Node 处理

    包括 runAddNodeWorker，runUpdateNodeWorker，runDeleteNodeWorker

   3.1 handleAddNode 

     对 node 删除注解 Chassis，如果设置注解，则调用 ipam.GetStaticAddress 处理，subnet 更新 map MacToPod 和 PodToMac 

     subnet IP 处理，先从 subnet.V4ReservedIPList，subnet.V4FreeIPList 重新更新，更新 V4PodToIP V4IPToPod

      如果未指定注解，则调用 ipam.GetRandomAddress 从 freeList 取，有其他逻辑处理

      ovnClient.CreatePort 在 join 逻辑 switch 创建 logical_switch_port

      ovnClient.AddStaticRoute 在 ovn-cluster router 创建静态路由

      更新 node 注解，添加 IPS

4. Namespace 处理

   4.1 runAddNamespaceWorker 函数

   从所有子网 subnet.spec.namespaces 是否包含该 namespace，如果不包含，则在从所有 vpc.spec.namespaces 是否包含该 namespace，如果不包含则使用默认 vpc ovn-cluster，更新 namespace 配置注解

   metadata:
    annotations:
      ovn.kubernetes.io/cidr: 30.0.1.0/24
      ovn.kubernetes.io/exclude_ips: 30.0.1.1
      ovn.kubernetes.io/logical_switch: net1

5. Pod 处理 

    包括 runAddPodWorker，runDeletePodWorker，runUpdatePodWorker

   5.1 handleAddPod 函数

    如果 pods 注解则调用 ValidatePodNetwork 进行合法性检查

    acquireAddress 可以是调用 ipam.GetRandomAddress 随机分配，调用 acquireStaticAddress 静态配置，还有 ip_pool 地址池分配。对于 地址池 ip_pool 分配分为 statefulset 和无状态的，对于无状态的则调用 ipam.IsIPAssignedToPod 查找子网 subnet 的 map V4IPToPod，不存在则调用acquireStaticAddress 将 subnet 的 map 占用上

     onvClient.CreatePort 调用 ovn-nbtcl --may-exist lsp-add ${switch} ${port} -- lsp-set-addresses ${port} ${mac} ${ip} 创建 logical switch port

switch e80b5a4f-9a8a-4ca6-88f4-581d9e6f793c (net2)
    port net2-test-vpc-2
        type: router
        addresses: ["00:00:00:8E:D9:0A"]
        router-port: test-vpc-2-net2
    port starter-backend-6f6dfcb8d6-5t9ph.ns2
        addresses: ["00:00:00:5F:84:16 10.0.1.3"]
    port starter-backend-6f6dfcb8d6-hl7nv.ns2
        addresses: ["00:00:00:93:5D:95 10.0.1.2"]

总结：

 subnet 对应 logical switch，默认的 subnet 为 ovn-default，node 设置为 join

 pod 创建时会创建对应的 logical switch port

 router 对应 kube-ovn 里的 vpc，默认的 vpc 为 ovn-cluster