当Kubernetes遇见Macvlan—网络互通

最近在研究KubeVirt和Virtink两个项目，计划做一个Operator管理虚拟机。Kubernetes API有望成为云计算基础设施管理的事实标准，IaaS关注计算、存储和网络，相比OpenStack，Kubernetes是一个可塑性更强的项目。

在Kubernetes管理虚拟机的场景下，容器网络就是虚拟机网络。目前没有做双网卡方案，我需要把容器网络拉平到物理网络，方便直接登录虚拟机。为了保持架构简单清爽，我放弃了multus、coredns和kube-proxy。

实验准备

我的实验设备是一台Dell机架服务器，它的基础信息如下。如果你打算自己实验，下文中用到内网IP的地方换成自己的IP就可以。

系统	主机名	内网IP	网卡
ubuntu 20.04	lyr620	192.168.0.5/16	eno1

安装Kubernetes

你可以使用Sealos丝滑安装Kubernetes。Sealos是一个轻量的二进制工具，可以搞定Kubernetes安装中的一些常见痛点。包括但不限于Linux配置、组件镜像和高可用集群。 Sealos的安装和使用请参考官方文档，这里不做赘述。我使用的Sealos版本为4.1.3，Kubernetes版本为1.23.13，下面是我的Clusterfile。

apiVersion: apps.sealos.io/v1beta1
kind: Cluster
metadata:
  name: default
spec:
  # 我的环境只有一台机器
  hosts:
  - ips:
    - 192.168.0.5:22
    roles:
    - master
    - amd64
  # 匹配sealos 4.1.3版本的kubernetes镜像
  image:
  - labring/kubernetes:v1.23.13-4.1.3
  # 请确保ssh可以通过公钥直接登录
  ssh:
    pk: /root/.ssh/id_rsa
    port: 22

---

apiVersion: kubeadm.k8s.io/v1beta3
kind: ClusterConfiguration
networking:
  # 这里设置为和物理网络相同的网段
  podSubnet: 192.168.0.0/16
---

apiVersion: kubeadm.k8s.io/v1beta3
kind: InitConfiguration
# 跳过coredns和kube-proxy的安装
skipPhases:
- addon/coredns
- addon/kube-proxy

你只需要一条命令就可以安装Kubernetes集群。

$ sealos apply -f Clusterfile

macvlan虚拟的设备插入到容器network namespace以后，其中的流量就不经过主机network namespace了，依赖iptables/ipvs实现的service全然无用，kube-proxy和coredns自然也成了摆设。
我是单节点Kubernetes，这里需要去掉master上的taint，使得Pod可以调度到master。

$ kubectl taint node lyr620 node-role.kubernetes.io/master-

配置CNI Plugin

你需要下载官方出品的CNI Plugins，我使用了1.1.1版本。
将下载的压缩包解压到Kubernetes默认的CNI插件目录。

$ mkdir -p /opt/cni/bin
$ tar -zxvf cni-plugins-linux-amd64-v1.1.1.tgz -C /opt/cni/bin

在/etc/cni/net.d目录下创建一个00-default.conflist文件，写入如下内容。

{
    "cniVersion": "0.4.0",
    "name": "default",
    "plugins": [
        {
            "type": "macvlan",
            "master": "eno1",
            "ipam": {
                "type": "host-local",
                "ranges": [
                    [
                        {
                            "subnet": "192.168.0.0/16",
                            "rangeStart": "192.168.1.2",
                            "rangeEnd": "192.168.1.254",
                            "gateway": "192.168.0.1"
                        }
                    ]
                ],
                "routes": [
                    {"dst": "0.0.0.0/0"}
                ]
            }
        }
    ]
}

我的机器上只有eno1这个网卡连接到了公司内网，所以指定macvlan插件在eno1上创建子设备分配给容器。这里的IPAM子网配置到主机网络192.168.0.0/16，但是将IP池限制在192.168.1.0/24这个子网的IP范围。
之前也尝试过将subnet设置为192.168.1.0/24，主机为之添加相应的路由，但是这个方案没能成功，其中有些问题以我的内功暂时还玩不动......

验证Pod网络

检查Kubernetes Node是否就绪。

$ kubectl get nodes
NAME     STATUS   ROLES                  AGE     VERSION
lyr620   Ready    control-plane,master   5h33m   v1.23.13

创建一个Nginx Deployment，观察Pod是否Running，查看容器的路由表。

$ kubectl create deployment nginx --image nginx:stable-alpine

$ kubectl get pods -o wide
NAMESPACE     NAME                             READY   STATUS    RESTARTS   AGE    IP   
default       nginx-7bd849c599-cbgqn           1/1     Running   0          5s     192.168.1.2

$ kubectl exec nginx-7bd849c599-cbgqn -it -- ip route
default via 192.168.0.1 dev eth0
192.168.0.0/16 dev eth0 scope link  src 192.168.1.2

虽然Pod已经Running，但这时从主机ping容器是不通的。

$ ping -c 3 192.168.1.2
PING 192.168.1.2 (192.168.1.2) 56(84) bytes of data.
From 192.168.0.5 icmp_seq=1 Destination Host Unreachable
From 192.168.0.5 icmp_seq=2 Destination Host Unreachable
From 192.168.0.5 icmp_seq=3 Destination Host Unreachable

--- 192.168.1.2 ping statistics ---
3 packets transmitted, 0 received, +3 errors, 100% packet loss, time 2027ms
pipe 3

从容器ping主机也不行。

$ kubectl exec -it nginx-7bd849c599-cbgqn -- ping -c 3 192.168.0.5
PING 192.168.0.5 (192.168.0.5): 56 data bytes

--- 192.168.0.5 ping statistics ---
3 packets transmitted, 0 packets received, 100% packet loss

为了满足Kubernetes主机和容器网络互通的需求，我们需要在主机的network namespace创建并启动一个bridge模式的macvlan子设备。

$ ip link add eno1.host link eno1 type macvlan mode bridge
$ ip link set dev eno1.host up

然后在主机上写一条直通Pod IP的路由。

$ ip route add 192.168.1.2 dev eno1.host
$ ip route
default via 192.168.0.1 dev eno1 proto static
192.168.0.0/16 dev eno1 proto kernel scope link src 192.168.0.5
192.168.1.2 dev eno1.host scope link

这时容器和主机就互通了，你不但可以ping通Pod IP，而且访问Pod IP还可以看见Nginx的网页。

$ curl http://192.168.1.2
<!DOCTYPE html>
<html>
...
</html>

参考文献

《图解几个与Linux网络虚拟化相关的虚拟网卡-VETH/MACVLAN/MACVTAP/IPVLAN》
《kubernetes的clusterip机制调研及macvlan网络下的clusterip坑解决方案》
《Docker使用macvlan网络容器与宿主机的通信过程》