把 KubeBlocks 跑在 Kata 上，真的可行吗？

本文主要是介绍把 KubeBlocks 跑在 Kata 上，真的可行吗？，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

背景

容器的安全性一直是广受关注的话题。这个领域也产生了很多不错的开源项目。Kata就是其中之一。

Kata Containers（简称 Kata）是一种开源项目，它提供了一种安全而高性能的容器运行时环境。Kata Containers 利用虚拟化技术（通常是硬件辅助虚拟化）创建一个轻量级的虚拟机（VM），每个容器都在独立的虚拟机中运行。这种方式使得每个容器都能够拥有自己独立的内核和文件系统，实现了容器之间的完全隔离，提高容器的安全性。

把 KubeBlocks 跑在 Kata 上能够利用Kata在安全性方面的能力，提高整个系统的安全性和隔离性，那么KubeBlocks能够运行在Kata上吗？我们构建了一个 Kata 环境并做了简单的功能验证。

Kata 特性

1. 安全隔离： 每个容器运行在自己的虚拟机中，实现了硬件级别的隔离，从而提供了更高的安全性和隔离性。这使得 Kata Containers 更适合于多租户环境和安全敏感的工作负载。
2. 性能和资源效率： 尽管 Kata Containers 运行在虚拟机中，但它们仍然可以提供接近于轻量级容器的性能和资源效率。Kata Containers 利用硬件虚拟化的优势，通过硬件加速等技术实现快速启动和高性能。
3. 生态系统兼容性： Kata Containers 兼容容器生态系统，支持 Docker 和 Kubernetes，可以无缝地与现有的容器工具和平台集成。
4. 灵活性和可扩展性： Kata Containers 可以在各种不同的虚拟化平台上运行，包括基于 KVM、Firecracker 等的平台。这使得用户可以根据自己的需求选择合适的虚拟化解决方案。

准备虚拟化环境

1. 虚拟化要求

首先，安装 kata 之前需要准备支持虚拟化的服务器，一般有两种来源：

A：裸金属服务器，这种服务器上的 CPU 一般都支持虚拟化，这种虚拟化叫做 L1 虚拟化。

B：支持嵌套虚拟化（Nested Virtualization）的 VM，这种 VM 支持虚拟化指令集，可以用来做 L2 虚拟化。

对于一个 Server 是否支持虚拟化，可以执行 grep vmx /proc/cpuinfo。

slc@kata-1:~$ grep vmx /proc/cpuinfo
flags                : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss ht syscall nx pdpe1gb rdtscp lm constant_tsc rep_good nopl xtopology nonstop_tsc cpuid tsc_known_freq pni pclmulqdq vmx ssse3 fma cx16 pcid sse4_1 sse4_2 x2apic movbe popcnt aes xsave avx f16c rdrand hypervisor lahf_lm abm invpcid_single pti ssbd ibrs ibpb stibp tpr_shadow flexpriority ept vpid ept_ad fsgsbase tsc_adjust bmi1 avx2 smep bmi2 erms invpcid xsaveopt arat vnmi md_clear arch_capabilities
vmx flags        : vnmi preemption_timer invvpid ept_x_only ept_ad flexpriority tsc_offset vtpr mtf vapic ept vpid unrestricted_guest vapic_reg vid shadow_vmcs

如果支持虚拟化，可以在结果中看到 ‘vmx’ 相关的信息。

2. GCP 创建虚拟机

目前的各个云厂商对嵌套虚拟化的支持程度不同，其中 GCP 应该是支持度最好的，详情见：GCP嵌套虚拟化。

在 GCP 上生产 3 台嵌套虚拟化服务器，使用 gcloud 指令：

slc@bogon aws % gcloud compute instances create kata-1 \--enable-nested-virtualization \--project=apecloud-labs \--zone=us-central1-c \--machine-type=n1-standard-4 \--network-interface=network-tier=PREMIUM,stack-type=IPV4_ONLY,subnet=default \--maintenance-policy=MIGRATE \--provisioning-model=STANDARD \--service-account=822787046197-compute@developer.gserviceaccount.com \--scopes=https://www.googleapis.com/auth/devstorage.read_only,https://www.googleapis.com/auth/logging.write,https://www.googleapis.com/auth/monitoring.write,https://www.googleapis.com/auth/servicecontrol,https://www.googleapis.com/auth/service.management.readonly,https://www.googleapis.com/auth/trace.append \--create-disk=auto-delete=yes,boot=yes,device-name=instance-20240407-035747,image=projects/ubuntu-os-cloud/global/images/ubuntu-2204-jammy-v20240319,mode=rw,size=100,type=projects/apecloud-labs/zones/us-central1-c/diskTypes/pd-balanced \--no-shielded-secure-boot \--shielded-vtpm \--shielded-integrity-monitoring \--labels=goog-ec-src=vm_add-gcloud \--reservation-affinity=any

可以执行 3 次来生产 3 台我们需要的支持 vmx 的 VM。

打通上面的 ipip/dns53 vpc firewall rules，以便 K8s 内部节点之间的通信。

安装 K8s + kata 环境

我们选取 k3s 作为我们的 K8s 底座，k3s 的安装过程简单快捷，参考网站 https://k3s.io/。

1. 安装 k3s

curl -sfL https://get.k3s.io | sh -s - --write-kubeconfig-mode 644

2. 创建 bootstrap token

sudo k3s token create

3. 加入其他 Node

红色部分为主节点 ip。

 curl -sfL https://get.k3s.io | K3S_URL=https://10.128.0.49:6443 K3S_TOKEN="K1027e02d430f1a7c8a4e9a67b9a8a354875ff92c366a830d66ceada5784518e8c8::2bhamg.xd7vwu3dlkqyipvh" sh -

4. 验证集群状态

kubectl get nodes
slc@kata-1:~$ kg nodes
NAME     STATUS   ROLES                  AGE    VERSION
kata-2   Ready    <none>                 100m   v1.28.8+k3s1
kata-1   Ready    control-plane,master   104m   v1.28.8+k3s1
kata-3   Ready    <none>                 99m    v1.28.8+k3s1

5. 安装 Kata 环境

此处我们使用 cloud hypervisor 作为默认的 hypervisor，更多选择见 kata-deploy。

git clone https://github.com/kata-containers/kata-containers.git
cd kata-containers/tools/packaging/kata-deploy/
kubectl apply -f kata-rbac/base/kata-rbac.yaml
kubectl apply -k kata-deploy/overlays/k3s
kubectl apply -f https://raw.githubusercontent.com/kata-containers/kata-containers/main/tools/packaging/kata-deploy/runtimeclasses/kata-runtimeClasses.yaml
kubectl apply -f https://raw.githubusercontent.com/kata-containers/kata-containers/main/tools/packaging/kata-deploy/examples/test-deploy-kata-clh.yaml

6. 验证 Kata 环境安装成功

kubectl get pods -A
slc@kata-1:~$ kg pods -A
NAMESPACE     NAME                                            READY   STATUS      RESTARTS   AGE
kube-system   local-path-provisioner-6c86858495-z4fm5         1/1     Running     0          106m
kube-system   svclb-traefik-5010304c-zldjh                    2/2     Running     0          106m
kube-system   svclb-traefik-5010304c-wlmtb                    2/2     Running     0          103m
kube-system   svclb-traefik-5010304c-49jz5                    2/2     Running     0          102m
kube-system   kata-deploy-6hw8t                               1/1     Running     0          98m
kube-system   kata-deploy-g4j9s                               1/1     Running     0          98m
kube-system   kata-deploy-drn8w                               1/1     Running     0          98m
kube-system   helm-install-traefik-zl849                      0/1     Completed   1          106m
kube-system   helm-install-traefik-crd-rhfl4                  0/1     Completed   0          106m
default       php-apache-kata-clh-67f67d6f89-h2dw6            1/1     Running     0          94m
kube-system   metrics-server-54fd9b65b-hqpm7                  1/1     Running     0          106m
kube-system   coredns-6799fbcd5-68wxv                         1/1     Running     0          106m
kube-system   traefik-f4564c4f4-4crfq                         1/1     Running     0          106m     

我们可以看到对应的 runtime。

root        6902  0.0  0.2 1419432 39560 ?       Sl   07:22   0:03 /opt/kata/bin/containerd-shim-kata-v2 -namespace k8s.io -address /run/k3s/containerd/containerd.sock -publish-binary  -id 9e7c835d4868398b062d9735e
root        6914  0.0  0.0   2612  1920 ?        S    07:22   0:00  \_ /opt/kata/libexec/virtiofsd --syslog --cache=auto --shared-dir=/run/kata-containers/shared/sandboxes/9e7c835d4868398b062d9735eb28115be58e5ab8ce
root        6919  0.0  0.1 2106124 26756 ?       Sl   07:22   0:00  |   \_ /opt/kata/libexec/virtiofsd --syslog --cache=auto --shared-dir=/run/kata-containers/shared/sandboxes/9e7c835d4868398b062d9735eb28115be58e5a
root        6915  0.3  0.9 2385428 151808 ?      Sl   07:22   0:18  \_ /opt/kata/bin/cloud-hypervisor --api-socket /run/vc/vm/9e7c835d4868398b062d9735eb28115be58e5ab8ce7111f0e729f651b7a3c2c3/clh-api.sock

安装 KubeBlocks

curl -fsSL https://kubeblocks.io/installer/install_cli.sh | bash
kbcli kubeblocks  list-versions
kbcli kubeblocks  install --version="0.8.2"

安装过程中报错：

slc@kata-1:~$ kbcli kubeblocks  install --version="0.8.2"
The connection to the server localhost:8080 was refused - did you specify the right host or port?

原因是 kbcli 在枚举 K8s context 的过程中找不到 kubeconfig，所以最终拼了 localhost:8080 来做最后尝试，加软连接后解决。

ln -sf /etc/rancher/k3s/k3s.yaml /home/slc/.kube/.kubeconfig

等待 KB 安装成功。

创建数据库集群

1. 创建普通集群

该集群还是由 runC 托管。

kbcli cluster create --cluster-definition=apecloud-mysql
kbcli cluster connect aloe03Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| kubeblocks         |
| mydb               |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
6 rows in set (0.00 sec)

Runtime 信息:

root       11801  0.1  0.0 1238384 15136 ?       Sl   08:21   0:02 /var/lib/rancher/k3s/data/ef92c15b8f1c59f266ea4a9589be87b1b799d1682673f29721e8a1f7b0a4a97b/bin/containerd-shim-runc-v2 -namespace k8s.io -id 604c9d603425ef5c172e94a7598af3fd1b7e2004dfef4e7517e5e731e5123fc7 -address /run/k3s/containerd/containerd.sock
65535      11822  0.0  0.0    972   512 ?        Ss   08:21   0:00  \_ /pause
ubuntu     12032  0.9  1.4 1105756 217004 ?      Ssl  08:21   0:25  \_ mysqld
root       12181  0.0  0.0  22716  2320 ?        Ss   08:21   0:00  |   \_ crond -i -s
root       12590  0.0  0.0   1604   896 ?        Ss   08:21   0:00  \_ /bin/sh /scripts/agamotto.sh
root       12602  0.1  0.6 885824 99328 ?        Sl   08:21   0:03  |   \_ /bin/agamotto --config=/opt/agamotto/agamotto-config.yaml
root       12752  0.0  0.0   2388  1664 ?        Ss   08:22   0:00  \_ /bin/bash /scripts/vttablet.sh
root       14978  0.0  0.0   2312  1280 ?        S    09:06   0:00  |   \_ sleep 60
65532      12911  0.1  0.3 1287692 52068 ?       Ssl  08:22   0:03  \_ lorry --port 3501 --grpcport 50001
65532      12950  0.0  0.2 1271036 35072 ?       Ssl  08:22   0:00  \_ /bin/reloader --log-level info --operator-update-enable --tcp 9901 --config /opt/config-manager/config-manager.yaml

2. 创建 kata mysql 集群

如果需要 kata 支持，需要修改 podSpec，添加：

      podSpec:runtimeClassName: kata-clh

下载 083 版本对应的 kubeblocks-addon：

wget https://github.com/apecloud/kubeblocks-addons/archive/refs/tags/v0.8.3-beta.5.tar.gz
tar zxf v0.8.3-beta.5.tar.gz

修改 apecloud-mysql addon 的 ClusterDefinition：

cd kubeblocks-addons-0.8.3-beta.5/addons
vi apecloud-mysql/templates/clusterdefinition.yaml
添加所有 podSpec 对 kata 支持podSpec:runtimeClassName: kata-clhcontainers:- name: mysql

保存并渲染新的 apecloud-mysql addon：

helm template apecloud-mysql --set resourceNamePrefix="kata-apecloud-mysql" > /tmp/a
kubectl apply -f /tmp/a
slc@kata-1:~$ kubectl get cd
NAME                  MAIN-COMPONENT-NAME   STATUS      AGE
redis                 redis                 Available   105m
clickhouse            clickhouse            Available   105m
mongodb-sharding      mongos                Available   105m
mongodb               mongodb               Available   105m
kafka                 kafka-server          Available   105m
pulsar-zookeeper      zookeeper             Available   105m
postgresql            postgresql            Available   105m
apecloud-mysql        mysql                 Available   105m
pulsar                pulsar-broker         Available   105m
kata-apecloud-mysql   mysql                 Available   13m

创建基于 Kata 的 apecloud-mysql：

slc@kata-1:~$ kbcli cluster create --cluster-definition=kata-apecloud-mysql
Info: --cluster-version is not specified, ClusterVersion kata-apecloud-mysql-8.0.30 is applied by default
Cluster cornel23 created

登录 Kata MySQL：

kbcli cluster connect cornel23
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| kubeblocks         |
| mydb               |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
6 rows in set (0.00 sec)

测试其他命令：

slc@kata-1:~$ kubectl exec -it cornel23-mysql-0 -- /bin/sh
Defaulted container "mysql" out of: mysql, metrics, vttablet, lorry, config-manager
sh-4.2# ls
anaconda-post.log  apecloud  bin  data        dev  docker-entrypoint-initdb.d  etc  home  lib  lib64        media  mnt  opt  proc  root  run  sbin        scripts  srv  sys  tmp        usr  var
sh-4.2#

查看 runtime 进程：

root       19681  0.2  0.2 1419688 40612 ?       Sl   09:52   0:01 /opt/kata/bin/containerd-shim-kata-v2 -namespace k8s.io -address /run/k3s/containerd/containerd.sock -publish-binary  -id 115051aa1546b66657f14cd9a
root       19702  0.0  0.0   2612  1920 ?        S    09:52   0:00  \_ /opt/kata/libexec/virtiofsd --syslog --cache=auto --shared-dir=/run/kata-containers/shared/sandboxes/115051aa1546b66657f14cd9a19f4223f98370377b
root       19708  1.4  2.4 3155940 380292 ?      Sl   09:52   0:10  |   \_ /opt/kata/libexec/virtiofsd --syslog --cache=auto --shared-dir=/run/kata-containers/shared/sandboxes/115051aa1546b66657f14cd9a19f4223f98370
root       19703 13.1  3.8 3436120 591872 ?      Sl   09:52   1:31  \_ /opt/kata/bin/cloud-hypervisor --api-socket /run/vc/vm/115051aa1546b66657f14cd9a19f4223f98370377b3145354b8703bbcf2939c5/clh-api.sock

结论

藉由 KubeBlocks，我们可以很方便地将数据跑在 kata 上。然而，如果要更好支持 kata，KubeBlocks 还需要更原生地去支持 K8s 的 runtimeClass 机制，以支持更多的 runtime 环境。

此外，我们也能感受到，由于对 CRI 的良好兼容，kata 在保障安全性的同时，也能提供良好的使用体验。

End

KubeBlocks 已发布 v0.8.0（KubeBlocks v0.8.0 发布！Component API 让数据库引擎组装更简单！）！KubeBlocks v0.8.0 推出了 Component API，让数据库引擎的组装变得更加简单。Addon 机制也有了重大改进，数据库引擎的 helm chart 从 KubeBlocks repo 中拆分出去，从此数据库引擎或者版本的变动已与 KubeBlocks 发版解绑。v0.8.0 还支持多版本的数据库引擎定义。Pika、ClickHouse、OceanBase、MySQL、PostgreSQL、Redis 等均有功能更新，快来试试看！

小猿姐诚邀各位体验 KubeBlocks，也欢迎您成为产品的使用者和项目的贡献者。跟我们一起构建云原生数据基础设施吧！

💻 官网: www.kubeblocks.io

🌟 GitHub: https://github.com/apecloud/kubeblocks

🚀 Get started: https://kubeblocks.io/docs/preview/user_docs/try-out-on-playground/try-kubeblocks-on-your-laptop

关注小猿姐，一起学习更多云原生技术干货。

这篇关于把 KubeBlocks 跑在 Kata 上，真的可行吗？的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---