这是 胆大心不细[My Fault系列] 的第一篇，之鲁莽升级Host OS后k8s集群故障处理。

Ubuntu 16.04 升级到22.04 能有什么坑呢。

• 1. cgroups 创建失败，Docker containerd Kubernetes Pod创建失败。
  • 1）解决方案
  • 2）为什么呢
• 2. CoreDNS CrashLoopBackOff
  • 1）解决方案
  • 2）为什么呢
• 3. Pod 频繁重启
  • 1）解决方案
  • 2）为什么呢

1. cgroups 创建失败，Docker containerd Kubernetes Pod创建失败。

syslog 如下
Jan 27 16:54:58 k8s-3 kubelet[159565]: E0127 16:54:58.707563 159565 pod_workers.go:951]
…
“Error syncing pod, skipping” err=”failed to "CreatePodSandbox"
…
CreatePodSandboxError: "Failed to create sandbox for pod
…
rpc error: code = Unknown desc = failed to create containerd task: cgroups: cgroup mountpoint does not exist: unknown"“
…
Jan 27 16:55:30 k8s-3 kubelet[159565]: E0127 16:55:30.485050 159565 pod_workers.go:951]
“Error syncing pod, skipping” err=”failed to "CreatePodSandbox" for "prometheus-k8s-1_kubesphere-monitoring-system(9040c116-1ef3-4603-a74d-5e9574b260d1)" with CreatePodSandboxError:
…
rpc error: code = Unknown desc = failed to setup network for sandbox
…
plugin type=\"flannel\" failed (add): loadFlannelSubnetEnv failed: open /run/flannel/subnet.env: no such file or directory"“
…

一、出了什么问题

去年弄了一堆轻量应用服务器，搭建了一个k3s（Rancher发布的轻量版kubebernets）。k3s默认的Flannel的CNI，这个网络插件的好处就是简单，坏处就是过于简陋。每当设置网卡重启的时候flannel路由丢失(相关ISSUE),导致节点失联。

先说结论，显卡受限于驱动原因，暂时有Ubuntu 21.04+ 以上系统可以实现，直通Windows 10绝无可能（2022/05/19）。
回到主题，最近流行各种小主机做软路由、家庭影音、Nas等系统。这些主机的CPU主要有J4125（10gen）、N5105（11gen）、N6005，其中前两款为Intel® Celeron®，后面这个款为Intel® Pentium®，10代采用14nm工艺，11代采用10nm工艺，N5105和N6005相对J4125有不错的性能提升。在性能相差不大的情况N5105要经济一些，这也是很多人被坑的主要原因，N5105有各种直通方案的折腾。

背景

Wireguard能让处于不同网络的主机组成一个子网，是一种高性能的廉价组网方案。
K3S、Microk8s、kind、MiniKube等是Kubernetes的轻量实现版本，本篇采用k3s做为集群方案。

目录

• 一、环境准备
  • 1.机器清单
  • 2.内核升级
  • 3.工具安装
• 二、网络规划与部署
  • 1.安装Netmaker
  • 2.配置网络
  • 3.安装netcliet
  • 4.Node个性化配置
  • 5. 验证网络
• 三、集群安装
  • master 安装
  • Agent 安装
• 故障排除

My Personal Notes, 🎮

网络工具

1. 限速

   1 2 3 4

   限速：/sbin/tc qdisc add dev eth0 root tbf rate 102400kbit latency 50ms burst 102400 解除：/sbin/tc qdisc del dev eth0 root

   注：5120kbit表示限制宽带为5M，burst表示峰值为5M

2. netstat 网络连接状态统计

   1 2 3

   #!/bin/bash netstat -aln |awk '/^tcp/{state[$NF]++}END{for (i in state) print i,state[i]}'

系统工具

3. 常用工具

   • iftop # 流量监控
   • ifstat # 流量分析
   • free # 内存查看
   • vmstat – 虚拟内存分析
   • ipcs – 进程间通信查看
   • sar – System Activity Reporter
   • inotify # 文件监控
   • iostat #磁盘IO状态
   • nm – 目标文件格式分析
   • lsof – list open files
   • ldd – 库依赖分析
   • nmon – IBM 出品的系统监控工具 优于top htop http://nmon.sourceforge.net/pmwiki.php

4. 交换分区

   1 2 3 4 5 6 7 8 9

   # 创建交换分区文件 dd if=/dev/zero of=/data/swapfile bs=1M count=4096 # 格式化分区 mkswap /data/swapfile #挂载交换分区 swapon /data/swapfile #添加开机启动 echo '/data/swapfile swap swap defaults 0 0' >> /etc/fstab