Ubuntu升级后导致的Kubernetes问题

这是 胆大心不细[My Fault系列] 的第一篇,之鲁莽升级Host OS后k8s集群故障处理。

Ubuntu 16.04 升级到22.04 能有什么坑呢。

1. cgroups 创建失败,Docker containerd Kubernetes Pod创建失败。

syslog 如下
Jan 27 16:54:58 k8s-3 kubelet[159565]: E0127 16:54:58.707563 159565 pod_workers.go:951]

“Error syncing pod, skipping” err=”failed to "CreatePodSandbox"

CreatePodSandboxError: "Failed to create sandbox for pod

rpc error: code = Unknown desc = failed to create containerd task: cgroups: cgroup mountpoint does not exist: unknown"“

Jan 27 16:55:30 k8s-3 kubelet[159565]: E0127 16:55:30.485050 159565 pod_workers.go:951]
“Error syncing pod, skipping” err=”failed to "CreatePodSandbox" for "prometheus-k8s-1_kubesphere-monitoring-system(9040c116-1ef3-4603-a74d-5e9574b260d1)" with CreatePodSandboxError:

rpc error: code = Unknown desc = failed to setup network for sandbox

plugin type=\"flannel\" failed (add): loadFlannelSubnetEnv failed: open /run/flannel/subnet.env: no such file or directory"“

阅读更多

使用UDEV处理k3s节点路由异常问题

一、出了什么问题

去年弄了一堆轻量应用服务器,搭建了一个k3s(Rancher发布的轻量版kubebernets)。k3s默认的Flannel的CNI,这个网络插件的好处就是简单,坏处就是过于简陋。每当设置网卡重启的时候flannel路由丢失(相关ISSUE),导致节点失联。

阅读更多

N5105 Jellyfin 硬件加速

先说结论,显卡受限于驱动原因,暂时有Ubuntu 21.04+ 以上系统可以实现,直通Windows 10绝无可能(2022/05/19)。
回到主题,最近流行各种小主机做软路由、家庭影音、Nas等系统。这些主机的CPU主要有J4125(10gen)、N5105(11gen)、N6005,其中前两款为Intel® Celeron®,后面这个款为Intel® Pentium®,10代采用14nm工艺,11代采用10nm工艺,N5105和N6005相对J4125有不错的性能提升。在性能相差不大的情况N5105要经济一些,这也是很多人被坑的主要原因,N5105有各种直通方案的折腾。

阅读更多

基于Wireguard组网Kubernetes(k3s)集群搭建

背景

Wireguard能让处于不同网络的主机组成一个子网,是一种高性能的廉价组网方案。
K3S、Microk8s、kind、MiniKube等是Kubernetes的轻量实现版本,本篇采用k3s做为集群方案。

目录

阅读更多

有用的不常用Linux Tools

My Personal Notes, 🎮

网络工具


  1. 限速
    限速:/sbin/tc qdisc add dev eth0 root tbf rate 102400kbit latency 50ms burst 102400

    解除:/sbin/tc qdisc del dev eth0 root

    注:5120kbit表示限制宽带为5M,burst表示峰值为5M

  2. netstat 网络连接状态统计
    #!/bin/bash

    netstat -aln |awk '/^tcp/{state[$NF]++}END{for (i in state) print i,state[i]}'

系统工具


  1. 常用工具
    • iftop # 流量监控
    • ifstat # 流量分析
    • free # 内存查看
    • vmstat – 虚拟内存分析
    • ipcs – 进程间通信查看
    • sar – System Activity Reporter
    • inotify # 文件监控
    • iostat #磁盘IO状态
    • nm – 目标文件格式分析
    • lsof – list open files
    • ldd – 库依赖分析
    • nmon – IBM 出品的系统监控工具 优于top htop http://nmon.sourceforge.net/pmwiki.php
  2. 交换分区
    # 创建交换分区文件
    dd if=/dev/zero of=/data/swapfile bs=1M count=4096
    # 格式化分区
    mkswap /data/swapfile
    #挂载交换分区
    swapon /data/swapfile
    #添加开机启动
    echo '/data/swapfile swap swap defaults 0 0' >> /etc/fstab