【k8s教程二】CentOS7部署K8s集群 [blockquote2 name='洛维花']声明：本教程并不是我原创，因脑子问题，好记性不如笔记以及中途使用中出现其他问题，有个具体化的解决办法，于是便进行了搬运，并稍作更改。文章尾部带有原作者的链接。[/tip]附上原作者的录像环境准备本文服务器的公网IP：192.168.56.101OS version: CentOS 7CPU Architecture: x86_64/amd64K8s version: v1.23.17Docker version: 20.10.23安装依赖yum install -y \ curl \ wget \ systemd \ bash-completion \ lrzsz 安装前准备同步服务器时间timedatectl set-timezone Asia/Shanghai && timedatectl set-local-rtc 0 systemctl restart rsyslog systemctl restart crond修改主机名方便通过主机名访问对于的服务器# 主节点 hostnamectl set-hostname k8s-master # 从节点 hostnamectl set-hostname k8s-node1 hostnamectl set-hostname k8s-node2修改hostscat >/etc/hosts <<EOF 192. 168.56.101 k8s-master 192. 168.56.102 k8s-node1 192. 168.56.103 k8s-node2 EOF开启必要的端口必要端口文档：https://kubernetes.io/zh-cn/docs/reference/networking/ports-and-protocols/因是测试环境，直接关闭防火墙systemctl disable firewalld.service && systemctl stop firewalld.service 容器运行时转发IPv4并让iptables看到桥接流量cat >/etc/modules-load.d/k8s.conf <<EOF overlay br_netfilter EOF modprobe overlay modprobe br_netfilter cat >/etc/sysctl.d/k8s.conf <<EOF net.bridge.bridge-nf-call-iptables=1 net.bridge.bridge-nf-call-ip6tables=1 net.ipv4.ip_forward=1 EOF sysctl --system # 通过运行以下指令确认 br_netfilter 和 overlay 模块被加载 lsmod | egrep 'overlay|br_netfilter' # 通过运行以下指令确认 net.bridge.bridge-nf-call-iptables、net.bridge.bridge-nf-call-ip6tables 系统变量在你的 sysctl 配置中被设置为 1 sysctl net.bridge.bridge-nf-call-iptables net.bridge.bridge-nf-call-ip6tables net.ipv4.ip_forward安装容器运行时[blockquote2 name='洛维花']注意：k8s v1.24及以后不在支持Docker Engine[/tip]安装Docker[blockquote2 name='洛维花']官方文档：https://docs.docker.com/engine/install/centos/[/tip]yum install -y yum-utils # 设置yum阿里云镜像 yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo mkdir -p /etc/docker # 设置阿里云镜像/日志/cgroup驱动 cat >/etc/docker/daemon.json <<EOF { "exec-opts": ["native.cgroupdriver=systemd"], "log-driver": "json-file", "log-opts": { "max-size": "100m" }, "storage-driver": "overlay2", "storage-opts": [ "overlay2.override_kernel_check=true" ], "registry-mirrors":["https://hub-mirror.c.163.com","https://docker.mirrors.ustc.edu.cn","https://registry.docker-cn.com"] } EOF yum makecache fast yum install -y docker-ce-20.10.23 docker-ce-cli-20.10.23 containerd.io systemctl daemon-reload systemctl enable docker && systemctl restart docker安装containerd（这个其实是另一种的容器工具，我们已经安装了docker，并不需要再安装这个了。）yum install -y yum-utils yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo yum makecache fast yum install -y containerd.io mkdir -p /etc/containerd 生成默认文件 containerd config default > /etc/containerd/config.toml 编辑配置文件 设置驱动方式为systemd 设置pause镜像 镜像仓库的加速器 sed -i "s#SystemdCgroup = false#SystemdCgroup = true#g" /etc/containerd/config.toml sed -i "s#registry.k8s.io#registry.cn-hangzhou.aliyuncs.com/google_containers#g" /etc/containerd/config.toml sed -i "/\[plugins.\"io.containerd.grpc.v1.cri\".registry.mirrors\]/a\ [plugins.\"io.containerd.grpc.v1.cri\".registry.mirrors.\"docker.io\"]" /etc/containerd/config.toml sed -i "/\[plugins.\"io.containerd.grpc.v1.cri\".registry.mirrors.\"docker.io\"\]/a\ endpoint = [\"https://hub-mirror.c.163.com\",\"https://docker.mirrors.ustc.edu.cn\",\"https://registry.docker-cn.com\"]" /etc/containerd/config.toml sed -i "/endpoint = \[\"https:\/\/hub-mirror.c.163.com\",\"https:\/\/docker.mirrors.ustc.edu.cn\",\"https:\/\/registry.docker-cn.com\"]/a\ [plugins.\"io.containerd.grpc.v1.cri\".registry.mirrors.\"registry.k8s.io\"]" /etc/containerd/config.toml sed -i "/\[plugins.\"io.containerd.grpc.v1.cri\".registry.mirrors.\"registry.k8s.io\"\]/a\ endpoint = [\"registry.cn-hangzhou.aliyuncs.com/google_containers\"]" /etc/containerd/config.toml sed -i "/endpoint = \[\"registry.cn-hangzhou.aliyuncs.com\/google_containers\"]/a\ [plugins.\"io.containerd.grpc.v1.cri\".registry.mirrors.\"k8s.gcr.io\"]" /etc/containerd/config.toml sed -i "/\[plugins.\"io.containerd.grpc.v1.cri\".registry.mirrors.\"k8s.gcr.io\"\]/a\ endpoint = [\"registry.cn-hangzhou.aliyuncs.com/google_containers\"]" /etc/containerd/config.toml systemctl daemon-reload systemctl enable containerd && systemctl restart containerd安装k8s[blockquote2 name='洛维花']官方文档：https://kubernetes.io/zh/docs/reference/setup-tools/kubeadm/kubeadm-init/https://kubernetes.io/zh-cn/docs/reference/command-line-tools-reference/kubelet/[/tip]关闭swap分区或者禁用swap文件swapoff -a && sed -ri 's/.*swap.*/#&/' /etc/fstab关闭selinuxsetenforce 0 && sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config 安装k8s# 使用阿里云k8s源 cat >/etc/yum.repos.d/kubernetes.repo <<EOF [kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/ enabled=1 gpgcheck=0 repo_gpgcheck=0 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF # 安装工具kubelet、kubeadm、kubectl yum install -y kubelet-1.23.17 kubeadm-1.23.17 kubectl-1.23.17 --disableexcludes=kubernetes # 设置驱动方式为systemd cat >/etc/sysconfig/kubelet <<EOF KUBELET_EXTRA_ARGS="--cgroup-driver=systemd" EOF # 设置容器运行时（仅容器运行时为containerd才需要进行以下设置，容器运行时为Docker则不需要） crictl config runtime-endpoint unix:///var/run/containerd/containerd.sock crictl config image-endpoint unix:///var/run/containerd/containerd.sock sed -i '/KUBELET_KUBEADM_ARGS/s/"$/ --container-runtime=remote --container-runtime-endpoint=unix:\/\/\/run\/containerd\/containerd.sock"/' /var/lib/kubelet/kubeadm-flags.env # kubelet开机自启 systemctl enable --now kubelet # 查看kubelet状态 systemctl status kubelet # 如果报错，查询错误信息 journalctl -xe运行k8smkdir -p /k8sdata/log/ kubeadm init \ --apiserver-advertise-address=192.168.56.101 \ --image-repository=registry.cn-hangzhou.aliyuncs.com/google_containers \ --kubernetes-version=v1.23.17 \ --service-cidr=10.96.0.0/12 \ --pod-network-cidr=10.244.0.0/16 | tee /k8sdata/log/kubeadm-init.log mkdir -p "$HOME"/.kube cp -i /etc/kubernetes/admin.conf "$HOME"/.kube/config chown "$(id -u)":"$(id -g)" "$HOME"/.kube/config提示：[blockquote2 name='洛维花']如果是搭建的服务器是主节点，则服务器至少2核2G，如果没有达到该配置但是仍想安装，则可以在kubeadm init命令行中使用–ignore-preflight-errors=CpuNum即可忽略报错。如果初始化失败，通过kubeadm reset进行重设[/tip]安装网络系统flannelmkdir -p /k8sdata/network/ wget --no-check-certificate -O /k8sdata/network/flannelkube-flannel.yml https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml kubectl create -f /k8sdata/network/flannelkube-flannel.ymlcalicomkdir -p /k8sdata/network/ wget --no-check-certificate -O /k8sdata/network/calico.yml https://docs.projectcalico.org/manifests/calico.yaml kubectl create -f /k8sdata/network/calico.ymlk8s命令行补全! grep -q kubectl "$HOME/.bashrc" && echo "source /usr/share/bash-completion/bash_completion" >>"$HOME/.bashrc" ! grep -q kubectl "$HOME/.bashrc" && echo "source >"$HOME/.bashrc" ! grep -q kubeadm "$HOME/.bashrc" && echo "source >"$HOME/.bashrc" ! grep -q crictl "$HOME/.bashrc" && echo "source >"$HOME/.bashrc" source "$HOME/.bashrc"k8s常用命令# 获取节点 kubectl get nodes -o wide # 实时查询nodes状态 watch kubectl get nodes -o wide # 获取pod kubectl get pods --all-namespaces -o wide # 查看镜像列表 kubeadm config images list # 节点加入集群 kubeadm token create --print-join-command # 描述node kubectl describe node k8s-master # 描述pod kubectl describe pod kube-flannel-ds-hs8bq --namespace=kube-flannel总结按照本教程可以部署一个可以正常运行的k8s，但本文仍存在一些待优化的地方，如在部署或者使用过程中遇到问题会在本文进行补充。视频备份{cloud title="百度网盘" type="bd" url="https://pan.baidu.com/s/1CiVD7Vn1IVxEHcqQ3iflfA?pwd=vb79" password=""/}[blockquote2 name='洛维花']原文链接：https://jonssonyan.com/2022/07/18/CentOS7%E9%83%A8%E7%BD%B2K8s%E9%9B%86%E7%BE%A4/[/tip]

【N1和Armbian】五、自动挂载移动硬盘或者U盘 直接上教程查看系统所检测到的磁盘，这里的 sda检测到的硬盘但是没有被挂载(注意：这里sda，而不是下面分区sda1)lsblk //查看信息 //先格式化移动磁盘（疯子这边本身就是ext4格式的，所以没办法截图。） fdisk /dev/sda 输入 d //删除去所有的分区。 再输入 n //新建分区，一路默认就好了 输入 w //保存 mkfs -t ext4 /dev/sda //格式化成ext4在根目录新建一个目录用于挂载硬盘，命令如下： cd /mnt //进入新建挂载的目录 mkdir H1 //新建目录名为‘mnts’可用'ls'查看挂载新增的磁盘sda1(所有新增硬盘都在/dev/目录下)mount /dev/sda /mnt/H1 //挂载到mnts cd /mnt/H1 //进入挂载的硬盘 'ls'查看内容注意：这里只针对ntfs开机自动挂载：①这条命令可以显示硬盘信息，并记下UUID，为下一步做准备，这里以sda1为例blkid /dev/sda②修改 /etc/fstab 即可。例如我就是在 fstab 最后添加这行：UUID=9a536075-973d-429a-b010-f68ecee252d1 /mnt/H1 ext4 defaults,noatime,compress=zstd:6 0 0vi /etc/fstab //修改fstab③最后保存并应用， 则成功自定挂载，开机也会自动挂载(注意：这里只对只一个硬盘有效)mount -a //应用并启动

【N1和Armbian】四、玩samba 你们真不觉得OMV比命令行还难用吗…当初看论坛一大堆说OMV的,也试着折腾OMV,好不容易安装成功了,用起来根本不好用啊.armbian安装命令直接apt-get install -y samba后 vi /etc/samba/smb.conf末尾添加一下共享目录就行。比如:[samba] #描述 comment = 资料 #浏览权限 browseable = yes #共享文件夹 path = /mnt/H1 #权限 create mask=0777 directory mask=0777 force user=root force group=root public=yes writeable=yes available=yes #访问用户 valid users = root write list = root授权root账号，设置密码smbpasswd -a root重启服务systemctl restart samba到此就可以愉快的玩耍了！如果需要分账号管理共享目录，那么可以参考【记录】Openwrt / LEDE samba网络共享不使用root用户，创建新用户用于smb https://luoweihua.cn/archives/456.html说明，此帖子参考https://www.right.com.cn/forum/forum.php?mod=viewthread&tid=10691&highlight=smb.conf

【N1和Armbian】二、：玩docker 安装docker这个就很简单了。curl -fsSL https://get.docker.com -o get-docker.sh sh get-docker.sh --mirror Aliyun我发现有时候安装，我用这个命令会出错，那么还有更简单的命令，如果刷的是ophub大的armbian系统他有一个命令：armbian-docker这个命令就可以简单进行安装了

【N1和Armbian】一、N1刷Linux系统armbian N1为什么要刷Linux系统？刷了可以将N1当做NAS来用。玩docker。网站自动签到之类的。做Linux学习机或者Linux工作机，写代码，玩Linux环境。一个巴掌大的Linux工作机真小巧准备材料Aml-USB-Burn-Tool刷安卓系统工具N1_mod_by_webpad_v2.2_20180920.img，webpad大佬的安卓固件Armbian_23.05.0_amlogic_s905d_jammy_5.15.107_server_2023.04.17.img.gz这是ophub大的armbian系统（你们自行选择）balenaEtcher U盘写入工具引导从U盘启动工具材料下载Aml-USB-Burn-Tool刷安卓系统工具下载信息{cloud title="天翼网盘天翼网盘（访问码：pge6）" type="default" url="https://cloud.189.cn/web/share?code=JBNvM3eEB7jq" password=""/}{cloud title="蓝揍网盘" type="lz" url="https://daimafengzi.lanzout.com/iDppK0tchjfi" password=""/}{cloud title="github仓库" type="default" url="https://github.com/daimafengzi/daimafengzblog/blob/3a9685975455d781df4bedc7c6603eb1ce22a48f/USB_Burning_Tool_v2.1.6.zip" password=""/}webpad大佬的安卓固件ophub大的armbian系统https://github.com/ophub/amlogic-s9xxx-armbian/releasesbalenaEtcher官网地址：https://www.balena.io/etcher引导从U盘启动工具开始刷机第1步、无论你的N1之前刷的是什么系统，将非安卓系统的N1用USB线和电脑的USB口相连，N1不要通电。第2步、打开USB Burning Tool软件，USB Burning Tool在网上有很多种，可以随意下载，我选的是Aml-USB-Burn-Tool，长得像下图这样的软件都行。注意：刚打开这个软件，右上角的“开始”是灰色的，无法点击。第3步、点击软件左上角的“设置”-“导入镜像”，将安卓img镜像导入USB Burning Tool软件里。我选择的是N1_mod_by_webpad_v2.2_20180920.img这个安卓镜像文件（网上都说这是webpad大佬的固件），网上有很多这个镜像的资源，随意下载。注意：将N1_mod_by_webpad_v2.2_20180920.img镜像文件（或者其他镜像文件）导入之后，软件右上角的“开始”按钮恢复正常了：第4步、勾选“开始”按钮下方的“擦除FLASH”，不要勾选“擦除bootloader”，点击右上角的“开始”按钮，点击“开始”按钮后，要立刻马上给N1通电（不要点击“开始”了，过很久才给N1通电，要立刻通电，前后间隔尽量在两秒钟以内）第5步、N1会自动开始刷机过程刷机完成后，会出现“100%烧录成功”的提示，见下图：刷了N1_mod_by_webpad_v2.2_20180920.img这个镜像文件之后（你也可以刷其他安卓系统），你的N1就变回安卓盒子了，可以拿来当电视机的伴侣使用，这个系统的界面见下图：第6步、下载可供N1使用的Linux固件img文件，也就是Armbian的img文件第7步、将Linux的img文件写入u盘我将Armbian_23.05.0_amlogic_s905d_jammy_5.15.107_server_2023.04.17.img这个img文件用下面的工具写入u盘里面。balenaEtcher是一款免费的u盘写入软件，网上很多免费的u盘软件都是骗点击的，下载了无法使用，需要注意。去balenaEtcher官网下载这款免费的u盘写入软件。balenaEtcher软件使用非常简单，第一步点击左侧“Flash from file”按钮，选择你下载的img文件，例如我选的是Armbian_23.05.0_amlogic_s905d_jammy_5.15.107_server_2023.04.17.img，第二步是点击中间的“Select target”按钮选择你的u盘，第三步点击右侧的“Flash”按钮就能将img文件写入U盘了。注意：你的u盘数据会被全部清空，u盘里面的数据要先备份。前面的两个按钮都选好之后，后面的“Flash”按钮才可以使用：u盘写入完成后，会出现“Flash Complete”的提示：第8步、通过adb模式引导N1从u盘启动到目前为止，你的N1已经刷成了安卓系统了，你的u盘也已经写入了Linux系统（armbian-Debian），现在需要用u盘里面的Linux系统引导N1启动。在DOS界面输入N1的IP地址，例如我的IP地址是192.168.31.200，回车之后，N1就会从u盘启动了（需要事先插入u盘到靠近hdmi线的那个口子上）。IP地址怎么查看？登录你的路由器进行查看。u盘启动系统后，等个几分钟（和你u盘速度有关，如果u盘速度快，1分钟以内可以进入）。刷机结束，到这里就可以使用ssh工具连接了，第一次登录需要输入账号root，密码1234；输入完成后，系统会叫你改密码，你先输入root的旧密码1234（为什么是1234，因为做系统的人设置成1234），然后再按照提示输入root的新密码。新密码设置完成后，还要让你建立一个新的用户账号，例如我新建了一个叫做yasden的账号，设置了yasden这个账号的密码之后，剩下的就可以一路回车忽略了。总结某些情况下，你可以从第6步开始刷机，忽略掉前面的5步。我之所以将前面的5步也写出来，是因为有些机器如果不进行前面的5步，就无法成功完成第9步。也就是说，某些N1机器如果直接从第6步开始，可能第9步会失败。我亲自验证过，从第一步一直做到第九步是不会出问题的。N1刷Linux系统armbian的步骤：玩docker、当NAS用、自动签到，因为我曾经尝试过直接从第6步开始。

梅林、padavan、LEDE（openwrt）怎么格式化U盘？梅林、padavan、LEDE（openwrt）路由器格式化U盘、硬盘 本教程适用于梅林、padavan、LEDE（OpenWRT）等固件以下具体方法都基于 ext4，NTFS 相关错误不做回答使用ssh连接路由器，把硬盘插到路由器上我们需要在命令行进行以下4步操作：梅林、padavan、LEDE（openwrt）安装fdisk一般梅林、Padavan 固件都会自带的，不用安装，如果没有则按照下面给出的命令opkg update opkg install fdisk输出Configuring fdisk. 并且没有错误，fdisk就安装好了查看你的设备fdisk -l这里先输出系统分区之类的不用管，外置设备一般在最后Disk /dev/sda: 30.7 GB, 30752000000 bytes 这里要注意/dev/sda是设备 64 heads, 32 sectors/track, 29327 cylinders Units = cylinders of 2048 * 512 = 1048576 bytes Device Boot Start End Blocks Id System /dev/sda1 2 29327 30029824 83 Linux 这里的/dev/sda1是设备里面的分区，一定要分清楚 上面的信息注意看到和你的存储大小一样的设备，我的是 /dev/sda，在它里面有个 /dev/sda1的分区删除分区、新建分区先卸载 硬 盘，如果提示 No such file or directory 没关系，说明本来就没挂载上padavan、梅林可以执行以下这个退出usbejusb其他固件，或者梅林使用以上命令无效，则可以使用这个命令卸载分区umount /dev/sda1然后分区fdisk /dev/sda # 注意这里的设备和分区一定要分清，这里填写设备也就是“/dev/sda”首先使用fdisk -l 发现待分区磁盘/dev/sda 大小为1TBfdisk /dev/vdb 对该磁盘进行分区，输入m并回车输入n并回车，n是“new”新建分区的意思出现两个菜单e表示扩展分区，p表示主分区，按"p"键出现提示："Partition number (1-4): "选择主分区号直接按回车表示1柱面开始分区，提示最后一个柱面或大小。输入+500G 按回车，表示第一个分区为500G空间（采用默认值一直回车会将整个1TB都分给/dev/sda1）输入 w 并回车，意思是对刚才的结果进行保存，新建第二块分区（/dev/sda）时候，记得也选择p。执行命令，查看设备fdisk -l找到你的设备 可以看到ID为83就对了格式化分区分区已经有了，现在开始格式化用 mkfs.ext4 命令格式化，并且设置卷标为 onmp[blockquote2 name='洛维花']注意，如果下面的命令提示 /dev/sda1 is mounted ，则需要先卸载 硬 盘，和分区前卸载的方法一样[/tip]mkfs.ext4 -m 0 -L onmp /dev/sda1如果你的硬盘比较大，256G以上的话，是下面这个命令：mkfs.ext4 -m 0 -L ONMP -T largefile /dev/sda1mke2fs 1.42.8 (20-Jun-2013) Filesystem label=onmp OS type: Linux Block size=4096 (log=2) Fragment size=4096 (log=2) Stride=0 blocks, Stripe width=0 blocks 1880480 inodes, 7507456 blocks 0 blocks (0.00%) reserved for the super user First data block=0 Maximum filesystem blocks=0 230 block groups 32768 blocks per group, 32768 fragments per group 8176 inodes per group Superblock backups stored on blocks: 32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208, 4096000 Allocating group tables: done Writing inode tables: done Creating journal (32768 blocks): done Writing superblocks and filesystem accounting information: done这样，硬盘就被格式化完了，拔插 硬 盘可以重新挂载，或者你想用以下命令挂载也行。mkdir /mnt/onmp mount -t ext4 /dev/sda1 /mnt/onmp

【linux命令】设置代理和取消代理(http_proxy ) 临时设置代理：export https_proxy=http://127.0.0.1:7890 http_proxy=http://127.0.0.1:7890 all_proxy=socks5://127.0.0.1:7890临时取消代理：unset http_proxy unset https_proxy unset all_proxy如果想要使代理服务器永久生效，可以修改 /etc/profile文件 ，在 profile 中添加或者删除。

更换docker容器里的pip源。 先进入容器docker ps docker exec -it 容器ID /bin/bash更换源pip config set global.index-url https://mirrors.aliyun.com/pypi/simple # 永久配置国内镜像源 pip config list国内源列表国内镜像源： 清华： https://pypi.tuna.tsinghua.edu.cn/simple 阿里云： http://mirrors.aliyun.com/pypi/simple/ 中国科技大学： https://pypi.mirrors.ustc.edu.cn/simple/ 华中理工大学： http://pypi.hustunique.com/ 山东理工大学： http://pypi.sdutlinux.org/ 豆瓣： http://pypi.douban.com/simple/