2、创建初始化配置文件

注意这里使用VIP

kubeadm config print init-defaults > kubeadm-config.yaml

3、k8s 集群初始化

这里追加tee命令将初始化日志输出到kubeadm-init.log中以备用（可选）。

kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee kubeadm-init.log

或者直接初始化

kubeadm init 
  --apiserver-advertise-address=192.168.182.211 
  --image-repository registry.aliyuncs.com/google_containers 
  --control-plane-endpoint=cluster-endpoint 
  --kubernetes-version v1.23.6 
  --service-cidr=10.1.0.0/16 
  --pod-network-cidr=10.244.0.0/16 
  --v=5

4、安装 cni 插件（flannel）

# wget https://raw.githubusercontent.com/flannel-io/flannel/v0.20.2/Documentation/kube-flannel.yml
kubeclt apply -f kube-flannel.yml

4）添加 master 节点

# 在需要添加的master节点上执行

CERT_KEY=`ssh cluster-endpoint "kubeadm init phase upload-certs --upload-certs|tail -1"`

join_str=`ssh cluster-endpoint kubeadm token create --print-join-command`

echo $join_str " --control-plane --certificate-key $CERT_KEY --v=5"

# 拿到上面打印的命令在需要添加的节点上执行

# --control-plane 标志通知 kubeadm join 创建一个新的控制平面。加入master必须加这个标记
# --certificate-key ... 将导致从集群中的 kubeadm-certs Secret 下载控制平面证书并使用给定的密钥进行解密。这里的值就是上面这个命令（kubeadm init phase upload-certs --upload-certs）打印出的key。

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

# 去掉master污点
# kubectl taint nodes `hostname` node-role.kubernetes.io/master:NoSchedule- 2>/dev/null
# kubectl taint nodes `hostname` node.kubernetes.io/not-ready:NoSchedule- 2>/dev/null

5）添加 node 节点

CERT_KEY=`ssh cluster-endpoint "kubeadm init phase upload-certs --upload-certs|tail -1"`

join_str=`ssh cluster-endpoint kubeadm token create --print-join-command`

echo $join_str " --certificate-key $CERT_KEY --v=5"

6）配置 IPVS

1、加载ip_vs相关内核模块

modprobe -- ip_vs
modprobe -- ip_vs_sh
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
# 验证开启了ipvs
lsmod |grep ip_vs

2、离线安装 ipvsadm 工具

在线安装就非常简单了

yum install ipvsadm -y

下载地址：http://www.linuxvirtualserver.org/software/ipvs.html

wget https://kernel.org/pub/linux/utils/kernel/ipvsadm/ipvsadm-1.31.tar.gz --no-check-certificate
tar -xzvf ipvsadm-1.31.tar.gz && cd ipvsadm-1.31

# 先安装依赖包
yum install -y libnl libnl-devel gcc
# 编译安装
make && make install

# 查看版本号
ipvsadm -version

3、编辑kube-proxy配置文件，mode修改成ipvs

kubectl edit  configmap -n kube-system  kube-proxy

4、重启kube-proxy

# 先查看
kubectl get pod -n kube-system | grep kube-proxy
# 再delete让它自拉起
kubectl get pod -n kube-system | grep kube-proxy |awk '{system("kubectl delete pod "$1" -n kube-system")}'
# 再查看
kubectl get pod -n kube-system | grep kube-proxy

7）安装 ingress-nginx

# wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.2.0/deploy/static/provider/cloud/deploy.yaml -O /tmp/deploy.yaml

kubectl apply -f /tmp/deploy.yaml

8）安装 nfs provisioner

1、安装helm

helm安装包在提供的资源包里也是有的，可以不用再去外网下载的。

# 下载包
wget https://get.helm.sh/helm-v3.7.1-linux-amd64.tar.gz -O /tmp/helm-v3.7.1-linux-amd64.tar.gz
# 解压压缩包
tar -xf /tmp/helm-v3.7.1-linux-amd64.tar.gz -C /root/
# 制作软连接
ln -s /root/linux-amd64/helm /usr/local/bin/helm

2、添加helm仓库源

# 添加helm仓库源
helm repo add nfs-subdir-external-provisioner https://kubernetes-sigs.github.io/nfs-subdir-external-provisioner/

3、安装 nfs

【服务端】

#### 安装nfs
yum -y install  nfs-utils rpcbind

# 服务端
mkdir -p /opt/nfsdata
# 授权共享目录
chmod 666 /opt/nfsdata
cat > /etc/exports<

【客户端】

yum -y install rpcbind
systemctl enable --now rpcbind

3、nfs provisioner

### helm安装nfs provisioner，安装包在提供的资源里也有，可以不用再去外网下载
helm install nfs-subdir-external-provisioner ./nfs-subdir-external-provisioner-4.0.17.tgz 
  --namespace=nfs-provisioner 
  --create-namespace 
  --set image.repository=willdockerhub/nfs-subdir-external-provisioner 
  --set image.tag=v4.0.2 
  --set replicaCount=2 
  --set storageClass.name=nfs-client 
  --set storageClass.defaultClass=true 
  --set nfs.server=cluster-endpoint 
  --set nfs.path=/opt/nfsdata

# 查看
kubectl get pods,deploy,sc -n nfs-provisioner

9）安装 Dashboard

1、安装

GitHub地址：https://github.com/kubernetes/dashboard

kubectl apply -f dashboard.yaml
# 查看
kubectl get pods,svc -n kubernetes-dashboard

2、创建登录用户

cat >ServiceAccount.yaml<

3、创建并获取登录token

kubectl -n kubernetes-dashboard create token admin-user

4、登录 web

登录地址：https://ip:31443/，如果提示如下，建议换成火狐浏览器试试。（如果有证书情况下是不会有种问题的。）

火狐浏览器访问web

10）安装镜像仓库 Harbor

1、创建证书

mkdir stl && cd stl
# 生成 CA 证书私钥
openssl genrsa -out ca.key 4096
# 生成 CA 证书
openssl req -x509 -new -nodes -sha512 -days 3650 
 -subj "/C=CN/ST=Guangdong/L=Shenzhen/O=harbor/OU=harbor/CN=myharbor.com" 
 -key ca.key 
 -out ca.crt
# 创建域名证书，生成私钥
openssl genrsa -out myharbor.com.key 4096
# 生成证书签名请求 CSR
openssl req -sha512 -new 
    -subj "/C=CN/ST=Guangdong/L=Shenzhen/O=harbor/OU=harbor/CN=myharbor.com" 
    -key myharbor.com.key 
    -out myharbor.com.csr
# 生成 x509 v3 扩展
cat > v3.ext <<-EOF
authorityKeyIdentifier=keyid,issuer
basicConstraints=CA:FALSE
keyUsage = digitalSignature, nonRepudiation, keyEncipherment, dataEncipherment
extendedKeyUsage = serverAuth
subjectAltName = @alt_names

[alt_names]
DNS.1=myharbor.com
DNS.2=*.myharbor.com
DNS.3=hostname
EOF
#创建 Harbor 访问证书
openssl x509 -req -sha512 -days 3650 
    -extfile v3.ext 
    -CA ca.crt -CAkey ca.key -CAcreateserial 
    -in myharbor.com.csr 
    -out myharbor.com.crt

2、创建证书秘钥

kubectl create secret tls myharbor.com --key myharbor.com.key --cert myharbor.com.crt -n harbor
kubectl get secret myharbor.com -n harbor

3、添加 Chart 库

helm repo add harbor https://helm.goharbor.io

4、开始部署 harbor

# 下载安装包
helm pull harbor/harbor
# harbor-1.11.1.tgz 安装包在提供的资源包里是有的，可以不用再去外网下载的。
helm install myharbor ./harbor-1.11.1.tgz 
  --namespace=harbor --create-namespace 
  --set expose.ingress.hosts.core=myharbor.com 
  --set expose.ingress.hosts.notary=notary.myharbor.com 
  --set-string expose.ingress.annotations.'nginx.org/client-max-body-size'="1024m" 
  --set expose.tls.secretName=myharbor.com 
  --set persistence.persistentVolumeClaim.registry.storageClass=nfs-client 
  --set persistence.persistentVolumeClaim.jobservice.storageClass=nfs-client 
  --set persistence.persistentVolumeClaim.database.storageClass=nfs-client 
  --set persistence.persistentVolumeClaim.redis.storageClass=nfs-client 
  --set persistence.persistentVolumeClaim.trivy.storageClass=nfs-client 
  --set persistence.persistentVolumeClaim.chartmuseum.storageClass=nfs-client 
  --set persistence.enabled=true 
  --set externalURL=https://myharbor.com 
  --set harborAdminPassword=Harbor12345

5、查看

kubectl get pods,ingress -n harbor

5、web 访问

配置hosts（如果是真实的域名，就可以不用配置hosts了）

192.168.182.110 myharbor.com

访问地址：https://myharbor.com/

账号/密码：admin/Harbor12345（注意：这里的密码是上面安装时自定义的）

---

【云原生】k8s 离线部署详解过程就到这里，有不明白或者部署过程中有问题的小伙伴欢迎给我留言哦，后续会持续更新相关技术文章的，离线部署包资源关注我的公众号【大数据与云原生技术分享】回复【k8s】即可获取~