部署 k8s 集群

• 环境准备
• 安装集群

环境准备

3 台虚拟机，IP 及 DNS 等配置已经配置好：

• 192.168.19.150 k8s-master01
• 192.168.19.160 k8s-node01
• 192.168.19.161 k8s-node02

以下操作如若没有特别说明，均在三台机器上执行！！！

更新 yum 源

# 3台虚拟机均更新 yum 源
yum update -y

设置系统主机名

# 在 master 节点上执行
hostnamectl set-hostname k8s-master01

# 在 node01 节点上执行
hostnamectl set-hostname k8s-node01

# 在 node02 节点上执行
hostnamectl set-hostname k8s-node02

Host 文件的相互解析

# 在 master 节点上修改 hosts 文件
vi /etc/hosts

# hosts 文件写入以下内容
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.19.150 k8s-master01
192.168.19.160 k8s-node01
192.168.19.161 k8s-node02

# 将 hosts 文件拷贝到 node01 和 node02 节点上
scp /etc/hosts root@k8s-node01:/etc/hosts
scp /etc/hosts root@k8s-node02:/etc/hosts

安装依赖包

yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git

设置防火墙为 iptables 并设置空规则

# 关闭 firewalld
systemctl stop firewalld && systemctl disable firewalld

# 安装 iptables
yum -y install iptables-services && systemctl start iptables && systemctl enable iptables && iptables -F && service iptables save

关闭 SELINUX

swapoff -a && sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab

setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

调整内核参数

cat > kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1 # 开启网桥模式
net.bridge.bridge-nf-call-ip6tables=1 # 开启网桥模式
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0 # 禁止使用 swap 空间，只有当系统 OOM 时才允许使用它
vm.overcommit_memory=1 # 不检查物理内存是否够用
vm.panic_on_oom=0 # 开启 OOM
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1 # 关闭 ipv6
net.netfilter.nf_conntrack_max=2310720
EOF

# 开机加载
cp kubernetes.conf /etc/sysctl.d/kubernetes.conf
# 刷新配置
sysctl -p /etc/sysctl.d/kubernetes.conf

调整系统时区（可选）

# 设置系统时区为  中国/上海
timedatectl set-timezone Asia/Shanghai # 将当前的 UTC 时间写入硬件时钟timedatectl set-local-rtc 0# 重启依赖于系统时间的服务
systemctl restart rsyslog
systemctl restart crond

关闭系统不需要的邮件服务

# 关闭不需要的服务减少系统压力
systemctl stop postfix && systemctl disable postfix

设置 rsyslogd 和 systemd journald

CentOs7 以后，系统的引导方式改为了 systemd，这时会有两个日志系统同时工作，我们这里设置为 sysytemd journald 日志系统。

# 持久化保存日志的目录
mkdir /var/log/journal

mkdir /etc/systemd/journald.conf.d

cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
[Journal]
# 持久化保存到磁盘
Storage=persistent

# 压缩历史日志
Compress=yes
SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000

# 最大占用空间 10G
SystemMaxUse=10G

# 单日志文件最大 200M
SystemMaxFileSize=200M

# 日志保存时间 2 周
MaxRetentionSec=2week

# 不将日志转发到 syslog
ForwardToSyslog=no
EOF

systemctl restart systemd-journald

升级系统内核为 4.44

CentOS 7.x 系统自带的 3.10.x 内核存在一些 Bugs，导致运行的 Docker、Kubernetes 不稳定，例如： rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm

# 添加安装源
rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm

# 安装完成后检查 /boot/grub2/grub.cfg 中对应内核 menuentry 中是否包含 initrd16 配置，如果没有，再安装一次！ 
yum --enablerepo=elrepo-kernel install -y kernel-lt

# 设置开机从新内核启动 
grub2-set-default 'CentOS Linux (4.4.189-1.el7.elrepo.x86_64) 7 (Core)'

# 重启系统
reboot

# 查看当前系统内核版本
uanme -r

安装集群

kube-proxy 开启 ipvs 的前置条件

modprobe br_netfilter

cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF

chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

安装 Docker

# 安装依赖包
yum install -y yum-utils device-mapper-persistent-data lvm2

# 添加 yum 源
sudo yum-config-manager \
    --add-repo \
    http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

# 更新缓存并安装 docker
sudo yum makecache fast && sudo yum -y install docker-ce

# 创建 /etc/docker 目录
mkdir /etc/docker

# 配置 daemon
cat > /etc/docker/daemon.json <<EOF
{
    "exec-opts": ["native.cgroupdriver=systemd"],
    "log-driver": "json-file",
    "log-opts": {
        "max-size": "100m"
    },
    "registry-mirrors": [
        "https://dockerhub.azk8s.cn",
        "https://hub-mirror.c.163.com"
    ]
}
EOF

# 存放 docker 子配置文件
mkdir -p /etc/systemd/system/docker.service.d

# 重启 docker 服务
systemctl daemon-reload && systemctl restart docker && systemctl enable docker

安装 kubeadm（主从配置）

# 添加阿里云源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

# 安装
yum -y install kubeadm-1.15.1 kubectl-1.15.1 kubelet-1.15.1

# 开机自启（必须）
systemctl enable kubelet.service

导入镜像（可选）

kubeadm 初始化集群时会从 GCE（谷歌云） 下载相关镜像，由于网络原因，可以直接将下载好的镜像导入到三台机器中。

本人网盘分享：

链接：https://pan.baidu.com/s/1ZaZOfRsXJodMqRlQ-TsMAg
提取码：11in

# 将镜像导入到主节点 k8s-master01 机器的 /root/ 目录下

# 解压压缩包
tar -zxvf kubeadm-basic.images.tar.gz
# 解压后的文件夹名称为：kubeadm-basic.images
# 其中的镜像有：apiserver.tar  coredns.tar  etcd.tar  kubec-con-man.tar  pause.tar  proxy.tar  scheduler.tar

# /root 目录下写一个导入镜像脚本
vim load-images.sh

# 其内容如下
#!/bin/bash
ls /root/kubeadm-basic.images > /tmp/image-list.txt
cd /root/kubeadm-basic.images
for i in $( cat /tmp/image-list.txt )
do
   docker load -i $i
done
rm -rf /tmp/image-list.txt

# 赋予脚本权限
chmod a+x load-images.sh

# 使用脚本导入镜像到docker
./load-images.sh

# 使用 scp 将镜像包以及导入脚本发送到 k8s-node01 和 k8s-node02
scp -r kubeadm-basic.images load-images.sh root@k8s-node01:/root
scp -r kubeadm-basic.images load-images.sh root@k8s-node01:/root

# 然后分别在 k8s-node01 和 k8s-node02 节点上执行脚本导入镜像到docker

初始化主节点

# 将 kubeadm 默认的初始化模板打印到 kubeadm-config.yaml 文件中（当前在 /root 目录下）
kubeadm config print init-defaults > kubeadm-config.yaml

# 修改配置文件
vim kubeadm-config.yaml

# 修改 localAPIEndpoint 下的 advertiseAddress 为 k8s-mmaster01 的IP
# 在 networking 下添加 podSubnet: "10.244.0.0/16"
# 在文件末位添加以下内容
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
featureGates:
  SupportIPVSProxyMode: true
mode: ipvs

# 指定配置文件进行初始化； --experimental 自动颁发证书，在高可用环境有用；tee kubeadm-init.log 将日志打印到 kubeadm-init.log
kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee kubeadm-init.log

错误解决：

error execution phase preflight: [preflight] Some fatal errors occurred:
	[ERROR NumCPU]: the number of available CPUs 1 is less than the required 2

若出现以上错误把虚拟机的处理器数量设置为 > 1即可。

初始化集群

我们使用 tee kubeadm-init.log 将日志输出到文件，后续可以从该文件中查看。

日志部分内容如下：

[bootstrap-token] Creating the "cluster-info" ConfigMap in the "kube-public" namespace
[addons] Applied essential addon: CoreDNS
[addons] Applied essential addon: kube-proxy

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.19.150:6443 --token abcdef.0123456789abcdef \
    --discovery-token-ca-cert-hash sha256:ca08a354d07d02a753cc6d05426efa8bcbdc05ecf6c0416cf825d07b5d2d50ce

日志中提示我们需要执行一些命令，我们提示执行命令即可：

# 在家目录下创建 .kube 文件夹
mkdir -p $HOME/.kube

# 将 kubectl 的连接配置文件放入 .kube 中
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

# 授权
sudo chown $(id -u):$(id -g) $HOME/.kube/config

设置好之后我们就可以使用 kubectl 与 k8s 的 api server 进行交互了：

# 查看节点信息
kubectl get node

# 会输出以下信息，目前只有 k8s-master01 一个节点而且是 Notready 状态
NAME           STATUS     ROLES    AGE    VERSION
k8s-master01   NotReady   master   124m   v1.15.1

因为 k8s 是需要一个扁平化网络环境的，当前还没有部署这个环境，所以节点状态是 Notready。在部署 flannel 之后这个状态即可变为 Ready。

部署 flannel

首先我们重新分配下与 k8s 部署相关的文件的存放路径：

新建目录 /root/install-k8s/core

将 /root 目录下的 kubeadm-config.yaml kubeadm-init.log kubernetes.conf 三个文件放置 /root/install-k8s/core/ 目录下。

在 /root/install-k8s/ 目录下新建 /plugin/flannel/ 目录：

# 进入到 /root/install-k8s/plugin/flannel
# 下载 flannel 安装文件 kube-flannel.yml。如果使用 wget 不成功，可以使用其它方式下载，然后放置该目录
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

# 安装 flannel
kubectl create -f kube-flannel.yml

# 查看 flannel 状态。-n 指定命名空间，如果不加 -n 指定，默认是 default 的命名空间，而我们所以的组件都是安装在 kube-system 中
kubectl get pod -n kube-system

# 若 STATUS 为 Running 便是成功的：（状态为 Init:ImagePullBackOff 的排错方式在下方）
NAME                         READY  STATUS     RESTARTS   AGE
kube-flannel-ds-amd64-lchhp  0/1    Running    0          42s

# 此时再次查看 k8s-master01 状态，发现其状态是：Ready
kubectl get node

如果查看 flannel 的状态为 Init:ImagePullBackOff，可以使用以下命令查看具体错误：

kubectl describe pod  kube-flannel-ds-amd64-lchhp  -n kube-system

# 其最后显示信息包括：
Events:
  Type     Reason     Age                    From                   Message
  ----     ------     ----                   ----                   -------
  Normal   Scheduled  7m55s                  default-scheduler      Successfully assigned kube-system/kube-flannel-ds-amd64-lchhp to k8s-master01
  Warning  Failed     6m40s (x3 over 7m41s)  kubelet, k8s-master01  Failed to pull image "quay.io/coreos/flannel:v0.12.0-amd64": rpc error: code = Unknown desc = Error response from daemon: Get https://quay.io/v2/: net/http: TLS handshake timeout
  Normal   Pulling    5m49s (x4 over 7m55s)  kubelet, k8s-master01  Pulling image "quay.io/coreos/flannel:v0.12.0-amd64"
  Warning  Failed     5m18s (x4 over 7m41s)  kubelet, k8s-master01  Error: ErrImagePull
  Warning  Failed     5m18s                  kubelet, k8s-master01  Failed to pull image "quay.io/coreos/flannel:v0.12.0-amd64": rpc error: code = Unknown desc = error pulling image configuration: Get https://d3uo42mtx6z2cr.cloudfront.net/sha256/4e/4e9f801d2217e98e94de72cefbcb010a7f2caccf03834dfd12a8e60abcaaecfd?Expires=1584512919&Signature=HZDYx8PPYv9qQWp8o8gtHYoXkP0FFIoQ9KevW-rWeoYw-JIcZa1fLdEOZuBaqtuQjIo~EanjmqiymRoSYYEOxNDa8euOc7L0QDXEGvCSYwYrWbIxJXpCkO7fc4lEW6tO8Hd83HkLxA4wnoPpYX5pTdke5pQCdIttDFHczZtO9HWFR3a1HSyS5kd4pwQTpUQ9UtYyCcAUUAIo-ZGPppurEkncuEL2OPvRjwKLrT6NV1SHEjrINqtgShNj9uoyw2ZzBnjRn2WWX2yXdBe1-sKFnCgYB3j7oV97L0nq5r1Vs2OyNloYGklewXMEcgV1d9gROGMvpwKbq~5c2wrphB4UMg__&Key-Pair-Id=APKAJ67PQLWGCSP66DGA: dial tcp: lookup d3uo42mtx6z2cr.cloudfront.net on 114.114.114.114:53: read udp 192.168.19.150:47547->114.114.114.114:53: i/o timeout
  Normal   BackOff    5m7s (x6 over 7m41s)   kubelet, k8s-master01  Back-off pulling image "quay.io/coreos/flannel:v0.12.0-amd64"
  Warning  Failed     4m52s (x7 over 7m41s)  kubelet, k8s-master01  Error: ImagePullBackOff
  Warning  Failed     2m44s                  kubelet, k8s-master01  Failed to pull image "quay.io/coreos/flannel:v0.12.0-amd64": rpc error: code = Unknown desc = context canceled

从错误信息中了解到 quay.io/coreos/flannel:v0.12.0-amd64 这个镜像拉取失败，此时有两种方式修改。

• 修改 kube-flannel.yml 文件中的镜像，换为其它镜像
• 拉取其他镜像，然后使用 tag 标记为 quay.io/coreos/flannel:v0.12.0-amd64

我这里使用的是 tag 标记

docker pull easzlab/flannel:v0.11.0-amd64
docker tag easzlab/flannel:v0.11.0-amd64 quay.io/coreos/flannel:v0.12.0-amd64

# 然后重新创建 flannel 即可
kubectl create -f kube-flannel.yml

将 k8s-node01 和 k8s-node02 加入集群

以上我们已经将 k8s-master01 节点成功部署，下面将 k8s-node01 和 k8s-node02 也加入集群中。

加入的命令在主节点初始化的日志中已经给我们了，我们直接将该命令分别在需要加入集群的机器上运行即可：

# 分别在 k8s-node01 和 k8s-node02 机器上运行
kubeadm join 192.168.19.150:6443 --token abcdef.0123456789abcdef \
    --discovery-token-ca-cert-hash sha256:ca08a354d07d02a753cc6d05426efa8bcbdc05ecf6c0416cf825d07b5d2d50ce

主要注意的是：

我们初始化主节点的时候，拉取 quay.io/coreos/flannel:v0.12.0-amd64 镜像可能会失败，因此在 k8s-node01 和 k8s-node02 上可以先行将该镜像准备好。具体方法在上面的排错中已经提到了。

执行完成后可以在 k8s-master01 节点上查看集群中的节点信息：

[root@k8s-master01 flannel]# kubectl get node
NAME           STATUS   ROLES    AGE     VERSION
k8s-master01   Ready    master   3h13m   v1.15.1
k8s-node01     Ready    <none>   68s     v1.15.1
k8s-node02     Ready    <none>   28s     v1.15.1

至此，我们的集群环境已经搭建完成。

将 /root/install-k8s 文件夹放入 /usr/local/ 下，便于后续统一管理：

mv /root/install-k8s/ /usr/local/

-- end --