本文的目的是介绍itlab→jenkins→registry→kubernetes→docker的详细情况，我们将通过专业的研究、有关数据的分析等多种方式，同时也不会遗漏关于.Netcore使用Jen

本文的目的是介绍itlab→jenkins→registry→kubernetes→docker的详细情况，我们将通过专业的研究、有关数据的分析等多种方式，同时也不会遗漏关于.Net core 使用 Jenkins + Docker + Azure Devops（或者 GitHub、GitLab） 持续集成（CI/CD）、docker + gitlab + jenkins 搭建 CI/CD 系统、docker – Kubectl：Kubernetes与minikube超时、docker+jenkins+gitlab+dockerfile部署配置的知识。

• itlab→jenkins→registry→kubernetes→docker
• .Net core 使用 Jenkins + Docker + Azure Devops（或者 GitHub、GitLab） 持续集成（CI/CD）
• docker + gitlab + jenkins 搭建 CI/CD 系统
• docker – Kubectl：Kubernetes与minikube超时
• docker+jenkins+gitlab+dockerfile部署配置

itlab→jenkins→registry→kubernetes→docker

发开人员→gitlab→jenkins→registry→kubernetes→docker

思路：从开发人员上传代码到 gitlab 托管代码以后，jenkins 自动 pull 下来然后做成镜像上传至 registry 私有仓库，同时发指令给 kubernetes 使他关闭旧容器，然后重新启用新的 docker 镜像并做成容器对外提供服务。

——————————————————————————————————

秉着从下到上的顺序，我们从 kubernetes 开始部署。kubernetes 在这个架构里扮演者管理容器集群的角色，然而我们所要做到的，就是让 kubernetes 能够自动控制并管理 docker 的容器集群。

首先我们需要做一个 registry 私有仓库，可以选择任意一台服务器都可以，这里我们选择 kubernetes-master 作为 registry 私有仓库。

在 kubernetes-master 上进行操作：

先去阿里云下载个镜像链接，创建自己的镜像仓库

# docker run -d --restart=always -p 5000:5000 registry:2

#同时将所有节点的私有仓库指定到 kubernetes-master 上

在”/etc/docker/“目录下的 "daemon.json" 文件里，如果没有则创建”daemon.json“文件。在文件中写入：

{ "insecure-registries":["192.168.1.103:5000"] }

# systemctl restart docker #这一步做好了以后就可以在私有仓库 pull 镜像了

可以做一个测试

tag 是给镜像打标记，打上标记以后才可以上传 ，上传了以后也可以在任意服务器上 pull 下载

然后重要的地方到了，建立 yaml 配置文件让 kubernetes 自己控制容器集群。

vim nginx-rc.yaml

Version: v1 #版本

kind: ReplicationController #类型，是 rc 类型，控制 pod 模板

metadata: #标记，里面写的是这个 rc 的名字

name: nginx

spec: #rc 的命名空间，里面包含所有 pod

replicas: 2 #开启 pod 模板数量

template: #pod 的配置

metadata: #pod 的标记

labels: #用于集群内识别 pod 的暗号

name: nginx

spec: #pod 的命名空间

containers: #容器配置

- name: nginx #容器的名字

image: 192.168.1.103:5000/nginx #容器的镜像，这里我们用的是自己的私有仓库镜像

ports: #暴露的容器的端口，并不是服务器的端口

- containerPort: 80

一定要注意缩进，因为是用 python 的语言编辑的，所以一定要注意缩进。

# kubectl create -f nginx-rc.yaml #创建 rc 模板。然后静静的等待 5-10 分钟或者更短。

# kubectl get rc

# kubectl get pod

# kubectl describe pod #这几条是查看命令，可以观察 pod 的情况

这个时候就已经可以去 node 节点上访问容器了，在节点上看看状态

然后访问容器

可是容器的 ip 只能在容器本机上访问，集群内的其他主机和集群外的主机都没办法访问，这个时候就需要将容器的端口映射到服务器上的端口了，所以需要做一个 service 的模板。service 模板可以将容器的端口映射到服务器的端口上，并且可以固定映射在服务器上的端口。

#vim nginx-service.yaml

apiVersion: v1

kind: Service #类型是 service

metadata:

labels: #这里的标记一定要和 nginx-rc 的标记对照，因为 kubernetes

name: nginx 靠这个识别身份

name: nginx

namespace: default

spec:

type: NodePort #类型是节点端口，就是映射的端口

ports:

- port: 80

targetPort: 80 #这个是容器的端口

nodePort: 31230 #这个是容器在服务器上映射的端口，可以通过这个端口访问

selector:

name: nginx #作用同上面的 labels

# kubectl create -f nginx-service.yaml

# kubectl describe service #查看 service 的映射，如下图

这个时候就可以尝试访问 node 节点的 31230 端口了，同时我们发现，这个 service 还有轮循的功能。自带负载均衡的效果。

ok kubernetes 完毕， 开始配置 jenkins+gitlab 联动

——————————————————————————————————

jenkins：工具集成平台

gitlab: 软件托管平台

部署这两个服务的联动，需要经过 ssh 验证。

首先我们需要在 gitlab 上绑定 jenkins 服务器的 ssh 公钥，因为是在同一台服务器上，所以就自己给自己绑定，这里我们使用的是 root 用户的公私钥，切记生产环境是不允许随便用 root 的

# ssh-kengen -t rsa

然后不输入只回车会生成一对公私钥

默认在 /root/.ssh/

复制这个公钥，然后登陆 gitlab，点击右上角的设置

在这里扔进去刚才拷贝的公钥保存就行了。

我们先在 gitlab 上创建一个代码仓库 点击 new project

输入一个仓库的名字 权限选择公共的（public）然后直接点击创建

点击新建一个 new.file

写入代码，起一个名字然后保存

创建好了以后复制下面的 ssh 地址，然后在本地测试一下是否可用

# git clone git@192.168.1.101:root/test.git

如果可以用，则打开 jenkins

点击新建

地址粘贴进去以后没有报错则没错

下面的这个插件很重要，就是他实现自动化更新的 webhook 插件，安装过了就会有这条，然后点击这条下面出来的这些东西保持默认就行。同时注意复制

这个里面写的是 jenkins 构建时候会执行的 shell 脚本，这个是最重要的，就是他实现了下端 kubernetes 自动更新容器的操作。

以下是里面的内容，如有不懂，请自行参考官方文档解读，上面黄色圈内的是对变量的解释可以参照

#!/bin/bash

backupcode="/data/backcode/$JOB_NAME/$BUILD_NUMBER"

mkdir -p $backupcode

chmod 644 "$JENKINS_HOME"/workspace/"$JOB_NAME"/*

rsync -acP "$JENKINS_HOME"/workspace/"$JOB_NAME"/* $backupcode

echo From 192.168.1.103:5000/nginx > "$JENKINS_HOME"/workspace/Dockerfile

echo COPY ./"$JOB_NAME"/* /usr/share/nginx/html/ >> "$JENKINS_HOME"/workspace/Dockerfile

docker rmi 192.168.1.103:5000/nginx

docker build -t 192.168.1.103:5000/nginx /"$JENKINS_HOME"/workspace/.

docker push 192.168.1.103:5000/nginx

ssh root@192.168.1.103 kubectl delete rc nginx

ssh root@192.168.1.103 kubectl create -f nginx.yaml

完事以后先别保存，首先复制一下上面的 jenkins 地址，然后去 gitlab 上绑定 webhook

保存，登陆 gitlab，点击下图这个设置

点击下图这个，然后粘贴地址，保存

浏览区下拉，到这个位置，可以看到绑定了 jenkins 地址，然后点击 test 测试一下是否连通

测试显示下图 的蓝条说明 jenkins 已经连通了 gitlab

好了，jenkins 和 gitlab 都已经互相的 ssh 通过了，然后我们最后需要做的一个 ssh 是关于 jenkins 对 kubernetes-master 的免密登陆，因为我们执行的 jenkins 的 shell 里面有需要免密登陆 kubernetes-master 的操作，所以还是需要对 jenkins 做一个免密登陆 kubernetes 的 ssh 验证。

首先我们去 kubernetes-master

# vim /etc/ssh/sshd_config

解除这个地方的 注释，然后写入能够访问到本机的地址 如果 ssh 不成功则把地址改为 0.0.0.0。如果第 59 行本来就没有注释则不用重启服务

# systemctl restart sshd

然后去 jenkins 上复制之前已经有的 ssh 公钥

复制 然后扔到 kuernetes-master 的 /root/.ssh/authorized_keys 里面，如果没有这个文件则 vim 写进去。注意路径！！（ ssh 前面有个点）

然后从 jenkins 上测试一下（不要在乎 ip，因为我重新获取的 ip，239 是 kubernetes-master）

一个小细节，测试一下 jenkins 可不可以下载 kubernetes-master 上面 registry 的镜像 (因为我重新获取的 ip，所以 jenkins+gitlab ip :192.168.1.101 master ip : 192.168.1.239 node ip : 192.168.1.64)

# docker pull 192.168.1.239:5000/nginx

好了，环境全部部署完毕！！！。开始测试

测试的方法很简单，就是在 gitlab 上新建代码，删除代码，修改代码，都会触发 webhook 进行自动部署。最终会作用在所有的 nginx 容器中，也就是我们的 web 服务器。。

这里我修改了之前建立的 index.html 文件 保存以后，就打开浏览器 一直访问 kubernetes-node 里面的容器了

# firefox 192.169.1.64:31230

这个时候没变 还是之前的， 按 F5 多刷新几次以后就成了下图

再试一次

架构完成！

后记： 关于 kubernetes 还有好几种集群管理方法。我们这次用的 rc 模板 就是其中之一， 其他的还有 pod 模板 和 deployment 模板， 这些都是功能很强大的集群调度模板。 还有更多功能待开发。。。。

.Net core 使用 Jenkins + Docker + Azure Devops（或者 GitHub、GitLab） 持续集成（CI/CD）

    目前 CI/CD 挺火的，这里使用的 Jenkins + Docker + Azure Devops 部署，或者可以用这套 Jenkins + Docker + Github 或 GitLab 部署，

    进入正题：  第零点：当然要先安装.Net core 运行时，官网上就有下载。

    首先  这里的 jenkins 并不是装在 docker 里面的 jenkins，是直接安装到 linux 上的 jenkins。其实安装在 docker 更加方便，因为这样系统不用安装 JavaSdk，我参考的是晓晨的博客，原文链接：https://www.cnblogs.com/stulzq/p/9291237.html ，这里要强调的是：1、首先我们先要安装 java 环境，参考晓晨的博客，原文链接：https://www.cnblogs.com/stulzq/p/9286878.html 里面非常详细的介绍。 

但是这里要注意的就是：

官网地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 在官网下载需要点击这个选项才能下载，下载框中的那个就可以了。

然后 jenkins 安装晓晨的博客已经说的非常明白了。

接下来就是 Azure Devops 的说明，微软这个东西挺不错的，配合 vs 使用也挺好用的，但是还是比不上 github，

如图：可以建立自己的分支上传（push）和拉取（pull），从某分支合并（merge），完成团队协作。基本上使用非常简单，通过 vs 就可以直接新建项目到 Azure Devops，也可以建立多个分支，达到团队协作的目的，这里就不详细说明啦。

接下来就是 docker 的安装了，这里也是参考晓晨博客，原文地址：http://www.cnblogs.com/stulzq/p/7743073.html，这里要说明的就是我们需要安装 docker-compose ，这样就可以运行 dockerfile 文件脚本，达到自动部署的目的。

好吧，基本上安装完之后，我们就可以开始了：

首先我们需要在 jenkins 上面新建一个任务，自由风格的软件项目： （这里有一部分参考晓晨的博客，原文链接：http://www.cnblogs.com/stulzq/p/8627824.html）

 然后点击 ok 进入下一个页面，这里的是丢弃旧的构建，因为太多就占磁盘了，第一个是保留几天的 build 记录，第二个是最多保留多少个构建，设小一点就不会占很多硬盘空间了。

然后就是 git 的地址了：

上图的 git 地址， 就是这里的 git clone 地址 （当然 git 地址都行）：

还需要注意的就是凭证（再点击右上角你的账户下的 security）：

在这里面填入名称密码就可以了，然后在上面的凭证 Credentials 填入就行了：

接下来就是 jenkins 拉取代码的时间（这里 H/2 * * * * 是两分钟拉取一次）：

：

然后是拉取后，构建执行的命令：

jenkins 拉取代码后会判断代码与之前的是否不一致，如果不一致，则会执行构建。

接下来是 docker 的说明：可以看到上图的命令，倒数两行，会执行这个脚本文件，这个脚本文件实际上是 docker 的一些命令，所以我们需要在项目目录中添加这个脚本文件，我就是直接添加 TXT 文件改后缀.sh。（有点 low。。。。）

来看看这个脚本里面放什么：

#!/bin/sh
docker container ls -a | grep "tr"
if [ $? -eq 0 ];then
    docker container stop tr
    docker container rm tr
    docker rmi  tr
    docker network ls |grep tr
    docker network rm tr
fi

docker build -t tr --build-arg env="Development" .
docker run -d --restart=always  -p 8051:80 --name tr tr
docker cp /etc/localtime tr:/etc/

可以看到就是如果存在 tr 先停止 删除 然后再构建。当然我们也得有 dockerfile 这个文件，构建的时候 docker 会去找到 dockerfile 然后执行里面的命令（dockerfile 在新建.net core 项目的时候勾选支持 docker 就可以咯，还有直接添加 txt 去掉后缀也行哈哈哈）

然后看看 dockerfile 有什么：

# 基于dotnet基础环境构建镜像
FROM docker.io/microsoft/dotnet

RUN mkdir /TR
#定义参数
ARG env
# 把发布的内容拷贝到docker容器的TR目录下
COPY /publish /TR
# 设置工作目录
WORKDIR /TR
# 暴露80端口
EXPOSE 80
# 设置环境变量
ENV ASPNETCORE_ENVIRONMENT=$env
# 启动web
RUN echo "执行环境： $env"
CMD ["dotnet","TR.dll"]

dockerfile 指令详解说明：https://yeasy.gitbooks.io/docker_practice/content/image/dockerfile/，里面都有说明就不多说了，要注意的就是，大致的流程就是首先我们上传代码到 Azure Devops 上，然后 jenkins 根据凭证去 Azure Devops 拉取代码到服务器上，执行命令脚本构建，然后就交给脚本执行，找到 dockfile 执行，重构镜像再生成容器。网站就部署到 docker 里面了。

大致的就是这样，感谢晓晨的博客，给了我非常大的帮助，这就是晓晨的博客地址：https://www.cnblogs.com/stulzq/

docker + gitlab + jenkins 搭建 CI/CD 系统

sudo yum remove docker \
                docker-client \
                docker-client-latest \
                docker-common \
                docker-latest \
                docker-latest-logrotate \
                docker-logrotate \
                docker-selinux \
                docker-engine-selinux \
                docker-engine

sudo yum install -y yum-utils device-mapper-persistent-data lvm2
sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
sudo yum install -y docker-ce

systemctl enable docker
systemctl daemon-reload
systemctl start docker

docker --version
Docker version 18.09.6, build 481bc77156

sudo pip3 install docker-compose

# /data/gitlab 是自定义映射gitlab存放配置参数及数据的目录，可以修改成自己需要的目录
cat > docker-compose.yml << EOF
version: ''2''
services:
  jenkins:
    image: gitlab/gitlab-ce:12.0.3-ce.0
    container_name: gitlab
    ports:
      - "9022:9022"
      - "9080:80"
    volumes:
      - "/data/gitlab/cfg:/etc/gitlab"
      - "/data/gitlab/logs:/var/log/gitlab"
      - "/data/gitlab/data:/var/opt/gitlab"
    restart: always
EOF

# 后台启动服务，第一次或自动pull镜像，添加 -d 表示后台启动
docker-compose up -d

docker container exec -it gitlab bash
vim /etc/gitlab/cfg/gitlab.rb

# 以下为gitlab的配置项

# 配置 gitlab 显示 url 的内容，external_url配置为https的链接时，gitlab会自动创建监听443端口的nginx配置，证书需要放置在 /etc/gitlab/ssl 目录下，并且文件名为配置的域名.crt
# 例如配置域名为 https://git.xxx.com，则需要证书文件为 git.xxx.com.crt 及 git.xxx.com.key
external_url ''https://git.xxx.com''

# 配置邮箱信息
gitlab_rails[''gitlab_email_enabled''] = true
gitlab_rails[''gitlab_email_from''] = ''no-reply@xxx.com''
gitlab_rails[''gitlab_email_display_name''] = ''gitlab''
gitlab_rails[''smtp_enable''] = true

gitlab_rails[''smtp_address''] = "hwsmtp.xxx.com"
gitlab_rails[''smtp_port''] = 994
gitlab_rails[''smtp_user_name''] = "no-reply@xxx.com"
gitlab_rails[''smtp_password''] = "xxx"
gitlab_rails[''smtp_domain''] = "qiye.xxx.com"
gitlab_rails[''smtp_authentication''] = "login"
gitlab_rails[''smtp_enable_starttls_auto''] = true
gitlab_rails[''smtp_tls''] = true

# 配置完成后输入一下命令重新配置gitlab
sudo gitlab-ctl reconfigure

# /data/jenkins 是自定义映射jenkins存放数据的目录，可以修改成自己需要的目录，docker的映射是为了让jenkins能使用宿主环境下的docker
cat > docker-compose.yml << EOF
version: ''2''
services:
  jenkins:
    image: jenkins/jenkins:lts
    user: root
    container_name: jenkins
    ports:
      - "8002:8080"
    volumes:
      - "/var/run/docker.sock:/var/run/docker.sock"
      - "/data/jenkins:/var/jenkins_home"
      - "/usr/bin/docker:/usr/bin/docker"
    restart: always
EOF

# 后台启动服务，第一次或自动pull镜像，添加 -d 表示后台启动，可以添加这个参数用于后台启动
docker-compose up

# 生成密钥对, 输入后一路回车，默认保存密钥在 ~/.ssh 目录下, id_rsa(私钥)及id_rsa.pub(公钥)

ssh-keygen -o -t rsa -b 4096 -C "email@example.com"

# 定义变量，CONTAINER_NAME 是项目名称，对应阿里云镜像服务中的仓库名称，GIT_TAG 变量是自动获取本地git版本的tag
CONTAINER_NAME="citest"
GIT_TAG=`git describe --always --tag`
CONTAINER_FULL_NAME=${CONTAINER_NAME}-${GIT_TAG}
REPOSITORY=registry.cn-shanghai.aliyuncs.com/ibeelink/${CONTAINER_NAME}:${GIT_TAG}

# 构建Docker镜像
docker build -t $REPOSITORY -f Dockerfile .

# 推送Docker镜像，username 跟 password 为 阿里云容器镜像服务的账号密码
docker login --username=xxxxx --password=xxxxxx registry.cn-shanghai.aliyuncs.com
docker push $REPOSITORY

# 删除生成的image
docker images | grep citest | awk ''{print $1":"$2}'' | xargs docker rmi

# 删除名称或标签为none的镜像
docker rmi -f  `docker images | grep ''<none>'' | awk ''{print $3}''`