部署Jenkins服务时如何保障服务的高可用性呢？
本文从目前业界实现jenkins的高可用的实现方案，分析各方案的优缺点，引入vivo目前使用的jenkins高可用方案，以及目前jenkins资源的调度方案的设计实践和目前的落地运行效果。
一、前言
现在的企业很多都在用jenkins做持续集成，各个业务端都依靠jenkins，vivo devops也是使用jenkins来进行持续构建，部署jenkins服务时如何保障服务的高可用变得尤为重要。
下面是目前jenkins存在的一些问题。
jenkins本身是单体的，即只能有一个jenkins master。虽然你也可以在多台机器上部署多个jenkins master，但这些master之间没有联系，都是各自把任务交给手下的slave去执行，没有任何交集。
也许某个master下的slave很忙，而另一个master下的slave却很闲，资源得不到充分利用。
当其中一个slave宕机之后，该slave上的运行的job任务没有版本重新进行分配，需要用户重新执行。并且slave节点离线之后没有通知管理员。
当系统业务量比较大的时候业务请求集中在jenkins master上，会对jenkins造成压力，甚至的造成jenkins服务不可用。
当有job任务在jenkins master上队列排队的时候，jenkins master宕机后，队列任务不可持久化。
jenkins workspace没有自动清理功能，会导致磁盘空间不足，任务执行不了的情况。
基于以上情况，vivo devops对jenkins的部署架构进行优化搭建，并且配套了一套jenkins资源调度系统用于管理jenkins资源。
二、业界实现
目前业界也包含一些jenkins 高可用的设计方式，但是并不能完全的满足解决上述问题，比如：
2.1 方案一 gearman + jenkins
这是openstack团队使用的方案。这个方案使用了gearman， gearman是个任务分发框架。
需要在每个master上安装好gearman的插件，并配置好能连接到gearman server，同时在每个master必须建立相同的job。
之后运行任务的流程如下：
gearman worker运行在各个jenkins master中等待gearman server分发任务；
gearman client向gearman server发出运行job的请求；
gearman server通知各个gearman worker有任务拉，第一个闲着的worker会接受任务，如果所有的worker都忙，则放入gearman的任务队列，得worker空闲时再分配；
gearman worker闲下来后会从任务队列里取job来执行，执行完之后，将结果发回给gearman server;
gearman server将结果返回给 gearman client。
优点：
这样各个salver资源可以得到充分利用，某个master挂掉另外的master可以继续服务。
弊端：
每个master的slave必须配置一致，否则会造成job调度错误，同时会造成一些资源的浪费。当一个master出现问题，该master的任务不会进行自动重新分配。
2.2 方案二 改造jenkins的文件存储方式
目前jenkins的配置文件都是直接在硬盘上以文件形式存储的，你在jenkins_home的个文件夹下能看到各种.xml文件。
有些公司在jenkins上进行二次开发，将jenkins的数据存储方式改为数据库存储，这样前端可以起多个jenkins服务，后端连相同的数据库即可。数据库也有比较成熟的高可用方案。
优点:
可以达到jenkins的高可用也就是某个master挂掉另外的master可以继续服务。
弊端：
需要对jenkins进行二次开发，使用数据库会降低读取资源效率下降。
2.3 方案三 最简单的jenkins一主一备模式
平时让jenkins a机器提供服务，并使用scm sync configuration plugin保存数据，jenkinsa机器修改配置后触发jenkins b更新配置，一旦jenkins a出现问题挂掉后，切换到备机jenkins b上。
优点:
可以达到jenkins的高可用，当master宕机后会进行切换到备机上。
弊端:
会有一批jenkins备机存在资源浪费，切换master时间过长，会导致有段时间jenkins服务不可用。
三、vivo jenkins scheduler系统目标
由于目前业界的一些实现还不能完全的满足我们目前的需求，所以我们进行了vivo jenkins scheduler系统的设计与实现。该系统需要达到如下的目的：
提升整个构建服务可靠性时长。
保证jenkins集群的高可用，解决目前master-slave的单点问题，保证整个构建服务的可靠性时长。
降低灾难时服务恢复时长。
①提供精准流控方式，在jenkins构建出现请求量过高的时候可以进行流控和持久化操作，减少对目前系统的冲击。
②当系统压力减少后，放开流控可以快速的对堆积的请求进行分配执行。
有效分配任务至各个子节点，保证资源的有效利用。
能保证灾难时的及时切换任务至可用节点上，同时能快速的通知管理员进行处理。
能进行数据的可视化分析，能提供一系列帮助改善开发效率的视图，比如构建时长报表、构建量报表等。
四、 vivo jenkins scheduler设计
该系统我们从两大部分进行了设计，首先，我们不采用原生的jenkins部署方案，而是采用全master的方式。第二，设计并开发了一套用于管理jenkins集群的调度系统。
五、底层 jenkins 工具部署方案
不采用目前单master的搭建方案，采用多master的搭建方案，master下不进行挂载slave机器，任务直接有master进行处理，master之间的关系、任务分配、离线、插件安装等由调度系统进行管理。这样由于vivo jenkins scheduler系统为高可用的，解决了目前jenkins的单点问题。
六、系统架构图
七、系统说明
7.1 api-gateway
主要提供系统的外部请求，网关系统，功能包含：
权限校验：校验用户发送集群管理系统的请求的权限。
智能路由：接收外部一切请求，并转发到后端的外服上去。
限流：与监控线程配合（当构建请求达到某个阈值时），进行限流操作。
api日志统一收集：类似于一个aspect切面，记录接口的进入和出去时的相关日志。
数据处理：对请求的参数进行数据的转换处理。
7.2 事件中心
是整个系统通信调用的主要模块，采用的是spring的event机制实现，主要核心事件如下：
jenkins注册事件
（event_regist_jenkins）：
jenkins启动后，通过自定的插件会向系统发送注册请求时，系统接收到后会触发jenkins管理模块将jenkins的信息注册至调度系统中。
jenkins宕机事件
(event_down_jenkins) :
监控管理轮询检查jenkins状态，当发现有jenkins宕机的情况会触发该事件，jenkins管理模块处理将jenkins的信息状态设置为不可用状态，从而是任务不能分配至该台jenkins。
任务从分配事件 (event_job_redo) :
当jenkins宕机后，如果该台jenkins上存在未执行完的任务时候，由job监控模块触发，job管理莫管处理，会对该jenkins上未执行的job进行重新分配。
任务接受事件 (event_job_recive) :
当job管理模块接受到创建请求，会触发该事件，由job管理模块放入redis执行队列。
任务执行事件 (event_job_execute) :
job管理模块中的执行线程(10s执行一次，会从redis队列中弹出任务)，弹出任务后触发该事件，由调度中心选取合适的jenkins进行执行。
7.3 调度中心
是整个系统的核心模块，主要的功能是进行执行job时候能选取合适的jenkins进行处理任务，包含两个核心算法：
7.3.1 jenkins分组算法
每台jenkins都可以使用标签的方式，打上多个标签，比如jenkins可以构建java程序，使用的构建工具可以是maven和gradle，这个时候我们就可以给其打上java、maven、gradle三个标签。
标签的维度主要有以下几个：
标签配置： 判断构建配置是否配置了标签，根据标签选择对应标签的jenkins，比如配置了（docker等）。
构建语言： 根据构建配置的语言，比如java、c++、python、go等。
构建工具和版本： 比如maven、gradle、ant，cmark、blade等。
jdk版本：比如jdk7、jdk8等。
go语言版本：比如1.15.x.、1.16.x等。
gcc版本：如6.x、4.x等。
python版本：2.x、3.x等。
是否存活：判断jenkins是否存活，如果宕机直接过滤。
（可选策略）选择执行过该job的jenkins，减少下载代码的过程：（第一次构建还是会比较慢，可以采用预执行的方式，在配置构建配置的时候，就预先执行一次，这样在用户执行的时候就使用该job执行过得workspace，减少代码下载的时间）。
（可选策略）根据job的构建的平均构建时长，如果构建时长达到某个配置阈值时，优先选择构建器空闲多的jenkins进行执行，并指出jenkins的锁定功能。其他的job不允许分配上来。
如果我们给jenkins打上标签，那么我们就可以使用标签为维度将jenkins进行分组，并且存入至redis中缓存，方便后续选取jenkins用来执行任务：
7.3.2 jenkins选取算法
当jenkins分组好了后，我们接受到执行的job的信息就可以使用jenkins选取算法进行快速的选取合适的jenkins进行处理job，如下图所示。
其中label子线程、语言子线程……就是我们上面的jenkins分组的维度，有多少维度，那么这里就会有多少子线程处理。
构建任务进入主线程，然后主线程会按照分组维度分组操作并进行过滤，然后获取到每个分组中合适的jenkins，再进行取交集（这个时候就获取到可以执行该构建任务的jenkins了），在判断是否需要经过可选策略，最终得到jenkins。
7.4 流控管理&队列管理
调度系统中的的任务接受采用的是队列的方式实现，当系统请求量达到阀后，系统将不会进入redis队列，会将请求持久化至mysql。
后续如果有请求过来，job管理模块会检查数据库mysql中是否有请求，如果有请求，会将请求放入redis队列，如果没有请求就会将当前请求放入redis队列，具体流程如下:
其中基于redis实现的消息队列的时序图如下:
7.5 回调中心
该模块主要是监控任务的状态，当任务开始执行、中断执行、执行成功、执行失败的时候进行通知业务并存储数据，用于保存构建记录，方便后续数据的统计，用来完成数据的可视化。
八、实施效果
目前该系统已经投入生产环境运行，jenkins任务已采用调度系统进行调度执行，运行稳定，运行效果。
九、后续展望
随着vivo jenkins 调度系统的功能慢慢完善，jenkins的机器也越来越多，目前还大多数运行在虚拟机上，从资源利用率和业务发布效率来看，未来的业务发布形态将会是以容器为主。目前公司也在大力发展k8s的容器生态建设，
所以我们希望将jenkins工具后期进行容器化、池化，在提高资源利用率和发布效率的同时也可以为用户提供可靠的、简洁的、稳定调度执行。
德国5G招标在即 华为再次陷入险境
PCB的DDR4布线指南和PCB的架构改进
诺基亚8京东曝光，全球没货竟然有评论！
2021年28家顶级企业数据存储公司榜单
开发者的好消息：谷歌正式发布中国开发者网站
部署Jenkins服务时如何保障服务的高可用性呢？
第二批餐饮机器人出发 免费为医护人员提供24小时煲仔饭配餐服务
全球首辆电动无人驾驶重型卡车在上海亮相
这个智能工具牛 由利电动拖把的效果你一定不能错过
占领全球AI企业Top10半壁的中国企业都有谁？
pcb布线原则分享 PCB电源布线的技巧
LC谐振电路应用太难了？其实这一步至关重要
电压环及电压环控制电路设计
多节锂离子电池串联好吗？
网络革新之SDN详解
基于慧荣SM8266主控的企业级SSD产品将在2021年问世
锐迪科微电子第三季度财报：业绩强势增长
低成本毫米波雷达系统设计与研发
NS-BFK变压器冷却装置功能介绍
电磁炉维修资料
一、前言
现在的企业很多都在用jenkins做持续集成，各个业务端都依靠jenkins，vivo devops也是使用jenkins来进行持续构建，部署jenkins服务时如何保障服务的高可用变得尤为重要。
下面是目前jenkins存在的一些问题。
jenkins本身是单体的，即只能有一个jenkins master。虽然你也可以在多台机器上部署多个jenkins master，但这些master之间没有联系，都是各自把任务交给手下的slave去执行，没有任何交集。
也许某个master下的slave很忙，而另一个master下的slave却很闲，资源得不到充分利用。
当其中一个slave宕机之后，该slave上的运行的job任务没有版本重新进行分配，需要用户重新执行。并且slave节点离线之后没有通知管理员。
当系统业务量比较大的时候业务请求集中在jenkins master上，会对jenkins造成压力，甚至的造成jenkins服务不可用。
当有job任务在jenkins master上队列排队的时候，jenkins master宕机后，队列任务不可持久化。
jenkins workspace没有自动清理功能，会导致磁盘空间不足，任务执行不了的情况。
基于以上情况，vivo devops对jenkins的部署架构进行优化搭建，并且配套了一套jenkins资源调度系统用于管理jenkins资源。
二、业界实现
目前业界也包含一些jenkins 高可用的设计方式，但是并不能完全的满足解决上述问题，比如：
2.1 方案一 gearman + jenkins
这是openstack团队使用的方案。这个方案使用了gearman， gearman是个任务分发框架。
需要在每个master上安装好gearman的插件，并配置好能连接到gearman server，同时在每个master必须建立相同的job。
之后运行任务的流程如下：
gearman worker运行在各个jenkins master中等待gearman server分发任务；
gearman client向gearman server发出运行job的请求；
gearman server通知各个gearman worker有任务拉，第一个闲着的worker会接受任务，如果所有的worker都忙，则放入gearman的任务队列，得worker空闲时再分配；
gearman worker闲下来后会从任务队列里取job来执行，执行完之后，将结果发回给gearman server;
gearman server将结果返回给 gearman client。
优点：
这样各个salver资源可以得到充分利用，某个master挂掉另外的master可以继续服务。
弊端：
每个master的slave必须配置一致，否则会造成job调度错误，同时会造成一些资源的浪费。当一个master出现问题，该master的任务不会进行自动重新分配。
2.2 方案二 改造jenkins的文件存储方式
目前jenkins的配置文件都是直接在硬盘上以文件形式存储的，你在jenkins_home的个文件夹下能看到各种.xml文件。
有些公司在jenkins上进行二次开发，将jenkins的数据存储方式改为数据库存储，这样前端可以起多个jenkins服务，后端连相同的数据库即可。数据库也有比较成熟的高可用方案。
优点:
可以达到jenkins的高可用也就是某个master挂掉另外的master可以继续服务。
弊端：
需要对jenkins进行二次开发，使用数据库会降低读取资源效率下降。
2.3 方案三 最简单的jenkins一主一备模式
平时让jenkins a机器提供服务，并使用scm sync configuration plugin保存数据，jenkinsa机器修改配置后触发jenkins b更新配置，一旦jenkins a出现问题挂掉后，切换到备机jenkins b上。
优点:
可以达到jenkins的高可用，当master宕机后会进行切换到备机上。
弊端:
会有一批jenkins备机存在资源浪费，切换master时间过长，会导致有段时间jenkins服务不可用。
三、vivo jenkins scheduler系统目标
由于目前业界的一些实现还不能完全的满足我们目前的需求，所以我们进行了vivo jenkins scheduler系统的设计与实现。该系统需要达到如下的目的：
提升整个构建服务可靠性时长。
保证jenkins集群的高可用，解决目前master-slave的单点问题，保证整个构建服务的可靠性时长。
降低灾难时服务恢复时长。
①提供精准流控方式，在jenkins构建出现请求量过高的时候可以进行流控和持久化操作，减少对目前系统的冲击。
②当系统压力减少后，放开流控可以快速的对堆积的请求进行分配执行。
有效分配任务至各个子节点，保证资源的有效利用。
能保证灾难时的及时切换任务至可用节点上，同时能快速的通知管理员进行处理。
能进行数据的可视化分析，能提供一系列帮助改善开发效率的视图，比如构建时长报表、构建量报表等。
四、 vivo jenkins scheduler设计
该系统我们从两大部分进行了设计，首先，我们不采用原生的jenkins部署方案，而是采用全master的方式。第二，设计并开发了一套用于管理jenkins集群的调度系统。
五、底层 jenkins 工具部署方案
不采用目前单master的搭建方案，采用多master的搭建方案，master下不进行挂载slave机器，任务直接有master进行处理，master之间的关系、任务分配、离线、插件安装等由调度系统进行管理。这样由于vivo jenkins scheduler系统为高可用的，解决了目前jenkins的单点问题。
六、系统架构图
七、系统说明
7.1 api-gateway
主要提供系统的外部请求，网关系统，功能包含：
权限校验：校验用户发送集群管理系统的请求的权限。
智能路由：接收外部一切请求，并转发到后端的外服上去。
限流：与监控线程配合（当构建请求达到某个阈值时），进行限流操作。
api日志统一收集：类似于一个aspect切面，记录接口的进入和出去时的相关日志。
数据处理：对请求的参数进行数据的转换处理。
7.2 事件中心
是整个系统通信调用的主要模块，采用的是spring的event机制实现，主要核心事件如下：
jenkins注册事件
（event_regist_jenkins）：
jenkins启动后，通过自定的插件会向系统发送注册请求时，系统接收到后会触发jenkins管理模块将jenkins的信息注册至调度系统中。
jenkins宕机事件
(event_down_jenkins) :
监控管理轮询检查jenkins状态，当发现有jenkins宕机的情况会触发该事件，jenkins管理模块处理将jenkins的信息状态设置为不可用状态，从而是任务不能分配至该台jenkins。
任务从分配事件 (event_job_redo) :
当jenkins宕机后，如果该台jenkins上存在未执行完的任务时候，由job监控模块触发，job管理莫管处理，会对该jenkins上未执行的job进行重新分配。
任务接受事件 (event_job_recive) :
当job管理模块接受到创建请求，会触发该事件，由job管理模块放入redis执行队列。
任务执行事件 (event_job_execute) :
job管理模块中的执行线程(10s执行一次，会从redis队列中弹出任务)，弹出任务后触发该事件，由调度中心选取合适的jenkins进行执行。
7.3 调度中心
是整个系统的核心模块，主要的功能是进行执行job时候能选取合适的jenkins进行处理任务，包含两个核心算法：
7.3.1 jenkins分组算法
每台jenkins都可以使用标签的方式，打上多个标签，比如jenkins可以构建java程序，使用的构建工具可以是maven和gradle，这个时候我们就可以给其打上java、maven、gradle三个标签。
标签的维度主要有以下几个：
标签配置： 判断构建配置是否配置了标签，根据标签选择对应标签的jenkins，比如配置了（docker等）。
构建语言： 根据构建配置的语言，比如java、c++、python、go等。
构建工具和版本： 比如maven、gradle、ant，cmark、blade等。
jdk版本：比如jdk7、jdk8等。
go语言版本：比如1.15.x.、1.16.x等。
gcc版本：如6.x、4.x等。
python版本：2.x、3.x等。
是否存活：判断jenkins是否存活，如果宕机直接过滤。
（可选策略）选择执行过该job的jenkins，减少下载代码的过程：（第一次构建还是会比较慢，可以采用预执行的方式，在配置构建配置的时候，就预先执行一次，这样在用户执行的时候就使用该job执行过得workspace，减少代码下载的时间）。
（可选策略）根据job的构建的平均构建时长，如果构建时长达到某个配置阈值时，优先选择构建器空闲多的jenkins进行执行，并指出jenkins的锁定功能。其他的job不允许分配上来。
如果我们给jenkins打上标签，那么我们就可以使用标签为维度将jenkins进行分组，并且存入至redis中缓存，方便后续选取jenkins用来执行任务：
7.3.2 jenkins选取算法
当jenkins分组好了后，我们接受到执行的job的信息就可以使用jenkins选取算法进行快速的选取合适的jenkins进行处理job，如下图所示。
其中label子线程、语言子线程……就是我们上面的jenkins分组的维度，有多少维度，那么这里就会有多少子线程处理。
构建任务进入主线程，然后主线程会按照分组维度分组操作并进行过滤，然后获取到每个分组中合适的jenkins，再进行取交集（这个时候就获取到可以执行该构建任务的jenkins了），在判断是否需要经过可选策略，最终得到jenkins。
7.4 流控管理&队列管理
调度系统中的的任务接受采用的是队列的方式实现，当系统请求量达到阀后，系统将不会进入redis队列，会将请求持久化至mysql。
后续如果有请求过来，job管理模块会检查数据库mysql中是否有请求，如果有请求，会将请求放入redis队列，如果没有请求就会将当前请求放入redis队列，具体流程如下:
其中基于redis实现的消息队列的时序图如下:
7.5 回调中心
该模块主要是监控任务的状态，当任务开始执行、中断执行、执行成功、执行失败的时候进行通知业务并存储数据，用于保存构建记录，方便后续数据的统计，用来完成数据的可视化。
八、实施效果
目前该系统已经投入生产环境运行，jenkins任务已采用调度系统进行调度执行，运行稳定，运行效果。
九、后续展望
随着vivo jenkins 调度系统的功能慢慢完善，jenkins的机器也越来越多，目前还大多数运行在虚拟机上，从资源利用率和业务发布效率来看，未来的业务发布形态将会是以容器为主。目前公司也在大力发展k8s的容器生态建设，
所以我们希望将jenkins工具后期进行容器化、池化，在提高资源利用率和发布效率的同时也可以为用户提供可靠的、简洁的、稳定调度执行。
德国5G招标在即 华为再次陷入险境
PCB的DDR4布线指南和PCB的架构改进
诺基亚8京东曝光，全球没货竟然有评论！
2021年28家顶级企业数据存储公司榜单
开发者的好消息：谷歌正式发布中国开发者网站
部署Jenkins服务时如何保障服务的高可用性呢？
第二批餐饮机器人出发 免费为医护人员提供24小时煲仔饭配餐服务
全球首辆电动无人驾驶重型卡车在上海亮相
这个智能工具牛 由利电动拖把的效果你一定不能错过
占领全球AI企业Top10半壁的中国企业都有谁？
pcb布线原则分享 PCB电源布线的技巧
LC谐振电路应用太难了？其实这一步至关重要
电压环及电压环控制电路设计
多节锂离子电池串联好吗？
网络革新之SDN详解
基于慧荣SM8266主控的企业级SSD产品将在2021年问世
锐迪科微电子第三季度财报：业绩强势增长
低成本毫米波雷达系统设计与研发
NS-BFK变压器冷却装置功能介绍
电磁炉维修资料