某小公司项目环境部署演变之路

最新推荐文章于 2023-12-14 20:29:02 发布
最新推荐文章于 2023-12-14 20:29:02 发布
阅读量341 收藏
点赞数
分类专栏： devops 部署 文章标签： devops 部署
原文链接：https://mp.weixin.qq.com/s?__biz=MzUzMTA2NTU2Ng==&mid=2247488857&idx=1&sn=6b3f4b4fa8a71ed2dc27e5a393b2188d&chksm=fa496ae8cd3ee3fe4d8b17428292ff6a9b429e01b8ef968810b3e480b3a9936edb24c668cc88&mpshare=1&scene=23&srcid=&sharer_sharetime=1581349810487&sharer_s
版权

前言

在环境部署问题上，我们经历了3个阶段：传统安装、镜像恢复、自动发现注册+指令下达。目前镜像恢复后，启动虚拟机，一旦能ping通我们公司地址，就会自动注册这台机器（即使没有其他外网访问权限、也未开放任何对外端口），我们也就有了这台机器的管理权限，可批量群控下发指令。（第二阶段、第三阶段均为我自主设计。）

背景

我们是一家产品+定制化需求公司，项目做好之后会直接部署到客户服务器上。而客户很少选择云服务器，因为他们有自己的机房，部署前会提供给我们1-2台虚拟机，然后整个环境部署问题就交给我们了。

演变

第一阶段：传统安装

使用时间：？~2016年

  1. 需甲方提供windows或linux服务器远程连接方式（这里各个甲方提供都不一样，有堡垒机、vpn、直接定向开放端口、vpn+堡垒机等）非常复杂，只能case by case

  2. 远程到服务器上

  3. 上传数据库、jdk、tomcat各类安装包（受限带宽因素，往往很耗时）

  4. 安装安装数据库

  5. 安装jdk、tomcat、nginx（linux环境下，使用写好的sh脚本直接运行，依然比较耗时）

  6. 人工部署war包等 等

 

此方式缺点太多，往往需要3-5人天才能完成所有部署，但我们只有一位运维人员，所以当项目冲突时，极为被动。而且因为各个软件版本发生变动、甲方提供的虚拟机3个盘符、2个盘符，或者没有D盘（虽然可以通过计算机管理更改驱动器显示号，但可能导致其他软件无法运行）所以环境比较乱。

这种方式比较老，我也不介绍更多。当然，据我了解，目前还有一些小公司在沿用这种部署方式，所以在这里劝采用这种方式的公司尽快完成转型。

第二阶段：镜像恢复

使用时间：2016年~2017年

  1. 需甲方提供windows或linux服务器远程连接方式（这里各个甲方提供都不一样，有堡垒机、vpn、直接定向开放端口、vpn+堡垒机等）非常复杂，只能case by case

  2. 使用vm镜像恢复虚拟机并设置好ip（内含docker）

  3. 通过deploy模块一键部署war包

 

此方式，我们将第一阶段的2、3、4、5封装成vm虚拟机镜像、开发了deploy模块、抽取项目无状态。

这时我们对运维人员依赖大大减少，工作量大大减少至2-6小时。（这个阶段起，我们公司没有运维人员，进入DevOps时代。事实上，此阶段初我们运维人员离职，使得我不得不加快设计）

第三阶段：自动发现注册+指令下达

使用时间：2017年~2018年

  1. 甲方使用我们vm镜像恢复并设置好ip，保证能ping通我们公司地址

  2. 自动发现注册+指令下达

  3. 通过deploy模块一键部署war包

此阶段，我们部署耗时在5-10分钟，而且我们不再需要甲方提供远程，我们还可以批量管理所有机器，不仅满足了此时的需求，并为后面扩展做了铺垫。

具体技术

这里主要讲二、三两个阶段

因为传统方式缺点特别多，所以在我向领导介绍方案后，领导很感兴趣，很快就安排我着手去干。为了提高效率，期间选型多款工具或框架组成的方案，本文只介绍最终选型的设计。

frp

frp是一款内网穿透软件，可以使得没有外网ip的机器暴露在外网里，但本文利用它将一台内网机器端口暴露在另外一个内网中的特性。

安装frp服务端

选择一台内网机器比如172.0.0.2，需临时保证这台服务器走公网固定ip线路

wget --no-check-certificate https://raw.githubusercontent.com/clangcn/onekey-install-shell/master/frps/install-frps.sh -O ./install-frps.sh
chmod 700 ./install-frps.sh
./install-frps.sh install

全部参数都有默认值，直接回车就是输入默认值：

Please input frps bind_port [1-65535](Default Server Port: 5443): #输入frp提供服务的端口，用于服务器端和客户端通信，默认即可
Please input frps vhost_http_port [1-65535](Default vhost_http_port: 80): #输入frp进行http穿透的http服务端口，建议不用默认
Please input frps vhost_https_port [1-65535](Default vhost_https_port: 443): #输入frp进行https穿透的https服务端口，建议不用默认
Please input frps dashboard_port [1-65535](Default dashboard_port: 6443):#输入frp的控制台服务端口，用于查看frp工作状态，默认即可
Please input dashboard_user (Default: admin):#登录控制台的用户名，默认即可
Please input dashboard_pwd (Default: kpkpM7VZ):#登录控制台的密码，如果记不住默认的建议修改
Please input privilege_token (Default: 9m2UAOWa6hx5Eise):#输入frp服务器和客户端通信的密码，默认是随机生成的，默认即可
Please input frps max_pool_count [1-200](Default max_pool_count: 50):#设置每个代理可以创建的连接池上限，默认50
##### Please select log_level #####
1: info
2: warn
3: error
4: debug
#####################################################
Enter your choice (1, 2, 3, 4 or exit. default [1]): 默认即可
Please input frps log_max_days [1-30](Default log_max_days: 3 day):
##### Please select log_file #####
1: enable
2: disable
#####################################################
Enter your choice (1, 2 or exit. default [1]):默认即可

至此frp服务端就搭建好了

客户端

这里我们以linux为例

打开http://diannaobos.iok.la:81/frp/frp-v0.14.0/

下载frp_0.14.0_linux_amd64.tar.gz文件，只保留frpc开头的文件（frp客户端）

以frp文件夹形式解压到linux的home目录

编写reg.sh脚本

reg.sh也放在linux的home目录

UUID=$(cat /sys/class/dmi/id/product_uuid)
wget -O frpc.ini http://114.114.114.114/frp.php?file=$UUID;
a=`du -s frpc.ini | awk '{print $1}'`
if [ $a -lt 1 ]
then
       echo "none"
else
        echo "action"
	pkill frpc
	sleep 2s
	rm -rf ~/frp/frpc.ini
	cp frpc.ini ~/frp/frpc.ini
	~/frp/./frp.sh
fi

其中UUID为服务器唯一标识，即使vm虚拟机镜像相同，但uuid不会相同。

其中114.114.114.114为公司对外注册中心

编写crontab

crontab -e
*/5  * * * * ~/reg.sh

每隔5分钟执行一次，意思是每隔5分钟去注册一次或者说是拉取一次变更请求，当服务端配置不改变时不会重启服务。

frp开机自启

linux

chmod +x ~/frp/frp.sh
vi /etc/rc.d/rc.local
#文件底部追加
bash ~/frp/frp.sh

chmod +x  /etc/rc.d/rc.local
#重启即可

frp.php简易版内容如下

<?php
$filename=$_GET['file'].'.ini';
$filename='frp/'.$filename;

if(!file_exists($filename)){
	file_put_contents($filename,"");
	file_put_contents($filename.'.update',$_SERVER['REMOTE_ADDR']);
}else{
	if (!file_exists($filename.'.update')){
		$str = file_get_contents($filename);
		echo $str;
		file_put_contents($filename.'.update',$_SERVER['REMOTE_ADDR']);
	}
}
?>

 

当有机器注册时，frp文件夹下会有id对应的文件名，我们只需要在.ini中写入配置，再删除.update文件即可，待服务端收到frp新配置后，会自动再创建一个.update文件，并且将ip写入.update文件。

.ini例子

[common]
server_addr = 114.114.114.114
server_port = 5443
privilege_token =密钥

[webserver]
type = tcp
local_ip = 127.0.0.1
local_port = 22
use_encryption = false
use_compression = false
remote_port = 7001


[a-web]
type = http
local_ip = 127.0.0.1
local_port = 80
use_encryption = false
use_compression = true
custom_domains = a.a.com

common为公共部分

webserver是将本地22端口使用隧道技术穿透到公司的172.0.0.2机器里

内网机器远程只需访问172.0.0.2的7001端口

a-web是本机80端口在公司内网中的直接访问url：a.a.com

 

通过frp管理后台，可以实时查看到各个机器连接情况。

至此，我们可以远程机器、访问该机器80端口，理论上可以访问该机器所有端口，如新增端口穿透，只需要去修改.ini，这是一简易版的介绍。

再接入ansible即可远程群控。

ansible

ansible 是一款自动化运维工具，具体使用可参考我另外一篇博文《自动化运维工具ansible的实践》

外网映射

假设公司外网为114.114.114.114 需将114.114.114.114的5443端口映射到172.0.0.2的5443上，其他端口均不要映射，

docker

前两年docker很火，DevOps很火，所以我们选择了docker，以便我们docker镜像快速部署我们系统。可参考我另外一篇博文《我是如何重构整个研发项目，促进自动化运维DevOps的落地？》

Portainer

可参考我的另外一篇博文《Docker的web端管理平台对比（DockerUI 、Shipyard、Portainer、Daocloud）》

deploy

deploy为我们自研，底层原理可参考《java web项目war包自动升级部署方案》

总结

本文主要讲利用frp内网穿透、构建隧道的技术实现对无外网、无端口机器的运维部署；利用ansible工具实现群控；利用docker进行快速部署；通过自研deploy进行版本控制等。

该套方案极大的节省了我们的运维成本，使我们这样的小公司跑步进入了一个无运维人员、DevOps时代。

如果你有类似场景，希望本文对你有所帮助。

深入浅出 -- 系统架构之单体到分布式架构的演变
xiaoli8748的专栏
04-04 1402
同时，就算部署业务程序的机器损坏，也不会丢失系统数据，在一定程度上也提升了系统的抗风险性。显然，这种方式虽然成本低，数据交换快，但并不能支撑太大的访问量，当流量增大时，系统很可能因为CPU、内存、带宽、磁盘等各因素出现性能问题，而一旦遇到瓶颈，为了保证系统正常运行，集“前端、后端、运维、测试、售后……以数据库为例，数据库由于并发影响，读取数据越来越慢，所以阻塞在后端服务中等待数据返回的请求越来越多，入站流量远大于出站流量，长此以往，后端服务线程数超负荷，系统再次出现响应缓慢、无返回等严重事故。
电商平台架构设计与部署——微服务架构篇
AI天才研究院
10-02 2908
随着互联网公司产品的不断升级、用户数量的激增、高并发量的出现以及对运营成本的关注，电商平台逐渐成为最具代表性的互联网业务之一。电商平台产品的规模也越来越庞大，对于稳定高效地支撑起百万级甚至千万级日益增长的用户规模，依靠传统单体应用架构就显得力不从心了。因此，基于微服务架构设计模式的电商平台架构改造具有非常重要的意义。其优点主要包括：降低开发复杂度在一个系统中实现多个功能模块的架构拆分，可以将复杂度进一步降低。
Kubernetes实战(部署+生产案例)
゛Never give up~
04-22 828
K8S的搭建在https://blog.csdn.net/weixin_43212365/article/details/105665215可以查看 我们要在K8S上启动Mysql服务分为以下几步 首先我们认识一下以下几个关键词 pod 逻辑概念 k8s调度的单元 可以认为就是一个container实例，一般的pod可能在这台机器上面运行，如果失败了，会飘到另外一台机器上面去重新创建 ...
项目实战-环境搭建
TianLiaoFeiJue的博客
10-15 241
项目实战-SpringBoot+JPA+MySql+Idea环境搭建主要配置文件讲解功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与...
实战1 后端项目创建和环境搭建
最新发布
shieryue_2016的博客
12-14 536
SpringBoot+mybatisplus创建项目并初始化配置
案例一 整套项目打包部署
12-04 208
Docker Compose 1、介绍 Compose是一个定义和管理多容器的工具，使用Python语言编写。使用Compose配置文件描述多个容器应用的架构，比如使用什么镜像、数据卷、网络、映射端口等；然后一条命令管理所有服务，比如启动、停止、重启等。 2、安装 curl -L https://github.com/docker/compose/releases/down...
电商售后评论情感分析与项目部署Python教程
本实训项目主要涉及基于电商售后评论数据的用户情感分析，使用Python编程语言进行数据处理与分析，并提供项目部署的详细说明。项目包含完整的源码，确保经过测试并可成功运行。适合各个层次的计算机专业人员使用，...
Spring Boot 2.x基础教程：使用 Thymeleaf开发Web页面
程序猿DD
02-23 1015
点击上方蓝色“程序猿DD”，选择“设为星标”回复“资源”获取独家整理的学习资料！作者 | 翟永超来源 |http://blog.didispace.com/spring-boot-le...
一家中型互联网公司的架构演进之路
m0_73257876的博客
09-23 428
1.架构的定义架构（Architecture）这个词源自建筑行业，以下引用百度百科的描述。软件架构（Software Architecture）是一系列相关的抽象模式，用于指导大型软件系统各个方面的设计。软件架构是一个系统的草图。通俗地来讲，技术架构就是对软件系统各个维度进行不同模块化的抽象，通过抽象使原本复杂的工程变得易于理解和分工实现。就像泰勒提出的科学管理，通过标准化的作业流程和分工，原本混沌复杂的软件工程被拆分出前端、后端、质量、运维等多个岗位。
自带tomcat的后台管理系统
01-11
无需其他依赖资源，解压双击可用 系统page-admin是采用h-ui搭建 适合新手学习
1.项目环境部署操作
Clittle225的博客
06-04 655
1.项目环境部署操作
Linux环境部署以及项目搭建
qq_52136076的博客
07-13 3534
一、Linux环境搭建 1.使用云服务器 2.下载xshell并且远程控制服务器 二、将项目部署到linux云服务器上 1.搭建java部署环境 1.1 在linux安装jdk 1.2 将tomcat安装包上传到linux服务器上 1.2.1将tomcat安装包上传到linx服务器中 1.2.2 解压缩tomcat安装包 1.2.3 把tomcat的启动脚本加上可执行权限 1.2.4 启动tomcat 1.2.5查看8080端口号和tomcat进程是否存在
实战 Node 第2天：编写接口、项目部署
杏子
06-29 1574
实战 Node 第2天：编写接口、项目部署前言一、写一个添加用户信息的接口二、项目部署 前言 实战 Node 第1天已经做好了前期准备工作，今天就来开始编写第一个接口和部署接口。 一、写一个添加用户信息的接口 新建 main.js 文件，内容如下： //1.使用express框架开发node项目 var express = require('express'); var app = express...
软件测试功能到自动化学习路线图，2022年最新版技术栈
黑马程序员官方博客
01-13 2990
2022年全新版软件测试技术栈，零基础入行必备、高质量免费在线课程+笔记+讲义分享。适合零基础，功能测试、即将面试回顾知识点的各位伙伴。 文章目录前言第一阶段、功能测试1.软件测试入门到精通2.Linux系统2天快速入门3. 软件测试MySQL数据库知识精讲+项目实战第二阶段、Python编程10天玩转Python软件测试第三阶段 UI自动化1. 软件测试web自动化测试精讲与实战2.零基础入门移动自动化——Appium框架3. 轻松教你使用Appium进行IOS真机自动化测试第四阶段 接口自动化接口测.
从程序员到架构师开发运维场景实战篇：一人一套测试环境
m0_63437643的博客
09-07 165
之后，每次点击这个项目的JenkinsJob时，就可以对其容器测试环境进行部署了。当时的系统是这样设计的：在打包RPC服务时，将一个环境变量env的值设置为容器测试环境的标识，也就是JIRA Issue ID，比如XXX123。对于配置中心是这样设计的：如果容器测试环境的值与虚拟机测试环境的值不一样，不会修改配置中心的值，而是在容器环境的启动脚本中动态加上针对各自容器测试环境的环境变量，然后在业务代码中启动环境变量优先级高于配置中心的参数，这样就确保了容器测试环境的特殊配置，从而不影响配置中心的值。
基础Linux服务器的搭建以及项目部署
qq_42474190的博客
07-05 2823
基础Linux服务器的搭建以及项目部署 一、引言 购买一台阿里云服务器（也可用虚拟机代替，本人使用的阿里云服务器），下载finalshell，并使用finalshell连接服务器。 二、安装jdk 1.首先去官网下载Java的tar.gz压缩包，版本可自己选择，这里提供一个网址。 https://www.oracle.com/technetwork/java/javase/downloads/jd...
Linux上部署环境和项目
qq_51866806的博客
07-20 1166
【代码】Linux上部署环境和项目。
如何将项目部署到服务器上(全套教程)
热门推荐
辰兮
06-17 4万+
全网最详细(从0到1)保姆级搭建服务器教学
Mule开发环境部署与项目实战指南
本文档详细介绍了如何在Windows环境下搭建和部署Mule开发环境。首先，我们从Mule官网（）下载社区版的Mule，最新版本为2.2，下载的文件格式为mule-standalone-{version}.zip。安装步骤如下： 1. 解压缩下载的zip...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值