监控指标和并发提升

偶尔看到公司内部的监控系统,挺感兴趣的,就看了看,大概看明白了,主要是一些关于程序监控指标的,经过一堆乱七八糟的查询,先记下来,欢迎各位看官评论。

背景

我们在编码过程中经常会遇到一些熟悉的,高大上的词汇,比如:高并发,高可用;一般都是用来吓唬小孩的,我看了一个小时的网文,结合了一些监控指标来给大家描述一下,由于没有正统的文章书籍,如果有不对的地方还请大家指导。

监控指标

PV

PV:page view
页面浏览的次数,这个多好理解,当你打开一个网页,那么这个页面的pv+1;
一般情况下,我们可以得出维持日常情况下的服务器总数量
服务器数量= ceil(每天总的pv数量/单台服务器的pv数量)

QPS

QPS:queries per second

每秒响应的请求的数量,也有一种说法是指每秒响应的查询次数,这两者区别还是蛮大的,主要在于他们的范围大小不一样,其实我比较偏向于后者,因为他的英文释义翻译过来就是每秒查询数的意思,但是公司的监控指标是按照前者分析的,所以文章里面我就按照前者分析了。
拿一个图片举例子
在这里插入图片描述这个图片表达的意思是指,在10点54分本机器(单机qps图)响应的查询次数是1.433(应该是一分钟之内的每秒平均值)。

QPS的计算方法:

QPS= 总请求数/(进程总数*请求时间)

由于大部分系统在一天的工作实践中,不同时间段会有不同的请求量,所以一般还需要引进峰值QPS的概念。
峰值QPS:
指的是高峰时间内的每秒查询
eg:
某一个系统每天有90%的访问量集中在20%的时间内,那么20%的时间就叫做峰值时间。
峰值QPS = (总PV数量 x 90%)/(一天的时间 x 20%)
抗高并发的机器数量= 峰值QPS/ QPS
----假设某网页一天负载与一台服务器上的的访问量是30w,那么
QPS = (300000 x 90%)/ (86400 x 20%) = 16
此时,为了满足业务4的QPS,就需要4台服务器来抗。

TPS

TPS:transactions per second
是每秒内的事务数,比如执行了dml操作,那么相应的tps会增加;

RPS

RPS=requests per second
并发数/平均响应时间(这个和我们使用的QPS是一个意思)

TP99(TP90、TP999、TP50)

以上都是一个意思,拿TP90进行描述,指的是90%的请求得到服务的最长时间。
实现逻辑,将所有的请求按照请求消耗时间进行升序排序,第90%的请求时间就是TP90的数据值
在这里插入图片描述

环比与同比

以上的指标都是在一期监控报告中所展示的监控内容
为了系统的横向比较,有同比概念引入,而为了纵向判断一个系统使用率的情况,会有环比概念
环比增长率=(本期数-上期数)/上期数×100%
同比增长率=(本期数-同期数)/同期数×100%

高并发

一定要知道的是,只说高并发,不说高可用,都是流氓,这是一篇文章里说的,我觉得很对。我想加两句,只说并发效率,不说业务指标,都是扯淡。只说相应速度,不说硬件条件,都是放屁。

我所认为的高并发,是在特定的服务集群下,特定的业务指标上,可以实现高可用的系统才有资格讨论高并发。

目前来说,高并发这种高大上的东西,很多老师比我要懂得太多了,经验也老道。我就单纯引用理解就够我摸索了。一下内容来源于网文,我觉得蛮有道理的。

首先是无状态前端机器不足以承载请求流量,需要进行水平扩展(加机器容灾并发数),一般QPS是千级。
然后是关系型数据库无法承载读取或写入峰值,需要数据库横向扩展或引入nosql(加缓存,提高读写能力),一般是千到万级。
之后是单机nosql无法承载,需要nosql横向扩展(增加缓存设备),一般是十万到百万QPS。
最后是难以单纯横向扩展nosql(纵向扩展缓存,多级缓存增加),比如微博就引入多级缓存架构,这种架构一般可以应对百万到千万对nosql的访问QPS。 当然面向用户的接口请求一般到不了这个量级,QPS递增大多是由于读放大造成的压力,单纯属于高并发架构考虑的范畴。

据说!!!!
微博每天1亿多pv的系统一般也就1500QPS,5000QPS峰值。
也有人说有人说:
2C4G机器单机一般1000QPS。
8C8G机器单机可承受7000QPS。
具体如何去处理,主要根据业务要求来判断具体的效率,和判断一个业务的效率高低就需要以下步骤:
1、首先需要明确现状
明确硬件标准
明确优化指标
明确请求耗时
这些东西就需要用到我刚刚说到的监控指标。
而监控维度大到一个集群的指标,小到sql的指标。我觉得一般应该分为
集群,单机,系统进程,接口,sql
这样定位问题才准确
2、明确了现状尽可以根据问题的出处来进行优化,是sql优化,还是接口优化,是负载不合理,还是需要更多服务器,是需要加入纵向缓存,还是加入横向缓存。

如果有其他意见或者补充,还请同学评论添加。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 在socket epoll高并发项目中,我们可以使用以下方法来测试高并发性: 1. 压力测试:可以使用工具如Apache JMeter或wrk等进行压力测试,模拟多个并发请求发送到服务器。可以设置并发连接数和请求频率,观察服务器的响应时间和处理能力。 2. 性能测试:可以使用工具如Apache Bench或siege等进行性能测试,发送多个并发请求并记录服务器的响应时间、吞吐量等指标。可以通过调整并发连接数和请求的大小来测试服务器的性能极限。 3. 负载均衡测试:如果项目中使用了负载均衡器来分流请求,可以模拟多个并发请求发送到负载均衡器,观察负载均衡器的转发能力和服务器的响应时间。 4. 异常情况测试:可以模拟网络延迟、断连、异常数据等异常情况,观察服务器的容错能力和恢复能力。 5. 数据库测试:如果项目中有涉及数据库的操作,可以模拟并发读写请求,观察数据库的性能和并发处理能力。 6. 监控和分析:在测试过程中,可以使用监控工具来实时监测服务器的CPU、内存、网络等指标,以及检查是否有内存泄漏或资源泄漏等问题。 通过以上的测试方法和手段,我们可以评估高并发项目的性能和稳定性,找出性能瓶颈和优化空间,提高系统的并发处理能力。 ### 回答2: 在进行socket epoll高并发项目的测试时,可以采取以下几个步骤来测试高并发性: 1. 设计并发测试场景:根据项目的需求和设计,确定需要模拟的并发用户数、每个用户的请求频率和请求类型。可以使用工具如Apache JMeter或自行编写脚本来模拟并发请求。 2. 配置并发环境:在测试机器上进行并发测试,需要增加网络带宽、增加计算资源,比如使用高性能的服务器和网络设备,确保能够支持大量并发连接。 3. 编写测试程序:根据项目的需求,在测试程序中实现模拟并发请求的逻辑,通过socket epoll模型建立大量并发连接,并发送模拟请求进行测试。 4. 监控并发连接数和响应时间:使用系统工具如netstat、top等来监控服务器端的并发连接数和系统资源使用情况。同时,使用性能监控工具如zabbix、grafana等来监控服务器的吞吐量、响应时间等指标。 5. 数据验证和压力测试:在并发测试中,确保数据的一致性,对接收到的响应进行验证。并逐步增加并发连接数,直至达到系统的极限,观察系统响应时间的变化情况和可能出现的性能瓶颈。 6. 多样化的测试场景:在测试过程中,可以尝试不同的测试场景,如不同的请求类型、不同大小的数据包等,验证系统在各种情况下的高并发性能。 7. 异常处理:在测试中,需要注意处理一些异常情况,如客户端异常断开连接、网络异常等,确保系统对异常情况的处理能力。 通过以上步骤,可以对socket epoll高并发项目进行有效的测试,找出系统的性能瓶颈,及时进行优化和调整,提升系统的高并发性能。 ### 回答3: 在socket epoll高并发项目中,为了测试高并发性能,可以采取以下几种方式: 1. 压力测试工具:使用一些专业的压力测试工具,如JMeter、Apache Bench或wrk等,来模拟大量的并发请求。可以设置并发数、每秒请求数和总请求量等参数,对系统进行压力测试,观察系统在高并发情况下的性能表现。 2. 自动化测试脚本:编写自动化测试脚本,通过多线程或多进程进行模拟并发请求,向服务器发送大量的请求。可以使用Python的模块,如requests、multiprocessing等,实现并发请求的测试。 3. 网络负载生成工具:使用网络负载生成工具,比如Locust、Gatling等,来模拟真实的网络负载情况。可以设置请求频率、并发数和持续时间等参数,模拟多种场景下的高并发情况。 4. 并发性能监控工具:使用一些并发性能监控工具,如Grafana、Prometheus等,来监控系统的并发性能。通过收集CPU、内存、网络等指标数据,可以分析和评估系统在高并发场景下的性能瓶颈。 5. 随机性测试:在测试过程中,引入随机性因素,模拟真实场景下的随机请求。可以设计不同类型的请求和不同请求参数的组合,观察系统在随机请求下的并发性能表现。 需要注意的是,在进行高并发性能测试时,要合理设置测试参数,以真实场景为依据,同时监控系统各项指标,及时发现并解决性能瓶颈。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值