机器监控项添加建议

作者：焦振清
时间：2017-11-08

---

如何解决机器监控遗漏的问题？想必是每一位运维同学都会面临的问题。

• 太多的机器监控内容，可能会产生无效的报警，对生活造成一定影响；
• 太少的机器监控内容，可能会无法及时发现异常，对服务稳定性造成影响；
• 合理的机器监控内容，较高的报警准确度，虽然美好但却需要长期积累；

因此，提供一套有效的机器监控标准，并持续优化标准的内容，从而形成良性循环，提高运维效率就成为监控平台的责任和义务。

我们将各个业务体系运维中机器监控的共性部分进行梳理和排序，提炼出了在运维工作中必须接收报警短信的10项机器监控指标，分享给大家

接下来，我将详细介绍机器监控标准的内容

CPU_IDLE < 10

MEM_USED_PERCENT > 90

NET_MAX_NIC_INOUT_PERCENT > 80

CPU_SERVER_LOADAVG_5 > 15

DISK_MAX_PARTITION_USED_PERCENT > 95

DISK_TOTAL_WRITE_KB（可选项）

DISK_TOTAL_READ_KB（可选项）

CPU_WAIT_IO（可选项）

DISK_SDA_IO_UTIL（可选项）

NET_TCP_CURR_ESTAB（可选项）

NET_TCP_RETRANS（可选项）

DISK_TOTAL_IO_UTIL（可选项）

面临的问题

1，碎片化：因服务器硬件的批次，厂商，型号，采购时间，OS类型等不同，导致监控标准化的难度增加。如内存大小，磁盘读写性能，网卡速率等，实际面临的问题和安卓版本碎片化相似。以磁盘读写性能为例，不同厂商，批次，型号，是否有RAID卡对磁盘读写性能均有影响，且随着服务器交付业务后，运行强度和运行时间不同，也会造成磁盘读写性能有一定的不同。因此，如何监控一个公司内所有的服务器，就会成为一个难题。

监控的技巧

1，极值法

CPU：重点监控CPU_IDLE小于10%的情况

MEM：重点监控MEM_USED_PERCENT大于90%的情况

NET：重点监控网卡入口/出口使用率大于90%的情况

2，分时段不同阈值

DISK：业务流量高峰期阈值较为敏感；业务流量低谷期阈值适度宽松

3，比例替代绝对值

MEM：因为机器内存总量不一，因此通过内存使用率可以进行统一监控