目录
度量背景
没有科学的度量就没有改进。
度量原则
度量从来不是目的,而应该是实现目的的手段
度量目的
度量的意义是改进和治理 。通过数字化的技术和管理模式提升组织效率,对自动化的执行进行有效性评估,帮助我们高效的、正确性开展自动化测试,实现测试目标,达到测试效果。
度量视角
执行视角
从测试、产品的角度去看自动化测试的指标
运营视角
在运营的角度去看待自动化测试的指标意义
上层视角
在最上层(领导层)看到自动化测试最核心的意义
度量分类
执行视角
过程维度
执行次数:CI自动化构建总次数、分析自动化执行是否常态化,是否正在产生价值
执行效率:自动化构建平均执行的效率包含执行总时间、平均每条用例执行时间
失败top5原因:分析自动化失败的主要原因,用以改进
场景覆盖率:自动化用例覆盖的测试场景比重
核心用例占比:核心用例占自动化用例的比重
产品维度
发现Bug数:自动化用例发现的BUG数量
接入产品数:正在运行自动化测试的产品数量
接入版本数:正在运行自动化测试的产品版本数量
运营视角
平均修改成本:修改功能需要投入的时间成本
平均维护成本:需要花多少时间去查看结果,定位及通知
平均新开发成本:新功能接入的时间成本
平均执行成本:运行需要多少人工介入,环境部署、数据构造
上层视角
交付效率
交付时间:从需求、开发、测试、可上线状态的时间周期所花费的时间比较,主要还是指冒烟,因为交付效率受影响因素太大了,冒烟的快那么交付到测试就越快
交付需求数:统计周期内交付的需求个数 / 统计周期,即单位时间交付的需求个数
交付质量
覆盖率:需求覆盖率,是否能正确覆盖产品基本功能需求
正报率:需求覆盖率,是否能正确表达产品的真实质量
简单示例
自动化运行结果
2024.7-2024.9自动化测试问题单 | ||||
时间 | 接口 | 地址 | 问题 | 状态 |
2024.7月 | 修改报警组 |