目前公司产品的需求迭代速度很快,什么时候测试可以结束,产品可以上线呢?用例执行完了就结束测试上线?所有bug解决完了就结束测试发版?
领导拍板上线?怎么能在产品上线时间点和产品质量之间找到平衡点,需要根据实际情况来分析决定。经过实际工作中的经验积累,可以从以下 几个方面制定产品上线标准,达到这个标准就可以上线。
每个产品可根据自己产品线的特点,适当调整,和产品开发同学一起确定最终的上线标准。
单元测试通过标准
验证指标 |
是否通过 |
通过标准 |
Code Review |
通过 |
核心代码100%经过Code Review |
功能覆盖率 |
通过 |
功能覆盖率达到100% |
代码行覆盖率 |
通过 |
代码行覆盖率不低于80% |
缺陷修复率 |
通过 |
不存在严重错误和主要错误 |
接口测试通过标准
验证指标 |
是否通过 |
通过标准 |
业务功能覆盖率 |
通过 |
业务功能覆盖率达到100% |
参数验证 |
通过 |
参数的边界、业务规则全部验证 |
异常场景覆盖率 |
通过 |
接口异常场景全部覆盖 |
接口覆盖率 |
通过 |
接口覆盖率达到100% |
代码覆盖率 |
通过 |
代码覆盖率不低于80% |
缺陷修复率 |
通过 |
不存在严重错误和主要错误 |
功能测试通过标准
验证指标 |
是否通过 |
通过标准 |
需求实现 |
通过 |
本版本所有需求都已经实现 |
测试用例执行通过率 |
通过 |
功能测试用例通过率达到100% |
缺陷修复率 |
通过 |
严重错误和主要错误的缺陷修复率必须达到100%,不允许存在功能性的错误;次要错误和一般错误的缺陷修复率必须达到85%以上,允许存在少量功能缺陷,后面版本解决;对于较小错误的缺陷修复率最好达到60%~70%以上。对于测试建议的问题,可以暂时不用修改 |
测试用例覆盖率 |
通过 |
测试用例执行覆盖率应达到100% |
上期遗留问题的修复 |
通过 |
上期遗留问题都已经解决 |
缺陷收敛趋势 |
通过 |
缺陷呈收敛趋势 |
验收测试 |
通过 |
已通过视觉走查验收 |
已通过产品需求验收 |
||
SQL审查 |
通过 |
注:
软件缺陷在测试生命周期中我们分成几个严重等级,它们分别是:严重错误、主要错误、次要错误、一般错误、较小错误和测试建议6种。
jira上bug级别和上面的缺陷级别对比:
1级:严重(严重错误)
2级:紧急(主要错误)
3级:重要(次要错误)
4级:次要(一般错误)
5级:微小(较小错误)
6级:Feature(测试建议)
稳定性
验证指标 |
是否通过 |
通过标准 |
执行自动化UI测试用例 |
||
崩溃 |
通过 |
无新增的未知的Crash发生 能够修复crash均已修复 |
线上灰度版本 |
||
崩溃率 |
通过 |
ios:0.3%-0.8% andriod:0.1%-0.5% |
与上一版本数据对比 |
||
崩溃率 |
通过 |
不比上一个版本的崩溃率高 |
(崩溃率从客户端统计工具中获得)
性能
验证指标 |
是否通过 |
通过标准 |
接口性能指标 |
通过 |
满足要求 |
页面加载性能 |
通过 |
Wifi页面加载速度与上一版本相比没有下降; 3G4G页面加载速度与上一版本相比没有下降; |
冷启动时间 |
通过 |
冷启动时间与上一版相比没有增加 |
卡顿 |
通过 |
高端机没有非常卡的情况; 高中低端机均没有较线上版明显的卡顿情况 |
注:
接口性能指标
响应时间指标(Response Time)
响应时间 |
<200ms |
200-500ms |
500ms-1s |
1s-2s |
好 |
一般 |
差 |
很差 |
资源性能指标
性能项 |
命令 |
资源 |
评价 |
CPU占用率 |
vmstat %user+%sys |
70% |
好 |
85% |
坏 |
||
90% |
很差 |
||
内存 |
vmstat |
测试时发现内存有变化情况也要注意,如果是内存泄露则比较严重 |
|
络 |
<30%带宽 |
好 |
|
磁盘I/O |
iostat %iowait |
<30% |
好 |
<40% |
坏 |
||
<50%+ |
很差 |
需求提测清单
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!