性能测试常见分类
我们知道,软件总是运行在一定的环境下 ,这种环境包括支撑软件运行的软硬件环境和影响软件运行的外部条件。为了让客户使用软件系统感到满意,必须确保系统运行良好,达到高安全、高可靠和高性能。
其中,系统是否具有高性能的运行特征,不仅取决于系统本身的设计和程序算法,而且取决于系统的运行环境(硬件环境)。一般系统的运行环境会受以下因素影响:
从上面可以看出,使系统的性能达到一个最好的状态,不仅通过对处在特定环境下的系统进行测试以完成相关的验证,而且往往要根据测试的结果,对系统的设计、代码和配置等进行调整,提高系统的性能。 许多时候,系统性能的改善是测试调整、再测试再调整、一个持续改进的过程,这就是我们经常说的性能调优。
在了解了这样一个背景之后 ,就比较容易理解性能测试中常见的分类。从测试的目的出发、从用户的需求出发,就比较容易区分性能测试、负载测试、稳定性测试、压力测试。
性能测试、负载测试、稳定性测试、压力测试的测试目的不同,但其手段和方法在一定程度上比较相似,通常会使用相同的测试环境和测试工具,而且都会监控系统所占用资源的情况以及其它相应的性能指标,这也是造成我们容易产生概念混淆的主要原因。
性能测试类型
广义上,性能测试指的是以下几种性能测试类型:
一般系统的性能指标
我们取其中某几个性能指标,举一个例子。我们先假设一个场景:XX查询系统,其中一项产品规格(性能指标)为300用户并发查询,页面首屏结果请求响应时间不超过3秒。
图中 A、B、C、D四点表示:
性能测试(狭义)
测试A点的系统性能。
性能测试是为了获得系统在某种特定的条件下(包括特定的负载条件下)的性能指标数据,实现对系统某项性能指标进行定量、对比测试,主要目的是检验系统性能与相关性能标准的符合程度。
负载测试
测试 A点以上到C点系统性能。
负载测试的目标是测试在一定负载情况下系统性能(不关注稳定性,也就是说不关注长时间运行),实际中我们常从比较小的负载开始,逐渐增加模拟用户的数量(增加负载), 观察不同负载下应用程序响应时间、数据吞吐量、系统资源使用率(如CPU、内存)等,直到到系统的某项或多项性能指标达到安全临界值(如,系统内存已饱和),以发现系统可能存在的性能瓶预、内存泄漏、FGC、不能实时同步等问题(不关注稳定性,也就是说不关注长时间运行。它是测试系统的不同负载情况下的性能指标。)
稳定性测试
测试 A点以上 到 B 点之间
稳定性测试是一般在低于性能值的前提下进行测试的,一般稳定性测试时间持续为 n*24 小时。测试时,我们需要结合用户实际情况控制测试中的负载量 ,使测试结果更具准确性和可靠性。
压力测试
测试B 点到D 点之间系统性能。
一种破坏性测试,尝试探测应用或者基础设施的极限能力。压力测试是在高于性能指标负载的前提下(超负载)对系统持续施加压力进行测试的,查看应用系统在峰值使用情况下操作行为,从而有效地发现系统的某项功能隐惠、系统是否具有良好的容错能力和可恢复能力。压力测试能发现仅在高负载条件下出现的同步问题、竞争条件、内存泄漏等。通过压力测试我们还可以确定应用服务在什么条件下会变得不可用。
压力测试分为高负载下的长时间(如24小时以上)的稳定性压力测试 和 极限负载情况下导致系统崩溃的破坏性压力测试。
压力测试的几点注意:
另外,性能测试的需要注意以下几点:
性能测试场景的设计
在了解了相关背景之后,我们来了解一下性能测试场景的设计。性能场景的设计主要包括以下三个步骤:
业务场景建模
首先明确压测场景范围。一般情况下我们需要关注的以下性能场景:
通常通过需求优先级来确认核心的业务场景,通过对用户使用日志分析获取高频的业务场景,通过历史问题明确高耗或者出现过问题的业务场景,这些业务场景是我们需要重点关注的。
然后,分析业务场景的操作轨迹。业务场景的操作轨迹可以用户日志分析和埋点,分析用户使用习惯和用户操作轨迹,进而得出业务场景的操作轨迹,同时获取不用场景的用户负载。对于新上线的应用,一般通过用户需求和虚拟用户(测试人员模拟)使用情况来确认业务场景的操作轨迹。
关于业务场景的操作轨迹还需要考虑思考时间、集合点、施压模式。
关于思考时间的设置,思考时间模拟的是用户在等待响应、浏览页面、提交表单等延迟操作的场景。正是因为不用用户的阅读速度、输入速度都存在较大的差异,也就决定了每个用户的思考时间不一样。性能思考时间常见的的设置思路如下:
一般,我们可以通过以下方式两个途径获取思考时间设置依据:
关于集合点,集合点模拟的是指定用户在同一时刻一起做同样的操作(如,双十一零点支付订单),一般集合点通过达到指定 时间或 数量的形式触发。
关于性能测试的 施压模式,常见的施压模式有以下两种, 并发模式与 RPS 模式:
测试数据准备
高质量的测试数据应当能真实的反映用户的使用场景。我们一般会引流线上真实数据,经过采用、过滤、脱敏作为性能测试的测试数据。低质量的测试数据也许能够测试出一些问题,但是更大的可能性是无效的测试结果。
同时需要注意,测试数据不仅数据的分布、数据的质量要模拟真实数据,数据量级也需要尽可能的真实情况,至少不能像功能测试那样,仅使用少量的数据进行测试。
确认监控指标
在性能测试执行过程中,往往需要实时观察各项指标是否正常,包括客户端指标、应用服务器、数据库、中间件、 络入口等各方面的指标。我们通常需要关注的监控指标包括:
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!