软件测试性能测试与测试分类与名词解释

性能测试

测试分类

测试方法：白盒测试、黑盒测试、探索性测试

程序运行状态：静态测试、动态测试

软件阶段：单元测试、集成测试、系统测试、验收测试、回归测试、Alpha测试、Beta测试

服务类型：手机端测试、PC端测试

服务类型：B/S、C/S

测试内容：功能测试、负载测试、压力测试、性能测试、大数据测试、易用性测试、安装测试、恢复测试、安全性测试、兼容性测试、内存泄露测试、竞品测试、可靠性测试、文档测试

技能要求：

测试工具：Jmeter、LoadRunner

测试基础：性能测试理论、自动化测试理论、测试开发

服务器性能诊断：CPU、磁盘、内存、 络

优化技能：代码、架构、中间件、操作系统、数据库：SQL、配置、设计

协议：HTTP/HTTPS、WebSocket/Socket、WebService、其他RPC实现

自动化：接口自动化、Web自动化、移动App自动化

持续集成：Jenkins、Maven/Ant、Git/SVN

此外，可以通过编写程序来实现测试脚本。

相关术语

1. 负载：模拟业务操作对服务器造成压力的过程，比如模拟100个用户进行发帖。
2. 性能测试（Performance Testing）：模拟用户负载来测试系统在负载情况下，系统的响应时间、吞吐量等指标是否满足性能要求。
3. 负载测试（Load Testing）：在一定软硬件环境下，通过不断加大负载（不同虚拟用户数）来确定在满足性能指标情况下能够承受的最大用户数。简单说，可以帮我们对系统进行定容定量，找出系统性能的拐点，给予生产环境规划建议。这里的性能指标包括TPS（每秒事务数）、RT（事务平均响应时间）、 CPU Using（CPU利用率）、 Mem Using（内存使用情况）等软硬件指标。从操作层面上来说，负载测试也是一种性能测试手段，比如下面的配置测试就需要变换不同的负载来进行测试。
4. 配置测试（Configuration Testing）：为了合理地调配资源，提高系统运行效率，通过测试手段来获取、验证，调整配置信息的过程。通过这个过程我们可以收集到不同配置反映出来的不同性能，从而为设备选择、设备配置提供参考。
5. 压力/强度测试（Stress Testing）：在一定软硬件环境下，通过高负载的手段来使服务器资源（强调服务器资源，硬件资源）处于极限状态，测试系统在极限状态下长时间运行是否稳定，确定是否稳定的指示包括TPS、RT、 CPU Using、 Mem Using等。
6. 稳定性测试（Endurance Testing）：在一定软硬件环境下，长时间运行一定负载，确定系统在满足性能指标的前提下是否运行稳定。与上面的压力/强度测试区别在于负载并不强调是在极限状态下（很多测试人员会持保守观念，在测试时会验证极限状态下的稳定性），着重的是满足性能要求的情况下，系统的稳定性、比如响应时间是否稳定、TPS是否稳定。一般我们会在满足性能要求的负载情况下加大1.5到2倍的负载量进行测试。
7. TPS：每秒完成的事务数，通常指每秒成功的事务数，性能测试中重要的综合性性能指标。一个事务是一个业务度量单位，有时个事务会包括多个子操作，但为了方便统计，我们会把这多个子操作计为一个事务。比如一笔电子支付操作，在后台系统中可能会经历会员系统、账务系统、支付系统、会计系统、银行 关等，但对于用户来说只想知道整笔支付花费了多长时间，
8. RT/ART（Response Time/average Response Time）：响应时间/平均响应时间，指一个事务花费多长时间完成（多长时间响应客户请求），为了使这个响应时间更具代表性，会统计更多的响应时间然后取平均值，即得到了事务平均响应时间（ART），为了方便大家通常会直接用RT来代替ART，ART与RT是代表同一个意思。
9. PV（Page View）：每秒用户访问页面的次数，此参数用来分析平均每秒有多少用户访问页面
10. Vuser虚拟用户（Virtual user）：模拟真实业务逻辑步骤的虚拟用户，虚拟用户模拟的操作步骤都被记录在虚拟用户脚本里。 Vuser脚本用于描述Vuser在场景中执行的操作。
11. Concurrency并发，并发分为狭义和广义两类。狭义的并发，即所有的用户在同一时刻做同一件事情或操作，这种操作一般针对同一类型的业务，或者所有用户进行完全一样的操作，目的是测试数据库和程序对并发操作的处理。广义的并发，即多个用户对系统发出了请求或者进行了操作，但是这些请求或操作可以是不同的。对整个系统而言，仍然有很多用户同时进行操作，狭义并发强调对系统的请求操作是完全相同的，多适用于性能测试、负载测试、压力测试、稳定性测试场景；广义并发不限制对系统的请求操作，多适用于混合场景、稳足性测试场景。
12. 场景（Scenario）：性能测试过程中为了模拟真实用户的业务处理过程，在Loadrunner中构建的基于事务、脚本、虚拟用户、运行设置、运行计划、监控、分析等的一系列动作的集合，称之为性能测试场景。场景中包含了待执行脚本、脚本组、并发用户数、负载生成器、测试目标、测试执行时的配置条件等。
13. 思考时间（Think Time）：模拟正式用户在实际操作时的停顿间隔时间。从业务的角度来讲，思考时间指的是用户在进行操作时，每个请求之间的间隔时间。在测试脚本中，思考时间体现为脚本中两个请求语句之间的间隔时间。
14. 标准差（Std. Deviation）：该标准差根据数理统计的概念得来，标准差越小，说明波动越小，系统越稳定，反之，标准差越大，说明波动越大，系统越不稳定。包括响应时间标准差、TPS标准差、 Running Vuser标准差、Load标准差、CPU资源利用率标准差、Web Resources标准差等，举例响应时间标准差。