一、压力测试、负载测试和并发测试有什么区别
主要区别是,性质不同、目的不同、特点不同,具体如下:
压力测试是在强负载(大数据量、大量并发用户等)下的测试,查看应用系统在峰值使用情况下操作行为,从而有效地发现系统的某项功能隐患、系统是否具有良好的容错能力和可恢复能力。压力测试分为高负载下的长时间(如24小时以上)的稳定性压力测试和极限负载情况下导致系统崩溃的破坏性压力测试。压力测试可以被看作是负载测试的一种,即高负载下的负载测试,或者说压力测试采用负载测试技术。
负载测试是模拟实际软件系统所承受的负载条件的系统负荷,通过不断加载(如逐渐增加模拟用户的数量)或其它加载方式来观察不同负载下系统的响应时间和数据吞吐量、系统占用的资源(如CPU、内存)等,以检验系统的行为和特性,以发现系统可能存在的性能瓶颈、内存泄漏、不能实时同步等问题。负载测试更多地体现了一种方法或一种技术。
指当测试多用户并发访问同一个应用、模块、数据时是否产生隐藏的并发问题,如内存泄漏、线程锁、资源争用问题,几乎所有的性能测试都会涉及并发测试。
目的是在软件投入使用以前或软件负载达到极限以前,通过执行可重复的负载测试,了解系统可靠性、性能瓶颈等,以提高软件系统的可靠性、稳定性,减少系统的宕机时间和因此带来的损失。
负载测试的目标是确定并确保系统在超出最大预期工作量的情况下仍能正常运行。此外,负载测试还要评估性能特征。例如,响应时间、事务处理速率和其他与时间相关的方面。
测试目的并非为了获得性能指标,而是为了发现并发引起的问题。
压力测试通常是在高负载情况下来对系统的稳定性进行测试,更有效地发现系统稳定性的隐患和系统在负载峰值的条件下功能隐患等。
负载测试是通过改变系统负载方式、增加负载等来发现系统中所存在的性能问题。
在具体的性能测试工作中,并发用户往往都是借助工具来模拟的,例如LoadRunner性能测试工具中叫做虚拟用户,因为实际情况中去实现同时多人并发的测试环境要求比较高而测试成本高、测试时间也是比较长。
参考资料来源:百度百科-压力测试
参考资料来源:百度百科-负载测试
参考资料来源:百度百科-并发测试
二、apache并发测试工具ab为什么测不准
我们常常使用apache下的并发测试工具ab进行动态或静态页面URL的并发测试,以此作为服务器性能、配置以及系统架构是否合乎要求的一个衡量标准。但是有一个问题,就是ab的表现并不稳定,在不同的机器上用ab对同一个服务器上的URL资源做测试常常出现截然不同的数据。就算在同一台机器上用ab做测试,测试10组数据,也会有几组的数据存在较大的差异,以下是我曾做过的几组试验,先介绍下试验步骤及环境。
1、首先准备一台机器作为web服务器,硬件配置为硬件配置为Intel(R) Celeron(R) CPU G530@ 2.40GHz 32位内存4G双核,系统版本CentOS release 5.5,web服务器版本Apache/2.2.14。
2、web服务器采用apache,采用worker模式,具体配置为:
默认开启5个进程,每个进程下2个线程,最大开75个线程(此参数关系到实际系统开启的进程数,如果开启进程设置过多,以最大线程数为准),最大连接数为500。
3、apache以调用php模块的方式执行php脚本(非fast-cgi模式)。
4、首先在两台不同的机器上对此服务器用ab进行压测,将两台不同的机器编号为A与B,A为一台笔记本,性能较差,2G内存,且上面运行了一些程序占用了一定比率的CPU及内存。B为一台台式机,硬件配置为CPU Intel G530 2.4GHz内存 4GB,下面是测试数据:
50个并发,执行50次页面(每个连接执行一次页面,页面为phpinfo页面)
平均执行时间在17~18秒简直不能忍
平均执行时间在0.2秒左右毫无压力(3次平均)
平均执行时间在0.4秒左右(3次平均)
平均执行时间在0.8秒左右(3次平均)
用A机器进行的测试结果,并发量连50都达不到,但用B机器测试WEB服务器可以胜任200个并发处理。为什么会出现如此截然不同的数据差别,还是要从原理上来分析。
ab是客户端模拟多线程来通过socket对服务器发起TCP请求,并等待服务器处理执行页面输出页面结果并返回到客户端以此来计算页面的执行时间等相关数据。那么客户端CPU处理多线程的能力,测试时客户机的CPU状态、内存状态都会对测试结果造成影响,如果客户机同时处理这么多请求的能力很弱,那么需要很长时间才能将请求发送到服务器,服务器处理完后也需要很长时间对返回数据做处理,这样就达不到测试服务器性能的要求了。因为时间都被客户机耗去了。所以我们在测试的时候首先要选择好测试机,尽量选择性能较好的机器测试。因为得出的结论是天差地别的。
5、接下来我们单独用B机器进行测试,进行高强度的测试,连续测试20组数据,以200个并发、执行200次页面为测试条件,测试页面还是phpinfo页面,以下是测试数据:
每秒请求数:237每个请求执行时间:843
每秒请求数:237每个请求执行时间:843
每秒请求数:237每个请求执行时间:843
每秒请求数:237每个请求执行时间:843
每秒请求数:237每个请求执行时间:843
每秒请求数:237每个请求执行时间:843
每秒请求数:237每个请求执行时间:843
每秒请求数:237每个请求执行时间:843
每秒请求数:237每个请求执行时间:843
每秒请求数:237每个请求执行时间:843
每秒请求数:237每个请求执行时间:843
每秒请求数:237每个请求执行时间:843
每秒请求数:237每个请求执行时间:843
每秒请求数:237每个请求执行时间:843
每秒请求数:237每个请求执行时间:843
每秒请求数:237每个请求执行时间:843
每秒请求数:237每个请求执行时间:843
每秒请求数:237每个请求执行时间:843
每秒请求数:237每个请求执行时间:843
测试结果非常稳定,没有大差异的结果。那么用300个并发、执行300次页面为测试条件结果会是怎样呢,以下是测试数据:
每秒请求数:79每个请求执行时间:3765
每秒请求数:80每个请求执行时间:3718
每秒请求数:81每个请求执行时间:3671
每秒请求数:80每个请求执行时间:3750
每秒请求数:79每个请求执行时间:3796
每秒请求数:81每个请求执行时间:3687
每秒请求数:79每个请求执行时间:3765
每秒请求数:82每个请求执行时间:3656
每秒请求数: 81每个请求执行时间:3703
每秒请求数: 82每个请求执行时间:3640
在高并发下的执行结果也比较稳定。
6、接下来我们在web服务器上进行测试,看测试结果是怎样的,测试10组数据以200个并发、执行200次页面为测试条件,测试页面为phpinfo页面,以下是测试数据:
每秒请求数:1716每个请求执行时间:116
每秒请求数:1764每个请求执行时间:113
每秒请求数:1706每个请求执行时间:117
每秒请求数:1643每个请求执行时间:114
每秒请求数:1767每个请求执行时间:113
每秒请求数:1732每个请求执行时间:115
每秒请求数:727每个请求执行时间:274
每秒请求数:249每个请求执行时间:801
每秒请求数:1728每个请求执行时间:115
每秒请求数:113每个请求执行时间: 1765
以上结果,比在B机器上表现的更好,但存在几个不稳定的数据。分析一下,一方面是网络传输速度的原因导致(本机上网络传输速度更快,所以成绩较好)。另一方面是由于ab本身在执行的时候消耗的cpu的性能,但这个我的观点是影响可以忽略不计。还有一方面导致数据不稳定的因素可能是由于TCP连接在上一次测试时为完全释放导致的原因。
综上所述,对于测试web服务器的性能,我们最好可以找一台独立的、性能较好的、并且上面没有运行很多应用程序的机器进行测试,这样的结果会更接近生产环境的实际结果。实际的php页面执行复杂度可能是phpinfo的好几倍,所以在选定测试页面时,可以预先做一些复杂度更高的php页面进行测试,这样测试的准确度会更高。
三、性能测试的工具
1、 HPLoadRunner是一种预测系统行为和性能的负载测试工具。通过以模拟上千万用户实施并发负载及实时性能监测的方式来确认和查找问题,LoadRunner能够对整个企业架构进行测试。通过使用LoadRunner,企业能最大限度地缩短测试时间,优化性能和加速应用系统的发布周期。
2、企业的网络应用环境都必须支持大量用户,网络体系架构中含各类应用环境且由不同供应商提供软件和硬件产品。难以预知的用户负载和愈来愈复杂的应用环境使公司时时担心会发生用户响应速度过慢,系统崩溃等问题。这些都不可避免地导致公司收益的损失。LoadRunner能让企业保护自己的收入来源,无需购置额外硬件而最大限度地利用现有的IT资源,并确保终端用户在应用系统的各个环节中对其测试应用的质量,可靠性和可扩展性都有良好的评价。使用LoadRunner的Virtual User Generator,您能很简便地创立起系统负载。该引擎能够生成虚拟用户,以虚拟用户的方式模拟真实用户的业务操作行为。它先记录下业务流程(如下订单或机票预定),然后将其转化为测试脚本。利用虚拟用户,您可以在Windows,UNIX或Linux机器上同时产生成千上万个用户访问。所以LoadRunner能极大的减少负载测试所需的硬件和人力资源。另外,LoadRunner的TurboLoad专利技术能。
3、提供很高的适应性。TurboLoad使您可以产生每天几十万名在线用户和数以百万计的点击数的负载。
4、用Virtual User Generator建立测试脚本后,您可以对其进行参数化操作,这一操作能让您利用几套不同的实际发生数据来测试您的应用程序,从而反映出本系统的负载能力。以一个订单输入过程为例,参数化操作可将记录中的固定数据,如订单号和客户名称,由可变值来代替。在这些变量内随意输入可能的订单号和客户名,来匹配多个实际用户的操作行为。
5、LoadRunner通过它的Data Wizard来自动实现其测试数据的参数化。Data Wizard直接连于数据库服务器,从中您可以获取所需的数据(如定单号和用户名)并直接将其输入到测试脚本。这样避免了人工处理数据的需要,Data Wizard为您节省了大量的时间。
6、为了进一步确定您的Virtual user能够模拟真实用户,您可利用LoadRunner控制某些行为特性。例如,只需要点击一下鼠标,您就能轻易控制交易的数量,交易频率,用户的思考时间和连接速度等。 Virtual users建立起后,您需要设定您的负载方案,业务流程组合和虚拟用户数量。用LoadRunner的Controller,您能很快组织起多用户的测试方案。Controller的Rendezvous功能提供一个互动的环境,在其中您既能建立起持续且循环的负载,又能管理和驱动负载测试方案。
7、而且,您可以利用它的日程计划服务来定义用户在什么时候访问系统以产生负载。这样,您就能将测试过程自动化。同样您还可以用Controller来限定您的负载方案,在这个方案中所有的用户同时执行一个动作---如登陆到一个库存应用程序——---来模拟峰值负载的情况。另外,您还能监测系统架构中各个组件的性能——---包括服务器,数据库,网络设备等——---来帮助客户决定系统的配置。
8、LoadRunner通过它的AutoLoad技术,为您提供更多的测试灵活性。使用AutoLoad,您可以根据用户人数事先设定测试目标,优化测试流程。例如,您的目标可以是确定您的应用系统承受的每秒点击数或每秒的交易量。 LoadRunner还能支持Media Stream应用。为了保证终端用户得到良好的操作体验和高质量Media Stream,您需要检测您的Media Stream应用程序。使用LoadRunner,您可以记录和重放任何流行的多媒体数据流格式来诊断系统的性能问题,查找原由,分析数据的质量。
9、LoadRunner支持广泛的协议,可以测试各种IT基础架构。 PerformanceRunner(简称PR)是性能测试软件,通过模拟高并发的客户端,通过协议和报文产生并发压力给服务器,测试整个系统的负载和压力承受能力,实现压力测试、性能测试、配置测试、峰值测试等。
10、PR通过兼听应用程序的协议和端口,录制应用程序的协议和报文,创建测试脚本。PR采用java作为标准测试脚本,支持参数化、检查点等功能。
11、对于应用程序,特别是B/S架构程序中的session,通过“关联”来实现。用户只需要点击“关联”的按钮,PR会自动扫描测试脚本,设置关联,实现有session的测试。
12、PR支持集合点,通过函数可以设置集合点。设置集合点能够保证在一个时间点上的并发压力达到预期的指标,使性能并发更真实可信。
13、性能脚本创建之后,通过创建项目,设置压力模型,就可以产生压力。PR能够在单台机器上产生多达5000个并发的压力。
14、通过设置多项目脚本的压力曲线,可以实现应用场景测试。
15、在启动性能测试之后,系统会按照设定的场景产生压力。在执行过程中,需要观察脚本执行的情况,被测试系统的性能指标情况。PR通过执行监控来查看这些信息。
16、一次性能测试执行完成,会创建各种性能分析报表,包括cpu相关、吞吐率、并发数等。
17、系统要求:windows(32位/64位) 2000/xp/vista/2003/7/2008
如果你还想了解更多这方面的信息,记得收藏关注本站。