测试自动化的5个非常有用的kpi

测试自动化为软件测试带来了速度、效率、可靠性和可复制性——这在当今的敏捷环境中是不可避免的。我们经常讨论测试自动化,但是很少有技术允许我们得到一个完全公正的意见。

这对于软件测试是至关重要的,在软件测试中,自动化的有效性一直是争论不休的。关键性能指标(kpi)在度量团队自动化测试工作的有效性和准确性方面扮演着至关重要的角色。KPI可以帮助您改进自动化测试过程并跟踪其状态。此外,通过沟通kpi,您的执行团队将更清楚地了解测试自动化能够实现什么。

您可以使用许多不同的kpi。你不需要把它们都用上;相反,选择那些与你的商业目标最一致的。我们选择了5个kpi,我们发现它们非常普遍,适用于许多行业和项目。


在你的kpi中使用S.M.A.R.T—在创建kpi时遵循这些准则

1.可自动化测试用例的百分比(自动化索引)

不是所有的事情都可以自动化,也不需要自动化。任何组织的测试策略的一个核心标志是为将提供最大ROI的测试用例优先化自动化。“可自动化测试用例的百分比”KPI对于可能不知道如何度量成功的测试自动化新手团队有很大的帮助。它还有助于向外部的涉众建立团队的优先级,以自动化将被自动化的高价值领域,以及哪些领域仍然需要手动和探索性测试。

一旦你知道你能在多大程度上自动化,只有这样你才能衡量你的成功。该KPI可用于分析产品中各种组件的自动化百分比,然后设置自动化目标。

可自动化百分比(%)=(可自动化测试用例的# /测试用例的#)* 100

2.自动化的进展

该KPI使您能够跟踪实现自动化目标的进度。如果您的目标是自动化100%的“可自动化的”测试用例,那么这个KPI对于跟踪您的进度是非常有用的。这有助于建立“在sprint中进行自动化”的节奏。

自动化进度=实际自动化测试用例的数量/可自动化测试用例的数量。

3.测试自动化覆盖级别

该KPI捕获所有类型的自动化覆盖了多少代码库。它可以帮助揭示软件中没有足够测试覆盖的部分。理想的自动化测试覆盖率应该基于您的优先级和风险分析。

拥有一个自动化的测试覆盖率KPI使您能够量化您的测试自动化工作。例如,您可以设置一个自动化目标,比如“自动化测试至少应该实现”80%的覆盖率”。

PTC (%) = ac / c
PTC =自动测试覆盖率的百分比
自动化覆盖
C =总覆盖率
全面覆盖意味着需求、单元/组件或代码覆盖

4.缺陷去除效率(DRE)

缺陷去除效率(DRE)提供了关于您在生产之前识别和消除缺陷的能力的见解。DRE是代码检查、单元测试、开发测试、探索性测试和测试自动化所捕获的错误的百分比。DRE本质上告诉您您的团队在捕捉问题方面有多有效。

DRE(%) =测试期间发现并解决的缺陷数量/测试期间发现的缺陷数量+发布后的缺陷数量

一个好的DRE目标大约是85%,一个优秀的分数是95%。

请注意-自动化测试通常没有很高的bug检测百分比。自动化测试是回归测试的最佳候选者,它可以确保新版本中的所有现有功能或预期的bug修复功能。因此,测试用例有效性和DRE kpi必须对自动化工作以及探索性和手动测试工作进行明智的跟踪。

5.等效手动测试工作(EMTE)

手动执行相同的自动化测试需要付出什么样的努力?等效的手动测试工作是一个简单的“时间节省”度量,它显示了运行自动化测试的好处,而不是手动执行这些测试所花费的时间。

如何计算EMTE?多萝西·格雷厄姆, 2010)

例如:
如果一个自动化测试(1.1)需要手动运行2小时,那么EMTE是2小时。
如果手动运行一个自动化测试(1.2)需要3.5小时,那么EMTE就是3.5小时
在一个sprint中,如果自动化测试(1.1)运行了两次,如果自动化测试(1.2)运行了三次,那么该sprint的EMTE是22小时+ 33.5小时= 4+10.5 = 14.5小时EMTE。
我们可以说自动化节省了14.5小时的手动测试工作。

总结

这些kpi代表了许多可能的指标中的一小部分测试自动化kpi.如果kpi与您的自动化战略一致,并指导您的战略决策制定,那么它们将非常有用。然而,不要急于达到积极的目标。当一个度量标准成为一个目标,它就不再是一个度量标准!在为您的测试自动化程序选择最有用的kpi的过程中,获得专家的帮助可以帮助您。如果您希望立即实现测试自动化,那么让LogiGear帮助您!在超过25年的时间里,我们的硅谷测试专家一直在帮助公司利用测试自动化的好处,以更快的时间进入市场,同时增加他们的竞争优势。

Prashant对冲基金
Prashant Hegde是一个充满激情的测试者。他出色地带领测试团队在许多组织中取得成功,并帮助他们改进应用程序质量过程。Prashant目前是MoEngage的QA团队负责人。MoEngage是手机互动市场的领导者,在亚洲、欧洲和美国都有业务。

Prashant是一名敏捷爱好者,他喜欢通过博客和参与世界各地的敏捷社区来分享他的经验。Prashant是一名认证的Scrum大师,并经常在行业会议上发表演讲。Prashant通过他的免费应用程序ISTQB测试导师帮助成千上万的ISTQB申请者通过认证。

留下一个回复

您的电子邮件地址将不会被公布。必需字段被标记