pytest测试框架flaky插件重试失败用例

2024-06-24 04:12

本文主要是介绍pytest测试框架flaky插件重试失败用例,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Pytest提供了丰富的插件来扩展其功能,本章介绍下插件flaky ,用于在测试用例失败时自动重新运行这些测试用例。与前面文章介绍的插件pytest-rerunfailures功能有些类似,但是功能上不如pytest-rerunfailures插件丰富。

flaky官方并没有明确python和pytest版本限制。

flaky安装

使用pip命令安装: pip install flaky (安装在pytest工程所运行的python环境,python的安装目录或者虚拟环境目录,可以参考之前文章查看运行环境pycharm配置pytest运行环境)

通过pycharm安装:打开设置,按照如下图中安装插件(windows系统)

flaky运行

使用前先导入flaky

from flaky import flaky

然后使用 @flaky装饰测试用例或者测试类,在用例执行命令中无需增加额外参数。

@flaky装饰时支持3个参数,代码如下

3个参数:max_runs 和 min_passes和rerun_filter

  • max_runs:测试的最大运行次数,包括初始运行和任何重新运行。默认值为2,并且要大于min_passes,否则报错。
  • min_passes:默认值为1。表示需要指定次数来明确需要连续成功运行多少次才能被视为成功
  • rerun_filter:表示指定一个过滤函数,当函数返回值为布尔值False时,会让预期失败的测试立即失败,而不是在失败后重新运行;当函数布尔值为True时,失败用例会重新执行。

举例:如果传值 max_runs=3, min_passes=2,如果失败用例运行了 3次但min_passes不到2 次,即视为执行失败。

在测试用例上标记@flaky

举例:设置用例1断言失败,并带上参数max_runs=3,min_passes=2

@flaky(max_runs=3,min_passes=2)
def test_1():assert 1 != 1print('\n用例test_1执行成功')time.sleep(1)

该用例执行后预期结果还是失败,因为会一直断言失败

执行参数类似如下:pytest.exe -v --html=report/report.html test_case.py

运行结果显示需要成功2次,却一次也没有成功,用例还是失败状态

html测试报告如下: 并没有显示重试次数,应该是不能跟pytest-html一起配合使用

我们将上述用例改造下:

num = 0
@flaky(max_runs=3,min_passes=2)
def test_1():global numfor i in range(1,4):num += 1assert num >= 2print('\n用例test_1执行成功')

然后再重新执行测试用例,此时预期重试以后执行成功

测试报告显示用例1已经执行成功

举例:设置用例1断言失败,用例2预期报ZeroDivisionError,带上参数rerun_filter

num = 0
@flaky(max_runs=3,min_passes=2)
def test_1():global numfor i in range(1,4):num += 1assert num >= 2print('\n用例test_1执行成功')def is_callable(err, name, test, plugin):return False@flaky(max_runs=3,rerun_filter=is_callable)
def test_2():value = 1/0print('\n用例test_1执行成功')time.sleep(1)

预期结果是用例1会被重新执行,而用例2因为is_callable函数返回False不会被重新执行

实际执行结果如下:用例2打印test_2 failed and was not selected for rerun.并没有被执行

pytest.exe -v --html=report/report.html test_case.py

在测试类上标记@flaky

除了将单个测试标记外,还可以标记测试类,这样测试类中的多个函数都可以失败时重试。

举例:设置用例2和用例3断言失败,在测试类中标记@flaky,不带参数

预期结果是用例2和3会被重新执行默认的2次。

实际执行结果如下:显示用例2和用例2被重新执行2次。

pytest.exe -v --html=report/report.html test_case.py

在类上标记@flaky,并不会覆盖测试用例标记@flaky的配置参数值。

举例:如果此时在上面的测试用例3中也标记@flaky,并且定义要重试3次。

结果如下:用例2还是默认执行2次,而用例3执行了3次。

使用-p no:flaky禁用flaky插件功能

举例:在上面的配置了@flaky的前提下,执行参数增加-p no:flaky

pytest.exe -v -p no:flaky --html=report/report.html test_case.py

执行后,失败用例并没有重试。

通过--force-flaky强制执行失败用例

执行命令中增加--force-flaky参数表示强制执行失败用例,并配合传递--max-runs=MAX_RUNS和--min-passes=MIN_PASSES中的1个或者2个参数来控制flaky 的行为。并且不会影响在单个测试用例上配置的flaky装饰器。

举例:只在用例3标记重试3次

添加执行参数 --force-flaky --max-runs=1

pytest.exe -v --force-flaky --max-runs=1 --html=report/report.html test_case.py

预期结果是用例2执行失败后被强制重试1次,而用例3因为自己有设置标记还是被重新执行3次

实际结果如下:与预期保持一致

执行命令增加--no-flaky-report

增加参数--no-flaky-report,当用例运行结束时不会打印失败被重新执行的一些详细的报告内容

举例:将用例稍加改造,用例执行时会写入txt文件。

执行参数:

pytest.exe -v --force-flaky --max-runs=1 --no-flaky-report test_case.py

执行结果如下:不再打印失败重试的信息

此时我们去D盘生成的txt中检查如下:实际上已经执行了用例失败后重试

执行命令增加--no-success-flaky-report来隐藏有关重试成功的结果信息

举例 测试用例1执行3次会成功,测试用例2执行3次还是会失败。

执行命令:

pytest.exe -v --no-success-flaky-report test_case.py

执行结果如下:用例1执行成功的信息没有打印

作为对比 ,去掉参数后--no-success-flaky-report

执行命令:pytest.exe -v test_case.py

执行结果如下:打印了用例1执行成功的信息

共勉: 东汉·班固《汉书·枚乘传》:“泰山之管穿石,单极之绠断干。水非石之钻,索非木之锯,渐靡使之然也。”

-----指水滴不断地滴,可以滴穿石头;

-----比喻坚持不懈,集细微的力量也能成就难能的功劳。

----感谢读者的阅读和学习,谢谢大家。

---祝愿大家都能够龙腾虎跃,步步高升!!!

这篇关于pytest测试框架flaky插件重试失败用例的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1089137

相关文章

Spring使用@Retryable实现自动重试机制

《Spring使用@Retryable实现自动重试机制》在微服务架构中,服务之间的调用可能会因为一些暂时性的错误而失败,例如网络波动、数据库连接超时或第三方服务不可用等,在本文中,我们将介绍如何在Sp... 目录引言1. 什么是 @Retryable?2. 如何在 Spring 中使用 @Retryable

如何测试计算机的内存是否存在问题? 判断电脑内存故障的多种方法

《如何测试计算机的内存是否存在问题?判断电脑内存故障的多种方法》内存是电脑中非常重要的组件之一,如果内存出现故障,可能会导致电脑出现各种问题,如蓝屏、死机、程序崩溃等,如何判断内存是否出现故障呢?下... 如果你的电脑是崩溃、冻结还是不稳定,那么它的内存可能有问题。要进行检查,你可以使用Windows 11

IDEA常用插件之代码扫描SonarLint详解

《IDEA常用插件之代码扫描SonarLint详解》SonarLint是一款用于代码扫描的插件,可以帮助查找隐藏的bug,下载并安装插件后,右键点击项目并选择“Analyze”、“Analyzewit... 目录SonajavascriptrLint 查找隐藏的bug下载安装插件扫描代码查看结果总结Sona

MyBatis框架实现一个简单的数据查询操作

《MyBatis框架实现一个简单的数据查询操作》本文介绍了MyBatis框架下进行数据查询操作的详细步骤,括创建实体类、编写SQL标签、配置Mapper、开启驼峰命名映射以及执行SQL语句等,感兴趣的... 基于在前面几章我们已经学习了对MyBATis进行环境配置,并利用SqlSessionFactory核

性能测试介绍

性能测试是一种测试方法,旨在评估系统、应用程序或组件在现实场景中的性能表现和可靠性。它通常用于衡量系统在不同负载条件下的响应时间、吞吐量、资源利用率、稳定性和可扩展性等关键指标。 为什么要进行性能测试 通过性能测试,可以确定系统是否能够满足预期的性能要求,找出性能瓶颈和潜在的问题,并进行优化和调整。 发现性能瓶颈:性能测试可以帮助发现系统的性能瓶颈,即系统在高负载或高并发情况下可能出现的问题

字节面试 | 如何测试RocketMQ、RocketMQ?

字节面试:RocketMQ是怎么测试的呢? 答: 首先保证消息的消费正确、设计逆向用例,在验证消息内容为空等情况时的消费正确性; 推送大批量MQ,通过Admin控制台查看MQ消费的情况,是否出现消费假死、TPS是否正常等等问题。(上述都是临场发挥,但是RocketMQ真正的测试点,还真的需要探讨) 01 先了解RocketMQ 作为测试也是要简单了解RocketMQ。简单来说,就是一个分

【测试】输入正确用户名和密码,点击登录没有响应的可能性原因

目录 一、前端问题 1. 界面交互问题 2. 输入数据校验问题 二、网络问题 1. 网络连接中断 2. 代理设置问题 三、后端问题 1. 服务器故障 2. 数据库问题 3. 权限问题: 四、其他问题 1. 缓存问题 2. 第三方服务问题 3. 配置问题 一、前端问题 1. 界面交互问题 登录按钮的点击事件未正确绑定,导致点击后无法触发登录操作。 页面可能存在

业务中14个需要进行A/B测试的时刻[信息图]

在本指南中,我们将全面了解有关 A/B测试 的所有内容。 我们将介绍不同类型的A/B测试,如何有效地规划和启动测试,如何评估测试是否成功,您应该关注哪些指标,多年来我们发现的常见错误等等。 什么是A/B测试? A/B测试(有时称为“分割测试”)是一种实验类型,其中您创建两种或多种内容变体——如登录页面、电子邮件或广告——并将它们显示给不同的受众群体,以查看哪一种效果最好。 本质上,A/B测

cross-plateform 跨平台应用程序-03-如果只选择一个框架,应该选择哪一个?

跨平台系列 cross-plateform 跨平台应用程序-01-概览 cross-plateform 跨平台应用程序-02-有哪些主流技术栈? cross-plateform 跨平台应用程序-03-如果只选择一个框架,应该选择哪一个? cross-plateform 跨平台应用程序-04-React Native 介绍 cross-plateform 跨平台应用程序-05-Flutte

Spring框架5 - 容器的扩展功能 (ApplicationContext)

private static ApplicationContext applicationContext;static {applicationContext = new ClassPathXmlApplicationContext("bean.xml");} BeanFactory的功能扩展类ApplicationContext进行深度的分析。ApplicationConext与 BeanF