零样本异常分割SAA+

2023-10-10 22:05
文章标签 异常 分割 样本 saa

本文主要是介绍零样本异常分割SAA+,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 一、相关链接
  • 二、优点总结
  • 三、SAA vs SAA+
    • 3.1 SAA
    • 3.2 SAA+
  • 四、SAA+结构
  • 五、测试结果展示
  • 六、How to use

  最近在做缺陷检测,发现CVPR 2023的冠军方案,SAA+,该方案实现了 zero-shot零样本异常分割,感觉不错,细读论文,受益颇多,在此分享。图一是输入墙体裂缝图片和裂缝的描述得到的结果。
墙壁裂缝识别

图一

一、相关链接

论文名称:《2nd Place Winning Solution for the CVPR2023 Visual Anomaly and Novelty
Detection Challenge: Multimodal Prompting for Data-centric Anomaly Detection》
模型相关介绍
github
paper

二、优点总结

  • 零样本异常检测zero-shot anomaly segmentation,不用二次训练
  • 融合自然语言和图像本身的特点
  • 利用多模态先验知识进行异常定位
  • 基于专家领域知识和目标图像上下文,实现基础模型对异常分割的非参数自适应

三、SAA vs SAA+

  介绍SAA+模型前,先了解SAA+的前身SAA模型

3.1 SAA

SAA

图二 SAA
  • 输入
    • 图片:四个蜡烛(GT:左下角的蜡烛灯芯过长
    • Naive prompt:朴素提示,“Anomaly“
  • 处理流程
    • Anomaly Region Generator:异常区域生成器,即Grounding DINO模型,找到图片中与prompt相关的目标,实现目标检测功能,输出坐标、score
    • Anomaly Region Refiner:异常区域细化器,即SAM大模型,输入Generator生成的坐标框作为prompt,实现像素级别的图像分割功能
  • 输出
    • 输出为“Wick”,检测结果为四个灯芯异常,结果错误

3.2 SAA+

SAA+

图三 SAA+
  • 输入
    • 图片:四个蜡烛(GT:左下角的蜡烛灯芯过长
    • Multi Modal Prompting:多模态提示,使用了专家领域知识目标图片上下文信息
  • 处理流程
    • Anomaly Region Generator:异常区域生成器,即Grounding DINO模型,找到图片中与prompt相关的目标,实现目标检测功能
    • Anomaly Region Refiner:异常区域细化器,即SAM大模型,输入Generator生成的坐标框作为prompt,进行分割,实现像素级别的图像分割功能
  • 输出
    • 输出为“Overlong Wick”,检测结果为左下角的蜡烛灯芯过长,结果正确

四、SAA+结构

SAA+结构

图四 SAA+结构

  图四上半部分是SAA+总识别流程,下半部分(黄色)左边为专家领域知识,右边(蓝色)为图片上下文知识。
  专家领域知识包含两部分,分别用来对异常语言提示和异常属性的提示。

  • Language Prompt pL :语言提示,如“anomaly”、“defect”、“black hole”、“white bubble”
  • Property Prompt PP :属性提示,描述异常的面积、IOU等,例如The anomaly would not exceed 0.3 object area.”,模型只取0.3这个数值进行过滤,其他的prompt非数字信息不提取
  • 作者案例:在作者的蜡烛案例中,所用的prompt是:
    textual_prompts = ['color defect. hole. black defect. wick hole. spot. ', ‘candle’]
    property_text_prompts = 'the image of candle have 4 similar candle, with a maximum of 1 anomaly. The anomaly would not exceed 0.3 object area. ’
  • 我的测试prompt:在图一中我使用了墙壁裂缝的图片进行识别,所使用的prompt是:
    textual_prompts = ['color defect. crack. black defect. curve. ', ‘wall’]
    property_text_prompts = 'the image of wall have 1 similar wall, with a maximum of 1 anomaly. The anomaly would not exceed 0.3 object area. ’

  目标图片上下文信息,包含显著性提示(Sailency Prompt,即ps)和置信度提示(Confidence Prompt,即pc) 。

  • Sailency Prompt:它是从图片中学习,模仿人类直觉,能识别出异常区域和周围区域的差异,使用预训练卷积神经网络提取特征,计算每个特征点与相邻N个特征点的余弦相似度距离,获取显著图,显著图的计算公式如图五。
  • Anomaly Confidence as Prompt:由置信度排序取K个候选,计算anomaly map

在这里插入图片描述

图五 显著图计算方法

介绍完专家领域知识和图片上下文信息,总结下SAA+的识别流程:

  1. 输入原图Image和语言提示pL,经过生成器和细化器,得到一系列的mask图像和分数
  2. 由输入的属性提示PP,取到面积阈值、IOU阈值,对多个mask图进行过滤
  3. 输入原图,提取图像特征,计算特征点与周围的差异性,得到显著图Sailency Map
  4. 将mask的分数和Sailency Map进行计算,重新得到校准分数Refined scores
  5. 由分数排序,取前K个候选,得到最后的异常图

五、测试结果展示

在这里插入图片描述

图六 胶囊识别结果

input:输入的胶囊图片
output:Anomaly Score 是SAA+最终的输出结果,Saliency是SAA+中间学习图片上下文信息得到的显著图
Prompt:

textual_prompts = ['color defect. crack. black defect. curve. ', ‘wall’]
property_text_prompts = 'the image of wall have 1 similar wall, with a maximum of 1 anomaly. The anomaly would not exceed 0.3 object area. ’

六、How to use

安装方法可参考github,这里不具体写了,有问题可以评论区讨论哦
码文不易,记得点赞、收藏✌️

这篇关于零样本异常分割SAA+的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/183397

相关文章

无人叉车3d激光slam多房间建图定位异常处理方案-墙体画线地图切分方案

墙体画线地图切分方案 针对问题:墙体两侧特征混淆误匹配,导致建图和定位偏差,表现为过门跳变、外月台走歪等 ·解决思路:预期的根治方案IGICP需要较长时间完成上线,先使用切分地图的工程化方案,即墙体两侧切分为不同地图,在某一侧只使用该侧地图进行定位 方案思路 切分原理:切分地图基于关键帧位置,而非点云。 理论基础:光照是直线的,一帧点云必定只能照射到墙的一侧,无法同时照到两侧实践考虑:关

Thymeleaf:生成静态文件及异常处理java.lang.NoClassDefFoundError: ognl/PropertyAccessor

我们需要引入包: <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-thymeleaf</artifactId></dependency><dependency><groupId>org.springframework</groupId><artifactId>sp

深入理解数据库的 4NF:多值依赖与消除数据异常

在数据库设计中, "范式" 是一个常常被提到的重要概念。许多初学者在学习数据库设计时,经常听到第一范式(1NF)、第二范式(2NF)、第三范式(3NF)以及 BCNF(Boyce-Codd范式)。这些范式都旨在通过消除数据冗余和异常来优化数据库结构。然而,当我们谈到 4NF(第四范式)时,事情变得更加复杂。本文将带你深入了解 多值依赖 和 4NF,帮助你在数据库设计中消除更高级别的异常。 什么是

消除安卓SDK更新时的“https://dl-ssl.google.com refused”异常的方法

消除安卓SDK更新时的“https://dl-ssl.google.com refused”异常的方法   消除安卓SDK更新时的“https://dl-ssl.google.com refused”异常的方法 [转载]原地址:http://blog.csdn.net/x605940745/article/details/17911115 消除SDK更新时的“

JVM 常见异常及内存诊断

栈内存溢出 栈内存大小设置:-Xss size 默认除了window以外的所有操作系统默认情况大小为 1MB,window 的默认大小依赖于虚拟机内存。 栈帧过多导致栈内存溢出 下述示例代码,由于递归深度没有限制且没有设置出口,每次方法的调用都会产生一个栈帧导致了创建的栈帧过多,而导致内存溢出(StackOverflowError)。 示例代码: 运行结果: 栈帧过大导致栈内存

SAM2POINT:以zero-shot且快速的方式将任何 3D 视频分割为视频

摘要 我们介绍 SAM2POINT,这是一种采用 Segment Anything Model 2 (SAM 2) 进行零样本和快速 3D 分割的初步探索。 SAM2POINT 将任何 3D 数据解释为一系列多向视频,并利用 SAM 2 进行 3D 空间分割,无需进一步训练或 2D-3D 投影。 我们的框架支持各种提示类型,包括 3D 点、框和掩模,并且可以泛化到不同的场景,例如 3D 对象、室

org.hibernate.hql.ast.QuerySyntaxException:is not mapped 异常总结

org.hibernate.hql.ast.QuerySyntaxException: User is not mapped [select u from User u where u.userName=:userName and u.password=:password] 上面的异常的抛出主要有几个方面:1、最容易想到的,就是你的from是实体类而不是表名,这个应该大家都知道,注意

C++第四十七弹---深入理解异常机制:try, catch, throw全面解析

✨个人主页: 熬夜学编程的小林 💗系列专栏: 【C语言详解】 【数据结构详解】【C++详解】 目录 1.C语言传统的处理错误的方式 2.C++异常概念 3. 异常的使用 3.1 异常的抛出和捕获 3.2 异常的重新抛出 3.3 异常安全 3.4 异常规范 4.自定义异常体系 5.C++标准库的异常体系 1.C语言传统的处理错误的方式 传统的错误处理机制:

argodb自定义函数读取hdfs文件的注意点,避免FileSystem已关闭异常

一、问题描述 一位同学反馈,他写的argo存过中调用了一个自定义函数,函数会加载hdfs上的一个文件,但有些节点会报FileSystem closed异常,同时有时任务会成功,有时会失败。 二、问题分析 argodb的计算引擎是基于spark的定制化引擎,对于自定义函数的调用跟hive on spark的是一致的。udf要通过反射生成实例,然后迭代调用evaluate。通过代码分析,udf在

flume系列之:记录一次flume agent进程被异常oom kill -9的原因定位

flume系列之:记录一次flume agent进程被异常oom kill -9的原因定位 一、背景二、定位问题三、解决方法 一、背景 flume系列之:定位flume没有关闭某个时间点生成的tmp文件的原因,并制定解决方案在博主上面这篇文章的基础上,在机器内存、cpu资源、flume agent资源都足够的情况下,flume agent又出现了tmp文件无法关闭的情况 二、