读《Segment Anything in Defect Detection》

2023-11-20 18:04

本文主要是介绍读《Segment Anything in Defect Detection》,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

摘要

(好像只是说把SAM应用到了红外缺陷分割领域)

引言

无损检测得到红外图像,根据热能观察异常
贡献:

•从两个光学脉冲热成像系统构建广泛的缺陷热数据库,包括各种材料并释放它们。
• 开发DefectSAM,这是第一个用于缺陷检测的大规模基础模型,超越了最先进的 (SOTA)分割基础模型,即使在复杂场景下也表现出卓越的性能。
• 描述缺陷检测的标准,识别该领域的紧急挑战,并提供解决方案、建议和方向。

相关工作

与之前将语义、实例和全景分割任务结合在一起的多任务分割系统(FCN、mask r-cnn、unet那些老方法)[4,19,48]不同,Segment Anything (SAM)[20]是一个多功能模型,可以执行可提示的分割任务,使其能够通过提示工程来适应广泛的现有和新的分割任务。这种能力使 SAM能够概括其在各种任务中的性能,尽管并非所有任务都可以容纳。提示工程还适合解决缺陷检测问题,找到弱缺陷和小缺陷,推广到新的热图像。

对于无监督

这些算法的局限性是由于热图像外观的相似性、缺乏不同的数据集和材料以及实验室实验的耗时和劳动密集型性质造成的。因此,基于深度学习的模型通常存在严重的过拟合和有限的泛化能力,限制了它们对看不见的缺陷类型的适用性。

方法

任务

在缺陷检测领域,迫切需要解决四个紧迫的挑战。
(a) 开发有效的方法来识别热图像中的所有缺陷至关重要,即使在存在高水平的噪声的情况下。(多分类)
(b)增强训练模型的泛化能力对于确保它们在检测不同样本缺陷方面的适用性至关重要。
© 使用热图像准确确定缺陷的真实大小仍然是一个重要问题。
(d)计算各种材料中缺陷的深度需要进一步研究。
在这项研究中,我们的重点是通过图像分割技术解决问题 (a) 和 (b),同时还估计问题 ©的更准确的缺陷分割区域。在未来的研究中,将探讨计算缺陷深度(问题(d))的挑战。

预处理

好像是一些热力学上的公式推导,认为将它们与深度学习技术相结合有望在未来解决问题 (d)。

预训练

问题 (a) 和问题 (b) 对深度学习模型在该领域缺陷检测进展提出了重大挑战。为了解决这些问题,人们对深度学习模型辅助方法的需求达成共识,并结合专家参与缺陷位置的决策过程。快速学习的概念[6,49]已经成为这种方法实施和进展背后的驱动力。由于缺陷图像的固有特征,如高噪声水平、模式的相似性和有限的样本可用性,传统的深度学习模型往往存在过拟合和缺乏泛化能力,也出现在其他领域。为了缓解这些问题,在计算机视觉和自然语言处理领域已经建立了大规模模型的预训练和微调范式。(感觉像是说这种大模型的发展已经可以让其他领域的人很轻易地利用本领域的专家附加prompt微调从而完成任务了,说了好多懵逼的东西)

在这里插入图片描述
(差不多就是个应用文,网络图都这么水)

这篇关于读《Segment Anything in Defect Detection》的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/396451

相关文章

论文阅读笔记: Segment Anything

文章目录 Segment Anything摘要引言任务模型数据引擎数据集负责任的人工智能 Segment Anything Model图像编码器提示编码器mask解码器解决歧义损失和训练 Segment Anything 论文地址: https://arxiv.org/abs/2304.02643 代码地址:https://github.com/facebookresear

时间序列|change point detection

change point detection 被称为变点检测,其基本定义是在一个序列或过程中,当某个统计特性(分布类型、分布参数)在某时间点受系统性因素而非偶然因素影响发生变化,我们就称该时间点为变点。变点识别即利用统计量或统计方法或机器学习方法将该变点位置估计出来。 Change Point Detection的类型 online 指连续观察某一随机过程,监测到变点时停止检验,不运用到

MACS bdgdiff: Differential peak detection based on paired four bedGraph files.

参考原文地址:[http://manpages.ubuntu.com/manpages/xenial/man1/macs2_bdgdiff.1.html](http://manpages.ubuntu.com/manpages/xenial/man1/macs2_bdgdiff.1.html) 文章目录 一、MACS bdgdiff 简介DESCRIPTION 二、用法

Learning Memory-guided Normality for Anomaly Detection——学习记忆引导的常态异常检测

又是一篇在自编码器框架中研究使用记忆模块的论文,可以看做19年的iccv的论文的衍生,在我的博客中对19年iccv这篇论文也做了简单介绍。韩国人写的,应该是吧,这名字听起来就像。 摘要abstract 我们解决异常检测的问题,即检测视频序列中的异常事件。基于卷积神经网络的异常检测方法通常利用代理任务(如重建输入视频帧)来学习描述正常情况的模型,而在训练时看不到异常样本,并在测试时使用重建误

REMEMBERING HISTORY WITH CONVOLUTIONAL LSTM FOR ANOMALY DETECTION——利用卷积LSTM记忆历史进行异常检测

上海科技大学的文章,上海科技大学有个组一直在做这方面的工作,好文章挺多的还有数据集。 ABSTRACT 本文解决了视频中的异常检测问题,由于异常是无界的,所以异常检测是一项极具挑战性的任务。我们通过利用卷积神经网络(CNN或ConvNet)对每一帧进行外观编码,并利用卷积长期记忆(ConvLSTM)来记忆与运动信息相对应的所有过去的帧来完成这项任务。然后将ConvNet和ConvLSTM与

COD论文笔记 ECCV2024 Just a Hint: Point-Supervised Camouflaged Object Detection

这篇论文的主要动机、现有方法的不足、拟解决的问题、主要贡献和创新点: 1. 动机 伪装物体检测(Camouflaged Object Detection, COD)旨在检测隐藏在环境中的伪装物体,这是一个具有挑战性的任务。由于伪装物体与背景的细微差别和模糊的边界,手动标注像素级的物体非常耗时,例如每张图片可能需要 60 分钟来标注。因此,作者希望通过减少标注负担,提出了一种仅依赖“点标注”的弱

COD论文笔记 Adaptive Guidance Learning for Camouflaged Object Detection

论文的主要动机、现有方法的不足、拟解决的问题、主要贡献和创新点如下: 动机: 论文的核心动机是解决伪装目标检测(COD)中的挑战性任务。伪装目标检测旨在识别和分割那些在视觉上与周围环境高度相似的目标,这对于计算机视觉来说是非常困难的任务。尽管深度学习方法在该领域取得了一定进展,但现有方法仍面临有效分离目标和背景的难题,尤其是在伪装目标与背景特征高度相似的情况下。 现有方法的不足之处: 过于

Segment Anything Model(SAM)中的Adapter是什么?

在META团队发布的Segment Anything Model (SAM) 中,Adapter 是一种用于提升模型在特定任务或领域上的性能的机制。具体来说,SAM 是一个通用的分割模型,能够处理多种不同类型的图像分割任务,而 Adapter 的引入是为了更好地让模型适应不同的任务需求。 Adapter 的主要功能是: 模块化设计:Adapter 是一种小规模的、可插拔的网络模块,可以在不改

Oracle - ORA-01652: unable to extend temp segment by 128 in tablespace TEMP

一、原因     意思是指TEMP表空间无法自动扩展TEMP段。这种问题一般有两种原因:一是临时表空间空间太小,二是不能自动扩展。 二、分析     查看TEMP表空间的数据文件个数,当前大小,是否自动扩展 SQL> SELECT TABLESPACE_NAME, FILE_NAME, BYTES/1024/1024 "CURR_SIZE(MB)", MAXBYTES/1024/102

Detection简记3-Region Proposal by Guided Anchoring

创新点 1.新的anchor 分布策略:Guided Anchoring 2.feature adaption module,根据潜在的anchor精调特征 总结 Guided Anchoring:流程如图所示 特征图F1接两个分支:位置预测分支产生物体可能存在的位置的概率图,形状预测分支预测物体的形状,独立于位置。根据两个分支的输出,得到anchor。 位置预测分支: 1X1的卷积+si