论文阅读——Pyramid Grafting Network for One-Stage High Resolution Saliency Detection

2023-10-06 03:36
文章标签 detection 阅读 论文 network one pyramid grafting stage high resolution saliency

本文主要是介绍论文阅读——Pyramid Grafting Network for One-Stage High Resolution Saliency Detection，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

目录

  • 基本信息
  • 标题
  • 目前存在的问题
  • 改进
  • 网络结构
  • CMGM模块
  • 解答
    • 为什么要用这两个编码器进行编码
  • 另一个写的好的参考

基本信息

期刊CVPR
年份2022
论文地址https://arxiv.org/pdf/2204.05041.pdf
代码地址https://github.com/iCVTEAM/PGNet

标题

金字塔嫁接网络的一级高分辨率显著性检测

目前存在的问题

  1. cosod用于低分辨率图片下表现良好，高分辨率下(1080p、2K、4K)分割结果不完整，许多细节区域丢失。随着输入分辨率的急剧增加，所提取特征的大小也随之增大，但由网络决定的感受野是固定的，使得相对感受野较小，最终导致无法捕获对SOD任务至关重要的全局语义。
    在这里插入图片描述

  2. 高分辨率下目前的两种方法HRSOD，DHQSOD都将SOD划分语义(低分辨率)阶段和详细(高分辨率)阶段，导致2个问题(1)阶段之间的语境语义迁移不一致。将前一阶段得到的中间映射输入到后一阶段，同时传递误差。此外，由于没有足够的语义支持，最后阶段的细化可能会继承甚至放大之前的错误，这意味着最终的显著性映射严重依赖于低分辨率网络的性能。(2)耗时。与单阶段方法相比，多阶段方法不仅难以并行化，而且存在参数数量增加的潜在问题，使其速度较慢。

改进

  1. PGNet框架使用交错连接来捕获连续语义和丰富的细节
  2. 引入了跨模型的嫁接模块，将信息从transformer分支转移到CNN分支，这样CNN不仅可以继承全局信息，还可以弥补两者共有的缺陷。此外，我们还设计了注意引导丢失算法来进一步促进特征嫁接。
  3. 提供了一个新的具有挑战性的超高分辨率显著性检测数据集(UHRSD)，包含了5,920张不同场景的图像，分辨率超过4K，并相应的像素显著性标注

网络结构

在这里插入图片描述

CMGM模块

在这里插入图片描述

解答

为什么要用这两个编码器进行编码

选择Swin transformer和Resnet-18作为编码器。这种组合的选择是为了平衡效率和效果。一方面，transformer编码器可以在低分辨率的情况下获得准确的全局语义信息，卷积编码器可以在高分辨率的输入下获得丰富的细节。另一方面，不同模型提取的特征的可变性可能是互补的，以更准确地识别显著性

另一个写的好的参考

网址

这篇关于论文阅读——Pyramid Grafting Network for One-Stage High Resolution Saliency Detection的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/152741。

相关文章

JAVA智听未来一站式有声阅读平台听书系统小程序源码

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来，一站式有声阅读平台听书系统 🌟 开篇：遇见未来，从“智听”开始 在这个快节奏的时代，你是否渴望在忙碌的间隙，找到一片属于自己的宁静角落？是否梦想着能随时随地，沉浸在知识的海洋，或是故事的奇幻世界里？今天，就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统，它正悄悄改变着我们的阅读方式，让未来触手可及！ 📚 第一站：海量资源，应有尽有 走进“智听
阅读更多...
poj 2349 Arctic Network uva 10369（prim or kruscal最小生成树）

poj 2349 Arctic Network uva 10369（prim or kruscal最小生成树）

题目很麻烦，因为不熟悉最小生成树的算法调试了好久。 感觉网上的题目解释都没说得很清楚，不适合新手。自己写一个。 题意：给你点的坐标，然后两点间可以有两种方式来通信：第一种是卫星通信，第二种是无线电通信。 卫星通信：任何两个有卫星频道的点间都可以直接建立连接，与点间的距离无关； 无线电通信：两个点之间的距离不能超过D，无线电收发器的功率越大，D越大，越昂贵。 计算无线电收发器D
阅读更多...
AI hospital 论文Idea

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境，人类医生（即医学学习者）可以在其中与患者代理进行医学
阅读更多...
论文翻译：arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

论文翻译：arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染：一项综述 文章目录 大规模语言模型的基准数据污染：一项综述摘要1 引言 摘要 大规模语言模型（LLMs），如GPT-4、Claude-3和Gemini的快
阅读更多...
论文阅读笔记: Segment Anything

论文阅读笔记: Segment Anything

文章目录 Segment Anything摘要引言任务模型数据引擎数据集负责任的人工智能 Segment Anything Model图像编码器提示编码器mask解码器解决歧义损失和训练 Segment Anything 论文地址: https://arxiv.org/abs/2304.02643 代码地址:https://github.com/facebookresear
阅读更多...
论文翻译：ICLR-2024 PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

论文翻译：ICLR-2024 PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS https://openreview.net/forum?id=KS8mIvetg2 验证测试集污染在黑盒语言模型中 文章目录 验证测试集污染在黑盒语言模型中摘要1 引言 摘要 大型语言模型是在大量互联网数据上训练的，这引发了人们的担忧和猜测，即它们可能已
阅读更多...
OmniGlue论文详解（特征匹配）

OmniGlue论文详解（特征匹配）

OmniGlue论文详解（特征匹配） 摘要1. 引言2. 相关工作2.1. 广义局部特征匹配2.2. 稀疏可学习匹配2.3. 半稠密可学习匹配2.4. 与其他图像表示匹配 3. OmniGlue3.1. 模型概述3.2. OmniGlue 细节3.2.1. 特征提取3.2.2. 利用DINOv2构建图形。3.2.3. 信息传播与新的指导3.2.4. 匹配层和损失函数3.2.5. 与Super
阅读更多...
软件架构模式：5 分钟阅读

软件架构模式：5 分钟阅读

原文： https://orkhanscience.medium.com/software-architecture-patterns-5-mins-read-e9e3c8eb47d2 软件架构模式：5 分钟阅读 当有人潜入软件工程世界时，有一天他需要学习软件架构模式的基础知识。当我刚接触编码时，我不知道从哪里获得简要介绍现有架构模式的资源，这样它就不会太详细和混乱，而是非常抽象和易
阅读更多...
BERT 论文逐段精读【论文精读】

BERT 论文逐段精读【论文精读】

BERT: 近 3 年 NLP 最火 CV: 大数据集上的训练好的 NN 模型，提升 CV 任务的性能 —— ImageNet 的 CNN 模型 NLP: BERT 简化了 NLP 任务的训练，提升了 NLP 任务的性能 BERT 如何站在巨人的肩膀上的？使用了哪些 NLP 已有的技术和思想？哪些是 BERT 的创新？ 1标题 + 作者 BERT: Pre-trainin
阅读更多...
[论文笔记]LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale

[论文笔记]LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale

引言 今天带来第一篇量化论文LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale笔记。 为了简单，下文中以翻译的口吻记录，比如替换"作者"为"我们"。 大语言模型已被广泛采用，但推理时需要大量的GPU内存。我们开发了一种Int8矩阵乘法的过程，用于Transformer中的前馈和注意力投影层，这可以将推理所需
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2