特征图可视化为类激活图(CAM)--简化版

2024-02-22 06:10

本文主要是介绍特征图可视化为类激活图(CAM)--简化版,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本篇博客是简化版本的CAM,针对于不同特征图进行可视化。

其余两篇:
CAM实现的流程(pytorch)
Grad-Cam实现流程(pytorch)

在图像分类领域的论文中,经常看到如下所示的可视化图片。将特征图的响应大小,映射到了原图,能让读者更直观的了解模型的效果。这类图,通常被称为类激活图(CAM, Class Activation Map),或者注意力图、热图。

在这里插入图片描述
其实,绘制这种图片并不难,通过opencv就可以实现,并且,不限于你的深度学习框架,tensorflow,pytorch,keras都可以,前提是你能够提取出特征图。上一张图,是我使用训练好的细粒度分类模型(网络结构源于Mutual-Channel Loss )可视化的结果。
用到的函数为:cv2.applyColorMap(),cv2.addWeighted()
cv2.applyColorMap()函数的功能是将矩阵转化为伪彩色图(可以把伪彩色图近似于热力图)。
cv2.addWeighted()函数是将两张图片融合。

上图绘制的思想是:

  1. 将一张图片输入训练好的模型,预测分类结果。然后获取我们想要可视化那一层的特征图(未经过bn和relu等)。
  2. 可以通过切片方式,选择单个通道或者多通道的第一步得到的特征图。
  3. 将特征图resize为原始图片大小,以便能够与原始图片叠加。
  4. 将特征图按照每个元素的大小生成伪彩色图片。
  5. 原始图片与伪彩色图片叠加。

代码示例:

import numpy as np
import cv2
import matplotlib.pyplot as plt
# heat 为某层的特征图,自己手动获取
heat = heat.data.cpu().numpy()	     # 将tensor格式的feature map转为numpy格式
heat = np.squeeze(heat, 0)	         # 0维为batch维度,由于是单张图片,所以batch=1,将这一维度删除
heat = heat[145*3:145*3+3,:]        # 切片获取某几个通道的特征图
heatmap = np.maximum(heat, 0)        # heatmap与0比较
heatmap = np.mean(heatmap, axis=0)  # 多通道时,取均值
heatmap /= np.max(heatmap)          # 正则化到 [0,1] 区间,为后续转为uint8格式图做准备
#plt.matshow(heatmap)				# 可以通过 plt.matshow 显示热力图
#plt.show()# 用cv2加载原始图像
img = cv2.imread('./Forsters_Tern_0016_152463.jpg')
heatmap = cv2.resize(heatmap, (img.shape[1], img.shape[0]))  # 特征图的大小调整为与原始图像相同
heatmap = np.uint8(255 * heatmap)               # 将特征图转换为uint8格式
heatmap = cv2.applyColorMap(heatmap, cv2.COLORMAP_JET)  # 将特征图转为伪彩色图
heat_img = cv2.addWeighted(img, 1, heatmap, 0.5, 0)     # 将伪彩色图与原始图片融合
#heat_img = heatmap * 0.5 + img       		      # 也可以用这种方式融合
cv2.imwrite('./heat_all_3.jpg', heat_img)          # 将图像保存

opencv中一共有12种模式。其中能够用于绘制CAM的有cv2.COLORMAP_JETcv2.COLORMAP_RAINBOWcv2.COLORMAP_HSV这三种模式,其余效果不太好。12种模式可参考:cv2伪彩色applyColorMap()函数

12种彩色模式效果:
在这里插入图片描述
参考链接:
https://blog.csdn.net/C_chuxin/article/details/85265082

这篇关于特征图可视化为类激活图(CAM)--简化版的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/734344

相关文章

OmniGlue论文详解(特征匹配)

OmniGlue论文详解(特征匹配) 摘要1. 引言2. 相关工作2.1. 广义局部特征匹配2.2. 稀疏可学习匹配2.3. 半稠密可学习匹配2.4. 与其他图像表示匹配 3. OmniGlue3.1. 模型概述3.2. OmniGlue 细节3.2.1. 特征提取3.2.2. 利用DINOv2构建图形。3.2.3. 信息传播与新的指导3.2.4. 匹配层和损失函数3.2.5. 与Super

Python:豆瓣电影商业数据分析-爬取全数据【附带爬虫豆瓣,数据处理过程,数据分析,可视化,以及完整PPT报告】

**爬取豆瓣电影信息,分析近年电影行业的发展情况** 本文是完整的数据分析展现,代码有完整版,包含豆瓣电影爬取的具体方式【附带爬虫豆瓣,数据处理过程,数据分析,可视化,以及完整PPT报告】   最近MBA在学习《商业数据分析》,大实训作业给了数据要进行数据分析,所以先拿豆瓣电影练练手,网络上爬取豆瓣电影TOP250较多,但对于豆瓣电影全数据的爬取教程很少,所以我自己做一版。 目

基于SSM+Vue+MySQL的可视化高校公寓管理系统

系统展示 管理员界面 宿管界面 学生界面 系统背景   当前社会各行业领域竞争压力非常大,随着当前时代的信息化,科学化发展,让社会各行业领域都争相使用新的信息技术,对行业内的各种相关数据进行科学化,规范化管理。这样的大环境让那些止步不前,不接受信息改革带来的信息技术的企业随时面临被淘汰,被取代的风险。所以当今,各个行业领域,不管是传统的教育行业

《计算机视觉工程师养成计划》 ·数字图像处理·数字图像处理特征·概述~

1 定义         从哲学角度看:特征是从事物当中抽象出来用于区别其他类别事物的属性集合,图像特征则是从图像中抽取出来用于区别其他类别图像的属性集合。         从获取方式看:图像特征是通过对图像进行测量或借助算法计算得到的一组表达特性集合的向量。 2 认识         有些特征是视觉直观感受到的自然特征,例如亮度、边缘轮廓、纹理、色彩等。         有些特征需要通

HalconDotNet中的图像特征与提取详解

文章目录 简介一、边缘特征提取二、角点特征提取三、区域特征提取四、纹理特征提取五、形状特征提取 简介   图像特征提取是图像处理中的一个重要步骤,用于从图像中提取有意义的特征,以便进行进一步的分析和处理。HalconDotNet提供了多种图像特征提取方法,每种方法都有其特定的应用场景和优缺点。 一、边缘特征提取   边缘特征提取是图像处理中最基本的特征提取方法之一,通过检

「大数据分析」图形可视化,如何选择大数据可视化图形?

​图形可视化技术,在大数据分析中,是一个非常重要的关键部分。我们前期通过数据获取,数据处理,数据分析,得出结果,这些过程都是比较抽象的。如果是非数据分析专业人员,很难清楚我们这些工作,到底做了些什么事情。即使是专业人员,在不清楚项目,不了解业务规则,不熟悉技术细节的情况下。要搞清楚我们的大数据分析,这一系列过程,也是比较困难的。 我们在数据处理和分析完成后,一般来说,都需要形成结论报告。怎样让大

11Python的Pandas:可视化

Pandas本身并没有直接的可视化功能,但它与其他Python库(如Matplotlib和Seaborn)无缝集成,允许你快速创建各种图表和可视化。这里是一些使用Pandas数据进行可视化的常见方法: 1. 使用Matplotlib Pandas中的plot()方法实际上是基于Matplotlib的,你可以使用它来绘制各种基本图表,例如折线图、柱状图、散点图等。 import pandas

【全网最全】2024年数学建模国赛A题30页完整建模文档+17页成品论文+保奖matla代码+可视化图表等(后续会更新)

您的点赞收藏是我继续更新的最大动力! 一定要点击如下的卡片,那是获取资料的入口! 【全网最全】2024年数学建模国赛A题30页完整建模文档+17页成品论文+保奖matla代码+可视化图表等(后续会更新)「首先来看看目前已有的资料,还会不断更新哦~一次购买,后续不会再被收费哦,保证是全网最全资源,随着后续内容更新,价格会上涨,越早购买,价格越低,让大家再也不需要到处买断片资料啦~💰💸👋」�

WebShell流量特征检测_哥斯拉篇

90后用菜刀,95后用蚁剑,00后用冰蝎和哥斯拉,以phpshell连接为例,本文主要是对后三款经典的webshell管理工具进行流量分析和检测。 什么是一句话木马? 1、定义 顾名思义就是执行恶意指令的木马,通过技术手段上传到指定服务器并可以正常访问,将我们需要服务器执行的命令上传并执行 2、特点 短小精悍,功能强大,隐蔽性非常好 3、举例 php一句话木马用php语言编写的,运行

Python利用pyecharts实现数据可视化

小编会持续更新知识笔记,如果感兴趣可以三连支持。闲来无事,水文一篇,不过上手实践一下倒还是挺好玩的,这一块知识说不定以后真可以尝试拿来做数据库的报表显示。         有梦别怕苦,想赢别喊累。 目录 前言 JSON数据格式的转换 pyecharts简介和入门使用 前言       小编我今天闲来无事,打算学习一下py,结果你猜怎么着,竟然看到py可以将数据