本文主要是介绍深度学习 --- VGG16能让某个指定的feature map激活值最大化图片的可视化(JupyterNotebook实战)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
VGG16能让某个指定的feature map激活值最大化图片的可视化
在前面的文章中，我用jupyter notebook分别实现了，预训练好的VGG16模型各层filter权重的可视化和给VGG16输入了一张图像，可视化VGG16各层的feature map。深度学习 --- VGG16卷积核的可视化(JupyterNotebook实战)-CSDN博客文章浏览阅读653次，点赞11次，收藏8次。本文是基于JupyterNotebook的VGG16卷积核的可视化实战，有代码也有详细说明https://blog.csdn.net/daduzimama/article/details/141460156
深度学习 --- VGG16各层feature map可视化(JupyterNotebook实战)-CSDN博客文章浏览阅读1k次，点赞16次，收藏24次。在VGG16模型中输入任意一张图片VGG16模型就能给出预测结果，但为什么会得到这个预测结果，通过观察每层的feature map或许有助于我们更好的理解模型。https://blog.csdn.net/daduzimama/article/details/140279255
在这篇文章中需要可视化的是看看究竟什么的图像会令众多feature map/activation map中的某个activation map的激活值最大化。例如，看看什么样的图像会让block2_conv2中的第123个feature map的激活值最大化。
这个算法的整体思路如下：
1，利用已有的不包含顶层的VGG16模型创建一个输出为指定层指定feature map的新模型
2，创建一个图像尺寸和模型输入层维度相同的随机噪声图，并假设他就是那个能够令指定feature map激活最大化的输入图像作为初值。
3，定义损失函数，这个损失函数的输入是刚才创建随机噪声图像，输出为指定feature map的激活值总和。
4，创建优化器使用梯度上升的反向传播方式，使得损失函数的函数值最大化。逐步迭代，最终把原始的随机噪声图像变成我们想要的能够最大化feature map的输入图像。
1，导入需要用到的库函数
import tensorflow as tf
print(tf.__version__)
print(tf.keras.__version__)from tensorflow.keras.applications import VGG16
from tensorflow.keras.preprocessing import image
from tensorflow.keras.applications.vgg16 import preprocess_input
import numpy as np
import matplotlib.pyplot as plt2，加载不包括顶层VGG16的模型
model=VGG16(weights='imagenet',include_top=False)
model.summary()# 获取该模型的总层数
total_layers = len(model.layers)# 输出总层数
print(f"模型的总层数为: {total_layers}")# 输出每一层所对应的名字便于后续选择feature map时使用
for i in range(total_layers):print(f"第{i}层是{model.layers[i].name}")
3，定义损失函数
定义损失函数也就是定义feature map关于输入图像的函数。因此，损失函数的输入是我们后面自定义的模型model，输入图像和指定feature map的index。输出是整张指定feature map值的均值。
# 损失函数的输入为你所使用的model,输入图像和指定feature map的index，输出是指定层的某个卷积核的激活值的均值
def loss_function(model,input_image,feature_map_num):activations = model(input_image)#获得input_image在新模型中产生的所有特征图'''activations 是一个四维张量，其维度如下：第一个维度 (batch size): 代表输入批次的大小。通常情况下，如果只输入了一张图像，这个维度的值为 1。第二个维度 (height): 代表特征图的高度。随着网络层数的增加，通常由于池化层（Pooling Layer）的作用，这个维度会逐渐减小。第三个维度 (width): 代表特征图的宽度。和高度一样，宽度通常也会随着网络的加深而减小。第四个维度 (channels/filters): 代表特征图的通道数，或者说在当前层中使用的滤波器的数量。这个维度表示在每一层中所提取的不同特征的数量。'''loss = tf.reduce_mean(activations[:, :, :, feature_map_num])return loss”activations = model(input_image)“这句话的意思是：把随机生成的输入图像喂给新建的模型计算，输出相应层所有的output，output即feature map。并且把指定层所有的feature map保存在activations中。
“loss = tf.reduce_mean(activations[:, :, :, feature_map_num])”这句话的意思是：根据函数输入的feature_map_num，在activations选择当前层指定的feature map，也就是我们需要最大化的那个feature map，并计算这个张量的均值。
最终把整张feature map的均值通过loss函数传出去。
上述过程如果用数学模型来表示的话大致可写成（这里不一定严谨，仅供参考）：
这样看来，损失函数L是input image的复合函数，feature map是input image的函数。
4，定义计算梯度的函数
梯度是用于反向传播的，这里所计算的梯度是损失函数相对于输入图像的梯度。
def gradient_function(model,image,feature_map_num):#创建 tf.GradientTape 对象:#TensorFlow 的 tf.GradientTape 是一个自动微分工具，它可以记录运算过程中涉及的所有变量，并计算这些变量相对于某个损失函数的梯度。with tf.GradientTape() as tape:#监视输入图像:这里明确告诉 GradientTape 需要监视 image 这个张量，确保后续可以计算相对于 image 的梯度。tape.watch(image)#计算损失函数loss = loss_function(model,image,feature_map_num)#通过 tape.gradient() 计算损失 loss 相对于输入图像 image 的梯度。#这会返回一个张量 gradient，表示如何调整输入图像以最大化或最小化损失。 gradient = tape.gradient(loss, image)return loss,gradient计算损失函数相对于输入图像的梯度的目的是为了通过反向传播，也就是梯度上升，不断地优化输入图像。这一过程也可以用数学公式简单的表示如下：
因此，第一步是调用先前定义的损失函数计算loss。
第二步就调用tensorflow自带的计算梯度的函数tf.GradientTape去计算梯度。其中，tape.gradient的第一个输入是损失函数的值loss，第二个要输入的变量是损失函数相对于谁的梯度，比如说在本例中要计算损失函数相对于输入图像input image的梯度，所以这里输入的就是随机初始化的input image。
5，定义用于优化图像显示效果的函数
通过梯度上升反向传播得到的能够令某个feature map最大化的input image无法直接通过imshow函数显示，因此，这里定义了一个专门针对无法显示问题的优化函数。
def proc_img(input_image):# input_image.numpy(): 将 TensorFlow 张量转换为 NumPy 数组。# .squeeze(): 移除数组中维度为1的条目。例如，(1, 224, 224, 3) 会变成 (224, 224, 3)。这一步是为了去除批量维度，使图像的形状更适合显示。input_image = input_image.numpy().squeeze()#print(f"range of result image:[{input_image.min(),input_image.max()}]")# np.clip(optimized_image, 0, 255): 将图像像素值限制在 0 到 255 的范围内。优化过程中，像素值可能会超出这个范围，这一步将其剪切回有效范围。# .astype('uint8'): 将数组数据类型转换为 uint8，这是图像数据的标准类型，确保图像可以正确显示。input_image = np.clip(input_image, 0, 255).astype('uint8')return input_image优化显示图像主要分四步：
1，通过梯度上升优化后的图像是一个tensorflow张量，tensorflow张量是无法通过imshow直接显示的。这里的第一步是把tensorflow张量转换成Numpy数组。
2，我们之前创建的tensorflow张量是一个1x224x224x3的4维向量，四维向量是无法显示的，因此在这里通过squeeze函数，去掉第一个维度，得到224x224x3的向量。
3，把图像像素值的范围限制到0~255之间。
4，将图像的数据类型改成uint8。
6，创建输出层为feature map的新模型
#从model_without_top中选择新模型的输出层
layer_num=1#获得指定层的全部输出/feature map
layer_output=model_without_top.layers[layer_num].output
print(layer_output.shape)# 创建一个新的模型，这个模型的输入层等同于 VGG16 模型的输入层，而输出是指定层的所有特征图
activation_model = tf.keras.Model(inputs=model_without_top.input, outputs=layer_output)
activation_model.name="activation model"
activation_model.summary()# 获取该模型的总层数
total_layers = len(activation_model.layers)# 输出总层数
print(f"模型的总层数为: {total_layers}\n")使用keras的Model函数构建自定义模型，这个模型的输入层和前面已经创建好的，不带顶层的，VGG16模型的输入层一样。这个模型的输出则是指定层的feature map，同样也是来自于前面创建好的VGG16模型"model without top"。这就是说，如果使用该模型进行计算，你是无法访问中间层的中间结果的。你指定的是哪层，就
熟练了以后，上述代码可简写为：
#从model_without_top中选择新模型的输出层
layer_num=1# 创建一个新的模型，这个模型的输入层等同于 VGG16 模型的输入层，而输出是指定层的所有特征图
activation_model = tf.keras.Model(inputs=model_without_top.input, outputs=model_without_top.layers[layer_num].output)
activation_model.name="activation model"
activation_model.summary()# 获取该模型的总层数
total_layers = len(activation_model.layers)# 输出总层数
print(f"模型的总层数为: {total_layers}\n")
新模型被命名为activation model。
7，获得能够令当前层指定feature map最大化的输入图像
# 固定随机化种子
np.random.seed(42)
tf.random.set_seed(42)# 在指定层中选择指定的feature map
feature_map_num=4# 用随机数初始化图像，初始值的范围为 [108, 148]。
random_InputImg = tf.Variable(np.random.random((1, 224, 224, 3)) * 20 + 128, dtype=tf.float32)#学习率
lr=5.1# 创建优化器
optimizer = tf.keras.optimizers.Adam(learning_rate=lr)# 迭代次数
its = 30# 开始梯度上升优化
for i in range(its):loss,gradients = gradient_function(activation_model,random_InputImg,feature_map_num)# apply_gradients的主要功能是将梯度应用到相应的变量上，以更新这些变量的值，从而在训练过程中最小化或最大化目标函数。optimizer.apply_gradients([(-gradients, random_InputImg)])# 打印每轮的损失值print(f"Epoch {i+1}/{its}, Loss: {loss.numpy()}")# 改进显示效果后的图像
MaxActivation_Img=proc_img(random_InputImg)# 显示结果
plt.figure(figsize=(8, 8))
plt.imshow(MaxActivation_Img)
plt.title(f'MaxActivation Image for Filter {feature_map_num} in Layer {activation_model.layers[layer_num].name}')
plt.show() 这里选择能够让block1_conv1层的64个feature map中的第0个feature map激活值最大化的图像长什么样？
需要输入的参数有三个，一是用“feature_map_num”选择你希望让该模型的哪个feature map的值最大化？二是学习率“lr”，它可以控制梯度上升算法的迭代速度。学习率越高，迭代速度越快，但太快了也有可能引发别的问题。三是迭代次数"its"，迭代次数越多，模型学习和迭代的次数就越多。
这里用到了前面定义好的三个函数gradient_function(计算梯度)，loss_function(计算损失函数的函数值)和proc_img(优化)，最后用keras自带的优化器Adam中的apply_gradients函数使用前面计算好的gradient更新random_InputImg。
若令feature_map_num=0，lr=5.1，its=30，则会得到如下的迭代结果：
可见，每次迭代损失函数的值Loss都在持续增长，经过30次迭代后，从最开始的8.1一直增长到290。对图像可视化后得到如下结果：
这就是说，如果输入图像长的像上面这个样子，则能使得block1_conv1层的第0个feature map的激活值最大化。
8，测试图像
通过前面一系列的操作，已经得到了能够令block1_conv1层的第0个feature map的激活值最大的图像。现在，我打算把这个刚刚得到的这个图像喂到模型中，看看在所有的64个feature map中，第0个filter所产生的feature map是足够大？如果相应feature map的激活值够大，那他的激活值是最大的吗？其他的feature map表现又当如何呢？
# 把生成的图像喂给模型进行预测
result_features=activation_model.predict(random_InputImg)# 设置字体为 SimHei (黑体)
plt.rcParams['font.sans-serif'] = ['SimHei']
# 避免中文字体显示不正常
plt.rcParams['axes.unicode_minus'] = False# 绘制前8x8个特征图
N=64
plt.figure(figsize=(35,35))
for i in range(N):plt.subplot(N//8+1, 8, i+1) plt.imshow(result_features[0, :, :, i]) # 显示特征图mean_feature=np.mean(result_features[0, :, :, i])# 计算当前feature map的均值#plt.title(f"当前feature map的mean={mean_feature}")if mean_feature>=770:plt.title(f"当前feature map的mean={mean_feature}")plt.axis('off') # 隐藏坐标轴
plt.show()以下是具体的计算结果：
(这是64个feature map及其对应的feature map的均值)
下图为放大后的前两行feature map局部，其中用红框框出来的就是index=0的第0个feature map及其均值。 图中所显示的均值为300，这和前面经过多次迭代后的loss=290接近。
至于其他各个feature map的mean究竟是什么样的，大家可以自己看看。就我自己这边的观察，我发现其他feature map的均值并不都是很小的，也有一些是200多的，这一点让我个人觉得似乎不太理想，也就是说实际上各个feature map之间还是有一定相关性的。
为了看看第0个feature map的均值是不是这64个中最大的，以及，如果有比他大的，还有哪些呢？可以对之前code中的注释部分做如下修改，这段if语句的目的是在subplot的时候，只在均值大于300个子图上显示title。
最终得到如下结果，可见在64个feature map中，index为0的feature map确实是最大的。注意，并不是说前面生成的input image必须要让预先指定feature map是所有feature map中最大才行，只要指定位置的feature map够大就好了。
事实上，上面的那个例子还是比较特殊的，我这里说的特殊主要是指经过梯度上升迭代后产生的图像使得第0个feature map的值是64个中最大的。实际上，更为普遍的现象是，经过迭代所产生的图像只会使得指定位置的feature map最大化，至于其他feature map的值究竟是大还是小，这两件事是相互独立的。下面我再多举两个例子说明。
例1：block1_conv1，feature map index=4
修改参数feature_map_num为4，并全部重新运行所有的cell，得到如下结果。
经过30次梯度上升迭代后，损失函数的值增加到了90。相应的图像如下图所示：
打印所有feature map的均值，并查看对应位置的均值。
当前feature map的均值为93.5和前面计算的90比较接近。
但如果我如法炮制，通过if语句，只让均值大于93的feature map显示title会怎么样呢？还是只有index为4的feature map上才会显示title吗？让我们拭目以待。
可以看到，大量feature map都显示了title，这说明他们的均值都大于93.有的甚至比93要大很多,比如说用在下图中用红色方框框出来的图。
他们两个一个的feature map是265，另一个更是高达355。
这恰好从另一个角度说明了我们最大化指定feature map的实验目的:
那就是只保证程序中指定的feature map最大化，至于当前层的其他feature map则不在我们的考虑范围之内。因为，很有可能能够令index=4的feature map最大化的输入图像，能够令index=12,30...的feature map也很大！ 这里index=4的feature map并不是个例，下面我们再多看一个例子。
例2：block1_conv1，feature map index=8
其他条件不变，把feature map num改成8。
经过30次梯度上升迭代后，损失函数的值增加到了730。相应的图像如下图所示：
通过显示所有feature map的title，并打印所有feature map所对应的mean可知，把前面计算好的图像喂给model后，在对应位置的feature map=310。
现在把if函数显示title的阈值改为310，得到如下结果：
可见，依然激活了多个不同位置的feature map，且均值都在310以上。
9，定义能够令多个位置的feature map最大化的批处理函数
def activation_max_images(model,layer_num,lr,its):# 创建一个新的模型，这个模型的输入是 VGG16 模型的输入，而输出是指定层的特征图Activation_model = tf.keras.Model(inputs=model.input, outputs=model.layers[layer_num].output)Activation_model.summary()# 创建用于保存output image的列表MaxActivation_Imgs=[]# 创建用于保存loss的列表Final_Loss=[]for feature_map_num in range(N):# 初始化图像np.random.seed(42) # 固定随机种子random_InputImg = tf.Variable(np.random.random((1, 224, 224, 3)) * 20 + 128, dtype=tf.float32)print(f"process image：{feature_map_num}")# 创建优化器对象optimizer = tf.keras.optimizers.Adam(learning_rate=lr)for i in range(its):loss,gradients = gradient_function(Activation_model,random_InputImg,feature_map_num)optimizer.apply_gradients([(-gradients, random_InputImg)])# 梯度上升使用的是负的gradients，因为优化器本身是基于梯度下降的逻辑。# 打印每轮的损失值print(f"Epoch {i+1}/{its}, Loss: {loss.numpy()}")
# if loss >=100:
# breakFinal_Loss.append(loss.numpy())print(f"process image：{feature_map_num},done!")# 改进显示效果MaxActivation_Img=proc_img(random_InputImg)MaxActivation_Imgs.append(MaxActivation_Img)return MaxActivation_Imgs,Activation_model,Final_Lossactivation_max_images函数能够同时处理多个指定位置的feature map，主要是能够一次性处理整个layer的feature map，并返回能够让这些feature map最大化的图像。
你需要输入模型类型model，指定层layer_num，学习率lr和迭代次数its。该函数所返回的是能够令指定feature map最大化的图像包。
10，输出能够令block1conv1中前8x8个activation map激活值最大化的输入图像
生成图像：
N=64
layer_num=1# 选择需要最大化的层
iter_num=20#迭代次数
lr=2.5#学习率MaxAct_imgs,New_model,LossList=activation_max_images(model_without_top,layer_num,lr,iter_num)
显示图像：
fig,axs=plt.subplots(N//8,8,figsize=(15,15))
for i in range(N):row=i//8col=i%8axs[row,col].imshow(MaxAct_imgs[i])axs[row,col].axis('off')axs[row,col].set_title(f"Loss={LossList[i]:0.2f}")plt.suptitle(f'Input images that maximize the feature map for Layer: {New_model.layers[layer_num].name}',fontsize=36)
注意，这里有几个死掉的神经元或者说是无法反向传播的神经元。
11，输出能够令block1conv2中前8x8个activation map激活值最大化的输入图像
layer_num=2MaxAct_imgs,New_model,LossList=activation_max_images(model_without_top,layer_num,lr,iter_num)注意，这里layer的index可以参考之前打印的log。
显示图像：
fig,axs=plt.subplots(N//8,8,figsize=(15,15))
for i in range(N):row=i//8col=i%8axs[row,col].imshow(MaxAct_imgs[i])axs[row,col].axis('off')axs[row,col].set_title(f"Loss={LossList[i]:0.2f}")plt.suptitle(f'Input images that maximize the feature map for Layer:{New_model.layers[layer_num].name}',fontsize=36)
值得注意的是，这里由于所有feature map的迭代都使用了同一个学习率和相同的迭代次数，使得有些图像的loss长的很大，比如1000+，相应的图像也很清晰。而有的loss比较小，或者说针对这个feature map还不够大，只能生成部分的输出图像(例如我用红框框出来的第63幅图)。
12，输出能够令block2conv2中前8x8个activation map激活值最大化的输入图像
为了弥补前面遇到的因为loss涨的不够多导致图像无法完整显示的问题，我在这里预先增加了学习率。
layer_num=5
lr=6.5MaxAct_imgs,New_model,LossList=activation_max_images(model_without_top,layer_num,lr,iter_num)
fig,axs=plt.subplots(N//8,8,figsize=(15,15))
for i in range(N):row=i//8col=i%8axs[row,col].imshow(MaxAct_imgs[i])axs[row,col].axis('off')axs[row,col].set_title(f"Loss={LossList[i]:0.2f}")plt.suptitle(f'Input images that maximize the feature map for Layer:{New_model.layers[layer_num].name}',fontsize=36)从结果上看，虽然增大了学习率，可依然无法满足部分feature map梯度上升的需求。部分图像我已用红框在下图中框出。
为了克服这个问题，我在又重新定义了一个新的批处理函数。与原来的批处理不同的是，我在新函数迭代的for循环过程中，我增加了一个if判断，并设置了一个用于判断loss的阈值。这个设计的出发点有两个，(在相同的迭代次数和学习率下）一个是能够保证原来能够正常显示的图像提前结束循环，另一个是给不能正常显示的图像的损失函数loss有足够的增长空间。
改进后的批处理函数：
def activation_max_images_th(model,layer_num,lr,its,th):# 创建一个新的模型，这个模型的输入是 VGG16 模型的输入，而输出是指定层的特征图Activation_model = tf.keras.Model(inputs=model.input, outputs=model.layers[layer_num].output)Activation_model.summary()# 创建用于保存output image的列表MaxActivation_Imgs=[]# 创建用于保存loss的列表Final_Loss=[]for feature_map_num in range(N):# 初始化图像np.random.seed(42) # 固定随机种子random_InputImg = tf.Variable(np.random.random((1, 224, 224, 3)) * 20 + 128, dtype=tf.float32)print(f"process image：{feature_map_num}")# 创建优化器对象optimizer = tf.keras.optimizers.Adam(learning_rate=lr)for i in range(its):loss,gradients = gradient_function(Activation_model,random_InputImg,feature_map_num)optimizer.apply_gradients([(-gradients, random_InputImg)])# 梯度上升使用的是负的gradients，因为优化器本身是基于梯度下降的逻辑。# 打印每轮的损失值print(f"Epoch {i+1}/{its}, Loss: {loss.numpy()}")if loss >=th:breakFinal_Loss.append(loss.numpy())print(f"process image：{feature_map_num},done!")# 改进显示效果MaxActivation_Img=proc_img(random_InputImg)MaxActivation_Imgs.append(MaxActivation_Img)return MaxActivation_Imgs,Activation_model,Final_Loss调用新批处理函数，并设置很大的学习率和很高的阈值。这里的学习率lr和损失函数阈值th需要反复观看结果，反复调试才有了下面code中的值。推荐读者自行摸索！
layer_num=5
lr=52.5
iter_num=50
th=30000MaxAct_imgs,New_model,LossList=activation_max_images_th(model_without_top,layer_num,lr,iter_num,th)下面是处理结果，由于为了让那些loss增长很慢的feature map的损失函数增加的足够高，所以下面整体图像的显示看起来都比较夸张。在后面的文章中，我还是坚持选择视觉上稍微看起来比较舒服的结果，而不是这种看起来特别极端的效果。
补充：block2conv1
这里顺便把block2conv1的结果也显示出来，供参考，主要是为了比对在同一层中，conv1与conv2的差异，这里可以看到的是，相对于block2conv2层block2conv1层中有很多死神经，或者说是无用的filter。
13，输出能够令block3conv3中前8x8个activation map激活值最大化的输入图像
使用传统批处理函数，lr=2.5，iter_num=20。
layer_num=9
lr=2.5
iter_num=20
th=80000MaxAct_imgs,New_model,LossList=activation_max_images(model_without_top,layer_num,lr,iter_num)
#MaxAct_imgs,New_model,LossList=activation_max_images_th(model_without_top,layer_num,lr,iter_num,th)
By the way，随着网络层数深度的增加，计算所花费的时间也越来越多。计算结果如下：同样的，由于对所有的feature map使用了同样的迭代次数和相同的学习率。
使用带有阈值判断的批处理函数，lr=22.5，iter_num=30，th=18000。
补充：block3conv1
补充：block3conv2
14，输出能够令block4conv1中前8x8个activation map激活值最大化的输入图像
layer_num=11
lr=15.5
iter_num=50
th=6000MaxAct_imgs,New_model,LossList=activation_max_images_th(model_without_top,layer_num,lr,iter_num,th)
补充：block4conv2
补充：block4conv3
15，输出能够令block5conv1中前8x8个activation map激活值最大化的输入图像
layer_num=15
lr=25.5
iter_num=30
th=6000MaxAct_imgs,New_model,LossList=activation_max_images_th(model_without_top,layer_num,lr,iter_num,th)
补充：block5conv2
补充：block5conv3
（全文完）
--- 作者，松下J27
参考文献(鸣谢)：
1，代码实战-可视化使VGG16各卷积层激活最大的原始图像_哔哩哔哩_bilibili
2，Stanford University CS231n: Deep Learning for Computer Vision
3，可视化卷积神经网络_哔哩哔哩_bilibili
(配图与本文无关)
版权声明：所有的笔记，可能来自很多不同的网站和说明，在此没法一一列出，如有侵权，请告知，立即删除。欢迎大家转载，但是，如果有人引用或者COPY我的文章，必须在你的文章中注明你所使用的图片或者文字来自于我的文章，否则，侵权必究。 ----松下J27
这篇关于深度学习 --- VGG16能让某个指定的feature map激活值最大化图片的可视化(JupyterNotebook实战)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
