经典卷积神经网络-VGGNet

2024-01-02 20:36
文章标签 经典 卷积 神经网络 vggnet

本文主要是介绍经典卷积神经网络-VGGNet，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

经典卷积神经网络-VGGNet

一、背景介绍

VGG是Oxford的Visual Geometry Group的组提出的。该网络是在ILSVRC 2014上的相关工作，主要工作是证明了增加网络的深度能够在一定程度上影响网络最终的性能。VGG有两种结构，分别是VGG16和VGG19，两者并没有本质上的区别，只是网络深度不一样。

在这里插入图片描述

二、VGG-16网络结构

在这里插入图片描述

其中VGG系列具体的网络结构如下表所示：

在这里插入图片描述

如图所示，这是论文中所有VGG网络的详细信息，D列对应的为VGG-16网络。16指的是在这个网络中包含16个卷积层和全连接层（不算池化层和Softmax）。

  • VGG-16的卷积层没有那么多的超参数，在整个网络模型中，所有卷积核的大小都是 3 × 3的，并且padding为same，stride为1。所有池化层的池化核大小都是 2 × 2 的，并且步长为2。在几次卷积之后紧跟着池化，整个网络结构很规整。

  • 总共包含约1.38亿个参数，但其结构并不复杂，结构很规整，都是几个卷积层后面跟着可以压缩图像大小的池化层，同时，卷积层的卷积核数量的变化也存在一定的规律，都是池化之后图像高度宽度减半，但在下一个卷积层中通道数翻倍，这正是这种简单网络结构的一个规则。

  • VGG16相比AlexNet的一个改进是采用连续的几个3x3的卷积核代替AlexNet中的较大卷积核（11x11，7x7，5x5）。对于给定的感受野（与输出有关的输入图片的局部大小），采用堆积的小卷积核是优于采用大的卷积核，因为多层非线性层可以增加网络深度来保证学习更复杂的模式，而且代价还比较小（参数更少）。在VGG中，使用了3个3x3卷积核来代替7x7卷积核，使用了2个3x3卷积核来代替5×5卷积核，这样做的主要目的是在保证具有相同感受野的条件下，提升了网络的深度，在一定程度上提升了神经网络的效果。

  • 它的主要缺点就是需要训练的特征数量非常大。有些文章介绍了VGG-19，但通过研究发现VGG-19和VGG-16的性能表现几乎不分高下，所以很多人还是使用VGG-16，这也说明了单纯的增加网络深度，其性能不会有太大的提升。

  • 论文中还介绍了权重初始化方法，即预训练低层模型参数为深层模型参数初始化赋值。原文：网络权重初始化是非常重要的，坏的初始化会使得深度网络的梯度的不稳定导致无法学习。为了解决这个问题，我们首先在网络A中使用随机初始化进行训练。然后到训练更深的结构时，我们将第一层卷积层和最后三层全连接层的参数用网络A中的参数初始化（中间层的参数随机初始化）。

  • 论文中揭示了，随着网络深度的增加，图像的高度和宽度都以一定规律不断缩小，每次池化之后刚好缩小一半，而通道数量在不断增加，而且刚好也是在每组卷积操作后增加一倍。也就是说，图像缩小和通道增加的比例是有规律的，从这个角度看，这篇论文很吸引人。

三、VGG-16的Pytorch实现

我们可以根据：https://dgschwend.github.io/netscope/#/preset/vgg-16，来搭建VGG-16。

在这里插入图片描述

后面要将VGG-16Net应用到CIFAR10数据集上，所以对网络做了一些修改，具体代码如下：

from torch import nnclass Vgg16_Net(nn.Module):def __init__(self):super(Vgg16_Net, self).__init__()self.layer1 = nn.Sequential(# input_size = (3, 32, 32)nn.Conv2d(in_channels=3, out_channels=64, kernel_size=3, stride=1, padding=1),nn.BatchNorm2d(64),nn.ReLU(inplace=True),# input_size = (64, 32, 32)nn.Conv2d(in_channels=64, out_channels=64, kernel_size=3, stride=1, padding=1),nn.BatchNorm2d(64),nn.ReLU(inplace=True),# input_size = (64, 32, 32)nn.MaxPool2d(kernel_size=2, stride=2))self.layer2 = nn.Sequential(# input_size = (64, 16, 16)nn.Conv2d(in_channels=64, out_channels=128, kernel_size=3, stride=1, padding=1),nn.BatchNorm2d(128),nn.ReLU(inplace=True),# input_size = (128, 16, 16)nn.Conv2d(in_channels=128, out_channels=128, kernel_size=3, stride=1, padding=1),nn.BatchNorm2d(128),nn.ReLU(inplace=True),# input_size = (128, 16, 16)nn.MaxPool2d(2, 2))self.layer3 = nn.Sequential(# input_size = (128, 8, 8)nn.Conv2d(in_channels=128, out_channels=256, kernel_size=3, stride=1, padding=1),nn.BatchNorm2d(256),nn.ReLU(inplace=True),# input_size = (256, 8, 8)nn.Conv2d(in_channels=256, out_channels=256, kernel_size=3, stride=1, padding=1),nn.BatchNorm2d(256),nn.ReLU(inplace=True),# input_size = (256, 8, 8)nn.Conv2d(in_channels=256, out_channels=256, kernel_size=3, stride=1, padding=1),nn.BatchNorm2d(256),nn.ReLU(inplace=True),# input_size = (256, 8, 8)nn.MaxPool2d(2, 2))self.layer4 = nn.Sequential(# input_size = (256, 4, 4)nn.Conv2d(in_channels=256, out_channels=512, kernel_size=3, stride=1, padding=1),nn.BatchNorm2d(512),nn.ReLU(inplace=True),# input_size = (512, 4, 4)nn.Conv2d(in_channels=512, out_channels=512, kernel_size=3, stride=1, padding=1),nn.BatchNorm2d(512),nn.ReLU(inplace=True),# input_size = (512, 4, 4)nn.Conv2d(in_channels=512, out_channels=512, kernel_size=3, stride=1, padding=1),nn.BatchNorm2d(512),nn.ReLU(inplace=True),# input_size = (512, 4, 4)nn.MaxPool2d(2, 2))self.layer5 = nn.Sequential(# input_size = (512, 2, 2)nn.Conv2d(in_channels=512, out_channels=512, kernel_size=3, stride=1, padding=1),nn.BatchNorm2d(512),nn.ReLU(inplace=True),# input_size = (512, 2, 2)nn.Conv2d(in_channels=512, out_channels=512, kernel_size=3, stride=1, padding=1),nn.BatchNorm2d(512),nn.ReLU(inplace=True),# input_size = (512, 2, 2)nn.Conv2d(in_channels=512, out_channels=512, kernel_size=3, stride=1, padding=1),nn.BatchNorm2d(512),nn.ReLU(inplace=True),# input_size = (512, 2, 2)nn.MaxPool2d(2, 2)# output_size = (512, 1, 1))self.conv = nn.Sequential(self.layer1,self.layer2,self.layer3,self.layer4,self.layer5)self.fc = nn.Sequential(# input_size = 512nn.Linear(512, 512),nn.ReLU(inplace=True),nn.Dropout(0.5),nn.Linear(512, 256),nn.ReLU(inplace=True),nn.Dropout(0.5),nn.Linear(256, 10))def forward(self, x):x = self.conv(x)# -1表示自动计算行数# -1也可以改成x.size(0) 表示batch_size的大小x = x.view(-1, 512 * 1 * 1)x = self.fc(x)return x

四、案例：CIFAR-10分类问题

import time
import torch
import torchvision
from model import *
from torch.utils.data import DataLoader
import torchvision.transforms as transforms
from matplotlib import pyplot as plt# 加载数据集 拿到dataloader
def load_dataset(batch_size):train_data = torchvision.datasets.CIFAR10("../dataset/CIFAR10", train=True, download=True, transform=transforms.ToTensor())test_data = torchvision.datasets.CIFAR10("../dataset/CIFAR10", train=False, download=True, transform=transforms.ToTensor())train_dataloader = DataLoader(train_data, batch_size=batch_size, shuffle=True, num_workers=2)test_dataloader = DataLoader(test_data, batch_size=batch_size, shuffle=False, num_workers=2)return train_dataloader, test_dataloader# 模型训练
def train(model, train_dataloader, criterion, optimizer, epochs, device, num_print, lr_scheduler=None, test_dataloader=None):# 记录train和test的acc方便绘制学习曲线record_train = list()record_test = list()# 开始训练model.train()for epoch in range(epochs):print("========== epoch: [{}/{}] ==========".format(epoch + 1, epochs))# total记录样本数 correct记录正确预测样本数total, correct, train_loss = 0, 0, 0start = time.time()# 结合enumerate函数和迭代器的unpacking 可以在获取数据的同时获取该批次数据对应的索引for i, (image, target) in enumerate(train_dataloader):image, target = image.to(device), target.to(device)output = model(image)loss = criterion(output, target)optimizer.zero_grad()loss.backward()optimizer.step()train_loss += loss.item()total += target.size(0)correct += (output.argmax(dim=1) == target).sum().item()train_acc = 100.0 * correct / totalif (i + 1) % num_print == 0:print("step: [{}/{}], train_loss: {:.3f} | train_acc: {:6.3f}% | lr: {:.6f}".format(i + 1,len(train_dataloader), train_loss / (i + 1), train_acc, get_cur_lr(optimizer)))# 更新当前优化器的学习率if lr_scheduler is not None:lr_scheduler.step()print("--- cost time: {:.4f}s ---".format(time.time() - start))if test_dataloader is not None:record_test.append(test(model, test_dataloader, criterion, device))record_train.append(train_acc)# 保存当前模型torch.save(model.state_dict(), "train_model/VGG-16Net_{}.pth".format(epoch + 1))return record_train, record_test# 模型测试
def test(model, test_dataloader, criterion, device):# total记录样本数 correct记录正确预测样本数total, correct = 0, 0# 开始测试model.eval()with torch.no_grad():print("*************** test ***************")for X, y in test_dataloader:X, y = X.to(device), y.to(device)output = model(X)loss = criterion(output, y)total += y.size(0)correct += (output.argmax(dim=1) == y).sum().item()test_acc = 100.0 * correct / totalprint("test_loss: {:.3f} | test_acc: {:6.3f}%".format(loss.item(), test_acc))print("************************************\n")# 记得重新调用model.train()model.train()return test_acc# 获取当前的学习率 这里直接返回了第一个参数分组的学习率
def get_cur_lr(optimizer):for param_group in optimizer.param_groups:return param_group['lr']# 绘制学习曲线
def learning_curve(record_train, record_test=None):# 设置 Matplotlib 图形样式# ggplot2 是一个用于数据可视化的流行 R 语言包，以其优雅和灵活的语法而闻名plt.style.use("ggplot")plt.plot(range(1, len(record_train) + 1), record_train, label="train acc")if record_test is not None:plt.plot(range(1, len(record_test) + 1), record_test, label="test acc")plt.legend(loc=4)plt.title("learning curve")plt.xticks(range(0, len(record_train) + 1, 5))plt.yticks(range(0, 101, 5))plt.xlabel("epoch")plt.ylabel("accuracy")plt.show()# 定义超参数
BATCH_SIZE = 128
NUM_EPOCHS = 20
NUM_CLASSES = 10
LEARNING_RATE = 0.02
MOMENTUM = 0.9
WEIGHT_DECAY = 0.0005
NUM_PRINT = 100
DEVICE = "cuda" if torch.cuda.is_available() else "cpu"def main():model = Vgg16_Net()model = model.to(DEVICE)# 加载数据train_dataloader, test_dataloader = load_dataset(BATCH_SIZE)# 定义损失函数criterion = nn.CrossEntropyLoss()# 定义优化器optimizer = torch.optim.SGD(model.parameters(),lr=LEARNING_RATE,momentum=MOMENTUM,weight_decay=WEIGHT_DECAY,nesterov=True)# 定义学习率调度器lr_scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=7, gamma=0.1)# 进行训练 返回训练集正确率和测试集正确率record_train, record_test = train(model, train_dataloader, criterion, optimizer, NUM_EPOCHS, DEVICE, NUM_PRINT, lr_scheduler, test_dataloader)# 绘制学习曲线learning_curve(record_train, record_test)if __name__ == '__main__':main()

查看训练结果可以发现，测试集正确率基本保持在87.3%左右，训练集正确率接近100%：

在这里插入图片描述

学习曲线如下：

在这里插入图片描述

参考链接：

  • https://cloud.tencent.com/developer/article/1638597

  • https://blog.csdn.net/m0_50127633/article/details/117047057?spm=1001.2014.3001.5502

这篇关于经典卷积神经网络-VGGNet的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/563582。

相关文章

图神经网络模型介绍（1）

图神经网络模型介绍（1）

我们将图神经网络分为基于谱域的模型和基于空域的模型，并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络：谱图卷积网络、切比雪夫网络和图卷积网络。 （1）谱图卷积网络 卷积定理：函数卷积的傅里叶变换是函数傅里叶变换的乘积，即F{f*g}
阅读更多...
HotSpot虚拟机的经典垃圾收集器

HotSpot虚拟机的经典垃圾收集器

读《深入理解Java虚拟机》第三版笔记。 关系 Serial、ParNew、Parallel Scavenge、Parallel Old、Serial Old(MSC)、Concurrent Mark Sweep (CMS)、Garbage First(G1)收集器。 如图： 1、Serial 和 Serial Old 收集器 2、ParNew 收集器 3、Parallel Sc
阅读更多...
STL经典案例（四）——实验室预约综合管理系统（项目涉及知识点很全面，内容有点多，耐心看完会有收获的！）

STL经典案例（四）——实验室预约综合管理系统（项目涉及知识点很全面，内容有点多，耐心看完会有收获的！）

项目干货满满，内容有点过多，看起来可能会有点卡。系统提示读完超过俩小时，建议分多篇发布，我觉得分篇就不完整了，失去了这个项目的灵魂 一、需求分析 高校实验室预约管理系统包括三种不同身份：管理员、实验室教师、学生 管理员：给学生和实验室教师创建账号并分发 实验室教师：审核学生的预约申请 学生：申请使用实验室 高校实验室包括：超景深实验室（可容纳10人）、大数据实验室（可容纳20人）、物联网实验
阅读更多...
机器学习之监督学习（三）神经网络

机器学习之监督学习（三）神经网络

机器学习之监督学习（三）神经网络基础 0. 文章传送1. 深度学习 Deep Learning深度学习的关键特点深度学习VS传统机器学习 2. 生物神经网络 Biological Neural Network3. 神经网络模型基本结构模块一：TensorFlow搭建神经网络 4. 反向传播梯度下降 Back Propagation Gradient Descent模块二：激活函数 activ
阅读更多...
图神经网络框架DGL实现Graph Attention Network (GAT)笔记

图神经网络框架DGL实现Graph Attention Network (GAT)笔记

参考列表： [1]深入理解图注意力机制 [2]DGL官方学习教程一 ——基础操作&消息传递 [3]Cora数据集介绍+python读取 一、DGL实现GAT分类机器学习论文 程序摘自[1]，该程序实现了利用图神经网络框架——DGL，实现图注意网络（GAT）。应用demo为对机器学习论文数据集——Cora，对论文所属类别进行分类。（下图摘自[3]） 1. 程序 Ubuntu：18.04
阅读更多...
基于深度学习 卷积神经网络resnext50的中医舌苔分类系统

基于深度学习 卷积神经网络resnext50的中医舌苔分类系统

项目概述 本项目旨在通过深度学习技术，特别是利用卷积神经网络（Convolutional Neural Networks, CNNs）中的ResNeXt50架构，实现对中医舌象图像的自动分类。该系统不仅能够识别不同的舌苔类型，还能够在PyQt5框架下提供一个直观的图形用户界面（GUI），使得医生或患者能够方便地上传舌象照片并获取分析结果。 技术栈 深度学习框架：采用PyTorch或其他
阅读更多...
图神经网络（2）预备知识

图神经网络（2）预备知识

1. 图的基本概念         对于接触过数据结构和算法的读者来说，图并不是一个陌生的概念。一个图由一些顶点也称为节点和连接这些顶点的边组成。给定一个图G=(V,E),  其 中V={V1,V2,…,Vn}  是一个具有 n 个顶点的集合。 1.1邻接矩阵         我们用邻接矩阵A∈Rn×n表示顶点之间的连接关系。 如果顶点 vi和vj之间有连接，就表示(vi,vj)  组成了
阅读更多...
嵌入式面试经典30问：二

嵌入式面试经典30问：二

1. 嵌入式系统中，如何选择合适的微控制器或微处理器？ 在嵌入式系统中选择合适的微控制器（MCU）或微处理器（MPU）时，需要考虑多个因素以确保所选组件能够满足项目的具体需求。以下是一些关键步骤和考虑因素： 1.1 确定项目需求 性能要求：根据项目的复杂度、处理速度和数据吞吐量等要求，确定所需的处理器性能。功耗：评估系统的功耗需求，选择低功耗的MCU或MPU以延长电池寿命或减少能源消耗。成本
阅读更多...
Leetcode面试经典150题-128.最长连续序列-递归版本另解

Leetcode面试经典150题-128.最长连续序列-递归版本另解

之前写过一篇这个题的，但是可能代码比较复杂，这回来个简洁版的，这个是递归版本 可以看看之前的版本，两个版本面试用哪个都保过 解法都在代码里，不懂就留言或者私信 class Solution {/**对于之前的解法，我现在提供一共更优的解，但是这种可能会比较难懂一些（思想方面）代码其实是很简洁的，总体思想如下：不需要排序直接把所有数放入map，map的key是当前数字，value是当前数开始的
阅读更多...
力扣 739. 每日温度【经典单调栈题目】

力扣 739. 每日温度【经典单调栈题目】

1. 题目 理解题意： 1.1. 给一个温度集合， 要返回一个对应长度的结果集合， 这个结果集合里面的元素 i 是 当前 i 位置的元素的下一个更高温度的元素的位置和当前 i 位置的距离之差， 若是当前元素不存在下一个更高温度的元素， 则这个位置用0代替； 2. 思路 本题用单调栈来求解；单调栈就适用于来求当前元素左边或者右边第一个比当前元素大或者小的元素；【单调栈：让栈中的元素保持单调
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2