自制efficientnet网络

2024-09-03 04:04
文章标签 网络 自制 efficientnet

本文主要是介绍自制efficientnet网络，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

用到的技术cnn,残差连接，全局池化注意力机制,点卷积切换通道,深度卷积提取空间特征

import os
os.environ["KERAS_BACKEND"] = "tensorflow"  # @param ["tensorflow", "jax", "torch"]
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
import matplotlib.pyplot as plt
import numpy as np
import keras
import tensorflow as tf
from keras import layers

# MobileNetV2 的一个关键特性是使用了“扩张-压缩”模式，即首先通过 1x1 卷积（点卷积）增加通道数（扩张），
# 然后通过深度可分离卷积处理特征，最后再通过 1x1 卷积减少通道数（压缩）,越往下,扩张和压缩通道越大
# 并且在特征图到60x60以下逐渐加大提取特征力度,用残差网络
# MobileNetV2 中的瓶颈块会根据网络的深度重复不同的次数。您的代码中为不同的瓶颈块设置了不同的重复次数（
# 如 2 次、3 次），这通常是正确的
def activation_block(x): # 大多预训练模型都是先批次标准化,再激活函数
    # 如果把激活函数放前面,在模型摘要里会先显示激活函数,但是这不是大多数模型的摘要信息
    # 说明是先批次标准化,之后激活函数
    x = layers.BatchNormalization()(x)
    return layers.Activation(keras.activations.hard_swish)(x)

def relu_activation_block(x): # 大多预训练模型都是先批次标准化,再激活函数
    # 如果把激活函数放前面,在模型摘要里会先显示激活函数,但是这不是大多数模型的摘要信息
    # 说明是先批次标准化,之后激活函数
    # relu6:如果输入 x 是正数，则输出 x，但不超过6；如果 x 是负数，则输出0；如果 x 大于6，
    # 则输出6.而relu无限制
    x = layers.BatchNormalization()(x)
    return layers.Activation('relu6')(x)

def se(inputs,in_c,out_c):
    multiply=inputs
    # (n,c) 全局平均池化,获取样本的全局分类信息
    x=layers.GlobalAveragePooling2D()(multiply)
    # 变形
    x=layers.Reshape([1,1,-1])(x)
    # 这里用了截距,这里减少通道数是为了紧凑特征,同时可以减少模型过拟合
    x=layers.Conv2D(in_c,1,padding='same')(x)
    # 之后放大到原通道数,这里卷积核大小是1,是点卷积
    x=layers.Conv2D(out_c,1,padding='same')(x)
    x=layers.Multiply()([x,multiply])
    return x

def depthwiseConv_block(inputs,filters,kernel_size=3,strides=1):
    x=inputs
    x=layers.Conv2D(filters,1,padding='same',use_bias=False)(x)
    x=relu_activation_block(x)
    x=layers.DepthwiseConv2D(kernel_size,strides=strides,padding='same',use_bias=False)(x)
    x=relu_activation_block(x)
    return x

def conv1_block(inputs,filters,dropout=None):
    x=inputs
    x=layers.Conv2D(filters,1,padding='same',use_bias=False)(x)
    x = layers.BatchNormalization()(x)
    if dropout:
        x=layers.Dropout(dropout)(x)
    return x

# 收缩点卷积:16--24--40--80--112--192
# 扩张点卷积:96--144--240--480--672--1152
# global注意力模块:4--6--10--20--28--48
def get_efficientnetb0_model(input_shape,num_classes):
    inputs=keras.Input(shape=input_shape)
    x=layers.Rescaling(1.0/255)(inputs)
    x=layers.Normalization()(x)
    x=layers.Rescaling(scale=[2.0896918976428642, 2.1128856368212916, 2.1081851067789197], offset=0.0)(x)
    x=layers.Conv2D(32,3,strides=2,padding='same',use_bias=False)(x) # (112,112)
    x=relu_activation_block(x)
    x=layers.DepthwiseConv2D(3,padding='same',use_bias=False)(x)
    x=relu_activation_block(x)
    x=se(x,8,32) # 有利于通道信息的重修订,减少过拟合,只关注重要的特征
    x=conv1_block(x,16)
    # 深度卷积模块,用来提取空间信息
    x=depthwiseConv_block(x,96,strides=2)  # (56,56)
    x=se(x,4,96)
    x=conv1_block(x,24)
    x0=x
    x=depthwiseConv_block(x0,144)
    x=se(x,6,144)
    x=conv1_block(x,24,0.025)
    x=layers.add([x,x0])
    # 注意:kernel_size=5,核大,视野就大
    x=depthwiseConv_block(x,144,kernel_size=5,strides=2) # (28,28)
    x=se(x,6,144)
    x=conv1_block(x,40)
    x0=x
    x=depthwiseConv_block(x0,240,kernel_size=5)
    x=se(x,10,240)
    x=conv1_block(x,40,0.025)
    x=layers.add([x,x0])
    # 这个位置用的kernel_size=3
    x=depthwiseConv_block(x,240,strides=2) # (14,14)
    x=se(x,10,240)
    x=conv1_block(x,80)
    for i in range(2):
        x0=x
        x=depthwiseConv_block(x0,480)
        x=se(x,20,480)
        x=conv1_block(x,80,0.025)
        x=layers.add([x,x0])
    x=depthwiseConv_block(x,480,kernel_size=5)
    x=se(x,20,480)
    x=conv1_block(x,112)
    for i in range(2):
        x0=x
        x=depthwiseConv_block(x0,672,kernel_size=5)
        x=se(x,28,672)
        x=conv1_block(x,112,0.025)
        x=layers.add([x,x0])
    x=depthwiseConv_block(x,672,kernel_size=5,strides=2) # (7,7)
    x=se(x,28,672)
    x=conv1_block(x,192)
    for i in range(3):
        x0=x
        x=depthwiseConv_block(x0,1152,kernel_size=5)
        x=se(x,48,1152)
        x=conv1_block(x,192,0.025)
        x=layers.add([x,x0])
    x=depthwiseConv_block(x,1152,kernel_size=3)
    x=se(x,48,1152)
    x=conv1_block(x,320)
    x=layers.Conv2D(1280,1,padding='same',use_bias=False)(x)
    x=activation_block(x)
    return keras.Model(inputs,x)

# 64--128--256--512--1024
# 没有残差,点卷积用来切换通道,便于深度卷积提取信息
def get_mobilenet_model(input_shape,num_classes):
    inputs=keras.Input(shape=input_shape)
    x=layers.Rescaling(1.0/255)(inputs)
    x=layers.Conv2D(32,3,strides=2,padding='same',use_bias=False)(x)  # (80,80,32)
    x=relu_activation_block(x)
    x=layers.DepthwiseConv2D(3,padding='same',use_bias=False)(x)
    x=relu_activation_block(x)
    x=layers.Conv2D(64,1,padding='same',use_bias=False)(x)
    x=relu_activation_block(x)
    x=layers.DepthwiseConv2D(3,strides=2,padding='same',use_bias=False)(x) # (40,40,64)
    x=relu_activation_block(x)
    for i in range(2): # 在40x40的特征图上深度卷积两次
        x=layers.Conv2D(128,1,padding='same',use_bias=False)(x)
        x=relu_activation_block(x)
        if i==0:
            x=layers.DepthwiseConv2D(3,padding='same',use_bias=False)(x)
        else:
           x=layers.DepthwiseConv2D(3,strides=2,padding='same',use_bias=False)(x) # (20,20,128)
        x=relu_activation_block(x)
    for i in range(2): # 在20x20的特征图上深度卷积两次
        x=layers.Conv2D(256,1,padding='same',use_bias=False)(x)
        x=relu_activation_block(x)
        if i ==0:
            x=layers.DepthwiseConv2D(3,padding='same',use_bias=False)(x)
        else:
            x=layers.DepthwiseConv2D(3,strides=2,padding='same',use_bias=False)(x) # (10,10,256)
        x=relu_activation_block(x)
    for i in range(6): # 在10x10的特征图上狠提特征
        x=layers.Conv2D(512,1,padding='same',use_bias=False)(x)
        x=relu_activation_block(x)
        if i !=5:
            x=layers.DepthwiseConv2D(3,padding='same',use_bias=False)(x)
        else:
            x=layers.DepthwiseConv2D(3,strides=2,padding='same',use_bias=False)(x)  # (5,5,512)
        x=relu_activation_block(x)
    x=layers.Conv2D(1024,1,padding='same',use_bias=False)(x)
    x=relu_activation_block(x)
    x=layers.DepthwiseConv2D(3,padding='same',use_bias=False)(x)
    x=relu_activation_block(x)
    x=layers.Conv2D(1024,1,padding='same',use_bias=False)(x)
    x=relu_activation_block(x)
    return keras.Model(inputs,x)

def get_efficientnetb5_model(input_shape,num_classes):
    inputs=keras.Input(shape=input_shape)
    x=layers.Rescaling(1.0/255)(inputs)
    x=layers.Normalization()(x)
    x=layers.Rescaling(scale=[2.0896918976428642, 2.1128856368212916, 2.1081851067789197], offset=0.0)(x)
    x=layers.Conv2D(48,3,strides=2,padding='same',use_bias=False)(x) # (112,112)
    x=relu_activation_block(x)
    x=layers.DepthwiseConv2D(3,padding='same',use_bias=False)(x)
    x=relu_activation_block(x)
    x=se(x,12,48)
    x=conv1_block(x,24)
    # 其实想想都知道它加深网络干啥事,之前200多层的网络主要提取14x14,7x7这些特征图的特征
    # 现在它有足够的层数,就加大了112x112,56x56特征图的提取力度
    for i in range(2): # 在112x112的特征图上用了两次残差
        x0=x
        x=layers.DepthwiseConv2D(3,padding='same',use_bias=False)(x0)
        x=relu_activation_block(x)
        x=se(x,6,24)
        x=conv1_block(x,24,0.025)
        x=layers.add([x,x0])
    x=depthwiseConv_block(x,144,strides=2) # (56,56)
    x=se(x,6,144)
    x=conv1_block(x,40)
    for i in range(4): # 在56x56的特征图上用了四次残差
        x0=x
        x=depthwiseConv_block(x0,240)
        x=se(x,10,240)
        x=conv1_block(x,40,0.025)
        x=layers.add([x,x0])
    # 用5x5的核,可以加强感受野
    x=depthwiseConv_block(x,240,strides=2,kernel_size=5) # (28,28)
    x=se(x,10,240)
    x=conv1_block(x,64)
    for i in range(4): # 在28x28的特征图上用了四次残差
        x0=x
        x=depthwiseConv_block(x0,384,kernel_size=5)
        x=se(x,16,384)
        x=conv1_block(x,64,0.025)
        x=layers.add([x,x0])
    # 用3x3的核
    x=depthwiseConv_block(x,384,kernel_size=3,strides=2) # (14,14)
    x=se(x,16,384)
    x=conv1_block(x,128)
    for i in range(6):
        x0=x
        x=depthwiseConv_block(x0,768)
        x=se(x,32,768)
        x=conv1_block(x,128,0.025)
        x=layers.add([x,x0])
    x=depthwiseConv_block(x,768,kernel_size=5)
    x=se(x,32,768)
    x=conv1_block(x,176)
    for i in range(6): # 在14x14的特征图上一共用了12次残差
        x0=x
        x=depthwiseConv_block(x0,1056,kernel_size=5)
        x=se(x,44,1056)
        x=conv1_block(x,176,0.025)
        x=layers.add([x,x0])
    # 深度卷积核大小:5x5
    x=depthwiseConv_block(x,1056,kernel_size=5,strides=2) # (7,7)
    x=se(x,44,1056)
    x=conv1_block(x,304)
    for i in range(8):
        x0=x
        x=depthwiseConv_block(x0,1824,kernel_size=5)  # 核大小:5x5
        x=se(x,76,1824)
        x=conv1_block(x,304,0.025)
        x=layers.add([x,x0])
    x=depthwiseConv_block(x,1824,kernel_size=3)
    x=se(x,76,1824)
    x=conv1_block(x,512)
    for i in range(2): # 在7x7的特征图上一共用了10次残差
        x0=x
        x=depthwiseConv_block(x0,3072)
        x=se(x,128,3072)
        x=conv1_block(x,512,0.025)
        x=layers.add([x,x0])
    x=layers.Conv2D(2048,1,padding='same',use_bias=False)(x)
    x=activation_block(x)
    return keras.Model(inputs,x)

# 上面的要是没看懂,这个就不要看了,这个一共800多层，作为目标最优秀的一类卷积残差网络

def get_efficientnetb7_model(input_shape,num_classes):
    inputs=keras.Input(shape=input_shape)
    x=layers.Rescaling(1.0/255)(inputs)
    x=layers.Normalization()(x)
    x=layers.Rescaling(scale=[2.0896918976428642, 2.1128856368212916, 2.1081851067789197], offset=0.0)(x)
    x=layers.Conv2D(64,3,strides=2,padding='same',use_bias=False)(x) # (112,112)
    x=relu_activation_block(x)
    x=layers.DepthwiseConv2D(3,padding='same',use_bias=False)(x)
    x=relu_activation_block(x)
    x=se(x,16,64)
    x=conv1_block(x,32)
    # 其实想想都知道它加深网络干啥事,之前200多层的网络主要提取14x14,7x7这些特征图的特征
    # 现在它有足够的层数,就加大了112x112,56x56特征图的提取力度
    for i in range(3): # 在 112x112的特征图上用了3次残差
        x0=x
        x=layers.DepthwiseConv2D(3,padding='same',use_bias=False)(x0)
        x=relu_activation_block(x)
        x=se(x,8,32)
        x=conv1_block(x,32,0.025)
        x=layers.add([x,x0])
    x=depthwiseConv_block(x,192,strides=2) # (56,56)
    x=se(x,8,192)
    x=conv1_block(x,48)
    for i in range(6): # 在56x56的特征图上用了6次残差
        x0=x
        x=depthwiseConv_block(x0,288)
        x=se(x,12,288)
        x=conv1_block(x,48,0.025)
        x=layers.add([x,x0])
    # 用5x5的核,可以加强感受野
    x=depthwiseConv_block(x,288,strides=2,kernel_size=5) # (28,28)
    x=se(x,12,288)
    x=conv1_block(x,80)
    for i in range(6): # 在28x28的特征图上用了6次残差
        x0=x
        x=depthwiseConv_block(x0,480,kernel_size=5)
        x=se(x,20,480)
        x=conv1_block(x,80,0.025)
        x=layers.add([x,x0])
    # 用3x3的核
    x=depthwiseConv_block(x,480,kernel_size=3,strides=2) # (14,14)
    x=se(x,20,480)
    x=conv1_block(x,160)
    for i in range(9):
        x0=x
        x=depthwiseConv_block(x0,960)
        x=se(x,40,960)
        x=conv1_block(x,160,0.025)
        x=layers.add([x,x0])
    x=depthwiseConv_block(x,960,kernel_size=5)
    x=se(x,40,960)
    x=conv1_block(x,224)
    for i in range(9): # 在14x14的特征图上一共用了18次残差
        x0=x
        x=depthwiseConv_block(x0,1344,kernel_size=5)
        x=se(x,56,1344)
        x=conv1_block(x,224,0.025)
        x=layers.add([x,x0])
    # 深度卷积核大小:5x5
    x=depthwiseConv_block(x,1344,kernel_size=5,strides=2) # (7,7)
    x=se(x,56,1344)
    x=conv1_block(x,384)
    for i in range(12):
        x0=x
        x=depthwiseConv_block(x0,2304,kernel_size=5)  # 核大小:5x5
        x=se(x,96,2304)
        x=conv1_block(x,384,0.025)
        x=layers.add([x,x0])
    x=depthwiseConv_block(x,2304,kernel_size=3)
    x=se(x,96,2304)
    x=conv1_block(x,640)
    for i in range(3): # 在7x7的特征图上一共用了15次残差
        x0=x
        x=depthwiseConv_block(x0,3840)
        x=se(x,160,3840)
        x=conv1_block(x,640,0.025)
        x=layers.add([x,x0])
    x=layers.Conv2D(2560,1,padding='same',use_bias=False)(x)
    x=activation_block(x)
    return keras.Model(inputs,x)

这篇关于自制efficientnet网络的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1131970。

相关文章

Linux 网络编程 --- 应用层

Linux 网络编程 --- 应用层

一、自定义协议和序列化反序列化 代码： 序列化反序列化实现网络版本计算器 二、HTTP协议 1、谈两个简单的预备知识 https://www.baidu.com/ --- 域名 --- 域名解析 --- IP地址 http的端口号为80端口，https的端口号为443 url为统一资源定位符。CSDNhttps://mp.csdn.net/mp_blog/creation/editor
阅读更多...
ASIO网络调试助手之一：简介

ASIO网络调试助手之一：简介

多年前，写过几篇《Boost.Asio C++网络编程》的学习文章，一直没机会实践。最近项目中用到了Asio，于是抽空写了个网络调试助手。 开发环境： Win10 Qt5.12.6 + Asio(standalone) + spdlog 支持协议： UDP + TCP Client + TCP Server 独立的Asio（http://www.think-async.com）只包含了头文件，不依
阅读更多...
poj 3181 网络流，建图。

poj 3181 网络流，建图。

题意： 农夫约翰为他的牛准备了F种食物和D种饮料。 每头牛都有各自喜欢的食物和饮料，而每种食物和饮料都只能分配给一头牛。 问最多能有多少头牛可以同时得到喜欢的食物和饮料。 解析： 由于要同时得到喜欢的食物和饮料，所以网络流建图的时候要把牛拆点了。 如下建图： s -> 食物 -> 牛1 -> 牛2 -> 饮料 -> t 所以分配一下点： s  =  0， 牛1= 1~
阅读更多...
poj 3068 有流量限制的最小费用网络流

poj 3068 有流量限制的最小费用网络流

题意： m条有向边连接了n个仓库，每条边都有一定费用。 将两种危险品从0运到n-1，除了起点和终点外，危险品不能放在一起，也不能走相同的路径。 求最小的费用是多少。 解析： 抽象出一个源点s一个汇点t，源点与0相连，费用为0，容量为2。 汇点与n - 1相连，费用为0，容量为2。 每条边之间也相连，费用为每条边的费用，容量为1。 建图完毕之后，求一条流量为2的最小费用流就行了
阅读更多...
poj 2112 网络流+二分

poj 2112 网络流+二分

题意： k台挤奶机，c头牛，每台挤奶机可以挤m头牛。 现在给出每只牛到挤奶机的距离矩阵，求最小化牛的最大路程。 解析： 最大值最小化，最小值最大化，用二分来做。 先求出两点之间的最短距离。 然后二分匹配牛到挤奶机的最大路程，匹配中的判断是在这个最大路程下，是否牛的数量达到c只。 如何求牛的数量呢，用网络流来做。 从源点到牛引一条容量为1的边，然后挤奶机到汇点引一条容量为m的边
阅读更多...
配置InfiniBand (IB) 和 RDMA over Converged Ethernet (RoCE) 网络

配置InfiniBand (IB) 和 RDMA over Converged Ethernet (RoCE) 网络

配置InfiniBand (IB) 和 RDMA over Converged Ethernet (RoCE) 网络 服务器端配置 在服务器端，你需要确保安装了必要的驱动程序和软件包，并且正确配置了网络接口。 安装 OFED 首先，安装 Open Fabrics Enterprise Distribution (OFED)，它包含了 InfiniBand 所需的驱动程序和库。 sudo
阅读更多...
【机器学习】高斯网络的基本概念和应用领域

【机器学习】高斯网络的基本概念和应用领域

引言 高斯网络（Gaussian Network）通常指的是一个概率图模型，其中所有的随机变量（或节点）都遵循高斯分布 文章目录 引言一、高斯网络（Gaussian Network）1.1 高斯过程（Gaussian Process）1.2 高斯混合模型（Gaussian Mixture Model）1.3 应用1.4 总结 二、高斯网络的应用2.1 机器学习2.2 统计学2.3
阅读更多...
网络学习-eNSP配置NAT

网络学习-eNSP配置NAT

NAT实现内网和外网互通 #给路由器接口设置IP地址模拟实验环境<Huawei>system-viewEnter system view, return user view with Ctrl+Z.[Huawei]undo info-center enableInfo: Information center is disabled.[Huawei]interface gigabit
阅读更多...
Golang 网络爬虫框架gocolly/colly（五）

Golang 网络爬虫框架gocolly/colly（五）

gcocolly+goquery可以非常好地抓取HTML页面中的数据，但碰到页面是由Javascript动态生成时，用goquery就显得捉襟见肘了。解决方法有很多种： 一，最笨拙但有效的方法是字符串处理，go语言string底层对应字节数组，复制任何长度的字符串的开销都很低廉，搜索性能比较高； 二，利用正则表达式，要提取的数据往往有明显的特征，所以正则表达式写起来比较简单，不必非常严谨； 三，使
阅读更多...
Golang网络爬虫框架gocolly/colly（四）

Golang网络爬虫框架gocolly/colly（四）

爬虫靠演技，表演得越像浏览器，抓取数据越容易，这是我多年爬虫经验的感悟。回顾下个人的爬虫经历，共分三个阶段：第一阶段，09年左右开始接触爬虫，那时由于项目需要，要访问各大国际社交网站，Facebook，myspace，filcker，youtube等等，国际上叫得上名字的社交网站都爬过，大部分网站提供restful api，有些功能没有api，就只能用http抓包工具分析协议，自己爬；国内的优酷、
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2