持续学习动态架构算法LwF（Learning without Forgetting ）解读总结与代码注释

2023-12-11 20:12
文章标签 算法 代码 动态 学习 总结 解读 架构 注释 持续 learning without forgetting lwf

本文主要是介绍持续学习动态架构算法LwF（Learning without Forgetting ）解读总结与代码注释，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

0.持续学习

  • 持续学习相关文章汇总，包含论文地址、代码地址、具体分析解读地址

1.LwF算法相关链接

  • 论文地址
  • 代码地址

2.基本想法

  • 针对问题：在无法获得原始任务训练数据的情况下，适合使视觉系统适应新任务，并且保证其在旧任务上的性能
  • 问题建模：学习对新任务具有判别能力的参数，同时保留训练数据上原始任务的输出
  • 将网络分为所有任务共享部分和特定任务独享部分，网络架构如下：
    图片

3.损失函数

  • 待学习参数有三种：共享部分参数、旧任务们的独享参数、新任务独享参数
  • 由三部分组成：旧任务损失、新任务损失、正则化项
  • 旧任务损失：增长后的网络的输出与增长前的输出尽可能相同，采用知识蒸馏损失，类似交叉熵损失，只不过加大了较小概率的惩罚权重（其中关键参数T，要大于1来加大小概率的权重，文中通过网格搜索将其定位2）
  • 新任务损失：对于新任务的预测与真实值尽可能相同，使用交叉熵损失或者NLL损失
  • 正则化项：限制网络中所有参数，权重0.0005
  • 新旧任务权衡：在新任务损失前面有一个系数来表示对新旧任务性能的权衡，文中取1，参数越大，在新任务上的性能越好，在旧任务上的性能越差。通过改变该参数可以获得新旧任务性能曲线。

4.训练流程

  • 热身阶段（warm-up step）：冻结共享部分参数、旧任务们的独享参数，单独训练新任务独享参数
  • 联合优化阶段（joint-optimize step）:优化所有参数

5.特点

  • 与传统联合调优方法相比：无需存储旧任务的数据，新任务只需要通过一次共享层便可以用来进行旧任务和新任务的更新，却具有了联合调优的优点。但因为不同任务的分布会不相同，所以文中的方法效果会不如传统联合调优，传统联合调优的效果可以视为本文方法的上限。
  • 效率分析：
    • 最慢：共享参数的正反向传播
    • 最快：特征提取层，因为只需要训练新任务的参数
    • 与传统微调相比：多了一步旧任务的独享参数更新，效率稍微低一点
    • 与传统联合调优相比：新旧任务共享的参数只需要进行一次前后向传播，效率更高

6.具体细节

  • 使用动量0.9的随机梯度下降
  • 在全连接层使用了dropout
  • 用旧任务的信息对新任务进行归一化
  • 数据增强：
    • 5X5的网格上对调整过大小的图像进行随机的固定尺寸裁剪
    • 随机镜像裁剪
    • RGB值上添加方差
  • 使用Xavier初始化新任务独享参数
  • 学习率是原网络学习率的0.1-0.02倍
  • 由于任务独享的特征提取部分参数量少，所以使用5倍学习率
  • 对于学习速度相似的方法，使用相同的训练epoch来进行公平比较
  • 有时为了防止过拟合、提升学习速度，会接近平稳在的时候将学习率变为0.1倍
  • 为了公平比较，将热身阶段后的共享网络作为联合训练和微调训练的起始点

7.实验

  • 添加单个新任务
  • 添加多个新任务
  • 数据集大小的影响
  • 网络设计的影响
  • 不同损失
  • 扩展网络结构的效用
  • 小学习率微调来保证旧任务的影响
  • 改变任务专属部分的网络层数

8.结论

  • 对于增长节点式的任务专属网络，其性能与原本的LwF性能相近，但是计算开销却大很多
  • 仅仅降低共享网络的学习率对保留旧任务性能的帮助并不大，但却会很大程度影响新任务
  • 用网络输出的变化来现在旧任务的变化要优于用网络参数的变化来衡量，因为网络参数一点小小的改变就可能引起输出巨大的改变
  • 知识蒸馏损失略优于L1、L2、交叉熵损失，但优势很小
  • 训练速度优于联合优化，对新任务的性能优于微调
  • 本文针对旧任务的损失对旧任务性能上的表现更可解释

9.未来工作

  • 应用到图像分类、跟踪等更多领域：分割、检测、视觉外的任务
  • 探索根据任务分布针对性地保留一些过去的任务数据和输出（由于是面对重尾分布）

10.代码解读

  • 参考文章
  • 含有备注的model.py
import torch
torch.backends.cudnn.benchmark=True
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
from torch.autograd import Variable
import numpy as np
from PIL import Image
from tqdm import tqdm
import time
import copyimport torchvision.models as models
import torchvision.transforms as transformsdef MultiClassCrossEntropy(logits, labels, T):# Ld = -1/N * sum(N) sum(C) softmax(label) * log(softmax(logit))labels = Variable(labels.data, requires_grad=False).cuda()outputs = torch.log_softmax(logits/T, dim=1)   # compute the log of softmax valueslabels = torch.softmax(labels/T, dim=1)# print('outputs: ', outputs)# print('labels: ', labels.shape)outputs = torch.sum(outputs * labels, dim=1, keepdim=False)outputs = -torch.mean(outputs, dim=0, keepdim=False)# print('OUT: ', outputs)return Variable(outputs.data, requires_grad=True).cuda()def kaiming_normal_init(m):if isinstance(m, nn.Conv2d):#判断m是不是nn.Conv2d的类型或子类nn.init.kaiming_normal_(m.weight, nonlinearity='relu')#一种初始化方法，要指明激活函数，保证输出有一定方差https://zhuanlan.zhihu.com/p/536483424elif isinstance(m, nn.Linear):nn.init.kaiming_normal_(m.weight, nonlinearity='sigmoid')class Model(nn.Module):'''分为超参数、网络架构、类增加三个部分前向传播里没有softmax'''def __init__(self, classes, classes_map, args):# Hyper Parametersself.init_lr = args.init_lrself.num_epochs = args.num_epochsself.batch_size = args.batch_sizeself.lower_rate_epoch = [int(0.7 * self.num_epochs), int(0.9 * self.num_epochs)] #hardcoded decay scheduleself.lr_dec_factor = 10self.pretrained = Falseself.momentum = 0.9self.weight_decay = 0.0001# Constant to provide numerical stability while normalizingself.epsilon = 1e-16# Network architecturesuper(Model, self).__init__()self.model = models.resnet34(pretrained=self.pretrained)self.model.apply(kaiming_normal_init)"""独享层:一层全连接层,与classes数量有关,且没有偏置"""num_features = self.model.fc.in_featuresself.model.fc = nn.Linear(num_features, classes, bias=False)self.fc = self.model.fc'''共享层:resnet34除去最后一层'''#nn.Sequential按序列构建模型https://blog.csdn.net/hxxjxw/article/details/106231242#.children()返回模型的最外层，与.model()的区别类似于attend和extendself.feature_extractor = nn.Sequential(*list(self.model.children())[:-1])#*用于迭代地取出list中的内容#用nn.DataParallel包装模型，可以在多GPU上运行https://zhuanlan.zhihu.com/p/647169457self.feature_extractor = nn.DataParallel(self.feature_extractor) # n_classes is incremented(递增) before processing new data in an iteration# n_known is set to n_classes after all data for an iteration has been processed数据处理完后n_known设为n_classesself.n_classes = 0self.n_known = 0self.classes_map = classes_mapdef forward(self, x):x = self.feature_extractor(x)x = x.view(x.size(0), -1)x = self.fc(x)return xdef increment_classes(self, new_classes):"""Add n classes in the final fc layer"""n = len(new_classes)print('new classes: ', n)in_features = self.fc.in_featuresout_features = self.fc.out_featuresweight = self.fc.weight.data#保存旧任务的网络权重if self.n_known == 0:new_out_features = nelse:new_out_features = out_features + nprint('new out features: ', new_out_features)self.model.fc = nn.Linear(in_features, new_out_features, bias=False)self.fc = self.model.fckaiming_normal_init(self.fc.weight)#所有任务网络统一初始化self.fc.weight.data[:out_features] = weight#还原旧任务网络权重self.n_classes += ndef classify(self, images):"""Classify images by softmaxArgs:x: input image batchReturns:preds: Tensor of size (batch_size,)"""_, preds = torch.max(torch.softmax(self.forward(images), dim=1), dim=1, keepdim=False)return predsdef update(self, dataset, class_map, args):self.compute_means = True# Save a copy to compute distillation outputs保存旧网络来计算旧任务原始输出prev_model = copy.deepcopy(self)prev_model.cuda()classes = list(set(dataset.train_labels))#print("Classes: ", classes)print('Known: ', self.n_known)if self.n_classes == 1 and self.n_known == 0:#self.n_classes初始值是1不是0吗？！new_classes = [classes[i] for i in range(1,len(classes))]else:new_classes = [cl for cl in classes if class_map[cl] >= self.n_known]#有新任务就动态调整网络if len(new_classes) > 0:self.increment_classes(new_classes)self.cuda()loader = torch.utils.data.DataLoader(dataset, batch_size=self.batch_size,shuffle=True, num_workers=12)print("Batch Size (for n_classes classes) : ", len(dataset))optimizer = optim.SGD(self.parameters(), lr=self.init_lr, momentum = self.momentum, weight_decay=self.weight_decay)with tqdm(total=self.num_epochs) as pbar:for epoch in range(self.num_epochs):# Modify learning rate# if (epoch+1) in lower_rate_epoch:# 	self.lr = self.lr * 1.0/lr_dec_factor# 	for param_group in optimizer.param_groups:# 		param_group['lr'] = self.lrfor i, (indices, images, labels) in enumerate(loader):seen_labels = []images = Variable(torch.FloatTensor(images)).cuda()seen_labels = torch.LongTensor([class_map[label] for label in labels.numpy()])labels = Variable(seen_labels).cuda()# indices = indices.cuda()optimizer.zero_grad()logits = self.forward(images)cls_loss = nn.CrossEntropyLoss()(logits, labels)if self.n_classes//len(new_classes) > 1:dist_target = prev_model.forward(images)logits_dist = logits[:,:-(self.n_classes-self.n_known)]dist_loss = MultiClassCrossEntropy(logits_dist, dist_target, 2)loss = dist_loss+cls_losselse:loss = cls_lossloss.backward()optimizer.step()if (i+1) % 1 == 0:tqdm.write('Epoch [%d/%d], Iter [%d/%d] Loss: %.4f' %(epoch+1, self.num_epochs, i+1, np.ceil(len(dataset)/self.batch_size), loss.data))pbar.update(1)

这篇关于持续学习动态架构算法LwF（Learning without Forgetting ）解读总结与代码注释的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/481975。

相关文章

IDEA自动生成注释模板的配置教程

IDEA自动生成注释模板的配置教程

《IDEA自动生成注释模板的配置教程》本文介绍了如何在IntelliJIDEA中配置类和方法的注释模板,包括自动生成项目名称、包名、日期和时间等内容,以及如何定制参数和返回值的注释格式,需要的朋友可以... 目录项目场景配置方法类注释模板定义类开头的注释步骤类注释效果方法注释模板定义方法开头的注释步骤方法注
阅读更多...
使用Java将DOCX文档解析为Markdown文档的代码实现

使用Java将DOCX文档解析为Markdown文档的代码实现

《使用Java将DOCX文档解析为Markdown文档的代码实现》在现代文档处理中,Markdown（MD）因其简洁的语法和良好的可读性,逐渐成为开发者、技术写作者和内容创作者的首选格式,然而,许多文... 目录引言1. 工具和库介绍2. 安装依赖库3. 使用Apache POI解析DOCX文档4. 将解析
阅读更多...
C++使用printf语句实现进制转换的示例代码

C++使用printf语句实现进制转换的示例代码

《C++使用printf语句实现进制转换的示例代码》在C语言中,printf函数可以直接实现部分进制转换功能,通过格式说明符（formatspecifier）快速输出不同进制的数值,下面给大家分享C+... 目录一、printf 原生支持的进制转换1. 十进制、八进制、十六进制转换2. 显示进制前缀3. 指
阅读更多...
python3 gunicorn配置文件的用法解读

python3 gunicorn配置文件的用法解读

《python3gunicorn配置文件的用法解读》：本文主要介绍python3gunicorn配置文件的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录python3 gunicorn配置文件配置文件服务启动、重启、关闭启动重启关闭总结python3 gun
阅读更多...
关于pandas的read_csv方法使用解读

关于pandas的read_csv方法使用解读

《关于pandas的read_csv方法使用解读》：本文主要介绍关于pandas的read_csv方法使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录pandas的read_csv方法解读read_csv中的参数基本参数通用解析参数空值处理相关参数时间处理相关
阅读更多...
openCV中KNN算法的实现

openCV中KNN算法的实现

《openCV中KNN算法的实现》KNN算法是一种简单且常用的分类算法,本文主要介绍了openCV中KNN算法的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的... 目录KNN算法流程使用OpenCV实现KNNOpenCV 是一个开源的跨平台计算机视觉库，它提供了各
阅读更多...
使用Python实现全能手机虚拟键盘的示例代码

使用Python实现全能手机虚拟键盘的示例代码

《使用Python实现全能手机虚拟键盘的示例代码》在数字化办公时代,你是否遇到过这样的场景：会议室投影电脑突然键盘失灵、躺在沙发上想远程控制书房电脑、或者需要给长辈远程协助操作？今天我要分享的Pyth... 目录一、项目概述：不止于键盘的远程控制方案1.1 创新价值1.2 技术栈全景二、需求实现步骤一、需求
阅读更多...
Java中Date、LocalDate、LocalDateTime、LocalTime、时间戳之间的相互转换代码

Java中Date、LocalDate、LocalDateTime、LocalTime、时间戳之间的相互转换代码

《Java中Date、LocalDate、LocalDateTime、LocalTime、时间戳之间的相互转换代码》：本文主要介绍Java中日期时间转换的多种方法,包括将Date转换为LocalD... 目录一、Date转LocalDateTime二、Date转LocalDate三、LocalDateTim
阅读更多...
MySQL中动态生成SQL语句去掉所有字段的空格的操作方法

MySQL中动态生成SQL语句去掉所有字段的空格的操作方法

《MySQL中动态生成SQL语句去掉所有字段的空格的操作方法》在数据库管理过程中,我们常常会遇到需要对表中字段进行清洗和整理的情况,本文将详细介绍如何在MySQL中动态生成SQL语句来去掉所有字段的空... 目录在mysql中动态生成SQL语句去掉所有字段的空格准备工作原理分析动态生成SQL语句在MySQL
阅读更多...
jupyter代码块没有运行图标的解决方案

jupyter代码块没有运行图标的解决方案

《jupyter代码块没有运行图标的解决方案》：本文主要介绍jupyter代码块没有运行图标的解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录jupyter代码块没有运行图标的解决1.找到Jupyter notebook的系统配置文件2.这时候一般会搜索到
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2