本文主要是介绍Open-FWI代码解析(4)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
1. scheduler文件
1.1 WarmupMultiStepLR类
这部分代码主要是设置优化器学习率的参数, 如刚开始学习率较低(热身阶段), 中途恢复正常, 之后每过多少epoch降低到中途恢复正常学习率的多少倍
class WarmupMultiStepLR(torch.optim.lr_scheduler._LRScheduler):def __init__(self,optimizer,milestones,gamma=0.1,warmup_factor=1.0 / 3,warmup_iters=5,warmup_method="linear",last_epoch=-1,):''':param optimizer: 优化器:param milestones: 在第几个epoch降低学习率:param gamma: 降低gamma倍学习率:param warmup_factor:预热因子，即预热期间学习率相对于初始学习率的比例，默认为 1/3。:param warmup_iters:warmup 期间的 epoch 数量。:param warmup_method:warmup 策略。可以是 "constant" 或 "linear"。"constant" 表示在前几个 epoch 中保持学习率不变，"linear" 表示逐渐增加学习率。:param last_epoch:在初始化时，last_epoch 的初始值为 -1，表示还没有进行任何训练。随着每个 epoch 的结束，last_epoch 的值会逐渐增加，以便调度器可以根据当前的 epoch 来调整学习率。'''# 用于检查是否为升序排列if not milestones == sorted(milestones):raise ValueError("Milestones should be a list of" " increasing integers. Got {}",milestones,)# 这段代码用于检查 warmup_method 是否为 "constant" 或 "linear" 中的一个if warmup_method not in ("constant", "linear"):raise ValueError("Only 'constant' or 'linear' warmup_method accepted""got {}".format(warmup_method))self.milestones = milestonesself.gamma = gammaself.warmup_factor = warmup_factorself.warmup_iters = warmup_itersself.warmup_method = warmup_method# super().__init__(optimizer, last_epoch)也行super(WarmupMultiStepLR, self).__init__(optimizer, last_epoch)def get_lr(self):warmup_factor = 1if self.last_epoch < self.warmup_iters:if self.warmup_method == "constant":warmup_factor = self.warmup_factorelif self.warmup_method == "linear":alpha = float(self.last_epoch) / self.warmup_iterswarmup_factor = self.warmup_factor * (1 - alpha) + alphareturn [base_lr *warmup_factor *self.gamma ** bisect_right(self.milestones, self.last_epoch)for base_lr in self.base_lrs]if __name__ == '__main__':print('---------------------')# optimizer：需要进行学习率调整的优化器。# milestones：一个升序排列的列表，表示需要调整学习率的 epoch。# gamma：每次调整时，学习率将乘以 gamma。# warmup_factor：warmup 期间，学习率将逐渐从初始值增加到原始学习率的一部分。该参数指定增加到原始学习率的比例。# warmup_iters：warmup 期间的 epoch 数量。# warmup_method：warmup 策略。可以是 "constant" 或 "linear"。"constant" 表示在前几个 epoch 中保持学习率不变，"linear" 表示逐渐增加学习率。# 以下是调用上述代码的一个示例# import torch# import torch.optim as optim# from bisect import bisect_right# import scheduler# model = YourModel()设置模型# optimizer = optim.SGD(model.parameters(), lr=0.1)# 定义学习率调整策略# milestones = [30, 60, 90] # 在第30、60、90个epoch调整学习率# scheduler = scheduler.WarmupMultiStepLR(optimizer, milestones,# gamma=0.1, warmup_factor=0.3, warmup_iters=5,# warmup_method="linear")# 训练循环# for epoch in range(100):# # 在每个epoch开始前更新学习率# scheduler.step()# # # 训练模型# train(train_loader)# # # 验证模型# validate(val_loader)这篇关于Open-FWI代码解析(4)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
