深度学习记录--学习率衰减(learning rate decay)

2024-01-22 17:12

文章标签 学习深度记录 learning 衰减 rate decay

本文主要是介绍深度学习记录--学习率衰减(learning rate decay)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

学习率衰减

mini-batch梯度下降最终会在最小值附近的区间摆动(噪声很大)，不会精确收敛

为了更加近似最小值，采用学习率衰减的方法

随着学习率的衰减，步长会逐渐变小，因此最终摆动的区间会很小，更加近似最小值

如下图，蓝色曲线表示mini-batch梯度下降，绿色曲线表示采用学习率衰减的梯度下降

学习率衰减的实现

1 epoch = 遍历数据1次

$\alpha = \frac{1}{1+rate_{decay}*num_{epoch}} *\alpha_{0}$

$rate_{decay}$ 是学习率衰减的超参数， $\alpha_{0}$ 是初始学习率， $num_{epoch}$ 是遍历次数

其他衰减方案

$\alpha = \varepsilon ^{num_{epoch}}*\alpha_{0}$

$\alpha_{0}$ 是初始学习率， $\varepsilon$ 是衰减常量，一般设置 $\varepsilon=0.95$ ， $num_{epoch}$ 是遍历次数

$\alpha = \frac{k}{\sqrt{num_{epoch}}} *\alpha_{0}$

$\alpha_{0}$ 是初始学习率， $k$ 是衰减常量， $num_{epoch}$ 是遍历次数

分段衰减函数

这篇关于深度学习记录--学习率衰减(learning rate decay)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

http://www.chinasem.cn/article/633659。 23002807@qq.com

相关文章

51单片机学习记录———定时器

51单片机学习记录———定时器

文章目录前言一、定时器介绍二、STC89C52定时器资源三、定时器框图四、定时器模式五、定时器相关寄存器六、定时器练习前言一个学习嵌入式的小白~ 有问题评论区或私信指出~ 提示：以下是本篇文章正文内容，下面案例可供参考一、定时器介绍定时器介绍：51单片机的定时器属于单片机的内部资源，其电路的连接和运转均在单片机内部完成。定时器作用： 1.用于计数系统，可

阅读更多...

问题：第一次世界大战的起止时间是 #其他#学习方法#微信

问题：第一次世界大战的起止时间是 #其他#学习方法#微信

问题：第一次世界大战的起止时间是 A.1913 ~1918 年 B.1913 ~1918 年 C.1914 ~1918 年 D.1914 ~1919 年参考答案如图所示

阅读更多...

[word] word设置上标快捷键 #学习方法#其他#媒体

[word] word设置上标快捷键 #学习方法#其他#媒体

word设置上标快捷键办公中，少不了使用word，这个是大家必备的软件，今天给大家分享word设置上标快捷键，希望在办公中能帮到您！ 1、添加上标在录入一些公式，或者是化学产品时，需要添加上标内容，按下快捷键Ctrl+shift++就能将需要的内容设置为上标符号。 word设置上标快捷键的方法就是以上内容了，需要的小伙伴都可以试一试呢！

阅读更多...

AssetBundle学习笔记

AssetBundle学习笔记

AssetBundle是unity自定义的资源格式，通过调用引擎的资源打包接口对资源进行打包成.assetbundle格式的资源包。本文介绍了AssetBundle的生成，使用，加载，卸载以及Unity资源更新的一个基本步骤。目录 1.定义： 2.AssetBundle的生成： 1）设置AssetBundle包的属性——通过编辑器界面补充：分组策略 2）调用引擎接口API

阅读更多...

Javascript高级程序设计(第四版)--学习记录之变量、内存

Javascript高级程序设计(第四版)--学习记录之变量、内存

原始值与引用值原始值：简单的数据即基础数据类型，按值访问。引用值：由多个值构成的对象即复杂数据类型，按引用访问。动态属性对于引用值而言，可以随时添加、修改和删除其属性和方法。 let person = new Object();person.name = 'Jason';person.age = 42;console.log(person.name,person.age);//'J

阅读更多...

大学湖北中医药大学法医学试题及答案，分享几个实用搜题和学习工具 #微信#学习方法#职场发展

大学湖北中医药大学法医学试题及答案，分享几个实用搜题和学习工具 #微信#学习方法#职场发展

今天分享拥有拍照搜题、文字搜题、语音搜题、多重搜题等搜题模式，可以快速查找问题解析，加深对题目答案的理解。 1.快练题这是一个网站找题的网站海量题库,在线搜题,快速刷题~为您提供百万优质题库,直接搜索题库名称,支持多种刷题模式:顺序练习、语音听题、本地搜题、顺序阅读、模拟考试、组卷考试、赶快下载吧! 2.彩虹搜题这是个老公众号了支持手写输入，截图搜题，详细步骤，解题必备

阅读更多...

vcpkg安装opencv中的特殊问题记录（无法找到opencv_corexd.dll）

vcpkg安装opencv中的特殊问题记录（无法找到opencv_corexd.dll）

我是按照网上的vcpkg安装opencv方法进行的（比如这篇：从0开始在visual studio上安装opencv（超详细，针对小白）），但是中间出现了一些别人没有遇到的问题，虽然原因没有找到，但是本人给出一些暂时的解决办法：问题1：我在安装库命令行使用的是 .\vcpkg.exe install opencv 我的电脑是x64，vcpkg在这条命令后默认下载的也是opencv2:x6

阅读更多...

《offer来了》第二章学习笔记

《offer来了》第二章学习笔记

1.集合 Java四种集合：List、Queue、Set和Map 1.1.List：可重复有序的Collection ArrayList：基于数组实现，增删慢，查询快，线程不安全 Vector：基于数组实现，增删慢，查询快，线程安全 LinkedList：基于双向链实现，增删快，查询慢，线程不安全 1.2.Queue：队列 ArrayBlockingQueue：

阅读更多...

硬件基础知识——自学习梳理

硬件基础知识——自学习梳理

计算机存储分为闪存和永久性存储。硬盘（永久存储）主要分为机械磁盘和固态硬盘。机械磁盘主要靠磁颗粒的正负极方向来存储0或1，且机械磁盘没有使用寿命。固态硬盘就有使用寿命了，大概支持30w次的读写操作。闪存使用的是电容进行存储，断电数据就没了。器件之间传输bit数据在总线上是一个一个传输的，因为通过电压传输（电流不稳定），但是电压属于电势能，所以可以叠加互相干扰，这也就是硬盘，U盘

阅读更多...

记录AS混淆代码模板

记录AS混淆代码模板

开启混淆得先在build.gradle文件中把 minifyEnabled false改成true,以及shrinkResources true//去除无用的resource文件这些是写在proguard-rules.pro文件内的指定代码的压缩级别 -optimizationpasses 5 包明不混合大小写 -dontusemixedcaseclassnames 不去忽略非公共

阅读更多...