实习点滴(8)--收敛优化方法:牛顿法、BFGS算法与L-BFGS算法

2023-12-15 10:38

本文主要是介绍实习点滴(8)--收敛优化方法:牛顿法、BFGS算法与L-BFGS算法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

        在了解CRF推导与参数估计的时候,会用到收敛优化方法去迭代求解凸优化问题,至此,总结一下我对牛顿法、BFGS算法和L-BFGS算法这三种方法的理解。

     牛顿法:

        方法思想:在现有极小点估计值附近对f(x)做二阶泰勒展开式,进而找到下一个极小点估计值。

        设:xk为当前极小点估计值, 我们要去求这个函数的最值,则二阶泰勒展开式为:

                                 

        若要求极值,则使其倒数等于0,然后得:

                                                             

        从而求得:

                                                                         

        若给定一个初始的x,可以得到一个迭代的格式:

                                                     

        我们扩展到N>1的情况,则得到:

           

        我们称一阶的矩阵为“梯度向量”或者“g矩阵”,二阶的矩阵为“海森矩阵”或者“H矩阵”。

        算法流程:

                           

        优缺点:

        【优点】:

          1、迭代一次就可以求解出最优解

          2、如果初始值选的合适的话,收敛速度快

        【缺点】:

          1、要求函数二阶可微

          2、收敛性和初始值选择依赖性大

          3、计算H矩阵计算量大

     BFGS算法:

        目前求解无约束非线性优化问题最常用的方法之一。

        方法思想:

        设:

                                                                        

        其中,B0一般取单位矩阵,通过迭代,将B接近于极值点。

        用待定系数法,设:

                                                                                             

        再加上以下条件:

                                                                                                            

        则有:

                                                                         

        

          可算出:

                                                                                       

        综上所述,得到:

                                                                                        

        算法流程:

                             

     L-BFGS算法:

        L-BFGS算法是对BFGS算法的一种改进。

        基本思想:不再存储完整的矩阵D,而是春初计算过程中的向量序列s,y;需要矩阵D的时候,利用向量序列s,y的计算来代替,而且,向量序列s,y也不是所有的都存,而是固定存最新的m个,每次计算D时,只利用最新的m个s和m个y


这篇关于实习点滴(8)--收敛优化方法:牛顿法、BFGS算法与L-BFGS算法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/496154

相关文章

SpringBoot3实现Gzip压缩优化的技术指南

《SpringBoot3实现Gzip压缩优化的技术指南》随着Web应用的用户量和数据量增加,网络带宽和页面加载速度逐渐成为瓶颈,为了减少数据传输量,提高用户体验,我们可以使用Gzip压缩HTTP响应,... 目录1、简述2、配置2.1 添加依赖2.2 配置 Gzip 压缩3、服务端应用4、前端应用4.1 N

Linux换行符的使用方法详解

《Linux换行符的使用方法详解》本文介绍了Linux中常用的换行符LF及其在文件中的表示,展示了如何使用sed命令替换换行符,并列举了与换行符处理相关的Linux命令,通过代码讲解的非常详细,需要的... 目录简介检测文件中的换行符使用 cat -A 查看换行符使用 od -c 检查字符换行符格式转换将

SpringBoot实现数据库读写分离的3种方法小结

《SpringBoot实现数据库读写分离的3种方法小结》为了提高系统的读写性能和可用性,读写分离是一种经典的数据库架构模式,在SpringBoot应用中,有多种方式可以实现数据库读写分离,本文将介绍三... 目录一、数据库读写分离概述二、方案一:基于AbstractRoutingDataSource实现动态

Java中的String.valueOf()和toString()方法区别小结

《Java中的String.valueOf()和toString()方法区别小结》字符串操作是开发者日常编程任务中不可或缺的一部分,转换为字符串是一种常见需求,其中最常见的就是String.value... 目录String.valueOf()方法方法定义方法实现使用示例使用场景toString()方法方法

Java中List的contains()方法的使用小结

《Java中List的contains()方法的使用小结》List的contains()方法用于检查列表中是否包含指定的元素,借助equals()方法进行判断,下面就来介绍Java中List的c... 目录详细展开1. 方法签名2. 工作原理3. 使用示例4. 注意事项总结结论:List 的 contain

Spring Boot + MyBatis Plus 高效开发实战从入门到进阶优化(推荐)

《SpringBoot+MyBatisPlus高效开发实战从入门到进阶优化(推荐)》本文将详细介绍SpringBoot+MyBatisPlus的完整开发流程,并深入剖析分页查询、批量操作、动... 目录Spring Boot + MyBATis Plus 高效开发实战:从入门到进阶优化1. MyBatis

MyBatis 动态 SQL 优化之标签的实战与技巧(常见用法)

《MyBatis动态SQL优化之标签的实战与技巧(常见用法)》本文通过详细的示例和实际应用场景,介绍了如何有效利用这些标签来优化MyBatis配置,提升开发效率,确保SQL的高效执行和安全性,感... 目录动态SQL详解一、动态SQL的核心概念1.1 什么是动态SQL?1.2 动态SQL的优点1.3 动态S

macOS无效Launchpad图标轻松删除的4 种实用方法

《macOS无效Launchpad图标轻松删除的4种实用方法》mac中不在appstore上下载的应用经常在删除后它的图标还残留在launchpad中,并且长按图标也不会出现删除符号,下面解决这个问... 在 MACOS 上,Launchpad(也就是「启动台」)是一个便捷的 App 启动工具。但有时候,应

SpringBoot日志配置SLF4J和Logback的方法实现

《SpringBoot日志配置SLF4J和Logback的方法实现》日志记录是不可或缺的一部分,本文主要介绍了SpringBoot日志配置SLF4J和Logback的方法实现,文中通过示例代码介绍的非... 目录一、前言二、案例一:初识日志三、案例二:使用Lombok输出日志四、案例三:配置Logback一

Python如何使用__slots__实现节省内存和性能优化

《Python如何使用__slots__实现节省内存和性能优化》你有想过,一个小小的__slots__能让你的Python类内存消耗直接减半吗,没错,今天咱们要聊的就是这个让人眼前一亮的技巧,感兴趣的... 目录背景:内存吃得满满的类__slots__:你的内存管理小助手举个大概的例子:看看效果如何?1.