Levenberg-Marquardt (LM) 算法进行非线性拟合

2024-04-25 12:28

本文主要是介绍Levenberg-Marquardt (LM) 算法进行非线性拟合,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!


目录

  • 1. LM算法
  • 2. 调包实现
  • 3. LM算法实现
  • 4. 源码地址


1. LM算法

LM算法是一种非线性最小二乘优化算法,用于求解非线性最小化问题。LM主要用于解决具有误差函数的非线性最小二乘问题,其中误差函数是参数的非线性函数,需要通过调整参数使误差函数最小化。算法的基本思想是通过迭代的方式逐步调整参数,使得误差函数在参数空间中逐渐收敛到最小值。在每一次迭代中,算法通过求解一个线性方程组来更新参数。这个线性方程组由误差函数的雅可比矩阵和参数更新量构成。

LM算法的优点在于它能够快速收敛到局部最小值,并且对于初始参数的选择不太敏感。此外,算法还能够处理参数个数多于观测数据个数的问题,并且对于存在噪声的数据也比较鲁棒。

2. 调包实现

如图1所示,调用scipy.optimize的least_squares函数实现对测试函数 exp ⁡ ( − a x 2 − b y 2 ) \exp(-ax^2-by^2) exp(ax2by2)的拟合结果。目标参数为 [ 0.5 , 0.5 ] [0.5, 0.5] [0.5,0.5],初始参数设置为 [ 1.0 , 1.0 ] [1.0, 1.0] [1.0,1.0],经过22次迭代,由于观测值暂未添加噪声,所以最终拟合参数与目标参数完全一致。

在这里插入图片描述

Fig. 1. 三维目标拟合: $\exp(-ax^2-by^2)$

3. LM算法实现

使用Python对LM做了简单实现,并对测试函数 exp ⁡ ( a x 2 + b x + c ) \exp(ax^2+bx+c) exp(ax2+bx+c)进行拟合,观测值添加高斯噪声。目标参数为 [ 1.0 , 2.0 , 3.0 ] [1.0, 2.0, 3.0] [1.0,2.0,3.0],初始参数设置为 [ 3.0 , 9.0 , 6.0 ] [3.0, 9.0, 6.0] [3.0,9.0,6.0],经过41次迭代,拟合参数为 [ 2.0 , 0.6 , 3.5 ] [2.0, 0.6, 3.5] [2.0,0.6,3.5],MSE损失小于0.000001,符合拟合误差要求。图2绘制了第12(蓝),13(黄),15(绿)次迭代结果以及最终拟合结果(红)。

在这里插入图片描述

Fig. 2. 二维目标拟合: $\exp(ax^2+bx+c)$
# 部分函数代码:def Func(abc,iput):   # 需要拟合的函数,abc是包含三个参数的一个矩阵[[a],[b],[c]]a = abc[0,0]b = abc[1,0]c = abc[2,0]return np.exp(a*iput**2+b*iput+c)def Deriv(abc,iput,n):  # 对函数求偏导x1 = abc.copy()x2 = abc.copy()x1[n,0] -= 0.000001x2[n,0] += 0.000001p1 = Func(x1,iput)p2 = Func(x2,iput)d = (p2-p1)*1.0/(0.000002)return dxk_l = []  # 用来存放每次迭代的结果
while conve:mse,mse_tmp = 0,0step += 1  fx = Func(xk,h) - ymse += sum(fx**2)for j in range(3): J[:,j] = Deriv(xk,h,j) # 数值求导                                                    mse /= n  # 范围约束H = J.T*J + u*np.eye(3)   # 3*3dx = -H.I * J.T*fx        # xk_tmp = xk.copy()xk_tmp += dxfx_tmp =  Func(xk_tmp,h) - y  mse_tmp = sum(fx_tmp[:,0]**2)mse_tmp /= n#判断是否下降q = float((mse - mse_tmp)/((0.5*dx.T*(u*dx - J.T*fx))[0,0]))if q > 0:s = 1.0/3.0v = 2mse = mse_tmpxk = xk_tmptemp = 1 - pow(2*q-1,3)if s > temp:u = u*selse:u = u*tempelse:u = u*vv = 2*vxk = xk_tmpprint ("step = %d,abs(mse-lase_mse) = %.8f" %(step,abs(mse-lase_mse)))  if abs(mse-lase_mse)<0.000001:breaklase_mse = mse  # 记录上一个 mse 的位置conve -= 1xk_l.append(xk)

4. 源码地址

如果对您有用的话可以点点star哦~

https://github.com/Jurio0304/cs-math/blob/main/hw4_LM.ipynb


创作不易,麻烦点点赞和关注咯!

这篇关于Levenberg-Marquardt (LM) 算法进行非线性拟合的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/934679

相关文章

使用Jackson进行JSON生成与解析的新手指南

《使用Jackson进行JSON生成与解析的新手指南》这篇文章主要为大家详细介绍了如何使用Jackson进行JSON生成与解析处理,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 核心依赖2. 基础用法2.1 对象转 jsON(序列化)2.2 JSON 转对象(反序列化)3.

C#使用SQLite进行大数据量高效处理的代码示例

《C#使用SQLite进行大数据量高效处理的代码示例》在软件开发中,高效处理大数据量是一个常见且具有挑战性的任务,SQLite因其零配置、嵌入式、跨平台的特性,成为许多开发者的首选数据库,本文将深入探... 目录前言准备工作数据实体核心技术批量插入:从乌龟到猎豹的蜕变分页查询:加载百万数据异步处理:拒绝界面

Python使用自带的base64库进行base64编码和解码

《Python使用自带的base64库进行base64编码和解码》在Python中,处理数据的编码和解码是数据传输和存储中非常普遍的需求,其中,Base64是一种常用的编码方案,本文我将详细介绍如何使... 目录引言使用python的base64库进行编码和解码编码函数解码函数Base64编码的应用场景注意

Java进行文件格式校验的方案详解

《Java进行文件格式校验的方案详解》这篇文章主要为大家详细介绍了Java中进行文件格式校验的相关方案,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、背景异常现象原因排查用户的无心之过二、解决方案Magandroidic Number判断主流检测库对比Tika的使用区分zip

Java使用Curator进行ZooKeeper操作的详细教程

《Java使用Curator进行ZooKeeper操作的详细教程》ApacheCurator是一个基于ZooKeeper的Java客户端库,它极大地简化了使用ZooKeeper的开发工作,在分布式系统... 目录1、简述2、核心功能2.1 CuratorFramework2.2 Recipes3、示例实践3

SpringBoot实现MD5加盐算法的示例代码

《SpringBoot实现MD5加盐算法的示例代码》加盐算法是一种用于增强密码安全性的技术,本文主要介绍了SpringBoot实现MD5加盐算法的示例代码,文中通过示例代码介绍的非常详细,对大家的学习... 目录一、什么是加盐算法二、如何实现加盐算法2.1 加盐算法代码实现2.2 注册页面中进行密码加盐2.

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

Java时间轮调度算法的代码实现

《Java时间轮调度算法的代码实现》时间轮是一种高效的定时调度算法,主要用于管理延时任务或周期性任务,它通过一个环形数组(时间轮)和指针来实现,将大量定时任务分摊到固定的时间槽中,极大地降低了时间复杂... 目录1、简述2、时间轮的原理3. 时间轮的实现步骤3.1 定义时间槽3.2 定义时间轮3.3 使用时

Python使用date模块进行日期处理的终极指南

《Python使用date模块进行日期处理的终极指南》在处理与时间相关的数据时,Python的date模块是开发者最趁手的工具之一,本文将用通俗的语言,结合真实案例,带您掌握date模块的六大核心功能... 目录引言一、date模块的核心功能1.1 日期表示1.2 日期计算1.3 日期比较二、六大常用方法详

Python使用DrissionPage中ChromiumPage进行自动化网页操作

《Python使用DrissionPage中ChromiumPage进行自动化网页操作》DrissionPage作为一款轻量级且功能强大的浏览器自动化库,为开发者提供了丰富的功能支持,本文将使用Dri... 目录前言一、ChromiumPage基础操作1.初始化Drission 和 ChromiumPage