拉格朗日对偶性问题-《统计学习方法》学习笔记

2023-10-11 04:48

本文主要是介绍拉格朗日对偶性问题-《统计学习方法》学习笔记,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

0. 内容介绍

        在约束最优化问题中, 常常利用拉个朗日对偶性将原始问题转化为对偶问题,通过解对偶问题而得到原始问题的解,该方法应用在很多的统计学习方法中。例如在上一篇文章中(http://blog.csdn.net/robin_xu_shuai/article/details/52791306)所说的最大熵模型。在学习最大熵模型中我们看到,需要求解满足所有已知条件并且使得熵最大的模型,也就是求解问题带约束的极值问题,其解决方法一般采用拉格朗日对偶原理。下面简单介绍拉格朗日对偶原理。

1.原始问题

   约束条件可以分成不等式约束条件和等式约束条件,只有等式约束条件的问题解决方法是直接将等式约束加入原问题构造出拉格朗日函数,然后求导即可。现在考虑带不等式约束和等式约束的极值问题如何构造拉格朗日函数求解。

假设f(x), ci(x), hj(x)是定义在Rn上的连续可微函数,约束最优化问题如下:

称此约束最优化问题为原始问题。

首先,引入拉格朗日函数:


这里\alpha和\beta是拉格朗日乘子。此时我们定义(引入)一个函数,这个函数的目的是建立拉格朗日函数和原始问题中的f(x)的关系。

分析这个定义的函数:此时给定某个x,如果x违反原始问题的约束条件,即如果存在某个i使得c_i(w)>0或者存在某个j使得h_j(w)≠0,那么就有:


(因为如果某个i使得约束ci(x)>0, 则可以令αi取正无穷, 如果某个j使得hj(x)≠0, 则可以令βj取正无穷, 而将其他的剩余的拉格朗日乘子取0.)。而相反,如果x满足原问题的约束条件,可得θp(x) =f(x),因此得到:


(这样就将原来的约束问题变成了现在的无约束问题)

所以当我们现在考虑以下的极小化问题时就与原始的最优化问题(4)(5)(6)是等价的.有相同的解。


2.对偶问题

再引入一个公式,将其定义为α, β的函数:


这样将拉格朗日函数转化为了两个参数的函数,并考虑在此基础上的极大化:


我们把这个问题称为原始问题的对偶问题。和原始问题对比只是交换了最大化和最小化的次序,但是解却不一定是相同的,在满足一定的条件下,原始问题和对偶问题的解相同。





这篇关于拉格朗日对偶性问题-《统计学习方法》学习笔记的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/185627

相关文章

SpringBoot日志配置SLF4J和Logback的方法实现

《SpringBoot日志配置SLF4J和Logback的方法实现》日志记录是不可或缺的一部分,本文主要介绍了SpringBoot日志配置SLF4J和Logback的方法实现,文中通过示例代码介绍的非... 目录一、前言二、案例一:初识日志三、案例二:使用Lombok输出日志四、案例三:配置Logback一

Python实现无痛修改第三方库源码的方法详解

《Python实现无痛修改第三方库源码的方法详解》很多时候,我们下载的第三方库是不会有需求不满足的情况,但也有极少的情况,第三方库没有兼顾到需求,本文将介绍几个修改源码的操作,大家可以根据需求进行选择... 目录需求不符合模拟示例 1. 修改源文件2. 继承修改3. 猴子补丁4. 追踪局部变量需求不符合很

mysql出现ERROR 2003 (HY000): Can‘t connect to MySQL server on ‘localhost‘ (10061)的解决方法

《mysql出现ERROR2003(HY000):Can‘tconnecttoMySQLserveron‘localhost‘(10061)的解决方法》本文主要介绍了mysql出现... 目录前言:第一步:第二步:第三步:总结:前言:当你想通过命令窗口想打开mysql时候发现提http://www.cpp

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

MySQL INSERT语句实现当记录不存在时插入的几种方法

《MySQLINSERT语句实现当记录不存在时插入的几种方法》MySQL的INSERT语句是用于向数据库表中插入新记录的关键命令,下面:本文主要介绍MySQLINSERT语句实现当记录不存在时... 目录使用 INSERT IGNORE使用 ON DUPLICATE KEY UPDATE使用 REPLACE

SpringBoot启动报错的11个高频问题排查与解决终极指南

《SpringBoot启动报错的11个高频问题排查与解决终极指南》这篇文章主要为大家详细介绍了SpringBoot启动报错的11个高频问题的排查与解决,文中的示例代码讲解详细,感兴趣的小伙伴可以了解一... 目录1. 依赖冲突:NoSuchMethodError 的终极解法2. Bean注入失败:No qu

MySQL新增字段后Java实体未更新的潜在问题与解决方案

《MySQL新增字段后Java实体未更新的潜在问题与解决方案》在Java+MySQL的开发中,我们通常使用ORM框架来映射数据库表与Java对象,但有时候,数据库表结构变更(如新增字段)后,开发人员可... 目录引言1. 问题背景:数据库与 Java 实体不同步1.1 常见场景1.2 示例代码2. 不同操作

CentOS 7部署主域名服务器 DNS的方法

《CentOS7部署主域名服务器DNS的方法》文章详细介绍了在CentOS7上部署主域名服务器DNS的步骤,包括安装BIND服务、配置DNS服务、添加域名区域、创建区域文件、配置反向解析、检查配置... 目录1. 安装 BIND 服务和工具2.  配置 BIND 服务3 . 添加你的域名区域配置4.创建区域

mss32.dll文件丢失怎么办? 电脑提示mss32.dll丢失的多种修复方法

《mss32.dll文件丢失怎么办?电脑提示mss32.dll丢失的多种修复方法》最近,很多电脑用户可能遇到了mss32.dll文件丢失的问题,导致一些应用程序无法正常启动,那么,如何修复这个问题呢... 在电脑常年累月的使用过程中,偶尔会遇到一些问题令人头疼。像是某个程序尝试运行时,系统突然弹出一个错误提

如何解决mysql出现Incorrect string value for column ‘表项‘ at row 1错误问题

《如何解决mysql出现Incorrectstringvalueforcolumn‘表项‘atrow1错误问题》:本文主要介绍如何解决mysql出现Incorrectstringv... 目录mysql出现Incorrect string value for column ‘表项‘ at row 1错误报错