列生成(column generation)的应用问题

2024-04-21 20:08

本文主要是介绍列生成(column generation)的应用问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

当我们讨论列生成算法,一定要了解一个经典问题——木材下料问题(The cutting stock problem),最初问题的形式为线性规划,相关的问题解析有很多:

优化 | 从集合划分问题到列生成算法

单纯形法和列生成算法解释

线性规划技巧: 列生成(Column Generation)

列生成算法求解矩形下料问题(Matlab代码)

列生成和分支定价

从木材下料问题向外拓展,列生成算法也被用于大规模的线性规划问题,这些问题有以下特征:

  • 大规模意味着变量特别多,很难一次性完全的考虑进来;
  • 只有一小部分变量值是非零的(基变量),大部分变量值为零(非基变量);
  • 只有部分变量可以改善目标函数。

这篇文章主要想把重心放在,当应用列生成算法时会遇到的一些问题及可能的解决方案。

抽象来说,列生成的思路是在子区域(只包含部分列)先生成一个MVP(也就是可行但不是最优的策略),再去寻找可能减少差额成本/非基变量检验数(reduced cost)的列,可行的话就将这个列加入原本的策略中(微调策略)并更新所有列的cost,继续迭代寻找,直到找到最优的策略。

具体来说,在确定要解决的主问题(MP)之后,需要进行几个关键步骤:

  1. 分解问题(Master Problem,MP)为限制主问题(Restricted Master Problem,RMP)与估价问题/子问题(Pricing Problem,PP);
  2. 在每次迭代中,PP通过reduce cost(dual cost)来判断是否有RMP中未涉及到的列(column/independent set)可以改善整个策略。
  3. 如果有则将这个列与cost一同加入当前的RMP,重新计算cost。
  4. 一直迭代到目标函数接近最优。

所以,这个过程中将会涉及到很多个具体问题:

  • 如何拆分原主问题(MP)?
  • 列如何定义?
  • reduce cost如何定义?
  • 最开始的子区域是如何选择的?
  • 如何迭代求解最优的策略?
  • 如何判断其接近最优?

而且,即使是这样的整数线性规划问题,随着问题规模的增大,求解的时间也会是难以接受的。如何尽量减少求解的时间?

实际生活中,遇到的问题也并不如木材下料问题那么规整,可能伴随着大量显式或隐式的constraint,我们又如何处理它们?

如何拆分原主问题(MP)?列如何定义?

这两个问题几乎是等价的,当你确定了列的定义,也就知道如何拆分主问题了,因为所求的RMP形式上一般都满足求某个子区域内的向量的线性组合,这个向量一般就是列生成算法中所说的“列”。

所以列可以理解为是最终策略的一个元素,而最终策略,需要集合多种不同的元素达到最优化。换言之,如果最终想要得到的方案一般是一个整体的优化方案,比如最大流问题,路径规划问题等。

有些情况下,列的定义可以是与时间t相关的函数,这种方法比较取巧。

有些问题的拆分是逻辑上自然而然的,因为很容易找到有现成求解办法又使问题规模变小的RMP。比如在木材下料问题中,主问题是最小化切割方案的cost,cost被定义为浪费的木材长度。一条固定长度的木材的切割方案自然地可以通过穷举来得到。所以MP被转化为了选择切割方案的线性组合,这是典型的线性规划问题。切割方案也就是列,组合的weight自然与cost(所浪费的木材长度)所挂钩。

但在一些问题上,RMP和PP的定义是相当困难的。不一定一开始就能找到所有的方案再从中寻找,而是需要特殊的Price model去限制。

reduce cost如何定义?

通常,想要找到这个reduce cost要通过对偶理论来实现。

找到reduce cost之后就可以定义Price model。当然也有特殊结构的price model,个人认为这是整个算法中最难定义的一部分。具体怎么实现,目前还没有完全参透,先留一个坑,之后来填。

最开始的子区域是如何选择的?

在大部分情况下,最初的区域(initial set)是不会影响最终的优化结果,但它在一定程度上会影响整个算法收敛的速度。

如果最初的区域很小很简单,算法在一开始的迭代过程中将很容易提升,lower bound与upper bound的gap将很快缩小。

如何迭代求解最优的策略?

不停地向RMP加入新的列,再求解RMP。

其中,求解RMP的方法可以是任何算法,只要可以找到reduce cost为负的可行解就行。一般建模为哪类问题,就用哪类问题的常规解法即可。

但是,也存在退化现象,也就是说原问题的对偶问题的对偶最优解不是唯一的,找到的列往往不能改善目标函数值。减少退化现象的影响之一就是不使用对偶问题的基解而是使用对偶问题定义域中的内点解。

可以考虑一次加很多列减弱退化,不需要每次都求到最小的reduce cost,除了动态规划方法,·也可以涉及启发式的规则去解,只要保证负的就行。

如何判断其接近最优?

直到子问题的解全部为非负,则为整体收敛了。

但很多情况下,由于问题规模太大,当迭代到非负时,已经耗费了大量的时间与计算资源了。此时,可以用各种bounded算法去限制计算的精度,常用的有\epsilon-bounded。

 

 

这篇关于列生成(column generation)的应用问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/923932

相关文章

mysql_mcp_server部署及应用实践案例

《mysql_mcp_server部署及应用实践案例》文章介绍了在CentOS7.5环境下部署MySQL_mcp_server的步骤,包括服务安装、配置和启动,还提供了一个基于Dify工作流的应用案例... 目录mysql_mcp_server部署及应用案例1. 服务安装1.1. 下载源码1.2. 创建独立

Springboot3统一返回类设计全过程(从问题到实现)

《Springboot3统一返回类设计全过程(从问题到实现)》文章介绍了如何在SpringBoot3中设计一个统一返回类,以实现前后端接口返回格式的一致性,该类包含状态码、描述信息、业务数据和时间戳,... 目录Spring Boot 3 统一返回类设计:从问题到实现一、核心需求:统一返回类要解决什么问题?

Java使用Spire.Barcode for Java实现条形码生成与识别

《Java使用Spire.BarcodeforJava实现条形码生成与识别》在现代商业和技术领域,条形码无处不在,本教程将引导您深入了解如何在您的Java项目中利用Spire.Barcodefor... 目录1. Spire.Barcode for Java 简介与环境配置2. 使用 Spire.Barco

maven异常Invalid bound statement(not found)的问题解决

《maven异常Invalidboundstatement(notfound)的问题解决》本文详细介绍了Maven项目中常见的Invalidboundstatement异常及其解决方案,文中通过... 目录Maven异常:Invalid bound statement (not found) 详解问题描述可

idea粘贴空格时显示NBSP的问题及解决方案

《idea粘贴空格时显示NBSP的问题及解决方案》在IDEA中粘贴代码时出现大量空格占位符NBSP,可以通过取消勾选AdvancedSettings中的相应选项来解决... 目录1、背景介绍2、解决办法3、处理完成总结1、背景介绍python在idehttp://www.chinasem.cna粘贴代码,出

SpringBoot整合Kafka启动失败的常见错误问题总结(推荐)

《SpringBoot整合Kafka启动失败的常见错误问题总结(推荐)》本文总结了SpringBoot项目整合Kafka启动失败的常见错误,包括Kafka服务器连接问题、序列化配置错误、依赖配置问题、... 目录一、Kafka服务器连接问题1. Kafka服务器无法连接2. 开发环境与生产环境网络不通二、序

SpringSecurity中的跨域问题处理方案

《SpringSecurity中的跨域问题处理方案》本文介绍了跨域资源共享(CORS)技术在JavaEE开发中的应用,详细讲解了CORS的工作原理,包括简单请求和非简单请求的处理方式,本文结合实例代码... 目录1.什么是CORS2.简单请求3.非简单请求4.Spring跨域解决方案4.1.@CrossOr

SpringBoot集成iText快速生成PDF教程

《SpringBoot集成iText快速生成PDF教程》本文介绍了如何在SpringBoot项目中集成iText9.4.0生成PDF文档,包括新特性的介绍、环境准备、Service层实现、Contro... 目录SpringBoot集成iText 9.4.0生成PDF一、iText 9新特性与架构变革二、环

nacos服务无法注册到nacos服务中心问题及解决

《nacos服务无法注册到nacos服务中心问题及解决》本文详细描述了在Linux服务器上使用Tomcat启动Java程序时,服务无法注册到Nacos的排查过程,通过一系列排查步骤,发现问题出在Tom... 目录简介依赖异常情况排查断点调试原因解决NacosRegisterOnWar结果总结简介1、程序在

Nginx内置变量应用场景分析

《Nginx内置变量应用场景分析》Nginx内置变量速查表,涵盖请求URI、客户端信息、服务器信息、文件路径、响应与性能等类别,这篇文章给大家介绍Nginx内置变量应用场景分析,感兴趣的朋友跟随小编一... 目录1. Nginx 内置变量速查表2. 核心变量详解与应用场景3. 实际应用举例4. 注意事项Ng