列生成(column generation)的应用问题

2024-04-21 20:08

本文主要是介绍列生成(column generation)的应用问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

当我们讨论列生成算法,一定要了解一个经典问题——木材下料问题(The cutting stock problem),最初问题的形式为线性规划,相关的问题解析有很多:

优化 | 从集合划分问题到列生成算法

单纯形法和列生成算法解释

线性规划技巧: 列生成(Column Generation)

列生成算法求解矩形下料问题(Matlab代码)

列生成和分支定价

从木材下料问题向外拓展,列生成算法也被用于大规模的线性规划问题,这些问题有以下特征:

  • 大规模意味着变量特别多,很难一次性完全的考虑进来;
  • 只有一小部分变量值是非零的(基变量),大部分变量值为零(非基变量);
  • 只有部分变量可以改善目标函数。

这篇文章主要想把重心放在,当应用列生成算法时会遇到的一些问题及可能的解决方案。

抽象来说,列生成的思路是在子区域(只包含部分列)先生成一个MVP(也就是可行但不是最优的策略),再去寻找可能减少差额成本/非基变量检验数(reduced cost)的列,可行的话就将这个列加入原本的策略中(微调策略)并更新所有列的cost,继续迭代寻找,直到找到最优的策略。

具体来说,在确定要解决的主问题(MP)之后,需要进行几个关键步骤:

  1. 分解问题(Master Problem,MP)为限制主问题(Restricted Master Problem,RMP)与估价问题/子问题(Pricing Problem,PP);
  2. 在每次迭代中,PP通过reduce cost(dual cost)来判断是否有RMP中未涉及到的列(column/independent set)可以改善整个策略。
  3. 如果有则将这个列与cost一同加入当前的RMP,重新计算cost。
  4. 一直迭代到目标函数接近最优。

所以,这个过程中将会涉及到很多个具体问题:

  • 如何拆分原主问题(MP)?
  • 列如何定义?
  • reduce cost如何定义?
  • 最开始的子区域是如何选择的?
  • 如何迭代求解最优的策略?
  • 如何判断其接近最优?

而且,即使是这样的整数线性规划问题,随着问题规模的增大,求解的时间也会是难以接受的。如何尽量减少求解的时间?

实际生活中,遇到的问题也并不如木材下料问题那么规整,可能伴随着大量显式或隐式的constraint,我们又如何处理它们?

如何拆分原主问题(MP)?列如何定义?

这两个问题几乎是等价的,当你确定了列的定义,也就知道如何拆分主问题了,因为所求的RMP形式上一般都满足求某个子区域内的向量的线性组合,这个向量一般就是列生成算法中所说的“列”。

所以列可以理解为是最终策略的一个元素,而最终策略,需要集合多种不同的元素达到最优化。换言之,如果最终想要得到的方案一般是一个整体的优化方案,比如最大流问题,路径规划问题等。

有些情况下,列的定义可以是与时间t相关的函数,这种方法比较取巧。

有些问题的拆分是逻辑上自然而然的,因为很容易找到有现成求解办法又使问题规模变小的RMP。比如在木材下料问题中,主问题是最小化切割方案的cost,cost被定义为浪费的木材长度。一条固定长度的木材的切割方案自然地可以通过穷举来得到。所以MP被转化为了选择切割方案的线性组合,这是典型的线性规划问题。切割方案也就是列,组合的weight自然与cost(所浪费的木材长度)所挂钩。

但在一些问题上,RMP和PP的定义是相当困难的。不一定一开始就能找到所有的方案再从中寻找,而是需要特殊的Price model去限制。

reduce cost如何定义?

通常,想要找到这个reduce cost要通过对偶理论来实现。

找到reduce cost之后就可以定义Price model。当然也有特殊结构的price model,个人认为这是整个算法中最难定义的一部分。具体怎么实现,目前还没有完全参透,先留一个坑,之后来填。

最开始的子区域是如何选择的?

在大部分情况下,最初的区域(initial set)是不会影响最终的优化结果,但它在一定程度上会影响整个算法收敛的速度。

如果最初的区域很小很简单,算法在一开始的迭代过程中将很容易提升,lower bound与upper bound的gap将很快缩小。

如何迭代求解最优的策略?

不停地向RMP加入新的列,再求解RMP。

其中,求解RMP的方法可以是任何算法,只要可以找到reduce cost为负的可行解就行。一般建模为哪类问题,就用哪类问题的常规解法即可。

但是,也存在退化现象,也就是说原问题的对偶问题的对偶最优解不是唯一的,找到的列往往不能改善目标函数值。减少退化现象的影响之一就是不使用对偶问题的基解而是使用对偶问题定义域中的内点解。

可以考虑一次加很多列减弱退化,不需要每次都求到最小的reduce cost,除了动态规划方法,·也可以涉及启发式的规则去解,只要保证负的就行。

如何判断其接近最优?

直到子问题的解全部为非负,则为整体收敛了。

但很多情况下,由于问题规模太大,当迭代到非负时,已经耗费了大量的时间与计算资源了。此时,可以用各种bounded算法去限制计算的精度,常用的有\epsilon-bounded。

 

 

这篇关于列生成(column generation)的应用问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/923932

相关文章

Kotlin Map映射转换问题小结

《KotlinMap映射转换问题小结》文章介绍了Kotlin集合转换的多种方法,包括map(一对一转换)、mapIndexed(带索引)、mapNotNull(过滤null)、mapKeys/map... 目录Kotlin 集合转换:map、mapIndexed、mapNotNull、mapKeys、map

nginx中端口无权限的问题解决

《nginx中端口无权限的问题解决》当Nginx日志报错bind()to80failed(13:Permissiondenied)时,这通常是由于权限不足导致Nginx无法绑定到80端口,下面就来... 目录一、问题原因分析二、解决方案1. 以 root 权限运行 Nginx(不推荐)2. 为 Nginx

python生成随机唯一id的几种实现方法

《python生成随机唯一id的几种实现方法》在Python中生成随机唯一ID有多种方法,根据不同的需求场景可以选择最适合的方案,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习... 目录方法 1:使用 UUID 模块(推荐)方法 2:使用 Secrets 模块(安全敏感场景)方法

解决1093 - You can‘t specify target table报错问题及原因分析

《解决1093-Youcan‘tspecifytargettable报错问题及原因分析》MySQL1093错误因UPDATE/DELETE语句的FROM子句直接引用目标表或嵌套子查询导致,... 目录报js错原因分析具体原因解决办法方法一:使用临时表方法二:使用JOIN方法三:使用EXISTS示例总结报错原

Windows环境下解决Matplotlib中文字体显示问题的详细教程

《Windows环境下解决Matplotlib中文字体显示问题的详细教程》本文详细介绍了在Windows下解决Matplotlib中文显示问题的方法,包括安装字体、更新缓存、配置文件设置及编码調整,并... 目录引言问题分析解决方案详解1. 检查系统已安装字体2. 手动添加中文字体(以SimHei为例)步骤

Redis中Stream详解及应用小结

《Redis中Stream详解及应用小结》RedisStreams是Redis5.0引入的新功能,提供了一种类似于传统消息队列的机制,但具有更高的灵活性和可扩展性,本文给大家介绍Redis中Strea... 目录1. Redis Stream 概述2. Redis Stream 的基本操作2.1. XADD

SpringSecurity整合redission序列化问题小结(最新整理)

《SpringSecurity整合redission序列化问题小结(最新整理)》文章详解SpringSecurity整合Redisson时的序列化问题,指出需排除官方Jackson依赖,通过自定义反序... 目录1. 前言2. Redission配置2.1 RedissonProperties2.2 Red

nginx 负载均衡配置及如何解决重复登录问题

《nginx负载均衡配置及如何解决重复登录问题》文章详解Nginx源码安装与Docker部署,介绍四层/七层代理区别及负载均衡策略,通过ip_hash解决重复登录问题,对nginx负载均衡配置及如何... 目录一:源码安装:1.配置编译参数2.编译3.编译安装 二,四层代理和七层代理区别1.二者混合使用举例

JSONArray在Java中的应用操作实例

《JSONArray在Java中的应用操作实例》JSONArray是org.json库用于处理JSON数组的类,可将Java对象(Map/List)转换为JSON格式,提供增删改查等操作,适用于前后端... 目录1. jsONArray定义与功能1.1 JSONArray概念阐释1.1.1 什么是JSONA

nginx -t、nginx -s stop 和 nginx -s reload 命令的详细解析(结合应用场景)

《nginx-t、nginx-sstop和nginx-sreload命令的详细解析(结合应用场景)》本文解析Nginx的-t、-sstop、-sreload命令,分别用于配置语法检... 以下是关于 nginx -t、nginx -s stop 和 nginx -s reload 命令的详细解析,结合实际应