用庞特里亚金极小值原理求解二阶系统的最优控制问题

庞特里亚金极小值原理

庞特里亚金极小值原理是在控制向量u(t)受限制的情况下，使得目标函数J取极小，从而求解最优控制问题的原理和方法，又称极大值原理。λ是协态向量，系统模型有多少个变量就有多少个协态。s和u都是省略了符号t的，代表某一时刻的最优状态和最优控制，是一个常数。利用庞特里亚金极小值原理求解最优控制问题首先需要求解协态方程，也就是λ，然后再求解最优控制u*，求解完u*之后，即可得到最优状态。
下面以一个简单的二阶系统为例，简单说明如何用庞特里亚金极小值原理求解二阶系统的最优控制问题。

1. 问题描述

二阶系统的状态s为：$s=\left[\begin{array}{l}x\\ \dot{x}\end{array}\right]$，控制量u为：$u=[\ddot{x}]$，可以将状态s想象成x方向的位移以及x方向上的速度，将控制量u想象成x方向上的加速度，通过输入控制量来改变系统的状态。将问题定义为：试求控制u，将系统在t=2时转移到零态，并使得J取极小值。

系统模型为：
$$\begin{array}{rl}\dot{s}& =\left[\begin{array}{ll}0& 1\\ 0& 0\end{array}\right]s+\left[\begin{array}{l}0\\ 1\end{array}\right]u=\left[\begin{array}{ll}0& 1\\ 0& 0\end{array}\right]\left[\begin{array}{l}x\\ \dot{x}\end{array}\right]+\left[\begin{array}{l}0\\ 1\end{array}\right]\ddot{x}\end{array}$$
目标函数为：
$$J=\frac{1}{2}{\int }_0^2{u}^{2}dt$$

2. 求解协态方程

根据庞特里亚金极小值原理中的：
$$\dot{\lambda }(t)=-{\nabla }_{s}H\left(s^{\ast }(t),u^{\ast }(t),\lambda (t)\right)$$
先写出哈密顿函数，然后根据哈密顿函数列出协态方程，并求解。
哈密顿函数为：
$$H=\frac{1}{2}{u}^2+{\lambda }_1{s}_2+{\lambda }_{2}u$$
两个λ分别乘上对应的系统模型$\dot{s}$中的两个元素s2和u，其中s2就代表s的第二行的元素（同时也是$\dot{s}$中第一行的元素），也就是x方向的速度。u即为控制量（同时也是$\dot{s}$中第二行的元素），这样就得到了哈密顿函数。
将哈密顿函数分别对s1和s2（状态矩阵$s$中的元素）求导，并将s和u这两个常量代入可得协态方程：
$${\dot{\lambda }}_1(t)=-\frac{\partial H}{\partial s_1}=0\Rightarrow {\lambda }_1(t)=a_1$$

$${\dot{\lambda }}_2(t)=-\frac{\partial H}{\partial s_2}=-{\lambda }_1(t)\Rightarrow {\lambda }_2(t)=-a_{1}t+a_2$$
通过求解上述的微分方程即可求得λ。

3. 求解最优控制

根据庞特里亚金极小值原理中的：
$$u^{\ast }(t)=\arg \underset{u(t)}{\min }H\left(s^{\ast }(t),u(t),\lambda (t)\right)$$

最优的u*的选取是，当哈密顿函数中的s取最优时，能够使得哈密顿函数最小的那个u即为最优控制量。令导数等于0即可：
$$\frac{\partial H}{\partial u}=u+{\lambda }_2=0\Rightarrow u=-{\lambda }_2=a_{1}t-a_2$$
求得u的表达式之后，对u进行两次积分可以得到s1和s2（状态矩阵$s$中的元素）：
$$\begin{array}{l}{s}_1=\frac{1}{6}{a}_1{t}^3-\frac{1}{2}{a}_2{t}^2+a_{3}t+a_4\\ s_2=\frac{1}{2}{a}_1{t}^2-a_{2}t+a_3\end{array}$$

将初始条件和终端条件代入可求得：
$$u^{\ast }(t)=\frac{9}{2}t-5$$