算法分析中递推式的一般代数解法

貌似看不清楚：http://blog.codinglabs.org/articles/linear-algebra-for-recursion.html

算法分析中经常遇到需要求解递推式的情况，即将递推式改写为等价的封闭形式。例如汉诺塔问题的时间复杂度递推形式为 T(n)=2T(n−1)+1(n≥1) ，可以解出封闭形式为 T(n)=2n−1 （设初始状态 T(0)=0 ）。

因为递推式求解的重要性，许多算法书籍对其有专门介绍。Donald Knuth在Concrete Mathematics一书中多个章节都涉及递推式求解方法。算法导论也在第四章中专门论述的这个主题。

在这些相关论述中，主要介绍了一些启发式方法，这些方法往往需要一些特殊的技巧和灵感才能完成。

而本文将论述一种纯代数式的方法，这种方法将求解递推式转化为求解一个多项式的根和求解一组线性方程组，这样就使得整个求解过程不依赖于太多技巧，因此具有更好的易用性。

本文首先会给出两个例子：如何使用纯代数方法求解斐波那契数列和汉诺塔递推式；然后会借助线性代数论述这种方法背后的数学意义，说明线性递推式与线性方程的内在联系以及这种解法的数学原理；最后将例子中的方法推广到一般情况。

示例

例1：斐波那契数列

斐波那契数列大家应该很熟悉了，这里不再赘述，直接进入问题。

问题

设斐波那契数列为由如下递推式定义的数列：

求解 T(n) 的封闭形式（也就是斐波那契数列的通项公式）。

求解

首先忽略初始条件，考虑递推式 T(n)=T(n−2)+T(n−1) 。可以对解的形式进行一个猜测 T(n)=qn （这个不是瞎猜的，实际上可以证明线性递推式都遵循这种形式）。那么，递推式可以重写为：

这样问题被转化为一个一元二次方程的求根问题。利用求根公式可得：

因此得到递推式的一个通解：

即其中 c1 和 c2 为任意实数。下一步要代入初始条件解出 c1 和 c2 。根据n为0和1时的初始条件，可得：

解得 c1=15√ ， c2=−15√ 。因此最终解为：

例2：汉诺塔

汉诺塔的时间复杂度通常使用递归式定义，在这个例子中将使用代数方法求解其封闭形式。

问题

汉诺塔的时间复杂度为 T(n)=2T(n−1)+1 ，求解其封闭形式。

求解

这里并不能直接使用例1中的方法，因为右边除了递推项外，还有一个非递推项1，用线性代数的语言说，这个线性递推式是非齐次的。

可以回想一下线性代数中求解非齐次方程组通解的方法：1）求解其齐次部分的通解。2）求其一个特解，将特解加到通解上即得非齐次方程组通解。

我们用类似的方法求解汉诺塔时间复杂度递推式。首先，忽略后面的1，则得到一个齐次线性递推式：

转化为多项式方程：

因为方程是一次多项式，我们直接得到了其解为2。因此齐次递推式的通解为 c2n ，其中c为任意常数。

然后我们需要求得 T(n)=2T(n−1)+1 的一个特解，解是一个以n为变量的函数。我们可以先从常数试起，设特解为 T(n)=a ，带入得 a=2a+1 ， 解得 a=−1 。因此，原递推式的通解为：

最后我们求解常数c。

将初始条件 T(0)=0 带入，得 0=c−1 ，因此 c=1 。代入原通解，得汉诺塔时间复杂度递推式的封闭形式为：

数学原理

上面两个例子可能有些同学看的不是很明白，其中提到了一些线性代数术语。在这一章节中，我们分析上述解法的数学原理，看看递推式是如何与线性代数关联起来的。

线性递推式的一般化

斐波那契数列和汉诺塔递推式可以看成线性递推式的特例，下面给出线性递推式的一般定义：

我们将满足如下递推关系的递推式称为线性递推式：

其中 C(n) 是只与n有关系的一个函数。如果 C(n)=0 ，则称递推式为齐次此，否则称为非齐次的。齐次递推式一定有平凡解 T(n)=0 。

注意仅有递推式是不能求得 T(n) 的唯一解，因此递推关系式只能给出一个通解。只有当下列初始条件确定后，才有可能给出 T(n) 的唯一特解。

齐次递推式求解定理

下面先考虑齐次线性递推式的求解。定理如下：

设有线性齐次递推式 T(n)=a1T(n−1)+a2T(n−2)+⋯+ak−1T(n−k+1)+akT(n−k)

另设多项式方程 qk−a1qk−1−⋯−ak−1q−ak=0(q>0,ak≠0) 的根是  q1,q2,…,qk ，我们先讨论不存在重根的情况，也就是说k个根互不相等。

则 T(n) 的通解为：

T(n)=c1qn1+c2qn2+⋯+ckqnk

并且对于任意的初始情况

T(0)=b0T(1)=b1⋮T(k−1)=bk−1

都存在一组解 c1,…,ck 使得递推式成立

定理的证明

要证明以上定理，主要需要证明两部分。一是证明多项式根的线性组合可以满足递推式，二是证明任意初始条件下总有解。

可满足性证明

首先来证明 T(n)=c1qn1+c2qn2+⋯+ckqnk 可以满足递推式。

T(n)=a1T(n−1)+a2T(n−2)+⋯+ak−1T(n−k+1)+akT(n−k) 经过变换可以改写为  T(n)−a1T(n−1)−a2T(n−2)−⋯−ak−1T(n−k+1)−akT(n−k)=0

假设 T(n)=qn ，因为 q>0 ，所以两边除以 qn−k ，得到 qk−a1qk−1−⋯−ak−1q−ak=0

因此这个多项式和原递推式同解，因此多项式的每个根q的几何级数 qn 都是原递推式的一个解。同时，根的线性组合  c1qn1+c2qn2+⋯+ckqnk 均满足原递推式（可以带入验证）。

任意初始值有解证明

下面要证明对于任意初始条件，均存在适当的常数 c1,…,ck 。

将

T(0)=b0T(1)=b1⋮T(k−1)=bk−1

带入通解公式，得到一个线性方程组

c1+c2+⋯+ckc1q1+c2q2+⋯+ckqkc1q21+c2q22+⋯+ckq2k⋮c1qk−11+c2qk−12+⋯+ckqk−1k====b0b1b2bk−1

此时问题转化为证明此方程组对于必然有解，下面就要用到线性代数的知识了。这个方程组的系数行列式为：

det(V)=∣∣∣∣∣∣∣∣1q1q21⋮qk−111q2q22⋮qk−12……………1qkq2k⋮qk−1k∣∣∣∣∣∣∣∣

这个行列式就是非常著名Vandermonde行列式，所以

det(V)=∏1≤i<j≤k(qi−qj)

上面我们假设了多项式各个根均互异，因此行列式的值不等于0，这意味着系数矩阵的秩为k。有线性代数知识可知，这表明 对于任意初始值 b0,…,bk−1 ，方程组均有唯一解。

证毕。

顺便说一下，上面的多项式叫特征多项式。其根叫特征根。

通用解法

通过上面的数学分析，我们得到了一个解线性递推式的通用方法。

齐次递推式

设有齐次递推式

我们可以写出其特征多项式方程

解出其k个根 q1,…,qk 。如果k个根互异（但可以有复根），则原递推式的通解为

然后将初始条件 b0,…,bk−1 带入组成线性方程组

解线性方程组得唯一解 x^1,…,x^k 。带回通解公式则得到递推式的最终解

非齐次递推式

对于非齐次递推式

可以首先按上面的方法求解其齐次部分的通解 Tn 。然后求得其一个特解 yn ，则非齐次递推式的通解为

然后用同样的方法带入初始值，通过线性方程组求出个常量参数带回即可（具体可参见例2）。

有重根的情况

上面的解法只针对特征根互异，如果有重根的话，则上述方法会无效。不过只要经过一定处理也可以有通用方法求解， 因有点复杂，本文不在针对重根情况进行叙述。关于重根情况下的求解，有感兴趣的同学可以参考线性代数或微分方程相关文献。