基于相关向量机RVM的回归预测算法

本文主要是介绍基于相关向量机RVM的回归预测算法，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

基于相关向量机RVM的回归预测算法

文章目录

基于相关向量机RVM的回归预测算法
- 1.RVM原理
- 2.算法实验与结果
- 3.参考文献：
- 4.MATLAB代码

摘要：本文主要介绍相关向量机RVM的基本原理，以及在预测问题中的应用。

1.RVM原理

RVM算法是一种基于贝叶斯框架的机器学习模型，通过最大化边际似然得到相关向量和权重。

设 ${x\}_{u=1}^N$ 和 ${t\}_{u=1}^N$ 分别是输入向量和输出向量，目标 $t$ 可采用如式(1)所示的回归模型获得:
$=y(x)+\xi_n \tag{1}$
式中: $\xi_n$ 为零均值、方差 $σ^2$ 的噪声， $y (x)$ 定义为:
$y(x)=\sum_{u=1}^Nw_uK(x,x_u)+w_0 \tag{2}$
式中: $K(x,x_u)$ 是核函数， $w_u$ 是权重向量， $w_0$ 是偏差。设 $t$ 是独立的，其概率定义为:
$p(t|w,\sigma^2)=(2\pi\sigma^2)^{-N/2}exp(-\frac{||t-w\varphi||^2}{2\sigma^2})\tag{3}$
式中： $t=(t_1,t_2,...,t_N)^T,w=(w_0,w_1,...,w_n)^T$ , $\varphi$ 是 $N (N + 1)$ 的矩阵。

式(3)中的 $w$ 和 $σ$ 最大似然估计会导致过拟合，为约束参数，定义一个零均值高斯先验概率分布:
$p(w|\alpha)=\prod_{u=0}^NN(w_u|0,\alpha_u^{-1})\tag{4}$
式中: $α$ 是 $N + 1$ 维的超参数向量。

依据贝叶斯公式，未知参数的后验概率为:
$p(w,\alpha,\sigma^2|t)=p(w|\alpha,\sigma^2,t)p(\alpha,\sigma^2|t)\tag{5}$
后验分布的权重被描述为:
$p(w|t,\alpha,\sigma^2)=(2\pi)^{-(N+1)/2}|\Sigma|^{-1/N}exp(-\frac{1}{2}(w-u)^T\Sigma ^{-1}(w-u))\tag{6}$
式中:后验均值 $u=\sigma^{-2}\Sigma\varphi^Tt$ ,协方差 $\Sigma=(\sigma^{-2}\varphi^T\varphi+A)^{-1}$ , $A=diag(\alpha_0,\alpha_1,...,\alpha_N)$ 。

为了实现统一的超参数，做出如下定义:
$p(t|\alpha,\sigma^2)=\int p(t|w,\sigma^2)p(w,\alpha)dw =(2\pi)^{-N/2}|\sigma^2I+\varphi A^{-1}\varphi^T|exp(-\frac{1}{2}t^T(\sigma^2I + \varphi A^{-1}\varphi^T)^{-1}t)\tag{7}$
高斯径向基函数具有较强的非线性处理能力，被用作核函数，其定义如下:
$K(x,x_u)=exp(-\frac{(x-x_u)^2}{2\gamma^2})\tag{7}$
式中: $γ$ 为宽度因子，对模型的精度有极大的影响，需要预先设定。