pandas 的 rolling regression

Pandas的Rolling

使用pandas的rolling时，pandas DataFrame rolling 后的 apply 只能处理单列，就算用lambda的方式传入了多列，也不能返回多列 。因此如果想要做一个滚动的多元线性回归，则非常不方便。
最早的时候，有人问过这样子的问题

当时的解决办法是：

model = pd.stats.ols.MovingOLS(y=df.Y, x=df[['X1', 'X2', 'X3']], window_type='rolling', window=100, intercept=True)
df['Y_hat'] = model.y_predict

但是现在pandas已经没有 stats 了，因此只能换一种方式
搜索到 statsmodels 中有 rolling，因此可以尝试看看这种写法的效率如何：

使用 statsmodels

我们先生成一些测试数据

start_date = '20150101'
end_date = '20210601'
trading_date_lst = list(assistant.ReturnTradingCalendar(start_date=start_date,end_date=end_date)['cal_date'].astype(str))
test_df = pd.DataFrame({'Date':trading_date_lst},index=pd.to_datetime(trading_date_lst))

我们假设有 Y = 3X1 + 7X2 - 10*X3

import random
x1_lst = []
x2_lst = []
x3_lst = []
y_lst = []
for i in range(len(test_df)):x1 = 10*np.sin(2*np.pi*i/60 + 100)x2 = 10*np.sin(2*np.pi*i/178 + 31)x3 = 10*np.cos(2*np.pi*i/121 + 12)y = 3*x1 + 7*x2 - 10*x3y_lst.append(y)x1_lst.append( x1+ 2*random.random())x2_lst.append( x2+ 1*random.random())x3_lst.append( x3+ 0.9*random.random())
test_df['X1'] = x1_lst
test_df['X2'] = x2_lst
test_df['X3'] = x3_lst
test_df['Y'] = y_lst
test_df.head(20)

现在我们进行rolling的回归

from statsmodels.regression.rolling import RollingOLS
model = RollingOLS(endog =test_df['Y'].values , exog=test_df[['X1','X2','X3']],window=40)
rres = model.fit()
rres.params

但是速度稍微有点慢。
神奇的是，rres里并没有predict的一个选项，因此我们计算y_hat时，还得手动计算？

para_df = rres.params
test_df['Y_hat'] = (para_df * test_df[['X1','X2','X3']]).sum(axis=1)