使用DTW算法对上证50成分股走势进行聚类分析

本文主要是介绍使用DTW算法对上证50成分股走势进行聚类分析，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

0.背景

客户要求对发电机组的过程参数进行分析，把走势异常的工艺过程数据挑出来。研究这个需求的时候感觉可能DTW算法比较合适。

关于DTW算法的描述前人描述很多。知乎中这位大神的收藏夹有很多关于时间序列算法的描述。

时间序列相似度以及聚类 - 收藏夹 - 知乎

想着搞点数据来试试才知道效果怎么样以及学会怎么用。然而甲方的数据倒腾起来太费劲。最好搞的数据是从富途上扒拉股票数据。于是决定把上证50成分股的走势搞个聚类看看，哪些成分股的走势是趋同的。

1. 准备工作

安装DTAIDistance的包。

pip install dtaidistance

注意要先有OpenMP。用法参考官方文档Welcome to DTAIDistance’s documentation! — DTAIDistance 2.2.1 documentation

准备从富途扒拉股票数据。参考官方文档富途开放接口

获取上证50列表。成分股数据 _ 数据中心 _ 东方财富网上扒拉到excel里。

2.代码

基本就是调用datidistance包的现成函数。需要注意的是，包里的聚类算法输入的是由numpy.ndarray组成的list。list中每一行代表一个时间序列，时间序列的长度可以不等。

a=[np.array([0.,1,2,0,1,]),np.array([0.,1,3,1,2]),np.array([0.,0.5,1,2.5,3,0,2])]

就如同上面那样，整体的代码如下，东西都很简单看看注释和官方文档就行。

from futu import *
import  numpy as np
from dtaidistance import dtw, dtw_ndim, clustering, util_numpy
import dtaidistance.dtw_visualisation as dtwvis
from dtaidistance.exceptions import PyClusteringException
import matplotlib.pyplot as pltdef read_sh50():return pd.read_excel("./sh50.xlsx")
def read_k():df_sh50 = read_sh50()quote_ctx = OpenQuoteContext(host='127.0.0.1', port=11111)start_date = "2020-9-1"#K线开始时间end_date = "2021-9-1"#K线结束时间s=[]for i in range(df_sh50.shape[0]):ret, data, page_req_key = quote_ctx.request_history_kline(df_sh50.at[i, 'futucode'], start=start_date,end=end_date, max_count=1000)#获取上证50每一个股票的K线数据if ret == RET_OK:if i == 0:ntmp=np.array(data['close'].values.tolist())#将收盘价转换为numpy arrayntmp=(ntmp-np.min(ntmp))/(np.max(ntmp)-np.min(ntmp))#归一化s = [ntmp]else:ntmp = np.array(data['close'].values.tolist())ntmp = (ntmp - np.min(ntmp)) / (np.max(ntmp) - np.min(ntmp))s.append(ntmp)quote_ctx.close()  # 结束后记得关闭当条连接，防止连接条数用尽model1 = clustering.LinkageTree(dtw.distance_matrix_fast, {})#指定聚类所用的方法为linkagetree，计算两条曲线相似度的函数用dtw.distance_matrix_fastcluster_idx = model1.fit(s)#进行聚类计算plt.rcParams['font.family'] = ['sans-serif']#中文支持plt.rcParams['font.sans-serif'] = ['SimHei']fig, ax = plt.subplots(nrows=1, ncols=2, figsize=(100, 100))#整个大点的图好放得下show_ts_label = lambda idx: df_sh50.at[idx,'股票名称']#指定每条曲线的标签model1.plot("hierarchy.png", axes=ax, show_ts_label=show_ts_label,show_tr_label=True, ts_label_margin=-10,ts_left_margin=10, ts_sample_length=1)