使用DTW算法对上证50成分股走势进行聚类分析

2024-03-31 18:48

本文主要是介绍使用DTW算法对上证50成分股走势进行聚类分析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

0.背景

客户要求对发电机组的过程参数进行分析,把走势异常的工艺过程数据挑出来。研究这个需求的时候感觉可能DTW算法比较合适。

关于DTW算法的描述前人描述很多。知乎中这位大神的收藏夹有很多关于时间序列算法的描述。

时间序列相似度以及聚类 - 收藏夹 - 知乎


 

想着搞点数据来试试才知道效果怎么样以及学会怎么用。然而甲方的数据倒腾起来太费劲。最好搞的数据是从富途上扒拉股票数据。于是决定把上证50成分股的走势搞个聚类看看,哪些成分股的走势是趋同的。

1. 准备工作

安装DTAIDistance的包。

pip install dtaidistance

注意要先有OpenMP。用法参考官方文档Welcome to DTAIDistance’s documentation! — DTAIDistance 2.2.1 documentation

准备从富途扒拉股票数据。参考官方文档富途开放接口

获取上证50列表。成分股数据 _ 数据中心 _ 东方财富网 上扒拉到excel里。

2.代码

基本就是调用datidistance包的现成函数。需要注意的是,包里的聚类算法输入的是由numpy.ndarray组成的list。list中每一行代表一个时间序列,时间序列的长度可以不等。

a=[np.array([0.,1,2,0,1,]),np.array([0.,1,3,1,2]),np.array([0.,0.5,1,2.5,3,0,2])]

 

就如同上面那样,整体的代码如下,东西都很简单看看注释和官方文档就行。

from futu import *
import  numpy as np
from dtaidistance import dtw, dtw_ndim, clustering, util_numpy
import dtaidistance.dtw_visualisation as dtwvis
from dtaidistance.exceptions import PyClusteringException
import matplotlib.pyplot as pltdef read_sh50():return pd.read_excel("./sh50.xlsx")
def read_k():df_sh50 = read_sh50()quote_ctx = OpenQuoteContext(host='127.0.0.1', port=11111)start_date = "2020-9-1"#K线开始时间end_date = "2021-9-1"#K线结束时间s=[]for i in range(df_sh50.shape[0]):ret, data, page_req_key = quote_ctx.request_history_kline(df_sh50.at[i, 'futucode'], start=start_date,end=end_date, max_count=1000)#获取上证50每一个股票的K线数据if ret == RET_OK:if i == 0:ntmp=np.array(data['close'].values.tolist())#将收盘价转换为numpy arrayntmp=(ntmp-np.min(ntmp))/(np.max(ntmp)-np.min(ntmp))#归一化s = [ntmp]else:ntmp = np.array(data['close'].values.tolist())ntmp = (ntmp - np.min(ntmp)) / (np.max(ntmp) - np.min(ntmp))s.append(ntmp)quote_ctx.close()  # 结束后记得关闭当条连接,防止连接条数用尽model1 = clustering.LinkageTree(dtw.distance_matrix_fast, {})#指定聚类所用的方法为linkagetree,计算两条曲线相似度的函数用dtw.distance_matrix_fastcluster_idx = model1.fit(s)#进行聚类计算plt.rcParams['font.family'] = ['sans-serif']#中文支持plt.rcParams['font.sans-serif'] = ['SimHei']fig, ax = plt.subplots(nrows=1, ncols=2, figsize=(100, 100))#整个大点的图好放得下show_ts_label = lambda idx: df_sh50.at[idx,'股票名称']#指定每条曲线的标签model1.plot("hierarchy.png", axes=ax, show_ts_label=show_ts_label,show_tr_label=True, ts_label_margin=-10,ts_left_margin=10, ts_sample_length=1)

3. 结果

不出意外一坨银行股挤在了一起。然而民生银行还真是奇葩,跟其他银行股不一样。药茅、光茅和航发、韦尔股份的走势高度一致,也就是版块不重要,靠梦想的股票和靠现金流的股票都是各玩各的。

 

这篇关于使用DTW算法对上证50成分股走势进行聚类分析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/865053

相关文章

C#中checked关键字的使用小结

《C#中checked关键字的使用小结》本文主要介绍了C#中checked关键字的使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学... 目录✅ 为什么需要checked? 问题:整数溢出是“静默China编程”的(默认)checked的三种用

C#中预处理器指令的使用小结

《C#中预处理器指令的使用小结》本文主要介绍了C#中预处理器指令的使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录 第 1 名:#if/#else/#elif/#endif✅用途:条件编译(绝对最常用!) 典型场景: 示例

Mysql中RelayLog中继日志的使用

《Mysql中RelayLog中继日志的使用》MySQLRelayLog中继日志是主从复制架构中的核心组件,负责将从主库获取的Binlog事件暂存并应用到从库,本文就来详细的介绍一下RelayLog中... 目录一、什么是 Relay Log(中继日志)二、Relay Log 的工作流程三、Relay Lo

使用Redis实现会话管理的示例代码

《使用Redis实现会话管理的示例代码》文章介绍了如何使用Redis实现会话管理,包括会话的创建、读取、更新和删除操作,通过设置会话超时时间并重置,可以确保会话在用户持续活动期间不会过期,此外,展示了... 目录1. 会话管理的基本概念2. 使用Redis实现会话管理2.1 引入依赖2.2 会话管理基本操作

Springboot请求和响应相关注解及使用场景分析

《Springboot请求和响应相关注解及使用场景分析》本文介绍了SpringBoot中用于处理HTTP请求和构建HTTP响应的常用注解,包括@RequestMapping、@RequestParam... 目录1. 请求处理注解@RequestMapping@GetMapping, @PostMappin

springboot3.x使用@NacosValue无法获取配置信息的解决过程

《springboot3.x使用@NacosValue无法获取配置信息的解决过程》在SpringBoot3.x中升级Nacos依赖后,使用@NacosValue无法动态获取配置,通过引入SpringC... 目录一、python问题描述二、解决方案总结一、问题描述springboot从2android.x

SpringBoot整合AOP及使用案例实战

《SpringBoot整合AOP及使用案例实战》本文详细介绍了SpringAOP中的切入点表达式,重点讲解了execution表达式的语法和用法,通过案例实战,展示了AOP的基本使用、结合自定义注解以... 目录一、 引入依赖二、切入点表达式详解三、案例实战1. AOP基本使用2. AOP结合自定义注解3.

Python中Request的安装以及简单的使用方法图文教程

《Python中Request的安装以及简单的使用方法图文教程》python里的request库经常被用于进行网络爬虫,想要学习网络爬虫的同学必须得安装request这个第三方库,:本文主要介绍P... 目录1.Requests 安装cmd 窗口安装为pycharm安装在pycharm设置中为项目安装req

使用Python将PDF表格自动提取并写入Word文档表格

《使用Python将PDF表格自动提取并写入Word文档表格》在实际办公与数据处理场景中,PDF文件里的表格往往无法直接复制到Word中,本文将介绍如何使用Python从PDF文件中提取表格数据,并将... 目录引言1. 加载 PDF 文件并准备 Word 文档2. 提取 PDF 表格并创建 Word 表格

使用Python实现局域网远程监控电脑屏幕的方法

《使用Python实现局域网远程监控电脑屏幕的方法》文章介绍了两种使用Python在局域网内实现远程监控电脑屏幕的方法,方法一使用mss和socket,方法二使用PyAutoGUI和Flask,每种方... 目录方法一:使用mss和socket实现屏幕共享服务端(被监控端)客户端(监控端)方法二:使用PyA