基金/证券项目如何进行非交易日数据补全(实战)

2024-05-25 10:20

本文主要是介绍基金/证券项目如何进行非交易日数据补全(实战),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一些大数据开发的项目,特别是基金/证券公司的项目,都经常会涉及到交易日与非交易日的概念。

如果要让你对一张交易日跑批的主表,怎么去补全非交易日的数据呢?

在遇到这种情况的时候,我们要去怎么处理?来,实战一下。

1,理财产品报价历史表(交易日有数据)

有一张理财产品报价历史(dt分区)表:db_edw.prd_fm_quot_his字段如下:prd_cd         --(产品代码)fm_prd_ta_cd   --(产品TA代码)nvlu          --(产品净值)fm_prd_type_cd --(产品类型代码)dt             --(时间分区)

这张表因为是在交易日跑数,所以在非交易日,是不存在数据的。

那么怎么让这张表在每一个自然日有数据呢??这个是我们要做的。

2,时间维表(自然日)

一般都会有一张时间维度的表:db_cdm.dim_date (时间维表),记录每一天的信息,比如yyyymmdd,是不是交易日,是周几,是今年的第几天,是今年的第几周,是当月的第几天,是当月的第几周,上一个交易日,下一个交易日,等等。

有一张时间维度的表:db_cdm.dim_date (时间维表)有如下重要字段:date_id        --自然日(年月日)trd_day_flag    --交易日标志(1为交易日,0为非交易日)last_trd_date_id  --上一个交易日dt     --时间分区

3,处理为:理财产品报价历史表(自然日有数据)

处理规则:当然是让理财产品报价历史表,在非交易日那几天,按照上一个交易日的数据信息来使用。

代码如下:

注释:'${v_start_date}', '${v_end_date}' 是时间参数

理财产品报价历史表的dt(交易日),和时间维表(处理之后)的trd_date(交易日),关联会数据发散为所有自然日。

=====================================

知识点不难,但以后肯定能用上。欢迎一键三连。

这篇关于基金/证券项目如何进行非交易日数据补全(实战)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1001235

相关文章

Linux使用fdisk进行磁盘的相关操作

《Linux使用fdisk进行磁盘的相关操作》fdisk命令是Linux中用于管理磁盘分区的强大文本实用程序,这篇文章主要为大家详细介绍了如何使用fdisk进行磁盘的相关操作,需要的可以了解下... 目录简介基本语法示例用法列出所有分区查看指定磁盘的区分管理指定的磁盘进入交互式模式创建一个新的分区删除一个存

C#使用HttpClient进行Post请求出现超时问题的解决及优化

《C#使用HttpClient进行Post请求出现超时问题的解决及优化》最近我的控制台程序发现有时候总是出现请求超时等问题,通常好几分钟最多只有3-4个请求,在使用apipost发现并发10个5分钟也... 目录优化结论单例HttpClient连接池耗尽和并发并发异步最终优化后优化结论我直接上优化结论吧,

Golang操作DuckDB实战案例分享

《Golang操作DuckDB实战案例分享》DuckDB是一个嵌入式SQL数据库引擎,它与众所周知的SQLite非常相似,但它是为olap风格的工作负载设计的,DuckDB支持各种数据类型和SQL特性... 目录DuckDB的主要优点环境准备初始化表和数据查询单行或多行错误处理和事务完整代码最后总结Duck

Python MySQL如何通过Binlog获取变更记录恢复数据

《PythonMySQL如何通过Binlog获取变更记录恢复数据》本文介绍了如何使用Python和pymysqlreplication库通过MySQL的二进制日志(Binlog)获取数据库的变更记录... 目录python mysql通过Binlog获取变更记录恢复数据1.安装pymysqlreplicat

Linux使用dd命令来复制和转换数据的操作方法

《Linux使用dd命令来复制和转换数据的操作方法》Linux中的dd命令是一个功能强大的数据复制和转换实用程序,它以较低级别运行,通常用于创建可启动的USB驱动器、克隆磁盘和生成随机数据等任务,本文... 目录简介功能和能力语法常用选项示例用法基础用法创建可启动www.chinasem.cn的 USB 驱动

使用Python进行文件读写操作的基本方法

《使用Python进行文件读写操作的基本方法》今天的内容来介绍Python中进行文件读写操作的方法,这在学习Python时是必不可少的技术点,希望可以帮助到正在学习python的小伙伴,以下是Pyth... 目录一、文件读取:二、文件写入:三、文件追加:四、文件读写的二进制模式:五、使用 json 模块读写

Oracle数据库使用 listagg去重删除重复数据的方法汇总

《Oracle数据库使用listagg去重删除重复数据的方法汇总》文章介绍了在Oracle数据库中使用LISTAGG和XMLAGG函数进行字符串聚合并去重的方法,包括去重聚合、使用XML解析和CLO... 目录案例表第一种:使用wm_concat() + distinct去重聚合第二种:使用listagg,

使用zabbix进行监控网络设备流量

《使用zabbix进行监控网络设备流量》这篇文章主要为大家详细介绍了如何使用zabbix进行监控网络设备流量,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录安装zabbix配置ENSP环境配置zabbix实行监控交换机测试一台liunx服务器,这里使用的为Ubuntu22.04(

Python实现将实体类列表数据导出到Excel文件

《Python实现将实体类列表数据导出到Excel文件》在数据处理和报告生成中,将实体类的列表数据导出到Excel文件是一项常见任务,Python提供了多种库来实现这一目标,下面就来跟随小编一起学习一... 目录一、环境准备二、定义实体类三、创建实体类列表四、将实体类列表转换为DataFrame五、导出Da

Python实现数据清洗的18种方法

《Python实现数据清洗的18种方法》本文主要介绍了Python实现数据清洗的18种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录1. 去除字符串两边空格2. 转换数据类型3. 大小写转换4. 移除列表中的重复元素5. 快速统