天软高频时序数据仓库

2024-02-13 19:20

本文主要是介绍天软高频时序数据仓库,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1天软高频时序数仓的独特优势

1.1大比例压缩存储

TS数据仓库支持压缩存储,能极大的节省用户的数据存储成本;

压缩传输能获取更快的数据传输性能;

压缩存储支撑无障碍自由访问,无需解压缩;

l对于Level-1高频行情数据,可压缩至源数据的5%左右,即10G/天的数据,压缩至500MB左右。

l对于Level-2高频行情数据,可压缩至源数据的10%左右,即40-50G/天的数据,压缩至5G上下/天,

l对于其他基本面、财务等数据,还可压缩至源数据的3%左右。

1.2行情接入优化

天软高频时序数据仓库在接入行情数据时,前置行情网关组件,支持多源热备、合并择优技术,保障实时行情、非实时行情数据的快速、稳定、准确获取。

1.2.1多源热备

当用户处有多套行情系统时,除了对历史数据的对比外,还可将其中一个源作为主要源,其他源为其补充源或备份源。

在实时行情中,多源热备这种方式优势尤为明显,以多源同时作为行情推送节点,同一条行情哪个源先到达,则用哪个源的行情数据,即谁快用谁。当然,多源热备的方式也能保障行情不中断,某一个节点中断时,依然能接收到其他源推送的行情。

1.2.2合并择优

在多源同时接收时,系统还做到了合并择优,并不是单纯的按时间进行选择,而是对比行情的成交量、成交金额等字段,保障该条行情在该时点上时最新最优的,在多源中选择最优的那条行情入库,且合并择优动作在毫秒内即可完成,完全不影响实时行情的传输。

1.3实时衍生行情数据

更高频率的快照合成,实时Level-2行情源时,常规快照频率是31笔,系统支持盘中通过原始快照+逐笔数据合成更高频率的快照,比如可以配置500毫秒合成一次,就相当于一秒两笔的快照了。合成比常规快照更高频率的快照,支持各类金融品种。

实时衍生自定义行情、指标,比如实时拟合自定义指数行情,例如各品种的期货指数等。

常规的周期线的衍生,可支撑用户自定义;

1.4自由时间序列支持

TS数据仓库支持时间序列数据的存储与访问,支持全球市场数据存储,支持多时区、多市场、多交易时段、分开收盘,对于行情数据,支持实时行情、固定周期、自由周期访问

自由周期支持用户设置统计周期,通过一行参数代码设定,即可实现各类金融品种行情的自由周期统计,支持从设置的任意时点起,向前滚动N秒、滚动N日进行统计,设置简便,能帮助用户在研究过程中快速对齐时间序列,确保统计周期内交易节点的一致性。

1.5时间序列缓存加速

天软自研时间序列缓存加速技术,减少技术指标在计算时的层层迭代,仅需一行代码,即可缓存历史计算数据,减少计算迭代次数,成倍提升技术指标的计算效率。

1.6时序数据的快速统计

在计算上支持函数式或者SQL式的时间序列数据的快速计算,包括描述统计、移动统计、时序相对引用、单序列统计、双序列统计等多种计算场景支持。天软自研设计了SP 统计关键字,时序数据的统计提供语法级支持,能在提取数据的同时,完成统计计算,效率相对于传统数据库提升百倍以上,也更优于其他语言的先提取数据再计算。

1.7TS分布式与网格计算服务

TS数据仓库 + TS分布式计算服务的模式,数据存储与计算紧耦合,降低数据传输开销,提升计算效率,根据实际的计算需求及分布式计算特性,还可以快速进行计算资源的扩展,以满足行情数据高效提取和网格运算。

l算力部署可弹性伸缩:可以多台计算服务器组成集群

l网格计算:并行计算,可充分使用硬件资源,按网格数成倍提升计算效率

天软自主研发的网格计算技术,用户可以零部署、零开发,仅需在调用的计算函数前添加一个 # 号,即标志当前计算为网格计算。

1.8内置金融函数库

天软高频时序数据仓库内置10000+的海量函数,包括专业的数学方法库,金融方法库,金融业务框架库,帮助用户快速实现策略因子、因子研发、指数开发、实盘监控、组合评价等各类金融业务场景。所有方法均为开源,用户可完整查看算法、方法的实现代码,可一键转化为私有函数,复用修改。

1.9非行情类数据的接入融合

天软高频时序数据仓库不仅支持行情数据的接入,还支持各类非行情数据的接入,对接方式多样,支持API对接各类系统获取数据,支持ETL定时查询数据库并清洗检查数据入库,相关标准格式的文件数据还支持直接解析文件入库。

这篇关于天软高频时序数据仓库的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/706404

相关文章

力扣第347题 前K个高频元素

前言 记录一下刷题历程 力扣第347题 前K个高频元素 前K个高频元素 原题目: 分析 我们首先使用哈希表来统计数字出现的频率,然后我们使用一个桶排序。我们首先定义一个长度为n+1的数组,对于下图这个示例就是长度为7的数组。为什么需要一个长度为n+1的数组呢?假如说总共有三个数字都为1,那么我们需要把这个1放在数组下标为3的位置,假如说数组长度为n,对于这个例子就是长度为3,那么它的

【Hot100】LeetCode—347. 前 K 个高频元素

目录 1- 思路自定义Node结点 + 哈希表实现 2- 实现⭐347. 前 K 个高频元素——题解思路 3- ACM实现 原题连接:347. 前 K 个高频元素 1- 思路 自定义Node结点 + 哈希表实现 ① 自定义 Node 结点: 自定义 Node 结点中有 value 和 cnt 字段,其中 value 为具体的数字,cnt 为具体的值实现 ① getCn

数据仓库理论知识

1、数据仓库的概念          数据仓库(英文:Date Warehouse,简称数仓、DW),是一个用于数据存储、分析、报告的数据系统。数据仓库的建设目的是面向分析的集成化数据环境,其数据来源于不同的外部系统,其结果开放给不同外部应用使用,为企业提供决策支持; 2、数据仓库的主要特征 数据仓库是面向主题性(Subject-Oriented )、集成性(Integrated)、非易

多维时序 | Matlab基于SSA-SVR麻雀算法优化支持向量机的数据多变量时间序列预测

多维时序 | Matlab基于SSA-SVR麻雀算法优化支持向量机的数据多变量时间序列预测 目录 多维时序 | Matlab基于SSA-SVR麻雀算法优化支持向量机的数据多变量时间序列预测效果一览基本介绍程序设计参考资料 效果一览 基本介绍 1.Matlab基于SSA-SVR麻雀算法优化支持向量机的数据多变量时间序列预测(完整源码和数据) 2.SS

时序预测|变分模态分解-双向时域卷积-双向门控单元-注意力机制多变量时间序列预测VMD-BiTCN-BiGRU-Attention

时序预测|变分模态分解-双向时域卷积-双向门控单元-注意力机制多变量时间序列预测VMD-BiTCN-BiGRU-Attention 文章目录 一、基本原理1. 变分模态分解(VMD)2. 双向时域卷积(BiTCN)3. 双向门控单元(BiGRU)4. 注意力机制(Attention)总结流程 二、实验结果三、核心代码四、代码获取五、总结 时序预测|变分模态分解-双向时域卷积

嵌入式开发高频面试题——第五章 Linux操作系统常见面试题(上)

目录 5.1.1 Linux内核的组成5.1.2 用户空间与内核通信方式有哪些?5.1.3 系统调用read()/write(),内核具体做了哪些事情5.1.4 系统调用的作用5.1.5 内核态,用户态的区别5.1.6 Bootloader、内核、根文件系统的关系5.1.7 Bootloader多数有两个阶段的启动过程5.1.8 Linux的内核是由Bootloader装载到内存中的?5.1

数据仓库: 6- 数据仓库分层

目录 6- 数据仓库分层6.1 简介6.1.1 数据仓库分层的优势6.1.2 常见的数据仓库分层模型6.1.2.1 四层模型6.1.2.2 三层模型 6.1.3 数据仓库分层原则6.1.4 数据仓库分层示例6.1.5 总结 6.2 ODS(操作数据存储)层6.2.1 ODS 层的主要功能6.2.2 ODS 层的特点6.2.3 ODS 层的设计要点6.2.4 ODS 层的应用场景6.2.5 总

数据仓库系统的实现与使用(含OLAP重点讲解)

系列文章: 《一文了解数据库和数据仓库》 《DB数据同步到数据仓库的架构与实践》 《数据湖(Data Lake)-剑指下一代数据仓库》 《从0建设离线数据仓库》 《基于Flink构建实时数据仓库》 阅读目录 前言创建数据仓库ETL:抽取、转换、加载OLAP/BI工具数据立方体(Data Cube)OLAP的架构模式小结 前言 数据仓库是数据仓库开发中最核心的部分。然而完整的数据仓库系统还会涉及

嵌入式开发高频面试题——第四章 常见算法(下)

目录 4.2.1 Vector和List的异同4.2.2 Vector的内存增长与底层实现4.2.3 Vector和Deque的比较4.2.4 STL里有sort函数,为什么list还要定义sort?4.2.5 STL底层数据结构实现4.2.6 利用迭代器删除元素会发生什么?4.2.7 Map的实现与查找效率4.2.8 几种模板插入的时间复杂度 4.2.1 Vector和Lis

【滑动窗口】| 力扣高频题: 长度最小的数组

🎗️ 主页:小夜时雨 🎗️专栏:算法题 🎗️如何活着,是我找寻的方向 目录 1. 题目解析2. 代码 1. 题目解析 题目链接: https://leetcode.cn/problems/minimum-size-subarray-sum/description/ (可点击) 本道题是滑动窗口的一道经典应用问题:找出数组中长度最小的子数组。 滑动窗口优化思