本文主要是介绍天软高频时序数据仓库,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
1天软高频时序数仓的独特优势
1.1大比例压缩存储
TS数据仓库支持压缩存储,能极大的节省用户的数据存储成本;
压缩传输能获取更快的数据传输性能;
压缩存储支撑无障碍自由访问,无需解压缩;
l对于Level-1高频行情数据,可压缩至源数据的5%左右,即10G/天的数据,压缩至500MB左右。
l对于Level-2高频行情数据,可压缩至源数据的10%左右,即40-50G/天的数据,压缩至5G上下/天,
l对于其他基本面、财务等数据,还可压缩至源数据的3%左右。
1.2行情接入优化
天软高频时序数据仓库在接入行情数据时,前置行情网关组件,支持多源热备、合并择优技术,保障实时行情、非实时行情数据的快速、稳定、准确获取。
1.2.1多源热备
当用户处有多套行情系统时,除了对历史数据的对比外,还可将其中一个源作为主要源,其他源为其补充源或备份源。
在实时行情中,多源热备这种方式优势尤为明显,以多源同时作为行情推送节点,同一条行情哪个源先到达,则用哪个源的行情数据,即谁快用谁。当然,多源热备的方式也能保障行情不中断,某一个节点中断时,依然能接收到其他源推送的行情。
1.2.2合并择优
在多源同时接收时,系统还做到了合并择优,并不是单纯的按时间进行选择,而是对比行情的成交量、成交金额等字段,保障该条行情在该时点上时最新最优的,在多源中选择最优的那条行情入库,且合并择优动作在毫秒内即可完成,完全不影响实时行情的传输。
1.3实时衍生行情数据
更高频率的快照合成,实时Level-2行情源时,常规快照频率是3秒1笔,系统支持盘中通过原始快照+逐笔数据合成更高频率的快照,比如可以配置500毫秒合成一次,就相当于一秒两笔的快照了。合成比常规快照更高频率的快照,支持各类金融品种。
实时衍生自定义行情、指标,比如实时拟合自定义指数行情,例如各品种的期货指数等。
常规的周期线的衍生,可支撑用户自定义;
1.4自由时间序列支持
TS数据仓库支持时间序列数据的存储与访问,支持全球市场数据存储,支持多时区、多市场、多交易时段、分开收盘,对于行情数据,支持实时行情、固定周期、自由周期访问。
自由周期支持用户设置统计周期,通过一行参数代码设定,即可实现各类金融品种行情的自由周期统计,支持从设置的任意时点起,向前滚动N秒、滚动N日进行统计,设置简便,能帮助用户在研究过程中快速对齐时间序列,确保统计周期内交易节点的一致性。
1.5时间序列缓存加速
天软自研时间序列缓存加速技术,减少技术指标在计算时的层层迭代,仅需一行代码,即可缓存历史计算数据,减少计算迭代次数,成倍提升技术指标的计算效率。
1.6时序数据的快速统计
在计算上支持函数式或者SQL式的时间序列数据的快速计算,包括描述统计、移动统计、时序相对引用、单序列统计、双序列统计等多种计算场景支持。天软自研设计了SP 统计关键字,时序数据的统计提供语法级支持,能在提取数据的同时,完成统计计算,效率相对于传统数据库提升百倍以上,也更优于其他语言的先提取数据再计算。
1.7TS分布式与网格计算服务
TS数据仓库 + TS分布式计算服务的模式,数据存储与计算紧耦合,降低数据传输开销,提升计算效率,根据实际的计算需求及分布式计算特性,还可以快速进行计算资源的扩展,以满足行情数据高效提取和网格运算。
l算力部署可弹性伸缩:可以多台计算服务器组成集群
l网格计算:并行计算,可充分使用硬件资源,按网格数成倍提升计算效率
天软自主研发的网格计算技术,用户可以零部署、零开发,仅需在调用的计算函数前添加一个 # 号,即标志当前计算为网格计算。
1.8内置金融函数库
天软高频时序数据仓库内置10000+的海量函数,包括专业的数学方法库,金融方法库,金融业务框架库,帮助用户快速实现策略因子、因子研发、指数开发、实盘监控、组合评价等各类金融业务场景。所有方法均为开源,用户可完整查看算法、方法的实现代码,可一键转化为私有函数,复用修改。
1.9非行情类数据的接入融合
天软高频时序数据仓库不仅支持行情数据的接入,还支持各类非行情数据的接入,对接方式多样,支持API对接各类系统获取数据,支持ETL定时查询数据库并清洗检查数据入库,相关标准格式的文件数据还支持直接解析文件入库。
这篇关于天软高频时序数据仓库的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!