非凸科技受邀出席源创会,探讨数据技术的未来发展

2023-10-10 19:01

本文主要是介绍非凸科技受邀出席源创会,探讨数据技术的未来发展,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

9月23日,由开源中国联合腾讯云TVP开展的“数据与前沿技术”源创会活动在成都顺利举行,非凸科技受邀出席,与业界专家们共同探讨了数据存储、数据分析、数据挖掘等前沿技术。

会上,非凸科技成都分公司研发总监赵海峰以“量化交易的数据驱动”为主题进行了分享。在量化交易领域如何高效地获取行情数据,如何将行情数据转发到需要的服务器,如何处理大量历史行情数据的存放和读取,又是如何通过行情数据进行模型的训练,赵海峰老师一一做出了精彩的解答。活动后,引发线上热烈交流讨论。

量化交易主要通过行情数据进行交易决策,那么如何通过券商获取行情,进行行情低延迟接收的软硬件方案呢?交易所发布的行情会经过券商的处理再转发给交易机构,其转发途径主要有TCP、UDP、FPGA加速的UDP和ASIC加速的UDP行情等。然而,券商通过TCP连接将a处理后的行情数据转发给交易机构,会存在延迟大、应用层丢包(非TCP协议丢包)、发送端负载大等问题。为了解决这些问题,券商又通过UDP组播或广播的方式,将处理后的行情或交易所原始行情转发给交易机构。为了达到极致的低延迟,券商端将会通过多种方式来解决,其中一个特别有效的方式是使用L1交换机,在一层转发光或电信号给客户,其转发延迟可以低至4ns。需要注意的是,虽然UDP不是一个可靠传输协议,但在同一个交换机连接的服务器之间使用UDP进行通信,正常情况下在网络上几乎不会丢包。然而,在客户端程序和服务器的网卡上可能会丢包。因此,客户在接收行情时,可以使用无锁的ring buffer转发数据到处理线程,以并行处理不同股票的行情,然后将处理结果写入共享内存,以供交易系统读取。

收到行情后,如何将行情数据转发给内部的其他消费者呢?如果对延迟要求没有太高,可以使用TCP转发行情,能够自己控制丢包率,为了降低延迟和增加吞吐,也可以使用UDP转发行情。由于逐笔行情不允许丢包,所以在使用UDP转发行情时,可以搭配TCP行情重传服务,通过多路行情汇聚、Rocksdb持久化等方式对UDP转发行情进行补充。如果转发行情前进行数据压缩,那么延迟和吞吐量可能会更优秀。行情压缩主要有两种方式:行情消息的压缩、消息内部字段的压缩(股票代码、价格)。

行情转发之后,如何使用行情数据分析交易执行情况,又该如何训练模型呢?收取到行情后,其中一种应用场景是训练量化交易模型,将收取到的行情数据进行特征处理,提取因子,并利用AI进行模型训练,然后将训练好的模型解析出来以备高效地计算实时信号,在接收到实时信号值之后,再极速推送到交易系统,就可以根据不同的策略配置触发交易;另一种场景应用是把收取到的行情数据与ClickHouse集成,这不仅能提供高效的聚合和分析查询功能,还能使用流式聚合表自动计算交易数据,如实时交易盈亏,风险指标等。

非凸科技正在加大对金融科技研究的投入,持续以行业技术交流与合作的方式,整合行业生态优势资源,加快创新技术在实际业务场景中的落地。

这篇关于非凸科技受邀出席源创会,探讨数据技术的未来发展的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/182444

相关文章

Python获取中国节假日数据记录入JSON文件

《Python获取中国节假日数据记录入JSON文件》项目系统内置的日历应用为了提升用户体验,特别设置了在调休日期显示“休”的UI图标功能,那么问题是这些调休数据从哪里来呢?我尝试一种更为智能的方法:P... 目录节假日数据获取存入jsON文件节假日数据读取封装完整代码项目系统内置的日历应用为了提升用户体验,

SpringBoot3实现Gzip压缩优化的技术指南

《SpringBoot3实现Gzip压缩优化的技术指南》随着Web应用的用户量和数据量增加,网络带宽和页面加载速度逐渐成为瓶颈,为了减少数据传输量,提高用户体验,我们可以使用Gzip压缩HTTP响应,... 目录1、简述2、配置2.1 添加依赖2.2 配置 Gzip 压缩3、服务端应用4、前端应用4.1 N

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

Redis 中的热点键和数据倾斜示例详解

《Redis中的热点键和数据倾斜示例详解》热点键是指在Redis中被频繁访问的特定键,这些键由于其高访问频率,可能导致Redis服务器的性能问题,尤其是在高并发场景下,本文给大家介绍Redis中的热... 目录Redis 中的热点键和数据倾斜热点键(Hot Key)定义特点应对策略示例数据倾斜(Data S

Python实现将MySQL中所有表的数据都导出为CSV文件并压缩

《Python实现将MySQL中所有表的数据都导出为CSV文件并压缩》这篇文章主要为大家详细介绍了如何使用Python将MySQL数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到... python将mysql数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到另一个

SpringBoot整合jasypt实现重要数据加密

《SpringBoot整合jasypt实现重要数据加密》Jasypt是一个专注于简化Java加密操作的开源工具,:本文主要介绍详细介绍了如何使用jasypt实现重要数据加密,感兴趣的小伙伴可... 目录jasypt简介 jasypt的优点SpringBoot使用jasypt创建mapper接口配置文件加密