dolphindb专题
Debezium+Kafka：Oracle 11g 数据实时同步至 DolphinDB 运维手册
目前我们已经支持基于开源技术 Debezium + Kafka，从 Mysql 和 Oracle 11g 实时同步数据到 DolphinDB 中。由于当前方案涉及到四个程序的部署，而且具体的 Source 同步任务和 Sink 同步任务还需要额外管理，在运维上具有一定难度。 本文将基于 Oracle 11g 实时同步数据到 DolphinDB 的场景，深入解析其运维操作流程。同步教程请参考：Do
K 线图快速绘制教程：使用 KLineChart 展示 DolphinDB K 线
KLineChart 是一款开源、简单易用、适用场景丰富的 Web 前端金融图表，基于 html5 canvas 构建，零依赖压缩包仅 40K，非常轻量。它可以用于渲染金融 K 线图，同时支持多种数据源，提供了丰富的交互功能以及指标计算接口。由于 KLineChart 高度可定制且用户友好，非常适合开发者将复杂的图表功能集成到其他金融应用程序中。 DolphinDB 身为一个高性能的数据库，不仅
当 Alphalens 遇上 DolphinDB：单因子分析利器再升级
多因子投研一直都是量化投资领域当中的重要基石，Alphalens 和 DolphinDB，作为知名的单因子分析框架和基于高性能时序数据库的时序计算平台，无疑是备受瞩目的两大因子投研利器。当二者相结合，将碰撞出怎样令人期待的火花？ 1. Alphalens 和 DolphinDB 的简介 Alphalens 是 Quantopian 用 Python 开发的一个因子分析（评价）工具包。我们用 D
优化查询性能：DolphinDB 时间类型数据比较规则详解
在数据库中，时间是一种常见的数据类型。在处理时间数据时，比较操作是非常常见的需求。然而，在不同的场景下，对时间类型数据进行比较时应用的规则不同。本文将从 DolphinDB 支持的时间类型开始，由浅入深分别介绍时间类型数据在不同场景下的比较规则。涵盖以下场景： 时间类型的转换规则时间类型的比较规则时间类型的分区剪枝规则 1. 时间类型介绍 DolphinDB 支持的时间类型包括：TIME,
共筑信创新生态：DolphinDB 与移动云 BC-Linux 完成兼容互认
近日，DolphinDB 数据库软件 V2.0 与中国移动通信集团公司的移动云天元操作系统 BC-Linux 完成兼容性适配认证。经过双方共同严格测试，DolphinDB 性能及稳定性等各项指标表现优异，满足功能及兼容性测试要求。 此次 DolphinDB 成功通过移动云 BC-Linux 的兼容性适配认证，不仅是对产品功能和性能的全面认可，更是对其安全可靠性的权威认证。认证完成意味着 Do
3.00 版本来了！DolphinDB V2.00.12 V3.00.0 正式发布！
一文带你了解 DolphinDB 全新版本升级！ 本次更新后，3.00.0版本将成为 DolphinDB 的最新版，2.00.12版本变更为稳定版，此前发布的1.30.23版本将成为1.30系列的最后一个版本。接下来，带大家一起看看 DolphinDB V2.00.12 & V3.00.0 都做了哪些更新与优化~ 3.00.0 大版本全新发布 技术的价值不在于技术本身，而在于其为业务服务的能
DolphinDB安装过程及学习向导（图示）
写本文时，使用的是V0.97.0版本，此软件更新较快 前面两篇文章中提到，对于金融数据，普遍认为kdb+是最佳选择，网上调研一圈，发现kdb+及其适配Q语言学习曲线陡峭，而且中文资料不多，知乎上就近两年有两个专栏有介绍。 本着学习为了使用的原则，选择DolphinDB作为入手时序数据库的第一步。原因如下： 国产软件：公司位于杭州市； 社区版长期免费：目前可以下载的版本显示试用期是2
(2019.10.10已解决)DolphinDB RuntimeError: Server Exception in run: table file does not exist:
如题所示，报错提醒确实文件，但实际上我文件夹内是有这个文件的。 原因是文件路径问题，将D:\DolphinDB改为D:/DolphinDB就可以了
DolphinDB与pandas读取csv文件速度对比测试
速度 DolphinDB一直说自己速度快，前面使用中并没有遇到实际场景，今天需要读取一个800M的csv文件，特地测试一下。 测试方式有三种 pandas的pd.read_csv() DolphinDB的loadText() DolphinDB的ploadText() 测试文件 1990年到2018年的所有A股日K线数据，总共840M。数据格式为[9930906 rows x 13
DolphinDB分区与MPP(Greenplum、AWS、Redshift)的区别
数据库架构 目前的商用服务器大体可以分为三类: 对称多处理器结构 (SMP ： Symmetric Multi-Processor) ; 非一致存储访问结构 (NUMA ： Non-Uniform Memory Access) ; 海量并行处理结构 (MPP ： Massive Parallel Processing) 。 数据库架构设计中主要有： 一、Shared Everything Sh
DolphinDB基础概念理解：数据存储物理位置
DolphinDB 关于基本理解，参见： 《DolphinDB安装过程及学习向导（图示）》 《DolphinDB架构逻辑、配置、启动》 数据存储 作为一个数据库，数据文件有物理存储位置。 一、单节点部署 默认情况下，数据文件保存在DolphinDB部署包/server/local8848目录下，可在dolphindb.cfg中设置volumes配置参数（此参数不能使用相对路径）来修改保存数据
DolphinDB基础概念理解：模块
模块 在DolphinDB中，模块是指只包含函数定义的代码包。具有以下特点： 以.dos作为模块文件的后缀，dos是“dolphindb script”的缩写；模块文件保存在DolphinDB节点的[home]/modules目录下；模块文件第一行以声明模块语句module modulename开头；模块文件内容仅包含函数定义； 定义模块 一、创建模块目录 默认情况下，所有的模块定义在[ho
DolphinDB 高效清洗数据实例
如何利用 DolphinDB 高效清洗数据ETL (Extraction-Transformation-Loading) 是商业智能、数据仓库以及数据挖掘的核心。随着数据量越来越庞大，不可避免会产生残缺、错误或者重复的数据，数据清洗的目的就是找出并消除这些不符合规范的数据。ETL 通过将源数据抽取（Extract）到临时中间层后进行清洗和转换（Transform），然后加载（Load）到数据仓库
优化投资组合：DolphinDB 最优化求解系列函数应用指南
线性规划和非线性规划是运筹学中重要的内容，在金融和经济领域的问题解决中具有广泛的应用。在金融量化领域的多因子量化模型中，组合权重优化起着至关重要的作用，组合权重优化包括两个要素：第一是组合权重优化的目标函数，如最大化期望收益率，最小化组合风险，最大化效用函数等，第二是目标函数相对应的约束条件，如等式约束和不等式约束。这些优化内容都是线性规划和非线性规划的重要应用问题。 在多因子量化投资领域中，不
大幅提升数据库删除性能丨DolphinDB 软删除功能详解
为满足近来用户对某些场景下删除性能的更高要求，我们在2.00.11版本的 DolphinDB Server 中特别支持了软删除的功能。本文作为该功能的使用教程，将详细介绍软删除的实现原理与应用场景，同时提供性能测试案例以供参考。 1. 概述 软删除（Soft Delete）是一种在数据库中处理数据删除的方法，这种删除方式并不是直接从数据库中移除数据，而是通过特定的标记方式在查询的时候将此记录过
云上自动部署丨使用 Terraform 在 AWS 上搭建 DolphinDB
HashiCorp Terraform 是一款基础架构即代码工具，旨在实现 "Write, Plan, and Create Infrastructure as Code"。它通过配置文件来描述云资源的拓扑结构，包括虚拟机、存储账户和网络接口。Terraform 几乎支持市面上所有的云服务，能够通过代码管理 IT 资源，并自动化部署资源，从而避免手动部署可能引发的错误。此外，Terraform 的
DolphinDB 与盈米基金达成战略合作，打造领先的资管机构投顾解决方案
1月16日上午，DolphinDB 与盈米基金在上海签署战略合作协议，共同开启专业资管投顾投研合作新篇章。 DolphinDB 联合创始人、COO 初阳春与盈米基金副总裁、研究院院长杨媛春出席仪式，并代表双方完成签约。 打造市场领先的资管机构投顾服务 盈米基金旗下的蜂鸟团队针对专业资管机构提供全场景数字化服务解决方案，为资管机构提供集交易运营、投研支持、科技赋能、营销赋能于一体的集成服务
用时序数据库 DolphinDB 搭建一套轻量化工业试验平台解决方案
DolphinDB 作为集成了高容量高速度流数据分析系统和强大编程语言的一站式解决方案，旨在为用户提供快速存储、检索、分析和计算庞大的结构化数据服务。本文将提供一个轻量化的工业试验平台数据处理解决方案，快速简单地实现海量数据采集、存储、处理和分析，帮助企业提高产品的质量和竞争力。 1. 场景介绍 工业试验平台在工业测试领域广泛应用，它是一种集成了各种传感器、数据采集器、控制器、计算机等设备的系
从 MySQL 到 DolphinDB，Debezium + Kafka 数据同步实战
Debezium 是一个开源的分布式平台，用于实时捕获和发布数据库更改事件。它可以将关系型数据库（如 MySQL、PostgreSQL、Oracle 等）的变更事件转化为可观察的流数据，以供其他应用程序实时消费和处理。本文中我们将采用 Debezium 与 Kafka 组合的方式来实现从 MySQL 到 DolphinDB 的数据同步。 Kafka + Debezium 的数据同步方案需要部署
从 MySQL 到 DolphinDB，Debezium + Kafka 数据同步实战
Debezium 是一个开源的分布式平台，用于实时捕获和发布数据库更改事件。它可以将关系型数据库（如 MySQL、PostgreSQL、Oracle 等）的变更事件转化为可观察的流数据，以供其他应用程序实时消费和处理。本文中我们将采用 Debezium 与 Kafka 组合的方式来实现从 MySQL 到 DolphinDB 的数据同步。 Kafka + Debezium 的数据同步方案需要部署
DolphinDB 基于 Glibc 升级的性能优化实战案例
在高并发查询、查询需要涉及很多个分区的情况下，低版本的 glibc（低于2.23）会严重影响查询性能。需要升级 glibc 解决该问题优化性能。我们撰写了本文，通过 patchelf 工具修改可执行文件和动态库的 rpath，达到无需升级系统便可以使用高版本 glibc 的目的。 1 概述 在高并发查询、查询需要涉及很多个分区的情况下，需要频繁读取磁盘文件，而旧版 glibc（低于2.23）的
新功能案例分享丨DolphinDB 与你相约上海，报名限时开放！
这一次 D-Day 系列活动来到了上海，DolphinDB 将联合华金证券，以 “ DolphinDB 新功能及私募行业案例分享” 为主题，为大家带来一场精彩的线下主题交流。快点击链接报名本次活动吧~ 活动时间：11月16日下午13:30 活动地点：上海市浦东新区（具体活动地址待审核过后另行通知） 报名方式： 点击链接报名 DolphinDB D-Day 系列活动旨在为用户们提供一个专
DolphinDB 流计算优化实践：时延统计与性能调优
在实时计算中，端到端的响应延迟是衡量计算性能时最重要的指标。DolphinDB 内置的流数据框架支持流数据的发布与订阅、流式增量计算、实时关联等，用户能够快速实现复杂的实时计算任务，达到毫秒级甚至亚毫秒级的效果，而无需编写大量代码。 本文介绍如何对 DolphinDB 流计算任务进行全链路的时延统计，以及如何优化脚本以实现更低时延的实时计算： 1. 耗时统计 在关键链路上记录处理的时刻，可以
一文详解如何从 Oracle 迁移数据到 DolphinDB
Oracle 是一个广泛使用的关系型数据库管理系统，它支持 ACID 事务处理，具有强大的安全性和可靠性，因此被广泛应用于各种企业级应用程序。但是，随着数据规模的增加和业务需求的变化，Oracle 的一些限制和缺点也逐渐暴露出来。例如，Oracle 的许可证费用昂贵，而且对于海量数据的处理能力较弱。因此，一些企业开始寻找更高效、更灵活的解决方案，以满足业务需求。 DolphinDB 是一种高效、
DolphinDB +机器学习，预测地震波形数据
1. 地震波形数据预测业务场景说明 在地震波形数据异常检测场景中，通常需要使用多种工具和方法来提高检测精度和鲁棒性。其中，FilterPicker 是一种常用的基于模板匹配的异常检测工具，可以实现地震波形数据的实时异常检测和定位。FilterPicker 需要进行预处理，如噪声过滤、信号增强等，然后根据预设的模板和阈值进行匹配和检测，最后输出异常检测的结果和位置信息。 虽然 FilterPic
DolphinDB实现动量交易策略详解
动量策略是最流行的量化策略之一。商品期货的CTA策略，绝大多数都是基于动量策略。在股票市场，动量策略也是常用的量化因子之一。通俗地讲，动量策略就是“追涨杀跌”。下面我们将介绍如何在DolphinDB中测试动量交易策略，并计算动量交易策略的累积回报。 DolphinDB database 是一款高性能分布式时序数据库。与其它通常的数据库不同，DolphinDB不仅可以存储和检索数据，而且具备强大的