MatrixOne 1.1.0 Release

2024-01-04 06:36
文章标签 1.1 release matrixone

本文主要是介绍MatrixOne 1.1.0 Release,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

我们非常高兴地宣布:

MatrixOne内核1.1.0版本

正式发布啦!

项目文档网站

https://docs.matrixorigin.cn

MatrixOne是一款分布式超融合异构数据库,MatrixOne旨在提供一个云原生、高性能、高弹性、高度兼容MySQL的HSTAP数据库,让用户面对事务、分析、时序、流计算等混合负载时,通过MatrixOne一站式的完成整个数据处理过程。


重点关注 MatrixOne 1.1.0

MatrixOne在本迭代增加了多个重要功能,在整体HTAP的基础上增强了向量,流和时序方面的能力,进一步丰富了能力象限和适用范围。

向量数据类型

做为2023年AI与大模型热潮的数据基座能力,向量类型已经成为通用数据库的标配。本迭代MatrixOne支持了vecf32及vecf64的向量类型,分别对应float32和float64数据类型,同时支持了基本的算子和操作符,以及向量常见的求和,L1范数,L2范数,内积,余弦相似度等计算函数。用户使用的时候配合AI算法模型可以快速搭建一个AI应用。比如基于大语言模型LLM的RAG应用,如下图所示,用户仅需将自己的知识库调用OpenAI的Embedding接口生成向量数据存入MatrixOne中,再通过余弦相似度函数计算搜索最相似答案,再将答案通过OpenAI的Prompt接口交给LLM优化回答即可。

与专用的向量数据库不同的是,MatrixOne是一个高度兼容MySQL的通用数据库,用户几乎不需要额外的学习门槛即可快速上手,同时在构建AI应用的时候也可以将结构化数据与向量数据的处理合二为一。

时序能力

为了更好的处理数据快速流入的各类IoT场景,本迭代MatrixOne在时序方案的能力也大幅加强,具体体现在以下几点:

  • 比INSERT INTO性能大幅提升的流式写入能力LOAD INTO INLINE。
  • 支持建立按时间戳作为主键的专用时序表,并支持任意的维度/指标列。
  • 增加在时序表上的滑动窗口能力,可以按不同的时间进行降采样查询。
  • 支持针对空值的插值能力,并提供不同策略的插值方法。

Kafka Connector(beta)

本迭代在基础流计算的框架基础上实现了Kafka connector。用户可以通过CREATE DYNAMIC TABLE创建流式动态表,此类型的表是Append Only的表,同时用户可以通过CREATE SOURCE的方式配置外部数据源,本迭代已适配Kafka作为数据源,可以接入Kafka的Topic(JSON类型或者protobuf协议类型),接入后MatrixOne会自动将Kafka的Message写入到动态表中,用户可以对流式表进行窗口查询,或者与其他表一起进行关联查询。

自定义函数 UDF(beta)

本迭代MatrixOne开始支持用户编写自定义函数,目前第一个版本仅支持Python语言。在很多场景中数据库系统提供的系统函数并无法满足用户的业务需求,通过UDF的方式用户可以将业务的逻辑包装在Python文件中,并将其封装成SQL的函数,实现在SQL中直接调用。基于Python的UDF,用户可以非常方便的使用numpy和scikit-learn等Python的流行库,大幅度的提高MatrixOne在数据科学,机器学习及AI等领域的适用性。

其他新功能

1 DDL

  • 支持insert on duplicate key ignore
  • 支持create or replace view
  • 支持alter sequence
  • 支持Key, hash的分区裁剪能力 (beta)
  • 支持List/List column, Range/Range Columns partition分区存储能力(beta)

2 索引与约束

  • 完整实现次级索引secondary index,可实现动态查询加速

3 函数

  • 自定义函数UDF:支持用户创建Python语言的自定义函数UDF (beta)
  • 增加SAMPLE采样函数
  • 增加CONVERT_TZ转换时区函数
  • 增加SHA2加密函数
  • 增加Encode/Decode编解码函数

4 安全与权限

  • 支持通过创建Stage对select into的路径权限进行管理

5 周边工具

modump工具(逻辑备份)

  • 新增支持单独导出DDL语句
  • 支持导出多个数据库、多个表

mo_backup工具 

  • 支持物理备份
  • 支持文件系统、对象存储作为备份和还原的存储介质

mo_ctl(单机)工具 

  • 支持自动数据备份
  • 支持自动日志表数据清理
  • 支持数据文件从csv格式转换为insert或load data inline格式
  • 支持docker镜像自动构建
  • 支持docker模式

单机部署mo_ctl(分布式)工具 

  • 支持install一键部署分布式集群
  • 支持destroy一键销毁分布式集群

mo_ctl 分布式部署运维工具 

  • 支持install一键部署分布式集群
  • 支持destroy一键销毁分布式集群
  • 支持matrixone集群的起动/停止,升级/回滚操作
  • 支持在客户k8s集群中安装matrixone集群

mo_operator工具 

  • 支持配置自定义的S3证书
  • 支持通过 API 进行 matrixone 集群的备份恢复和备份数据管理
  • 支持自动为 matrixone 集群设置更优化的 Go GC 策略
  • 支持为 matrixone 集群启用 Python UDF
  • 支持 Kubernetes 上的 matrixone 与 Prometheus 集成

MySQL兼容性

  • 大幅减少与MySQL不兼容的保留关键字

Known Issues

  • 次级索引对于IN类型的查询没有加速作用
  • Kafka连接器仅在单机版本中运行
  • 高并发负载下偶现系统会卡住
  • 大数据量查询偶现内存溢出OOM问题

文档更新

  • 新增时序整体能力描述
  • 新增流式导入, 时序表,滑动窗口相关文档
  • 新增向量类型及函数文档
  • 新增流计算相关文档
  • 新增partition实现及加速相关文档
  • 新增SQL语句,系统函数的参考手册
  • 更新整体功能列表
  • 更新MySQL兼容性列表

了解更多详情,您可以访问我们的文档网站(https://docs.matrixorigin.cn)。您可以在该网站找到详细的架构说明、安装指南和开发教程,帮助您探索MatrixOne的能力。此外,我们的Github网站也可以用于提问、讨论或反馈。

MatrixOrigin 官网:新一代超融合异构开源数据库-矩阵起源(深圳)信息科技有限公司 MatrixOne

Github 仓库:GitHub - matrixorigin/matrixone: Hyperconverged cloud-edge native database

关键词:超融合数据库、多模数据库、云原生数据库、国产数据库。

这篇关于MatrixOne 1.1.0 Release的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/568459

相关文章

usaco 1.1 Broken Necklace(DP)

直接上代码 接触的第一道dp ps.大概的思路就是 先从左往右用一个数组在每个点记下蓝或黑的个数 再从右到左算一遍 最后取出最大的即可 核心语句在于: 如果 str[i] = 'r'  ,   rl[i]=rl[i-1]+1, bl[i]=0 如果 str[i] = 'b' ,  bl[i]=bl[i-1]+1, rl[i]=0 如果 str[i] = 'w',  bl[i]=b

【WebGPU Unleashed】1.1 绘制三角形

一部2024新的WebGPU教程,作者Shi Yan。内容很好,翻译过来与大家共享,内容上会有改动,加上自己的理解。更多精彩内容尽在 dt.sim3d.cn ,关注公众号【sky的数孪技术】,技术交流、源码下载请添加微信号:digital_twin123 在 3D 渲染领域,三角形是最基本的绘制元素。在这里,我们将学习如何绘制单个三角形。接下来我们将制作一个简单的着色器来定义三角形内的像素

maven发布项目到私服-snapshot快照库和release发布库的区别和作用及maven常用命令

maven发布项目到私服-snapshot快照库和release发布库的区别和作用及maven常用命令 在日常的工作中由于各种原因,会出现这样一种情况,某些项目并没有打包至mvnrepository。如果采用原始直接打包放到lib目录的方式进行处理,便对项目的管理带来一些不必要的麻烦。例如版本升级后需要重新打包并,替换原有jar包等等一些额外的工作量和麻烦。为了避免这些不必要的麻烦,通常我们

1.1 Avtivity的生命周期全面分析

本文将Activity的生命周期分为两部分内容,一部分是典型情况下的生命周期,另一部分是异常情况下的生命周期。所谓典型情况下的生命周期,是指在有用户参与的情况下,Activity所经过的生命周期的改变;而异常情况下的生命周期是指在Activity被系统回收或者由于当前设备的Configuration发生改变从而导致Activity被销毁重建,异常情况下的生命周期的关注点和典型情况下略有不同。 1

2020 1.1版本的idea中git的使用场景

1、克隆项目 File-->New-->Project from Version Control 2、拉取远程的分支到本地 右下角-->(Remote Branches)选定分支-->checkout 3、将master分支更新的代码合并至bry分支并提交到远程仓库    (目的:实时与master的最新代码保持一致) 右下角-->(Local Branches)checkout br

Debug跟Release区别

Debug和Release区别 Debug和Release区别  2011年10月17日   Debug和Release区别VC下Debug和Release区别   最近写代码过程中,发现 Debug 下运行正常,Release 下就会出现问题,百思不得其解,而Release 下又无法进行调试,于是只能采用printf方式逐步定位到问题所在处,才发现原来是给定的一个数组未初

Python二级知识点--1.1(计算机系统)

以下内容,皆为原创,感谢大家的关注和点赞。 考点:在执行指令的过程中,CPU不经过总线能直接访问的是寄存器 在执行指令的过程中,CPU 不经过总线能直接访问的是内部寄存器。   CPU 内部的寄存器通常与 CPU 的控制单元、算术逻辑单元等紧密集成,它们之间通过内部高速的数据通路进行连接,无需经过外部总线。   这是因为内部寄存器的访问速度对于 CPU 的高效运行至关重要。在指令执行的过程

VS中Debug模式和Release模式的区别

一、Debug 和 Release 编译方式的本质区别   Debug 通常称为调试版本,它包含调试信息,并且不作任何优化,便于程序员调试程序。Release 称为发布版本,它往往是进行了各种优化,使得程序在代码大小和运行速度上都是最优的,以便用户很好地使用。   Debug 和 Release 的真正秘密,在于一组编译选项。下面列出了分别针对二者的选项(当然除此之外还有其他一些,如/F

[2]QMediaPlayer实现小播放器1.1

v1.1 在1.0的基础上做了背景上的美化,运行界面如图所示。 其中一个最麻烦的点是,显示时间的QLabel十分难看,我在ui设置样式表都行不通,最后还是一句话搞定了。 //控件透明ui->timeLabel->setAttribute(Qt::WA_TranslucentBackground,true); 然后就是尝试着文件的封装了,

ios私钥证书(p12)导入失败,Windows OpenSSl 1.1.1 下载

ios私钥证书(p12)导入失败 如果你用的OpenSSL版本是v3那么恭喜你V3必然报这个错,解决办法将OpenSSL 3降低成 v1。 Windows OpenSSl 1.1.1 下载 阿里云网盘下载地址:OpenSSL V1