databend专题

Databend 产品月报（2024年8月）

很高兴为您带来 Databend 2024 年 8 月的最新更新、新功能和改进！我们希望这些增强功能对您有所帮助，并期待您的反馈。 Kafka Connect Sink Connector 插件我们推出了一种将 Kafka 连接到 Databend 的新方式：databend-kafka-connect，这是一个 Kafka Connect sink connector 插件。该插件

解析云上实时数仓的挑战与实践 | Databend @DTCC 2024 演讲回顾

8 月 22 日 ~ 24 日，由 IT168 联合旗下 ITPUB、ChinaUnix 两大技术社区主办的第 15 届中国数据库技术大会（DTCC2024）在北京朗丽兹西山花园酒店成功召开。本次大会以“自研创新数智未来”为主题，通过深度交流与探讨，推动数据库技术的自主创新和数智化转型。作为一家技术领先的数据仓库服务商，Databend 也在本次大会亮相。Databend 联合创始人吴炳锡在

Databend 开源周报第 148 期

Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。 What's On In Databend 探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。支持 ORC 文件加载 ORC（Optimized Row Columnar）格式是一种高效的列存

Databend 开源周报第 146 期

Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。 What's On In Databend 探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。支持 ExpressionScan 和 CacheScan 为进一步提高查询的效率和性能，

对话 Databend Labs 联合创始人王吟：大模型浪潮里，云数仓是宠儿 | 极新企服直播实录

以下文章来源于极新，作者王吟据 IDC 预测，随着企业数字化转型，到 2026 年，中国大数据 IT 支出将达到 360 亿美元。Gartner 预测，得益于托管云服务的推动，到 2023 年，全球数据库市场有望达到 1000 亿美元。这给数仓带来的巨大的市场机会。中国的云原生数据仓库市场的发展存在一个很关键的有利因素，就是中国庞大的数据体量及潜在的数据分析需求，相比欧美更加旺盛，

Databend 开源周报第 140 期

Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。 What's On In Databend 探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。支持 EXECUTE IMMEDIATE Databend 现已支持 EXECUTE IM

Databend 在 MinIO 环境使用copy 命令 | 新手篇(3)

Copy 命令是 Databend 批量加载 | 卸载数据的灵魂工具。目前 copy 可以做到单机内按 CPU core 数并发，马上就支持按集群内并发。Copy 可以结合 bucket 和内置的 stage 使用，这块功能比较丰富，接下来给大家具体讲解一下。 Databend 批量数据装载和卸载都是通过 copy 命令来实现。 Copy 命令讲解 Copy 命令格式功能：将数据

Databend 开源周报第 129 期

Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。 What's On In Databend 探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。支持标准流标准流能够捕获所有类型的数据变更，包括更新和删除。相较于仅追加流，标准流的功

【Databend】分组集：教你如何快速分组汇总

文章目录分组集定义和数据准备group by grouping setsgroup by rollupgroup by cube总结分组集定义和数据准备分组集是多个分组的并集，用于在一个查询中，按照不同的分组列对集合进行聚合运算，等价于对单个分组使用"union all"，计算多个结果集的并集。 Databend 常见的分组集有三种 grouping sets 、rol

【Databend】行列转化：数据透视和逆透视

文章目录数据准备数据透视数据逆透视总结数据准备学生学科得分等级测试数据如下： drop table if exists fact_suject_data;create table if not exists fact_suject_data(student_id int null comment '编号',subject_level varc

特性快闪：使用 Databend 玩转 Iceberg

作者：尚卓燃（PsiACE）澳门科技大学在读硕士，Databend 研发工程师实习生 Apache OpenDAL(Incubating) Committer https://github.com/PsiACE 几周前，Databricks 和 Snowflake 召开了各自的年度大会，除了今年一路持续走红的 AI ，数据湖/数据仓库技术的发展仍然值得关注，毕竟数据才是基本盘。Apach

Databend 的安装配置和使用

介绍 Databend 是一个内置在 Rust 中的开源、弹性和工作负载感知的云数据仓库，为 Snowflake 提供了具有成本效益的替代方案，专门对最大的数据集进行复杂分析而设计。性能：在存储对象上，能快速进行数据分析。没有索引和分区，但也能快速查询。利用数据级并行和指令级并行技术实现最佳性能。数据操作：支持原子操作，如SELECT、INSERT、DELETE、UPDATE、R

Databend 的算力可扩展性

作者：尚卓燃（PsiACE）澳门科技大学在读硕士，Databend 研发工程师实习生 Apache OpenDAL(Incubating) Committer PsiACE (Chojan Shang) · GitHub 对于大规模分布式数据处理系统，为了更好应对数据、流量、和复杂性的增长，需要对系统的可扩展性加以重视。可拓展性代表一种预期，即在现有软件和硬件水平无法满足工作负载

Databend 开源周报第 126 期

Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。 What's On In Databend 探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。全新 Filter 执行框架在全新的 Filter 执行框架中，Databend 引入了

Databend 如何利用 GPT-4 进行质量保证

背景在数据库行业，质量是核心要素。 Databend 的应用场景广泛，特别是在金融相关领域，其查询结果的准确性对用户至关重要。因此，在快速迭代的过程中，如何确保产品质量，成为我们面临的重大挑战。随着 Databend 开源社区的快速发展，新功能的持续增加和现有功能的优化提出了新的测试挑战。我们致力于在每次代码更新中实施严格的测试，确保稳定性并防止任何潜在问题。 Databend

Databend 开源周报第 121 期

Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。 What's On In Databend 探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。支持追加流 Databend 现在支持 CREATE STREAM 语法，为表创建对应

开源之夏 2023 | Databend 社区项目总结与分享

开源之夏是由中科院软件所“开源软件供应链点亮计划”发起并长期支持的一项暑期开源活动，旨在鼓励在校学生积极参与开源软件的开发维护，培养和发掘更多优秀的开发者，促进优秀开源软件社区的蓬勃发展，助力开源软件供应链建设。官方网站开源软件供应链点亮计划-开源之夏2023 在开源之夏 2023 活动中，Databend 社区共发布两个项目，一个顺利结项，并在开源之夏结业项目中进行展示，可以访问开

Databend 开源周报第 120 期

Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。 What's On In Databend 探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。使用自定义 CONNECTION 管理存储访问 Databend 现已提供对 CONNEC

Databend Cloud 如何助力 AIGC 初创公司成本下降百倍

某主营虚拟社交的 AIGC 领域海外初创公司，致力于将虚拟世界与现实世界联系起来。旗下平台基于开源的 Stable Diffusion 生态，专注于动漫角色制作，提供集 AI 绘图、图片搜索与社交分享于一体的一站式服务。 Databend Cloud 提供了易用、高效率和经济高效的大数据处理方案。通过选用 Databend Cloud 进行分析处理，该初创公司将用户行为日志分析成本降低至原有

Databend 开源周报第 118 期

Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。 What's On In Databend 探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。 MERGE INTO 现已支持分布式执行 MERGE INTO 语句会根据指定的条件和匹配

使用 LF Edge eKuiper 将物联网流处理数据写入 Databend

作者：韩山杰 Databend Cloud 研发工程师 https://github.com/hantmac LF Edge eKuiper LF Edge eKuiper 是 Golang 实现的轻量级物联网边缘分析、流式处理开源软件，可以运行在各类资源受限的边缘设备上。eKuiper 的主要目标是在边缘端提供一个流媒体软件框架（类似于 Apache Flink (opens

Databend 开源周报第 115 期

Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。 What's On In Databend 探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。聚合索引 Databend 最近引入了聚合索引以提高查询性能，特别是涉及 MIN、MA

使用 Databend Kafka Connect 构建实时数据同步

作者：韩山杰 Databend Cloud 研发工程师 hantmac (Jeremy) · GitHub Kafka Connect 介绍 Kafka Connect 是一个用于在 Apache Kafka® 和其他数据系统之间可扩展且可靠地流式传输数据的工具。通过将数据移入和移出 Kafka 进行标准化，使得快速定义连接器以在 Kafka 中传输大型数据集变得简单，可以更轻松

使用 Databend Kafka Connect 构建实时数据同步

作者：韩山杰 Databend Cloud 研发工程师 hantmac (Jeremy) · GitHub Kafka Connect 介绍 Kafka Connect 是一个用于在 Apache Kafka® 和其他数据系统之间可扩展且可靠地流式传输数据的工具。通过将数据移入和移出 Kafka 进行标准化，使得快速定义连接器以在 Kafka 中传输大型数据集变得简单，可以更轻松