首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
risingwave专题
针对 AI 优化数据湖仓一体:使用 MinIO 仔细了解 RisingWave
RisingWave 是现代数据湖仓一体处理层中的开源流数据库,专为性能和可扩展性而构建。RisingWave 旨在允许开发人员在流数据上运行 SQL。鉴于 SQL 是数据工程的通用语言,此功能非常重要。它具有强大的架构,包括计算节点、元节点和压缩器节点,所有这些都针对 AI 基础的高吞吐量和低延迟操作进行了优化:例如数据质量、数据探索和预处理。请记住,您的 AI 计划仅与您的数据一样好。
阅读更多...
RisingWave基本操作
什么是RisingWave RisingWave 是一款基于 Apache 2.0 协议开源的分布式流数据库。RisingWave 让用户使用操作传统数据库的方式来处理流数据。通过创建实时物化视图,RisingWave 可以让用户轻松编写流计算逻辑,并通过访问物化视图来对流计算结果进行及时、一致的查询。 安装与启动 Docker 环境 docker run -it --pull=alway
阅读更多...
使用 RisingWave、NATS JetStream 和 Superset 进行实时物联网监控
在物联网(IoT)背景下,处理实时数据会遇到一些特定的障碍,如边缘计算资源不足、网络条件限制、扩展性存在问题、设备间有多样性差异。要克服这些挑战,需要高效的边缘计算技术、强大的安全措施、标准化协议、可扩展的管理系统和先进的数据处理能力。 通过综合利用 NATS JetStream、RisingWave 和 Superset,可以构建一个强大的解决方案,用于开发可靠且可扩展的实时物联网应用。 R
阅读更多...
基于 RisingWave 和 ScyllaDB 构建事件驱动应用
概览 在构建事件驱动应用时,人们面临着两大挑战:1)低延迟处理大量数据;2)实现流数据的实时摄取和转换。 结合 RisingWave 的流处理功能和 ScyllaDB 的高性能 NoSQL 数据库,可为构建事件驱动应用和数据管道提供有效的解决方案。 RisingWave 是什么? RisingWave 是一款专为流处理设计且与 PostgreSQL 兼容的数据库。它擅长摄取实时数据流、执行
阅读更多...
RisingWave的动态过滤器和时间过滤器的用法
动态过滤器 动态过滤器能够实时过滤数据流,并允许定义传入数据必须满足的条件才能进行处理。 动态过滤器demo CREATE TABLE sales(id int ,profit_margin double ,PRIMARY KEY (id));CREATE TABLE products(product_name string ,product_profit double);--返回prod
阅读更多...
RisingWave分布式SQL流处理数据库调研
概述 RisingWave是一款分布式SQL流处理数据库,旨在帮助用户降低实时应用的的开发成本。作为专为云上分布式流处理而设计的系统,RisingWave为用户提供了与PostgreSQL类似的使用体验,官方宣称具备比Flink高出10倍的性能(指throughput)以及更低的成本。RisingWave开发只需要关注SQL开发,而不需要像Flink那样去关注 RisingWave与Flink
阅读更多...
RisingWave 多流 Join 实现高效实时数据打宽
在公司业务场景中,通常需要使用流计算引擎从多个数据源获取数据、进行 ETL 操作,并将清洗后的数据导入到数据分析系统或数据湖中。由于最后产生出来的表是一张宽表,我们通常也称这个过程为“数据打宽“。 数据打宽在流处理系统中对应的操作便是 Join。Join 可以将两个或更多的数据流按照某种关联条件合并到一起。这对于那些需要同时分析和理解多个数据源的实时数据的情景特别有用。以下是一些
阅读更多...