olap专题
DB、DW、DM、ODS、OLAP、OLTP和BI的概念理解
今天特地查了一些官方解释和很多优秀的博客文章，将关于数仓方面的一些名词理解记了下来，先将这些简称做一个解释： 1、DB（DataBase）:数据库，一般指的就是OLTP数据库，在线事物数据库，用来支持生产的。DB保留的是数据信息的最新状态，只有一个状态！ 2、DW（Data Warehouse）：数据仓库，保存的是数据在不同时间点的状态，对同一个数据信息，保留不同时间点的状态，便于我们做统计
Apache Kylin 在美团数十亿数据 OLAP 场景下的实践
大数据技术与架构 点击右侧关注，大数据开发领域最强公众号！ 暴走大数据 点击右侧关注，暴走大数据！ By 大数据技术与架构 场景描述：美团各业务线存在大量的OLAP分析场景，需要基于Hadoop数十亿级别的数据进行分析，直接响应分析师和城市BD等数千人
数据仓库系统的实现与使用(含OLAP重点讲解)
系列文章： 《一文了解数据库和数据仓库》 《DB数据同步到数据仓库的架构与实践》 《数据湖(Data Lake)-剑指下一代数据仓库》 《从0建设离线数据仓库》 《基于Flink构建实时数据仓库》 阅读目录 前言创建数据仓库ETL：抽取、转换、加载OLAP/BI工具数据立方体(Data Cube)OLAP的架构模式小结 前言 数据仓库是数据仓库开发中最核心的部分。然而完整的数据仓库系统还会涉及
Apache Flink新场景 | OLAP引擎
大数据技术与架构 点击右侧关注，大数据开发领域最强公众号！ 暴走大数据 点击右侧关注，暴走大数据！ 本文作者来自阿里巴巴的贺小令，探讨了Flink在OLAP中的应用，之前我个人写过两篇关于OLAP的文章： 《你需要的不是实时数仓 | 你需要的是一款强大的OLAP数据库(上)》 《你需要的不是实时数仓 | 你需要的是一款强大的OLAP数据库(下)》 希望此文对大家有所启发。
大数据面试通关手册 | Kylin入门/原理/调优/OLAP解决方案和行业典型应用
Kylin入门/原理/调优/OLAP解决方案和行业典型应用一网打尽。 一：背景历史和使命 背景和历史 现今，大数据行业发展得如火如荼，新技术层出不穷，整个生态欣欣向荣。作为大数据领域最重要的技术的 Apache Hadoop 最初致力于简单的分布式存储，然后在此基础之上实现大规模并行计算，到如今在实时分析、多维分析、交互式分析、机器学习甚至人工智能等方面有了长足的发展。 2013 年年初，在
什么是联机分析处理（OLAP）
什么是联机分析处理（OLAP） OLAP的提出引起了很大的反响，OLAP作为一类产品同联机事务处理 (OLTP) 明显区分开来。 当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、
【数据仓库/数据治理】探索数据处理的两大类：OLTP与OLAP及其核心技术
在现代数据处理的世界中，数据的管理和分析是商业和技术决策的关键。为满足不同的业务需求，数据处理大致分为两大类：联机事务处理（OLTP） 和 联机分析处理（OLAP）。这两者分别适用于日常事务处理和复杂的分析操作，在数据管理中扮演着不同但互补的角色。 联机事务处理（OLTP）：日常事务的基石 OLTP系统主要用于处理基本的、日常的事务操作，典型的例子包括银行交易、订单处理和库存管理等。这类系
我们需要怎样的 OLAP
OLAP 这个词从字面上理解是在线分析的意思，也就是由人员面对数据进行各种交互式的分析操作。 但是，现在的OLAP 概念被 BI 软件给严重狭义化了。面向业务分析时说到 OLAP，在技术上经常就只有多维分析的功能，也就是针对一个事先建设好的数据立方体，按指定维度层次进行汇总并呈现成表格或图形，再辅以钻取、聚合、旋转、切片等操作以变换维度层次及汇总范围。这些大家都很熟悉，就不再细说了。 多维分析就是
DataBase学习笔记 --- OLAP 与 OLTP区别
OLTP = > on-line transaction processing 链接事务处理 OLAP = > on-line Analytical processing 联机分析处理 OLTP是传统的关系型数据库主要应用，主要是基本的，日常的事务处理，例如银行交易。 OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。 OLTP 系
多维数据查询OLAP及MDX语言学习整理（转载）
一、OLAP概述 为了满足业务管理和决策的报表系统（包括传统报表、数据仓库、OLAP等）也被创建出来，企业主管通过报表了解企业的总体运行状态。 但是，随着企业间竞争的加剧和市场节奏的进一步加快，企业的日常管理需要对关键业务指标的更加实时的监控和反馈。比如：制造业需要更及时的仓库调度、金融业需要更实时的风险防范、电信业需要更及时的服务指标监控。于是，越来越多的企业提出实时企业的要求，传统的ERP等
数仓建模—OLTP 和 OLAP
数仓建模—OLTP 和 OLAP 前面我们在数仓建模—数仓初识 中提到了OLTP 和 OLAP 两个概念 OLAP 是 On-Line Analytical Processing（联机分析处理）的缩写。广义的 OLAP 泛指数据查询分析，像报表、即席查询、多维分析都属于 OLAP 的范畴。 OLTP 和 OLAP 最大区别在于前者会产生数据，而后者只利用前者生产的数据进行数据分析为企业经营提
牛逼级别的----olap 非常好的一篇文章--数据仓库系统的实现与使用(含OLAP重点讲解)
https://www.cnblogs.com/muchen/p/5318808.html#_label5
【统一数据开发平台】-OLAP分析平台和实时数仓实践和优化
一、业务背景 BIGO 是一家面向海外的以短视频直播业务为主的公司, 目前公司的主要业务包括 BigoLive (全球直播服务)，Likee (短视频创作分享平台)，IMO (免费通信工具) 三部分，在全球范围内拥有 4 亿用户。伴随着业务的发展，对数据平台处理能力的要求也是越来越高，平台所面临的问题也是日益凸显，接下来将介绍 BIGO 大数据平台及其所面临的问题。BIGO 大数据平台的数据流转
Kylin正式发布：面向大数据的终极OLAP引擎方案
日前，eBay公司隆重宣布已经正式向开源业界推出分布式分析引擎：Kylin（http://kylin.io）。作为一套旨在对Hadoop环境下分析流程进行加速、且能够与SQL兼容性工具顺利协作的解决方案，Kylin成功将SQL接口与多维分析机制（OLAP）引入Hadoop，旨在对规模极为庞大的数据集加以支持。 背景信息 eBay公司当前面临的主要挑战在于，数据规模正随着用户群体的多样化拓
OLTP 和 OLAP
OLTP与OLAP的介绍 数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直
OceanBase OLAP collation utf8mb4_bin 优先
在大数据系统中，如无特别需要，建议 collation 指定为 utf8mb4_bin。 utf8mb4_bin是一种二进制的排序规则，比较字符串时直接比较字符串的二进制值，不需要进行复杂的字符比较和排序运算，这样可以有效减少CPU的使用，提高查询效率，特别是在涉及到大量数据操作时，性能优势更为明显。 在 AP 场景使用 OceanBase 时你可以在租户级别设置这两个值作为默认配置，以获得最
海山数据库（He3DB）原理剖析：浅析OLAP数据库计算引擎中的统计信息
背景： 统计信息在计算引擎的优化器模块中经常被提及，尤其是在基于成本成本优化（CBO）框架中统计信息发挥着至关重要的作用。CBO旨在通过评估执行查询的可能方法，并选择最有效的执行计划来提高查询性能。而统计信息则提供了关于数据分布、数据倾斜等方面的关键信息，帮助CBO做出最优的决策。无论是传统数据库MySQL、PostgreSQL，还是Hive、Spark计算引擎、Doris、StarRocks
OLAP MDX 学习笔记
MDX主要是用于OLAP查询语言，全称：Multi-Dimensional Expression。语法类似于OLTP的结构化查询语言SQL，但又有很大的区别。看了一下Sql-server的联机帮助，结合公司的现有OLAP实现，简单的学习了一下。 1：概念：层次结构 对于其它几个概念：维度，级别，成员，属性都比较好理解，只是层次结构的概念，开始有些模糊。 实际上，层次结构处于
OLAP工具毁了商业智能
转自: http://www.itpub.net 作者: interstage OLAP工具毁了商业智能 以下文章，是我从98年开始研究并从事BI项目以来10年的心得，仅供参考！！！为什么说目前的OLAP产品毁了BI项目企业为了确定经营战略和市场战略所进行的经营活动，在分析决策过程（BI项目）中，需要基于多种报告和报表进行分析。理想的市场活动展开，大多需要各个营业点的销售报表，每种商品按季节销
二、数据仓库和数据挖掘的OLAP技术
数据仓库和数据挖掘的OLAP技术 引言一、什么是数据仓库二、数据仓库的关键特征2.1、面向主题2.2、数据集成2.3、随时间而变化2.4、数据不易丢失 三、数据仓库的构建和使用四、数据仓库与操作数据库系统五、多维数据模型 引言 数据仓库中的数据清理和数据集成，是数据挖掘的重要数据预处理步骤数据仓库提供OLAP工具，可用于不同粒度的数据分析很多数据挖掘功能都可以和OLAP操作集成，
OLTP报表和OLAP报表
对一个应用软件系统，一般都会有不少查询、报表模块。所谓 OLTP 报表，就是在业务系统的数据库上，紧密集成在业务系统中的各种查询报表。由于 OLTP 数据模型千差万别，所以很难有简单的方法来描述数据的语义、规则。可以想象，在 OLTP 数据库上产生报表是一件非常头疼的事，要是每张表需要软件编写者硬编码实现，实在是痛苦万分。有需求就有市场！近年来，国内外冒出了不少报表软件用来在 OL
Oracle OLAP 与 OLTP 介绍
数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。 OL
开源 OLAP 及其在不同场景下的需求
目录 一、开源 OLAP 综述 二、OLAP场景思考 2.1 面向客户的报表 2.2 面向经营的报表 2.3 末端运营分析 2.4 用户画像 2.5 订单分析 2.6 OLAP技术需求思考 三、开源数据湖/流式数仓解决方案 3.1 离线数仓体系——Lambda架构 3.2 实时数据湖解决方案 3.3 实时分析解决方案—Flink流式数仓 3.4 实时分析解决方案—SR物化
微信向量检索分析一体化数仓探索：OLAP For Embedding
作者：WeOLAP 团队 数据挖掘团队 擅长 OLAP 分析的 ClickHouse 不仅可以用于 vector search，还可承担起整条 embedding 的加工处理工作,All in one Pipeline 也让速度远超传统批处理框架数倍；检索性能虽无法与专业 sim 检索服务相媲美，但因“搜索分析一体化”，让它在 AI 近线处理占据一席之地。 本文工作由 vcc、 lev
基于OLAP和指标体系构建 快手电商的服务底座
目录 前言 一、电商业务介绍 1.1 电商业务介绍 1.2 业务阶段 1.3 面临的困难 二、 解决方案 2.1 打基础-统一基础数据建设 2.2 具体流程 2.3 打基础-统一场景数据建设 2.4 提效率-统一数据服务建设 2.5 提效率-数据运营 2.6 整体数据架构 三、建设成果 3.1 多维分析 3.1.1 多维分析-概述 3.1.2 多维分析-案例