Apache Doris 内置支持包括 Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC 在内的多种 Catalog，并为其提供原生高性能且稳定的访问能力，以满足与数据湖的集成需求。而随着 Apache Doris 用户的增加，新的数据源连接需求也随之增加。因此，从 3.0 版本开始，Apache Doris 引入了 Trino Connector 兼容框架。 Tri

导读 Atlas 是一家富有创新精神的新加坡旅游科技初创公司，由连续创业企业家 Mary 及其团队于 2019 年底成立。公司利用互联网技术高效聚合和分发全球廉价航空公司的特价机票，服务于全球旅游业生态系统。技术部门需要与包括航空公司、在线旅行社（OTA）、机票代理、技术和预订公司、支付公司等参与者进行数据交换，以提供卓越的客户服务。近期Atlas进行了数据平台升级，在原来的数据架构基础上引入新

作者：张友东 StarRocks TSC member/镜舟科技 CTO 数据分析是现代企业和组织决策过程中不可或缺的一部分，数据分析技术经过数十年的发展，需求场景从 BI 报表到数据探寻、实时预测、用户画像等不断丰富，技术架构经历从数据仓库、数据湖、到数据湖仓的演进，并走向数据湖仓一体架构，通过一套架构服务多样化的分析场景。 数据仓库 数据仓库的发展可以追溯到 1980 年，关系

近年来随着智能汽车行业的迅速发展，数据也在呈爆炸式增长。长安大数据平台承接了长安在生产上大部分流量应用及日常生产业务应用。本文将分享长安汽车在车联网场景下大数据平台建设面临的一些挑战和具体落地的实践。 主要内容如下： 1. 背景介绍 2. 长安汽车面对的挑战 3. 改造前的架构和挑战 4. 改造后的架构介绍 5. 改造后的价值与效果 6. 总结及后续计划 01背景介绍“以前人们

导读 1.当前，企业在大数据和数据中台建设上取得成果，但数据开发管理仍具挑战性（成本、效率、复杂度）。 2.随数据平台领域成熟，厂商应结合自身需求，重新思考“基于开源自建数据平台”的重资产模式与“购买云上成熟数据产品”的轻资产模式。 3.组装式数据架构逐渐老旧。建议企业采用一体化为特点的新一代数据平台，能更好地解决成本优化、平台扩展性等问题，并可将更多资源投入到业务创新中。 十年数

文章目录 前言Lakehouse 存储关键概念行存储与列存储基于存储的查询性能优化 Lakehouse 存储组件云储存文件格式Apache ParquetApache ORCApache Avro相似点和差异点 表格格式Apache HiveIceberg特性和优点 Apache Hudi特性和优点 Delta Lake特性和优点 相似点和差异点 总结 前言 存储层是任何数据平

“Lakehouse” 是一个相对新的概念，是大数据理论中的一个重要发展方向。它试图结合传统的数据湖（Data Lake）和数据仓库（Data Warehouse）的优点，以创造一种更为灵活和强大的数据管理体系。 在传统的大数据架构中，数据湖用于存储原始、未加工的数据，而数据仓库则用于存储经过加工和清洗的数据，供企业分析和报告使用。但是，这两种架构各自存在一些限制。数据湖可能存在数据质量、一致性

前言 databricks公司推出delta lake后，又推出了Data Lakehouse。该产品结合了数据仓库和数据湖的优势。本文介绍了数据仓库，数据库，数据湖仓的特点和使用场景，避免在使用时产生混淆。 1.什么是数据仓库 数据仓库是一个统一的数据存储库，用于存储一个组织内多个来源的大量信息。数据仓库代表了一个组织中 "数据真相 "的单一来源，并作为一个核心报告和业务分析组件。