使用 GCS offloader 卸载存储在 BookKeeper 中的数据

2023-10-17 18:59
文章标签 数据 使用 存储 卸载 gcs offloader bookkeeper

本文主要是介绍使用 GCS offloader 卸载存储在 BookKeeper 中的数据，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

对于大量不需要快速访问的数据，建议你使用 Apache Pulsar 的内置功能——分层存储。它也是 Pulsar 分片架构的原生优势。

通过分层存储，你可以从 Apache BookKeeper 卸载数据到可扩展、无限的廉价云原生存储（例如 Google Cloud Storage、AWS S3）或文件系统，构建高性能的消息集群，并降低运维成本。

Google Cloud Storage (GCS) offloader 是 StreamNative Hub 上托管的一个 Pulsar 插件。
https://hub.streamnative.io/offloaders/gcs/2.5.1

本文将详细介绍如何通过 GCS offloader 将存储在 BookKeeper 中的数据卸载至 GCS。

安装

请按照以下步骤安装 GCS offloader。

???? 准备工作

Apache jclouds：2.2.0 或更高版本

???? 步 骤

1. 选择以下任一方式下载 Pulsar 压缩包：

  • 从 Apache mirror 下载：
    https://archive.apache.org/dist/pulsar/pulsar-2.5.1/apache-pulsar-2.5.1-bin.tar.gz

  • 从 Pulsar 下载页面下载
    https://pulsar.apache.org/download

  • 通过 wget 命令下载
    https://www.gnu.org/software/wget

wget https://archive.apache.org/dist/pulsar/pulsar-2.5.1/apache-pulsar-2.5.1-bin.tar.gz

2. 下载并解压 Pulsar offloaders 安装包。

wget https://downloads.apache.org/pulsar/pulsar-2.5.1/apache-pulsar-offloaders-2.5.1-bin.tar.gztar xvfz apache-pulsar-offloaders-2.5.1-bin.tar.gz

注意：

  • 在裸机集群中运行 Pulsar 时，需要保证每个 broker 所在的 Pulsar 目录中，都有 `offloaders` 解压缩后的安装文件。

  •  在 Docker 中运行 Pulsar 或使用 Docker image（例如 K8S、DCOS）部署 Pulsar 时，可以使用 `apachepulsar/pulsar-all` image 而不使用 `apachepulsar/pulsar` image。`apachepulsar/pulsar-all` image 已经捆绑了分层存储 offloaders。

3. 在本地 Pulsar 目录中创建 offloader 文件夹，将解压后的 Pulsar offloaders 文件复制到此处。

mv apache-pulsar-offloaders-2.5.1/offloaders apache-pulsar-2.5.1/offloadersls offloaders

???? 输出

如下输出所示，Pulsar 通过 Apache jclouds 支持 GCS 和 AWS S3 。 

  tiered-storage-file-system-2.5.1.nartiered-storage-jcloud-2.5.1.nar

使用

以下内容为在 Pulsar 中使用 GCS offloader 的详细步骤。

第 1 步：配置 GCS offloader driver

在使用 GCS offloader 之前，需要为 GCS offloader driver 配置一些属性。更多关于如何配置 GCS offloader driver 属性的信息，可以参阅：
https://hub.streamnative.io/offloaders/gcs/2.5.1/#configuration

本示例假设已在 `standalone.conf` 中进行了如下配置，并以单机模式运行 Pulsar。

managedLedgerOffloadDriver=google-cloud-storage
gcsManagedLedgerOffloadBucket=pulsar-topic-offload-1
gcsManagedLedgerOffloadRegion=europe-west3
gcsManagedLedgerOffloadServiceAccountKeyFile=/Users/user-name/Downloads/affable-ray-226821-6251d04987e9.json
offloadersDirectory=offloaders
managedLedgerMinLedgerRolloverTimeMinutes=2 
managedLedgerMaxEntriesPerLedger=5000

------

第 2 步：创建 GCS 存储分区

1. 进入 Google Cloud 控制台(https://console.cloud.google.com/) ，在左边侧栏选择 Storage。

2. 选择浏览器，然后点击创建存储分区。

为了确保 broker 可以访问存储分区，需要为服务账号设置 Storage Object Creator 和 Storage Object Viewer。

 

3. 设置存储分区的名称。

Bucket 名称应与在第 1 步配置的 `gcsManagedLedgerOffloadBucket` 值一致。

更多关于 `gcsManagedLedgerOffloadBucket`的信息，可以参阅：
https://hub.streamnative.io/offloaders/gcs/2.5.1/#step-1-configure-gcs-offloader-driver

4. 设置存储分区。

存储分区应与在第 1 步配置的 `gcsManagedLedgerOffloadRegion` 值一致。

更多关于 `gcsManagedLedgerOffloadRegion` 的信息，可以参阅：
https://hub.streamnative.io/offloaders/gcs/2.5.1/#step-1-configure-gcs-offloader-driver

5. 点击创建。

现在，你已经成功创建了一个 GCS 存储分区。

------

第 3 步：创建 GCS 服务账号

1. 进入 Google Cloud 控制台 ，在左边侧栏选择 IAM 和管理。

 

2. 选择服务账号，然后点击创建服务账号。

3. 设置服务账号名称。

创建服务账号后，服务账号 ID 会自动创建。

4. 点击创建。

5. 为服务账号授权，点击下一步。

6. 点击创建密钥。

7. 选择 JSON 后点击创建，然后选择将生成的 JSON 文件保存到本地。

    

JSON 文件应与在第 1 步配置的 `gcsManagedLedgerOffloadServiceAccountKeyFile` 值一致。

更多关于 `gcsManagedLedgerOffloadServiceAccountKeyFile` 的信息，可以参阅：
https://hub.streamnative.io/offloaders/gcs/2.5.1/#step-1-configure-gcs-offloader-driver

8. 复制 JSON 文件中的密钥 ID 到密钥 ID 对话框，然后点击完成。

------

第 4 步：为 GCS 服务账号分配权限

1. 在 IAM 和管理页面，点击 IAM，然后点击添加。

2. 填写在第 3 步创建的 GCS 服务账号名称。

3. 为服务账号设置 Storage Object Creator 和 Storage Object Viewer 权限。

4. 点击保存。

------

第 5 步：从 BookKeeper 卸载数据到 GCS

以下命令均在本地 Pulsar 所在的文件夹（例如 `~/path/to/apache-pulsar-2.5.1`）中执行。

1. 启动 Pulsar（单机模式）。

 ./bin/pulsar standalone -a 127.0.0.1

2. 为确保生成的数据不会被立刻删除，建议设置保留策略。
https://pulsar.apache.org/docs/en/next/cookbooks-retention-expiry/#retention-policies

保留策略可以设置为大小限制或时间限制，设置的值越大，数据保留的时间越长。

./bin/pulsarctl namespaces set-retention public/default --size -10G --time 3d

更多关于 `pulsarctl namespaces set-retention options` 命令的信息（包括 flags、说明、默认值、快捷键等），可以 参阅：
https://streamnative.io/docs/pulsarctl/v0.4.0/#-em-set-retention-em-

3. 使用 pulsar-perf 生产数据。

 ./bin/pulsar-perf produce -r 1000 -s 2048 test-topic

4. Ledger 发生切换后，卸载操作才会开始。为了确保卸载操作成功执行，建议多等待几个 ledger 发生切换。前文配置的保留策略也是为了保证 ledger 在切换时，数据不会被 broker 删除。

如需查看 ledger 信息，可以使用 `pulsarctl topics internal-stats option` 命令。

./bin/pulsarctl topics internal-stats test-topic

???? 输出

以下输出中显示 ledge 已发生切换：已存在 ledger 10、ledger 11 和 ledger 12。

"entriesAddedCounter" : 107982,"numberOfEntries" : 107982,"totalSize" : 508276193,"currentLedgerEntries" : 1953,"currentLedgerSize" : 9167863,"lastLedgerCreatedTimestamp" : "2020-05-12T00:07:27.273+08:00","waitingCursorsCount" : 0,"pendingAddEntriesCount" : 1,"lastConfirmedEntry" : "12:1951","state" : "LedgerOpened","ledgers" : [ {"ledgerld" : 10,"entries" : 52985,"size" : 249500259,"offloaded" : false}, {"ledgerld" : 11,"entries" : 53045,"size" : 249614295,"offloaded" : false}, {"ledgerId" : 12,"entries" : 0,"size" : 0,"offloaded" : false}, ]"cursors" : {  }

更多关于 `pulsarctl topics internal-stats options` 命令的信息（包括 flags、说明、默认值、快捷键等），可以参阅：
https://streamnative.io/docs/pulsarctl/v0.4.0/#-em-internal-stats-em-

5. Ledger 切换后，你可以手动触发卸载操作（如下所示）。

另外，你也可以设置自动触发卸载操作。更多关于如何设置自动触发卸载操作，可以参阅：
https://hub.streamnative.io/offloaders/gcs/2.5.1/#configure-gcs-offloader-to-run-automatically

./bin/pulsarctl topics offload --size-threshold 10M public/default/test-topic

???? 输出

  

Offload triggered for persistent://public/default/test-topic for messages before 12:0:-1

更多关于 `pulsarctl topics offload options` 命令的信息（包括 flags、说明、默认值、快捷键等），可以参阅：
https://streamnative.io/docs/pulsarctl/v0.4.0/#-em-offload-em-

6. 检查卸载操作的状态。   

 ./bin/pulsarctl topics offload-status -w public/default/test-topic

卸载操作可能会需要一段时间。

???? 输出

Offload was a success

更多关于 `pulsarctl topics offload-status options` 命令的信息（包括 flags、说明、默认值、快捷键等），可以参阅：
https://streamnative.io/docs/pulsarctl/v0.4.0/#-em-offload-status-em-

操作完成后，数据成功卸载到 GCS。

视频演示

点击观看如何在 Pulsar 中使用 GCS offloader 的分步演示。

想要随时掌握 Pulsar 的研发进展、用户案例和热点话题吗？快来关注 Apache Pulsar 和 StreamNative 微信公众号，我们第一时间在这里分享与 Pulsar 有关的一切。

这篇关于使用 GCS offloader 卸载存储在 BookKeeper 中的数据的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/227339。

相关文章

大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
关于数据埋点，你需要了解这些基本知识

关于数据埋点，你需要了解这些基本知识

产品汪每天都在和数据打交道，你知道数据来自哪里吗？ 移动app端内的用户行为数据大多来自埋点，了解一些埋点知识，能和数据分析师、技术侃大山，参与到前期的数据采集，更重要是让最终的埋点数据能为我所用，否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式，可以区分为： 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理：自动程度高的，能解决通用统计，便于统一化管理，但个性化定
阅读更多...
中文分词jieba库的使用与实景应用（一）

中文分词jieba库的使用与实景应用（一）

知识星球：https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义： 精确模式（默认模式）： 全模式： 搜索引擎模式： paddle 模式（基于深度学习的分词模式）： 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
异构存储（冷热数据分离）

异构存储（冷热数据分离）

异构存储主要解决不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。 异构存储Shell操作 （1）查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies （2）为指定路径（数据存储目录）设置指定的存储策略 hdfs storagepolicies -setStoragePo
阅读更多...
HDFS—存储优化（纠删码）

HDFS—存储优化（纠删码）

纠删码原理 HDFS 默认情况下，一个文件有3个副本，这样提高了数据的可靠性，但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码，采用计算的方式，可以节省约50％左右的存储空间。 此种方式节约了空间，但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件，都会执行此策略。 默认只开启对 RS-6-3-1024k
阅读更多...
Hadoop集群数据均衡之磁盘间数据均衡

Hadoop集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性） plan后面带的节点的名字必须是已经存在的，并且是需要均衡的节点。 如果节点不存在，会报如下错误： 如果节点只有一个硬盘的话，不会创建均衡计划： （1）生成均衡计划 hdfs diskbalancer -plan hadoop102 （2）执行均衡计划 hd
阅读更多...
Hadoop数据压缩使用介绍

Hadoop数据压缩使用介绍

一、压缩原则 （1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器 2）要在Hadoop中启用压缩，可以配置如下参数
阅读更多...
Makefile简明使用教程

Makefile简明使用教程

文章目录 规则makefile文件的基本语法：加在命令前的特殊符号：.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具，常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2