Apache Zeppelin 中 Alluxio 解释器

2024-05-23 22:48

本文主要是介绍Apache Zeppelin 中 Alluxio 解释器,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

概述

Alluxio是以内存为中心的分布式存储系统,能够以集群框架的速度实现可靠的数据共享。

配置

Name
Class
Description
alluxio.master.hostname localhost Alluxio master 主机名
alluxio.master.port 19998 Alluxio master 端口

启用Alluxio解释器

在笔记本中,要启用Alluxio解释器,请单击“ 齿轮”图标,然后选择“ Alluxio”

 

使用Alluxio解释器

在段落中,用于%alluxio选择Alluxio解释器,然后输入所有命令。

% alluxio
help 

提示:使用(Ctrl +。)进行自动完成。

 

解释器命令

所述Alluxio解释器接受下列命令。

操作
语法
描述
cat cat "path" 将文件的内容打印到控制台。
chgrp chgrp "group" "path" 更改目录或文件的组。
chmod chmod "permission" "path" 更改目录或文件的权限。
chown chown "owner" "path" 更改目录或文件的所有者。
copyFromLocal copyFromLocal "source path" "remote path" 将由“source path”指定的指定文件复制到“remote path”指定的路径。如果“远程路径”已经存在,则此命令将失败。
copyToLocal copyToLocal "remote path" "local path" 将指定的文件从“remote path”指定的路径复制到本地目的地。
count count "path" 显示与“路径”中指定的前缀匹配的文件夹和文件数。
du du "path" 显示由输入路径指定的文件或目录的大小。
fileInfo fileInfo "path" 打印指定文件的块的信息。
free free "path" 从Alluxio的目录下免费一个文件或所有文件。如果文件/目录也在存储下,它将仍然可用。
getCapacityBytes getCapacityBytes 获得AlluxioFS的容量。
getUsedBytes getUsedBytes 获取AlluxioFS中使用的字节数。
load load "path" 将文件或目录的数据从存储下载到Alluxio中。
loadMetadata loadMetadata "path" 将文件或目录的元数据从存储下载到Alluxio中。
location location "path" 显示具有文件数据的主机列表。
ls ls "path" 列出直接在给定路径下的所有文件和目录,其中包含大小等信息。
mkdir mkdir "path1" ... "pathn" 在给定路径下创建目录,以及必要的父目录。由空格或制表符分隔的多个路径。如果任何给定路径已存在,则此命令将失败。
mount mount "path" "uri"

将基础文件系统路径“uri”作为“路径”安装到Alluxio命名空间中。假设“路径”不存在,并由操作创建。

没有数据或元数据从存储下载到Alluxio中。

安装路径后,对安装路径下的对象的操作将映射到安装在存储下的对象。

mv mv "source" "destination" 将由“source”指定的文件或目录移动到新位置“destination”。如果“destination”已经存在,则此命令将失败。
persist persist "path" 将目前仅存储在Alluxio中的文件或目录保留到底层文件系统。
pin pin "path" 固定给定文件以避免将其从内存中逐出。如果给定的路径是一个目录,它递归地将所有包含的文件和在此目录中创建的任何新文件进行引用。
report report "path" 向主人报告文件丢失。
rm rm "path" 删除文件。如果给定的路径是目录而不是文件,则此命令将失败。
setTtl setTtl "time" 将文件的TTL(生存时间)设置为毫秒。
tail tail "path" 将指定文件的最后1KB打印到控制台。
touch touch "path" 在指定的位置创建一个0字节的文件。
unmount unmount "path"

卸载安装在Alluxio命名空间中的底层文件系统路径为“路径”。

“路径”下的Alluxio物体从Alluxio中移除,但它们仍然存在于先前安装的存储下。

unpin unpin "path"

取消固定给定文件以允许Alluxio再次驱逐此文件。

如果给定的路径是一个目录,它会递归地解除所有包含的文件和在此目录中创建的任何新文件。

unsetTtl unsetTtl 从文件中删除TTL(生存时间)设置。

如何测试它的工作

一定要正确配置Alluxio解释器,然后打开一个新的段落并键入上述命令之一。

下面一个简单的例子来说明如何与Alluxio解释器进行交互。执行以下步骤:

  • 使用sh解释器,在本地机器上创建一个新的文本文件
  • 使用Alluxio解释器:
    • 列出了afs(Alluxio File System)根目录的内容
    • 先前创建的文件被复制到afs
    • 再次列出了afs root的内容,以检查是否存在新的复制文件
    • 显示了复制文件的内容(使用tail命令)
    • 之前复制到afs的文件被复制到本地机器
  • 使用sh解释器检查从Alluxio复制的新文件的存在,并显示其内容

 


这篇关于Apache Zeppelin 中 Alluxio 解释器的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/996636

相关文章

SpringBoot整合Apache Flink的详细指南

《SpringBoot整合ApacheFlink的详细指南》这篇文章主要为大家详细介绍了SpringBoot整合ApacheFlink的详细过程,涵盖环境准备,依赖配置,代码实现及运行步骤,感兴趣的... 目录1. 背景与目标2. 环境准备2.1 开发工具2.2 技术版本3. 创建 Spring Boot

Linux中修改Apache HTTP Server(httpd)默认端口的完整指南

《Linux中修改ApacheHTTPServer(httpd)默认端口的完整指南》ApacheHTTPServer(简称httpd)是Linux系统中最常用的Web服务器之一,本文将详细介绍如何... 目录一、修改 httpd 默认端口的步骤1. 查找 httpd 配置文件路径2. 编辑配置文件3. 保存

Spring Boot 整合 Apache Flink 的详细过程

《SpringBoot整合ApacheFlink的详细过程》ApacheFlink是一个高性能的分布式流处理框架,而SpringBoot提供了快速构建企业级应用的能力,下面给大家介绍Spri... 目录Spring Boot 整合 Apache Flink 教程一、背景与目标二、环境准备三、创建项目 & 添

Apache 高级配置实战之从连接保持到日志分析的完整指南

《Apache高级配置实战之从连接保持到日志分析的完整指南》本文带你从连接保持优化开始,一路走到访问控制和日志管理,最后用AWStats来分析网站数据,对Apache配置日志分析相关知识感兴趣的朋友... 目录Apache 高级配置实战:从连接保持到日志分析的完整指南前言 一、Apache 连接保持 - 性

apache的commons-pool2原理与使用实践记录

《apache的commons-pool2原理与使用实践记录》ApacheCommonsPool2是一个高效的对象池化框架,通过复用昂贵资源(如数据库连接、线程、网络连接)优化系统性能,这篇文章主... 目录一、核心原理与组件二、使用步骤详解(以数据库连接池为例)三、高级配置与优化四、典型应用场景五、注意事

解决Maven项目报错:failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.13.0的问题

《解决Maven项目报错:failedtoexecutegoalorg.apache.maven.plugins:maven-compiler-plugin:3.13.0的问题》这篇文章主要介... 目录Maven项目报错:failed to execute goal org.apache.maven.pl

深入理解Apache Kafka(分布式流处理平台)

《深入理解ApacheKafka(分布式流处理平台)》ApacheKafka作为现代分布式系统中的核心中间件,为构建高吞吐量、低延迟的数据管道提供了强大支持,本文将深入探讨Kafka的核心概念、架构... 目录引言一、Apache Kafka概述1.1 什么是Kafka?1.2 Kafka的核心概念二、Ka

使用Apache POI在Java中实现Excel单元格的合并

《使用ApachePOI在Java中实现Excel单元格的合并》在日常工作中,Excel是一个不可或缺的工具,尤其是在处理大量数据时,本文将介绍如何使用ApachePOI库在Java中实现Excel... 目录工具类介绍工具类代码调用示例依赖配置总结在日常工作中,Excel 是一个不可或缺的工http://

Apache伪静态(Rewrite).htaccess文件详解与配置技巧

《Apache伪静态(Rewrite).htaccess文件详解与配置技巧》Apache伪静态(Rewrite).htaccess是一个纯文本文件,它里面存放着Apache服务器配置相关的指令,主要的... 一、.htAccess的基本作用.htaccess是一个纯文本文件,它里面存放着Apache服务器

Debezium 与 Apache Kafka 的集成方式步骤详解

《Debezium与ApacheKafka的集成方式步骤详解》本文详细介绍了如何将Debezium与ApacheKafka集成,包括集成概述、步骤、注意事项等,通过KafkaConnect,D... 目录一、集成概述二、集成步骤1. 准备 Kafka 环境2. 配置 Kafka Connect3. 安装 D