Apache Zeppelin 中 Alluxio 解释器

2024-05-23 22:48

本文主要是介绍Apache Zeppelin 中 Alluxio 解释器,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

概述

Alluxio是以内存为中心的分布式存储系统,能够以集群框架的速度实现可靠的数据共享。

配置

Name
Class
Description
alluxio.master.hostname localhost Alluxio master 主机名
alluxio.master.port 19998 Alluxio master 端口

启用Alluxio解释器

在笔记本中,要启用Alluxio解释器,请单击“ 齿轮”图标,然后选择“ Alluxio”

 

使用Alluxio解释器

在段落中,用于%alluxio选择Alluxio解释器,然后输入所有命令。

% alluxio
help 

提示:使用(Ctrl +。)进行自动完成。

 

解释器命令

所述Alluxio解释器接受下列命令。

操作
语法
描述
cat cat "path" 将文件的内容打印到控制台。
chgrp chgrp "group" "path" 更改目录或文件的组。
chmod chmod "permission" "path" 更改目录或文件的权限。
chown chown "owner" "path" 更改目录或文件的所有者。
copyFromLocal copyFromLocal "source path" "remote path" 将由“source path”指定的指定文件复制到“remote path”指定的路径。如果“远程路径”已经存在,则此命令将失败。
copyToLocal copyToLocal "remote path" "local path" 将指定的文件从“remote path”指定的路径复制到本地目的地。
count count "path" 显示与“路径”中指定的前缀匹配的文件夹和文件数。
du du "path" 显示由输入路径指定的文件或目录的大小。
fileInfo fileInfo "path" 打印指定文件的块的信息。
free free "path" 从Alluxio的目录下免费一个文件或所有文件。如果文件/目录也在存储下,它将仍然可用。
getCapacityBytes getCapacityBytes 获得AlluxioFS的容量。
getUsedBytes getUsedBytes 获取AlluxioFS中使用的字节数。
load load "path" 将文件或目录的数据从存储下载到Alluxio中。
loadMetadata loadMetadata "path" 将文件或目录的元数据从存储下载到Alluxio中。
location location "path" 显示具有文件数据的主机列表。
ls ls "path" 列出直接在给定路径下的所有文件和目录,其中包含大小等信息。
mkdir mkdir "path1" ... "pathn" 在给定路径下创建目录,以及必要的父目录。由空格或制表符分隔的多个路径。如果任何给定路径已存在,则此命令将失败。
mount mount "path" "uri"

将基础文件系统路径“uri”作为“路径”安装到Alluxio命名空间中。假设“路径”不存在,并由操作创建。

没有数据或元数据从存储下载到Alluxio中。

安装路径后,对安装路径下的对象的操作将映射到安装在存储下的对象。

mv mv "source" "destination" 将由“source”指定的文件或目录移动到新位置“destination”。如果“destination”已经存在,则此命令将失败。
persist persist "path" 将目前仅存储在Alluxio中的文件或目录保留到底层文件系统。
pin pin "path" 固定给定文件以避免将其从内存中逐出。如果给定的路径是一个目录,它递归地将所有包含的文件和在此目录中创建的任何新文件进行引用。
report report "path" 向主人报告文件丢失。
rm rm "path" 删除文件。如果给定的路径是目录而不是文件,则此命令将失败。
setTtl setTtl "time" 将文件的TTL(生存时间)设置为毫秒。
tail tail "path" 将指定文件的最后1KB打印到控制台。
touch touch "path" 在指定的位置创建一个0字节的文件。
unmount unmount "path"

卸载安装在Alluxio命名空间中的底层文件系统路径为“路径”。

“路径”下的Alluxio物体从Alluxio中移除,但它们仍然存在于先前安装的存储下。

unpin unpin "path"

取消固定给定文件以允许Alluxio再次驱逐此文件。

如果给定的路径是一个目录,它会递归地解除所有包含的文件和在此目录中创建的任何新文件。

unsetTtl unsetTtl 从文件中删除TTL(生存时间)设置。

如何测试它的工作

一定要正确配置Alluxio解释器,然后打开一个新的段落并键入上述命令之一。

下面一个简单的例子来说明如何与Alluxio解释器进行交互。执行以下步骤:

  • 使用sh解释器,在本地机器上创建一个新的文本文件
  • 使用Alluxio解释器:
    • 列出了afs(Alluxio File System)根目录的内容
    • 先前创建的文件被复制到afs
    • 再次列出了afs root的内容,以检查是否存在新的复制文件
    • 显示了复制文件的内容(使用tail命令)
    • 之前复制到afs的文件被复制到本地机器
  • 使用sh解释器检查从Alluxio复制的新文件的存在,并显示其内容

 


这篇关于Apache Zeppelin 中 Alluxio 解释器的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/996636

相关文章

Apache Tiles 布局管理器

陈科肇 =========== 1.简介 一个免费的开源模板框架现代Java应用程序。  基于该复合图案它是建立以简化的用户界面的开发。 对于复杂的网站,它仍然最简单,最优雅的方式来一起工作的任何MVC技术。 Tiles允许作者定义页面片段可被组装成在运行一个完整的网页。  这些片段,或Tiles,可以用于为了降低公共页面元素的重复,简单地包括或嵌入在其它瓦片,制定了一系列可重复使用

Apache HttpClient使用详解

转载地址:http://eksliang.iteye.com/blog/2191017 Http协议的重要性相信不用我多说了,HttpClient相比传统JDK自带的URLConnection,增加了易用性和灵活性(具体区别,日后我们再讨论),它不仅是客户端发送Http请求变得容易,而且也方便了开发人员测试接口(基于Http协议的),即提高了开发的效率,也方便提高代码的健壮性。因此熟

开源Apache服务器安全防护技术精要及实战

Apache 服务简介   Web服务器也称为WWW服务器或HTTP服务器(HTTPServer),它是Internet上最常见也是使用最频繁的服务器之一,Web服务器能够为用户提供网页浏览、论坛访问等等服务。   由于用户在通过Web浏览器访问信息资源的过程中,无须再关心一些技术性的细节,而且界面非常友好,因而Web在Internet上一推出就得到了爆炸性的发展。现在Web服务器已

Java中WebService接口的生成、打包成.exe、设置成Windows服务、及其调用、Apache CXF调用

一、Java中WebService接口的生成: 1、在eclipse工具中新建一个普通的JAVA项目,新建一个java类:JwsServiceHello.java package com.accord.ws;import javax.jws.WebMethod;import javax.jws.WebService;import javax.xml.ws.Endpoint;/*** Ti

【虚拟机/服务器】XAMPP错误: Apache shutdown unexpectedly解决办法

XAMPP安装好之后启动,但有些用户在启动apache的时候会出现: 11:41:38 [Apache] Status change detected: running11:41:38 [Apache] Status change detected: stopped11:41:38 [Apache] Error: Apache shutdown unexpectedly.11:41:38

windows下安装apache及php需要注意的问题

1.php5.2版本不扩展模块顺序有问题 把php_mbstring.dll放在php_exif.dll上面,后者依赖前者

部署Apache网站

简易部署自己的apache网站 写在前面:先安装好mysql,再来搭建站点 1.安装php [root@localhost ~]# yum install php -y##安装了php,默认会和apache结合工作 2.创建文件编写php网页代码 [root@localhost ~]# vim /var/www/html/index.php ##创建php的代码,index.p

兔子-更改 Apache 默认网站根目录

1.到Apache的安装目录下找到conf文件夹,该文件夹内会httpd.conf这样一个文本文档,它是Apache的配置文件。2.Ctrl+F组合键,找到 DocumentRoot D:/Apache/htdocs 将D:/Apache/htdocs改为你自定义的网站目录; 3.找到 <Directory D:/Apache/htdocs 将D:/Apache/htdocs改为你自定义的网

POM文件第一行报错org.apache.maven.archiver.MavenArchiver.getManifest

前几天新建maven项目时,系统自动生成的POM文件第一行总是报错 org.apache.maven.archiver.MavenArchiver.getManifest(org.apache.maven.project.MavenProject, org.apache.maven.archiver.MavenArchiveConfiguration) 百思不得其解,明明是自动生成的怎么还会有

兼容Trino Connector,扩展Apache Doris数据源接入能力|Lakehouse 使用手册(四)

Apache Doris 内置支持包括 Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC 在内的多种 Catalog,并为其提供原生高性能且稳定的访问能力,以满足与数据湖的集成需求。而随着 Apache Doris 用户的增加,新的数据源连接需求也随之增加。因此,从 3.0 版本开始,Apache Doris 引入了 Trino Connector 兼容框架。 Tri