HDFS租约机制详解

2024-06-06 15:20
文章标签 详解 机制 hdfs 租约

本文主要是介绍HDFS租约机制详解,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1、租约机制简介

2、租约状态操作

 判断租约释放结果

3.2.2.1、租约释放成功
Lease recovery initiated for /user/hive/warehouse/ufoto_bigdata_src.db/src_api_hour_game_square_log/day_part=20190630/hour_part=03/log_game_square_20190630_03.1561865579388.lzo
Lease recovery completed for /user/hive/warehouse/ufoto_bigdata_src.db/src_api_hour_game_square_log/day_part=20190630/hour_part=03/log_game_square_20190630_03.1561865579388.lzo
3.2.2.2、租约释放失败
Lease recovery initiated for /user/hive/warehouse/ufoto_bigdata_src.db/src_api_hour_game_square_log/day_part=20190630/hour_part=03/log_game_square_20190630_03.1561865579388.lzo
Lease recovery failed for /user/hive/warehouse/ufoto_bigdata_src.db/src_api_hour_game_square_log/day_part=20190630/hour_part=03/log_game_square_20190630_03.1561865579388.lzo
Error: org.apache.hadoop.ipc.RemoteException(java.io.IOException): Lease recovery failed for file /user/hive/warehouse/ufoto_bigdata_src.db/src_api_hour_game_square_log/day_part=20190630/hour_part=03/log_game_square_20190630_03.1561865579388.lzo
3.2.3.3、文件不存在
Lease recovery initiated for /user/hive/warehouse/ufoto_bigdata_src.db/src_api_hour_game_square_log/day_part=20190630/hour_part=03/log_game_square_20190630_03.1561865579388.lzo
Error: File /user/hive/warehouse/ufoto_bigdata_src.db/src_api_hour_game_square_log/day_part=20190630/hour_part=03/log_game_square_20190630_03.1561865579388.lzo does not exist.
3.2.3.4、其他错误
Lease recovery initiated for /user/hive/warehouse/ufoto_bigdata_src.db/src_api_hour_game_square_log/day_part=20190630/hour_part=03/log_game_square_20190630_03.1561865579388.lzo
Error: org.apache.hadoop.ipc.RemoteException(java.io.IOException): Unexpected error occurred during lease recovery
3.2.3.4、租约释放情况说明

这篇关于HDFS租约机制详解的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1036481

相关文章

JVM 的类初始化机制

前言 当你在 Java 程序中new对象时,有没有考虑过 JVM 是如何把静态的字节码(byte code)转化为运行时对象的呢,这个问题看似简单,但清楚的同学相信也不会太多,这篇文章首先介绍 JVM 类初始化的机制,然后给出几个易出错的实例来分析,帮助大家更好理解这个知识点。 JVM 将字节码转化为运行时对象分为三个阶段,分别是:loading 、Linking、initialization

Spring Security基于数据库验证流程详解

Spring Security 校验流程图 相关解释说明(认真看哦) AbstractAuthenticationProcessingFilter 抽象类 /*** 调用 #requiresAuthentication(HttpServletRequest, HttpServletResponse) 决定是否需要进行验证操作。* 如果需要验证,则会调用 #attemptAuthentica

HDFS—存储优化(纠删码)

纠删码原理 HDFS 默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。 此种方式节约了空间,但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。 默认只开启对 RS-6-3-1024k

HDFS—集群扩容及缩容

白名单:表示在白名单的主机IP地址可以,用来存储数据。 配置白名单步骤如下: 1)在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 (1)创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称,假如集群正常工作的节

OpenHarmony鸿蒙开发( Beta5.0)无感配网详解

1、简介 无感配网是指在设备联网过程中无需输入热点相关账号信息,即可快速实现设备配网,是一种兼顾高效性、可靠性和安全性的配网方式。 2、配网原理 2.1 通信原理 手机和智能设备之间的信息传递,利用特有的NAN协议实现。利用手机和智能设备之间的WiFi 感知订阅、发布能力,实现了数字管家应用和设备之间的发现。在完成设备间的认证和响应后,即可发送相关配网数据。同时还支持与常规Sof

6.1.数据结构-c/c++堆详解下篇(堆排序,TopK问题)

上篇:6.1.数据结构-c/c++模拟实现堆上篇(向下,上调整算法,建堆,增删数据)-CSDN博客 本章重点 1.使用堆来完成堆排序 2.使用堆解决TopK问题 目录 一.堆排序 1.1 思路 1.2 代码 1.3 简单测试 二.TopK问题 2.1 思路(求最小): 2.2 C语言代码(手写堆) 2.3 C++代码(使用优先级队列 priority_queue)

Java ArrayList扩容机制 (源码解读)

结论:初始长度为10,若所需长度小于1.5倍原长度,则按照1.5倍扩容。若不够用则按照所需长度扩容。 一. 明确类内部重要变量含义         1:数组默认长度         2:这是一个共享的空数组实例,用于明确创建长度为0时的ArrayList ,比如通过 new ArrayList<>(0),ArrayList 内部的数组 elementData 会指向这个 EMPTY_EL

K8S(Kubernetes)开源的容器编排平台安装步骤详解

K8S(Kubernetes)是一个开源的容器编排平台,用于自动化部署、扩展和管理容器化应用程序。以下是K8S容器编排平台的安装步骤、使用方式及特点的概述: 安装步骤: 安装Docker:K8S需要基于Docker来运行容器化应用程序。首先要在所有节点上安装Docker引擎。 安装Kubernetes Master:在集群中选择一台主机作为Master节点,安装K8S的控制平面组件,如AP

【编程底层思考】垃圾收集机制,GC算法,垃圾收集器类型概述

Java的垃圾收集(Garbage Collection,GC)机制是Java语言的一大特色,它负责自动管理内存的回收,释放不再使用的对象所占用的内存。以下是对Java垃圾收集机制的详细介绍: 一、垃圾收集机制概述: 对象存活判断:垃圾收集器定期检查堆内存中的对象,判断哪些对象是“垃圾”,即不再被任何引用链直接或间接引用的对象。内存回收:将判断为垃圾的对象占用的内存进行回收,以便重新使用。

【Tools】大模型中的自注意力机制

摇来摇去摇碎点点的金黄 伸手牵来一片梦的霞光 南方的小巷推开多情的门窗 年轻和我们歌唱 摇来摇去摇着温柔的阳光 轻轻托起一件梦的衣裳 古老的都市每天都改变模样                      🎵 方芳《摇太阳》 自注意力机制(Self-Attention)是一种在Transformer等大模型中经常使用的注意力机制。该机制通过对输入序列中的每个元素计算与其他元素之间的相似性,