Hadoop学习第四天之hadoop命令操作(下)

2024-05-06 09:58

本文主要是介绍Hadoop学习第四天之hadoop命令操作(下),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Hadoop学习第四天之hadoop命令操作(下)

1.   Hadoop dfsadmin #启动dfs admin客户端


-report  #报告当前集群的节点信息


-safemode  enter   #进入安全模式
-safemode  leave   #离开安全模式
-safemode  get    #获取安全模式状态
-safemode  wait   #等待,直到安全模式结束


-saveNamespace  #开启保存命名空间,必须开启安全模式


-refreshNodes  刷新集群的datanode节点
 

-finalizeUpgrade  #升级时先删除现有备份


-upgradeProgress  status  #查询集群升级的状态
-upgradeProgress  details  #查询集群升级的详细状态信息
-upgradeProgress  force  #强制升级


-metesave  <fileName>  #将元信息保存在hdfs上的指定文件中


-refreshServiceAcl 刷新服务的访问控制列表,Namenode将会重新加载访问控制列表


-refreshUserToGroupsMappings  #刷新用户到组的映射关系


-refreshSuperUserGroupsConfiguration  #刷新超级用户代理组的映射


-setQuota <quota>  <dirname>…<dirname>  #为每个目录dirname设置配额,不能在安全模式下


-clrQuota <dirname>…<dirname> #清除每个dirname的配额


-setSpaceQuota <quota> <dirname> …. <dirname> #设置磁盘空间配额


-clrSpaceQuota  <dirname> ….<dirname> #清除磁盘空间配额


- setBalancerBandwidth <bandwidth in bytes per second> #平衡各节点数据的带宽大小。此例设置带宽为500M/s


-help  [cmd] 显示命令的帮助信息


2.   Hadoop  mradmin #启动MapReduce admin客户端


-refreshServiceAcl #刷新服务的访问控制列表,MapReduce重新载入访问控制列表


-refreshQueues  #刷新MapReduce的队列


-refreshUserToGroupsMappings #刷新用户到组的映射关系 


 

-refreshSuperUserGroupsConfiguration #刷新超级用户代理组的映射


-refreshNodes  #刷新tasktrackers节点集群


-safemode  enter #开启MapReduce的安全模式
-safemode leave #离开MapReduce的安全模式
-safemode get  #获取MapReduce的安全模式状态
-safemode wait #等待MapReduce的安全模式结束


-help [cmd] #查看命名的描述
 
3.    hadoop namenode  –format  #Hadoop的namenode节点格式化
4.    hadoop secondary namenode #启动secondarynamenode ,因为secondarynamenode已经启动,需要先关闭后重新启动


5.    hadoop namenode #单独运行dfs的namenode节点,如果节点已经启动,需要先关闭,然后重新启动


6.    hadoop datanode #单独运行dfs的datanode节点,如果节点已经启动,需要先关闭,然后重新启动

 
7.    hadoop fsck  #运行dfs文件系统的检查命令


8.    hadoop  balancer #运行集群的平衡策略


9.    hadoop  fetchdt  # 获取namenode的授权  


 

10.   hadoop  jobtracker #运行MapReduce的jobTracker,如果jobtracker已经启动,会提示地址已经被占用。


11.  hadoop pipes  #运行管道job 
 
12.  hadoop tasktracker  #运行MapReduce的tasktracker 节点,如果当前节点已经启动tasktracker,会提示地址已经被占用


13.  hadoop historyserver  #运行job的历史服务作为一个独立的守护进程


14.  hadoop job  #调整MapReduce的job 


 

15.  hadoop queue #获取job队列的相关信息


16.  hadoop version  #打印版本


17.  hadoop jar <jar> #运行编写好的jar文件
18.  hadoop distcp <srcurl> <desturl>  #复制文件和目录
19.  hadoop archive -archiveName NAME -p <parent path> <src>*<dest> #创建一个Hadoop的存档

这篇关于Hadoop学习第四天之hadoop命令操作(下)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/964068

相关文章

Mysql表的简单操作(基本技能)

《Mysql表的简单操作(基本技能)》在数据库中,表的操作主要包括表的创建、查看、修改、删除等,了解如何操作这些表是数据库管理和开发的基本技能,本文给大家介绍Mysql表的简单操作,感兴趣的朋友一起看... 目录3.1 创建表 3.2 查看表结构3.3 修改表3.4 实践案例:修改表在数据库中,表的操作主要

C# WinForms存储过程操作数据库的实例讲解

《C#WinForms存储过程操作数据库的实例讲解》:本文主要介绍C#WinForms存储过程操作数据库的实例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、存储过程基础二、C# 调用流程1. 数据库连接配置2. 执行存储过程(增删改)3. 查询数据三、事务处

Java使用Curator进行ZooKeeper操作的详细教程

《Java使用Curator进行ZooKeeper操作的详细教程》ApacheCurator是一个基于ZooKeeper的Java客户端库,它极大地简化了使用ZooKeeper的开发工作,在分布式系统... 目录1、简述2、核心功能2.1 CuratorFramework2.2 Recipes3、示例实践3

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

Python使用DrissionPage中ChromiumPage进行自动化网页操作

《Python使用DrissionPage中ChromiumPage进行自动化网页操作》DrissionPage作为一款轻量级且功能强大的浏览器自动化库,为开发者提供了丰富的功能支持,本文将使用Dri... 目录前言一、ChromiumPage基础操作1.初始化Drission 和 ChromiumPage

利用Go语言开发文件操作工具轻松处理所有文件

《利用Go语言开发文件操作工具轻松处理所有文件》在后端开发中,文件操作是一个非常常见但又容易出错的场景,本文小编要向大家介绍一个强大的Go语言文件操作工具库,它能帮你轻松处理各种文件操作场景... 目录为什么需要这个工具?核心功能详解1. 文件/目录存javascript在性检查2. 批量创建目录3. 文件

Redis中管道操作pipeline的实现

《Redis中管道操作pipeline的实现》RedisPipeline是一种优化客户端与服务器通信的技术,通过批量发送和接收命令减少网络往返次数,提高命令执行效率,本文就来介绍一下Redis中管道操... 目录什么是pipeline场景一:我要向Redis新增大批量的数据分批处理事务( MULTI/EXE

使用Python高效获取网络数据的操作指南

《使用Python高效获取网络数据的操作指南》网络爬虫是一种自动化程序,用于访问和提取网站上的数据,Python是进行网络爬虫开发的理想语言,拥有丰富的库和工具,使得编写和维护爬虫变得简单高效,本文将... 目录网络爬虫的基本概念常用库介绍安装库Requests和BeautifulSoup爬虫开发发送请求解

Oracle存储过程里操作BLOB的字节数据的办法

《Oracle存储过程里操作BLOB的字节数据的办法》该篇文章介绍了如何在Oracle存储过程中操作BLOB的字节数据,作者研究了如何获取BLOB的字节长度、如何使用DBMS_LOB包进行BLOB操作... 目录一、缘由二、办法2.1 基本操作2.2 DBMS_LOB包2.3 字节级操作与RAW数据类型2.

JDK多版本共存并自由切换的操作指南(本文为JDK8和JDK17)

《JDK多版本共存并自由切换的操作指南(本文为JDK8和JDK17)》本文介绍了如何在Windows系统上配置多版本JDK(以JDK8和JDK17为例),并通过图文结合的方式给大家讲解了详细步骤,具有... 目录第一步 下载安装JDK第二步 配置环境变量第三步 切换JDK版本并验证可能遇到的问题前提:公司常