Hadoop学习第四天之hadoop命令操作(下)

2024-05-06 09:58

本文主要是介绍Hadoop学习第四天之hadoop命令操作(下),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Hadoop学习第四天之hadoop命令操作(下)

1.   Hadoop dfsadmin #启动dfs admin客户端


-report  #报告当前集群的节点信息


-safemode  enter   #进入安全模式
-safemode  leave   #离开安全模式
-safemode  get    #获取安全模式状态
-safemode  wait   #等待,直到安全模式结束


-saveNamespace  #开启保存命名空间,必须开启安全模式


-refreshNodes  刷新集群的datanode节点
 

-finalizeUpgrade  #升级时先删除现有备份


-upgradeProgress  status  #查询集群升级的状态
-upgradeProgress  details  #查询集群升级的详细状态信息
-upgradeProgress  force  #强制升级


-metesave  <fileName>  #将元信息保存在hdfs上的指定文件中


-refreshServiceAcl 刷新服务的访问控制列表,Namenode将会重新加载访问控制列表


-refreshUserToGroupsMappings  #刷新用户到组的映射关系


-refreshSuperUserGroupsConfiguration  #刷新超级用户代理组的映射


-setQuota <quota>  <dirname>…<dirname>  #为每个目录dirname设置配额,不能在安全模式下


-clrQuota <dirname>…<dirname> #清除每个dirname的配额


-setSpaceQuota <quota> <dirname> …. <dirname> #设置磁盘空间配额


-clrSpaceQuota  <dirname> ….<dirname> #清除磁盘空间配额


- setBalancerBandwidth <bandwidth in bytes per second> #平衡各节点数据的带宽大小。此例设置带宽为500M/s


-help  [cmd] 显示命令的帮助信息


2.   Hadoop  mradmin #启动MapReduce admin客户端


-refreshServiceAcl #刷新服务的访问控制列表,MapReduce重新载入访问控制列表


-refreshQueues  #刷新MapReduce的队列


-refreshUserToGroupsMappings #刷新用户到组的映射关系 


 

-refreshSuperUserGroupsConfiguration #刷新超级用户代理组的映射


-refreshNodes  #刷新tasktrackers节点集群


-safemode  enter #开启MapReduce的安全模式
-safemode leave #离开MapReduce的安全模式
-safemode get  #获取MapReduce的安全模式状态
-safemode wait #等待MapReduce的安全模式结束


-help [cmd] #查看命名的描述
 
3.    hadoop namenode  –format  #Hadoop的namenode节点格式化
4.    hadoop secondary namenode #启动secondarynamenode ,因为secondarynamenode已经启动,需要先关闭后重新启动


5.    hadoop namenode #单独运行dfs的namenode节点,如果节点已经启动,需要先关闭,然后重新启动


6.    hadoop datanode #单独运行dfs的datanode节点,如果节点已经启动,需要先关闭,然后重新启动

 
7.    hadoop fsck  #运行dfs文件系统的检查命令


8.    hadoop  balancer #运行集群的平衡策略


9.    hadoop  fetchdt  # 获取namenode的授权  


 

10.   hadoop  jobtracker #运行MapReduce的jobTracker,如果jobtracker已经启动,会提示地址已经被占用。


11.  hadoop pipes  #运行管道job 
 
12.  hadoop tasktracker  #运行MapReduce的tasktracker 节点,如果当前节点已经启动tasktracker,会提示地址已经被占用


13.  hadoop historyserver  #运行job的历史服务作为一个独立的守护进程


14.  hadoop job  #调整MapReduce的job 


 

15.  hadoop queue #获取job队列的相关信息


16.  hadoop version  #打印版本


17.  hadoop jar <jar> #运行编写好的jar文件
18.  hadoop distcp <srcurl> <desturl>  #复制文件和目录
19.  hadoop archive -archiveName NAME -p <parent path> <src>*<dest> #创建一个Hadoop的存档

这篇关于Hadoop学习第四天之hadoop命令操作(下)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/964068

相关文章

Python调用Orator ORM进行数据库操作

《Python调用OratorORM进行数据库操作》OratorORM是一个功能丰富且灵活的PythonORM库,旨在简化数据库操作,它支持多种数据库并提供了简洁且直观的API,下面我们就... 目录Orator ORM 主要特点安装使用示例总结Orator ORM 是一个功能丰富且灵活的 python O

python使用fastapi实现多语言国际化的操作指南

《python使用fastapi实现多语言国际化的操作指南》本文介绍了使用Python和FastAPI实现多语言国际化的操作指南,包括多语言架构技术栈、翻译管理、前端本地化、语言切换机制以及常见陷阱和... 目录多语言国际化实现指南项目多语言架构技术栈目录结构翻译工作流1. 翻译数据存储2. 翻译生成脚本

0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型的操作流程

《0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeekR1模型的操作流程》DeepSeekR1模型凭借其强大的自然语言处理能力,在未来具有广阔的应用前景,有望在多个领域发... 目录0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型,3步搞定一个应

Java深度学习库DJL实现Python的NumPy方式

《Java深度学习库DJL实现Python的NumPy方式》本文介绍了DJL库的背景和基本功能,包括NDArray的创建、数学运算、数据获取和设置等,同时,还展示了如何使用NDArray进行数据预处理... 目录1 NDArray 的背景介绍1.1 架构2 JavaDJL使用2.1 安装DJL2.2 基本操

轻松上手MYSQL之JSON函数实现高效数据查询与操作

《轻松上手MYSQL之JSON函数实现高效数据查询与操作》:本文主要介绍轻松上手MYSQL之JSON函数实现高效数据查询与操作的相关资料,MySQL提供了多个JSON函数,用于处理和查询JSON数... 目录一、jsON_EXTRACT 提取指定数据二、JSON_UNQUOTE 取消双引号三、JSON_KE

C++实现封装的顺序表的操作与实践

《C++实现封装的顺序表的操作与实践》在程序设计中,顺序表是一种常见的线性数据结构,通常用于存储具有固定顺序的元素,与链表不同,顺序表中的元素是连续存储的,因此访问速度较快,但插入和删除操作的效率可能... 目录一、顺序表的基本概念二、顺序表类的设计1. 顺序表类的成员变量2. 构造函数和析构函数三、顺序表

使用C++实现单链表的操作与实践

《使用C++实现单链表的操作与实践》在程序设计中,链表是一种常见的数据结构,特别是在动态数据管理、频繁插入和删除元素的场景中,链表相比于数组,具有更高的灵活性和高效性,尤其是在需要频繁修改数据结构的应... 目录一、单链表的基本概念二、单链表类的设计1. 节点的定义2. 链表的类定义三、单链表的操作实现四、

Python利用自带模块实现屏幕像素高效操作

《Python利用自带模块实现屏幕像素高效操作》这篇文章主要为大家详细介绍了Python如何利用自带模块实现屏幕像素高效操作,文中的示例代码讲解详,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1、获取屏幕放缩比例2、获取屏幕指定坐标处像素颜色3、一个简单的使用案例4、总结1、获取屏幕放缩比例from

通过prometheus监控Tomcat运行状态的操作流程

《通过prometheus监控Tomcat运行状态的操作流程》文章介绍了如何安装和配置Tomcat,并使用Prometheus和TomcatExporter来监控Tomcat的运行状态,文章详细讲解了... 目录Tomcat安装配置以及prometheus监控Tomcat一. 安装并配置tomcat1、安装

Python中操作Redis的常用方法小结

《Python中操作Redis的常用方法小结》这篇文章主要为大家详细介绍了Python中操作Redis的常用方法,文中的示例代码简洁易懂,具有一定的借鉴价值,有需要的小伙伴可以了解一下... 目录安装Redis开启、关闭Redisredis数据结构redis-cli操作安装redis-py数据库连接和释放增