清理ambari安装的hadoop集群

2024-03-18 17:58

本文主要是介绍清理ambari安装的hadoop集群,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本文针对redhat或者centos

对于测试集群,如果通过ambari安装Hadoop集群后,想重新再来一次的话,需要清理集群。

对于安装了很多hadoop组件的话,这个工作很繁琐。接下来是我整理的清理过程。

1,通过ambari将集群中的所用组件都关闭,如果关闭不了,直接kill -9 XXX

2,关闭ambari-server,ambari-agent

 

[plain]  view plain copy
  1. ambari-server stop  
  2. ambari-agent stop  

 

3,卸载安装的软件

 

[plain]  view plain copy
  1. yum remove hadoop_2* hdp-select* ranger_2* zookeeper_* bigtop* atlas-metadata* ambari* postgresql spark*  slider* storm* snappy*

 

 

以上命令可能不全,执行完一下命令后,再执行

 

[plain]  view plain copy
  1. yum list | grep @HDP  

 

查看是否还有没有卸载的,如果有,继续通过#yum remove XXX卸载

4,删除postgresql的数据

      postgresql软件卸载后,其数据还保留在硬盘中,需要把这部分数据删除掉,如果不删除掉,重新安装ambari-server后,有可能还应用以前的安装数据,而这些数据时错误数据,所以需要删除掉。

 

[plain]  view plain copy
  1. rm -rf /var/lib/pgsql  

 

5,删除用户

     ambari安装hadoop集群会创建一些用户,清除集群时有必要清除这些用户,并删除对应的文件夹。这样做可以避免集群运行时出现的文件访问权限错误的问题。     

 

[plain]  view plain copy
  1. userdel oozie  
  2. userdel hive  
  3. userdel ambari-qa  
  4. userdel flume    
  5. userdel hdfs    
  6. userdel knox    
  7. userdel storm    
  8. userdel mapred  
  9. userdel hbase    
  10. userdel tez    
  11. userdel zookeeper  
  12. userdel kafka    
  13. userdel falcon  
  14. userdel sqoop    
  15. userdel yarn    
  16. userdel hcat  
  17. userdel atlas  
  18. userdel spark  
  19. userdel ams

 

 

[plain]  view plain copy
  1. rm -rf /home/atlas  
  2. rm -rf /home/accumulo  
  3. rm -rf /home/hbase  
  4. rm -rf /home/hive  
  5. rm -rf /home/oozie  
  6. rm -rf /home/storm  
  7. rm -rf /home/yarn  
  8. rm -rf /home/ambari-qa  
  9. rm -rf /home/falcon  
  10. rm -rf /home/hcat  
  11. rm -rf /home/kafka  
  12. rm -rf /home/mahout  
  13. rm -rf /home/spark  
  14. rm -rf /home/tez  
  15. rm -rf /home/zookeeper  
  16. rm -rf /home/flume  
  17. rm -rf /home/hdfs  
  18. rm -rf /home/knox  
  19. rm -rf /home/mapred  
  20. rm -rf /home/sqoop  

 

6,删除ambari遗留数据

 

[plain]  view plain copy
  1. rm -rf /var/lib/ambari*  
  2. rm -rf /usr/lib/python2.6/site-packages/ambari_*  
  3. rm -rf /usr/lib/python2.6/site-packages/resource_management  
  4. rm -rf /usr/lib/ambri-*  

 

7,删除其他hadoop组件遗留数据

 

[plain]  view plain copy
  1. rm -rf /etc/falcon
    rm -rf /etc/knox
    rm -rf /etc/hive-webhcat
    rm -rf /etc/kafka
    rm -rf /etc/slider
    rm -rf /etc/storm-slider-client
    rm -rf /etc/spark
    rm -rf /var/run/spark
    rm -rf /var/run/hadoop
    rm -rf /var/run/hbase
    rm -rf /var/run/zookeeper
    rm -rf /var/run/flume
    rm -rf /var/run/storm
    rm -rf /var/run/webhcat
    rm -rf /var/run/hadoop-yarn
    rm -rf /var/run/hadoop-mapreduce
    rm -rf /var/run/kafka
    rm -rf /var/log/hadoop
    rm -rf /var/log/hbase
    rm -rf /var/log/flume
    rm -rf /var/log/storm
    rm -rf /var/log/hadoop-yarn
    rm -rf /var/log/hadoop-mapreduce
    rm -rf /var/log/knox
    rm -rf /usr/lib/flume
    rm -rf /usr/lib/storm
    rm -rf /var/lib/hive
    rm -rf /var/lib/oozie
    rm -rf /var/lib/flume
    rm -rf /var/lib/hadoop-hdfs
    rm -rf /var/lib/knox
    rm -rf /var/log/hive
    rm -rf /var/log/oozie
    rm -rf /var/log/zookeeper
    rm -rf /var/log/falcon
    rm -rf /var/log/webhcat
    rm -rf /var/log/spark
    rm -rf /var/tmp/oozie
    rm -rf /tmp/ambari-qa
    rm -rf /var/hadoop
    rm -rf /hadoop/falcon
    rm -rf /tmp/hadoop
    rm -rf /tmp/hadoop-hdfs
    rm -rf /usr/hdp
    rm -rf /usr/hadoop
    rm -rf /opt/hadoop
    rm -rf /opt/hadoop2
    rm -rf /tmp/hadoop
    rm -rf /var/hadoop
    rm -rf /hadoop
    rm -rf /etc/ambari-metrics-collector
    rm -rf /etc/ambari-metrics-monitor
    rm -rf /var/run/ambari-metrics-collector
    rm -rf /var/run/ambari-metrics-monitor
    rm -rf /var/log/ambari-metrics-collector
    rm -rf /var/log/ambari-metrics-monitor
    rm -rf /var/lib/hadoop-yarn
    rm -rf /var/lib/hadoop-mapreduce

 

8,清理yum数据源

这篇关于清理ambari安装的hadoop集群的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/823169

相关文章

Jsoncpp的安装与使用方式

《Jsoncpp的安装与使用方式》JsonCpp是一个用于解析和生成JSON数据的C++库,它支持解析JSON文件或字符串到C++对象,以及将C++对象序列化回JSON格式,安装JsonCpp可以通过... 目录安装jsoncppJsoncpp的使用Value类构造函数检测保存的数据类型提取数据对json数

mac安装redis全过程

《mac安装redis全过程》文章内容主要介绍了如何从官网下载指定版本的Redis,以及如何在自定义目录下安装和启动Redis,还提到了如何修改Redis的密码和配置文件,以及使用RedisInsig... 目录MAC安装Redis安装启动redis 配置redis 常用命令总结mac安装redis官网下

如何在一台服务器上使用docker运行kafka集群

《如何在一台服务器上使用docker运行kafka集群》文章详细介绍了如何在一台服务器上使用Docker运行Kafka集群,包括拉取镜像、创建网络、启动Kafka容器、检查运行状态、编写启动和关闭脚本... 目录1.拉取镜像2.创建集群之间通信的网络3.将zookeeper加入到网络中4.启动kafka集群

电脑多久清理一次灰尘合? 合理清理电脑上灰尘的科普文

《电脑多久清理一次灰尘合?合理清理电脑上灰尘的科普文》聊起电脑清理灰尘这个话题,我可有不少话要说,你知道吗,电脑就像个勤劳的工人,每天不停地为我们服务,但时间一长,它也会“出汗”——也就是积累灰尘,... 灰尘的堆积几乎是所有电脑用户面临的问题。无论你的房间有多干净,或者你的电脑是否安装了灰尘过滤器,灰尘都

如何安装 Ubuntu 24.04 LTS 桌面版或服务器? Ubuntu安装指南

《如何安装Ubuntu24.04LTS桌面版或服务器?Ubuntu安装指南》对于我们程序员来说,有一个好用的操作系统、好的编程环境也是很重要,如何安装Ubuntu24.04LTS桌面... Ubuntu 24.04 LTS,代号 Noble NumBAT,于 2024 年 4 月 25 日正式发布,引入了众

如何安装HWE内核? Ubuntu安装hwe内核解决硬件太新的问题

《如何安装HWE内核?Ubuntu安装hwe内核解决硬件太新的问题》今天的主角就是hwe内核(hardwareenablementkernel),一般安装的Ubuntu都是初始内核,不能很好地支... 对于追求系统稳定性,又想充分利用最新硬件特性的 Ubuntu 用户来说,HWEXBQgUbdlna(Har

python中poetry安装依赖

《python中poetry安装依赖》本文主要介绍了Poetry工具及其在Python项目中的安装和使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随... 目录前言1. 为什么pip install poetry 会造成依赖冲突1.1 全局环境依赖混淆:1

windows端python版本管理工具pyenv-win安装使用

《windows端python版本管理工具pyenv-win安装使用》:本文主要介绍如何通过git方式下载和配置pyenv-win,包括下载、克隆仓库、配置环境变量等步骤,同时还详细介绍了如何使用... 目录pyenv-win 下载配置环境变量使用 pyenv-win 管理 python 版本一、安装 和

Linux下MySQL8.0.26安装教程

《Linux下MySQL8.0.26安装教程》文章详细介绍了如何在Linux系统上安装和配置MySQL,包括下载、解压、安装依赖、启动服务、获取默认密码、设置密码、支持远程登录以及创建表,感兴趣的朋友... 目录1.找到官网下载位置1.访问mysql存档2.下载社区版3.百度网盘中2.linux安装配置1.

Kibana的安装和配置全过程

《Kibana的安装和配置全过程》Kibana是一个开源的数据分析和可视化平台,它与Elasticsearch紧密集成,提供了一个直观的Web界面,使您可以快速地搜索、分析和可视化数据,在本文中,我们... 目录Kibana的安装和配置1.安装Java运行环境2.下载Kibana3.解压缩Kibana4.配