清理ambari安装的hadoop集群

2024-03-18 17:58

本文主要是介绍清理ambari安装的hadoop集群,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本文针对redhat或者centos

对于测试集群,如果通过ambari安装Hadoop集群后,想重新再来一次的话,需要清理集群。

对于安装了很多hadoop组件的话,这个工作很繁琐。接下来是我整理的清理过程。

1,通过ambari将集群中的所用组件都关闭,如果关闭不了,直接kill -9 XXX

2,关闭ambari-server,ambari-agent

 

[plain]  view plain copy
  1. ambari-server stop  
  2. ambari-agent stop  

 

3,卸载安装的软件

 

[plain]  view plain copy
  1. yum remove hadoop_2* hdp-select* ranger_2* zookeeper_* bigtop* atlas-metadata* ambari* postgresql spark*  slider* storm* snappy*

 

 

以上命令可能不全,执行完一下命令后,再执行

 

[plain]  view plain copy
  1. yum list | grep @HDP  

 

查看是否还有没有卸载的,如果有,继续通过#yum remove XXX卸载

4,删除postgresql的数据

      postgresql软件卸载后,其数据还保留在硬盘中,需要把这部分数据删除掉,如果不删除掉,重新安装ambari-server后,有可能还应用以前的安装数据,而这些数据时错误数据,所以需要删除掉。

 

[plain]  view plain copy
  1. rm -rf /var/lib/pgsql  

 

5,删除用户

     ambari安装hadoop集群会创建一些用户,清除集群时有必要清除这些用户,并删除对应的文件夹。这样做可以避免集群运行时出现的文件访问权限错误的问题。     

 

[plain]  view plain copy
  1. userdel oozie  
  2. userdel hive  
  3. userdel ambari-qa  
  4. userdel flume    
  5. userdel hdfs    
  6. userdel knox    
  7. userdel storm    
  8. userdel mapred  
  9. userdel hbase    
  10. userdel tez    
  11. userdel zookeeper  
  12. userdel kafka    
  13. userdel falcon  
  14. userdel sqoop    
  15. userdel yarn    
  16. userdel hcat  
  17. userdel atlas  
  18. userdel spark  
  19. userdel ams

 

 

[plain]  view plain copy
  1. rm -rf /home/atlas  
  2. rm -rf /home/accumulo  
  3. rm -rf /home/hbase  
  4. rm -rf /home/hive  
  5. rm -rf /home/oozie  
  6. rm -rf /home/storm  
  7. rm -rf /home/yarn  
  8. rm -rf /home/ambari-qa  
  9. rm -rf /home/falcon  
  10. rm -rf /home/hcat  
  11. rm -rf /home/kafka  
  12. rm -rf /home/mahout  
  13. rm -rf /home/spark  
  14. rm -rf /home/tez  
  15. rm -rf /home/zookeeper  
  16. rm -rf /home/flume  
  17. rm -rf /home/hdfs  
  18. rm -rf /home/knox  
  19. rm -rf /home/mapred  
  20. rm -rf /home/sqoop  

 

6,删除ambari遗留数据

 

[plain]  view plain copy
  1. rm -rf /var/lib/ambari*  
  2. rm -rf /usr/lib/python2.6/site-packages/ambari_*  
  3. rm -rf /usr/lib/python2.6/site-packages/resource_management  
  4. rm -rf /usr/lib/ambri-*  

 

7,删除其他hadoop组件遗留数据

 

[plain]  view plain copy
  1. rm -rf /etc/falcon
    rm -rf /etc/knox
    rm -rf /etc/hive-webhcat
    rm -rf /etc/kafka
    rm -rf /etc/slider
    rm -rf /etc/storm-slider-client
    rm -rf /etc/spark
    rm -rf /var/run/spark
    rm -rf /var/run/hadoop
    rm -rf /var/run/hbase
    rm -rf /var/run/zookeeper
    rm -rf /var/run/flume
    rm -rf /var/run/storm
    rm -rf /var/run/webhcat
    rm -rf /var/run/hadoop-yarn
    rm -rf /var/run/hadoop-mapreduce
    rm -rf /var/run/kafka
    rm -rf /var/log/hadoop
    rm -rf /var/log/hbase
    rm -rf /var/log/flume
    rm -rf /var/log/storm
    rm -rf /var/log/hadoop-yarn
    rm -rf /var/log/hadoop-mapreduce
    rm -rf /var/log/knox
    rm -rf /usr/lib/flume
    rm -rf /usr/lib/storm
    rm -rf /var/lib/hive
    rm -rf /var/lib/oozie
    rm -rf /var/lib/flume
    rm -rf /var/lib/hadoop-hdfs
    rm -rf /var/lib/knox
    rm -rf /var/log/hive
    rm -rf /var/log/oozie
    rm -rf /var/log/zookeeper
    rm -rf /var/log/falcon
    rm -rf /var/log/webhcat
    rm -rf /var/log/spark
    rm -rf /var/tmp/oozie
    rm -rf /tmp/ambari-qa
    rm -rf /var/hadoop
    rm -rf /hadoop/falcon
    rm -rf /tmp/hadoop
    rm -rf /tmp/hadoop-hdfs
    rm -rf /usr/hdp
    rm -rf /usr/hadoop
    rm -rf /opt/hadoop
    rm -rf /opt/hadoop2
    rm -rf /tmp/hadoop
    rm -rf /var/hadoop
    rm -rf /hadoop
    rm -rf /etc/ambari-metrics-collector
    rm -rf /etc/ambari-metrics-monitor
    rm -rf /var/run/ambari-metrics-collector
    rm -rf /var/run/ambari-metrics-monitor
    rm -rf /var/log/ambari-metrics-collector
    rm -rf /var/log/ambari-metrics-monitor
    rm -rf /var/lib/hadoop-yarn
    rm -rf /var/lib/hadoop-mapreduce

 

8,清理yum数据源

这篇关于清理ambari安装的hadoop集群的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/823169

相关文章

如何在Mac上安装并配置JDK环境变量详细步骤

《如何在Mac上安装并配置JDK环境变量详细步骤》:本文主要介绍如何在Mac上安装并配置JDK环境变量详细步骤,包括下载JDK、安装JDK、配置环境变量、验证JDK配置以及可选地设置PowerSh... 目录步骤 1:下载JDK步骤 2:安装JDK步骤 3:配置环境变量1. 编辑~/.zshrc(对于zsh

python logging模块详解及其日志定时清理方式

《pythonlogging模块详解及其日志定时清理方式》:本文主要介绍pythonlogging模块详解及其日志定时清理方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录python logging模块及日志定时清理1.创建logger对象2.logging.basicCo

如何在pycharm安装torch包

《如何在pycharm安装torch包》:本文主要介绍如何在pycharm安装torch包方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录在pycharm安装torch包适http://www.chinasem.cn配于我电脑的指令为适用的torch包为总结在p

在PyCharm中安装PyTorch、torchvision和OpenCV详解

《在PyCharm中安装PyTorch、torchvision和OpenCV详解》:本文主要介绍在PyCharm中安装PyTorch、torchvision和OpenCV方式,具有很好的参考价值,... 目录PyCharm安装PyTorch、torchvision和OpenCV安装python安装PyTor

Python Transformer 库安装配置及使用方法

《PythonTransformer库安装配置及使用方法》HuggingFaceTransformers是自然语言处理(NLP)领域最流行的开源库之一,支持基于Transformer架构的预训练模... 目录python 中的 Transformer 库及使用方法一、库的概述二、安装与配置三、基础使用:Pi

如何解决mmcv无法安装或安装之后报错问题

《如何解决mmcv无法安装或安装之后报错问题》:本文主要介绍如何解决mmcv无法安装或安装之后报错问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录mmcv无法安装或安装之后报错问题1.当我们运行YOwww.chinasem.cnLO时遇到2.找到下图所示这里3.

Python 安装和配置flask, flask_cors的图文教程

《Python安装和配置flask,flask_cors的图文教程》:本文主要介绍Python安装和配置flask,flask_cors的图文教程,本文通过图文并茂的形式给大家介绍的非常详细,... 目录一.python安装:二,配置环境变量,三:检查Python安装和环境变量,四:安装flask和flas

Redis分片集群的实现

《Redis分片集群的实现》Redis分片集群是一种将Redis数据库分散到多个节点上的方式,以提供更高的性能和可伸缩性,本文主要介绍了Redis分片集群的实现,具有一定的参考价值,感兴趣的可以了解一... 目录1. Redis Cluster的核心概念哈希槽(Hash Slots)主从复制与故障转移2.

Win11安装PostgreSQL数据库的两种方式详细步骤

《Win11安装PostgreSQL数据库的两种方式详细步骤》PostgreSQL是备受业界青睐的关系型数据库,尤其是在地理空间和移动领域,:本文主要介绍Win11安装PostgreSQL数据库的... 目录一、exe文件安装 (推荐)下载安装包1. 选择操作系统2. 跳转到EDB(PostgreSQL 的

Linux系统中卸载与安装JDK的详细教程

《Linux系统中卸载与安装JDK的详细教程》本文详细介绍了如何在Linux系统中通过Xshell和Xftp工具连接与传输文件,然后进行JDK的安装与卸载,安装步骤包括连接Linux、传输JDK安装包... 目录1、卸载1.1 linux删除自带的JDK1.2 Linux上卸载自己安装的JDK2、安装2.1