启动hadoop集群时报错ERROR: Attempting to operate on hdfs namenode as root

2023-12-07 10:20

本文主要是介绍启动hadoop集群时报错ERROR: Attempting to operate on hdfs namenode as root,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!


问题描述

安装搭建了hadoop集群,然后启动时报错,错误如下:

[root@hadoop101 ~]# /opt/module/hadoop/hadoop-3.1.3/sbin/start-dfs.sh
Starting namenodes on [hadoop101]
ERROR: Attempting to operate on hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
Starting datanodes
ERROR: Attempting to operate on hdfs datanode as root
ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.
Starting secondary namenodes [hadoop103]
ERROR: Attempting to operate on hdfs secondarynamenode as root
ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation.

[root@hadoop102 ~]# /opt/module/hadoop/hadoop-3.1.3/sbin/start-yarn.sh
Starting resourcemanager
ERROR: Attempting to operate on yarn resourcemanager as root
ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation.
Starting nodemanagers
ERROR: Attempting to operate on yarn nodemanager as root
ERROR: but there is no YARN_NODEMANAGER_USER defined. Aborting operation.


原因分析:

这个涉及到hadoop的安全机制问题,错误原因是你正在以root用户身份尝试启动Hadoop服务,但是在环境变量中没有定义Hadoop相关服务的用户。Hadoop通常不建议以root用户身份来启动服务,因为这可能会导致安全漏洞。如果以普通用户来启动就不会报这个错误。


解决方案:

1. 方法一:复制粘贴以下命令添加环境变量

echo >> ~/.bashrc
echo 'export HDFS_NAMENODE_USER=root' >> ~/.bashrc
echo 'export HDFS_DATANODE_USER=root' >> ~/.bashrc
echo 'export HDFS_SECONDARYNAMENODE_USER=root' >> ~/.bashrc
echo 'export YARN_RESOURCEMANAGER_USER=root' >> ~/.bashrc
echo 'export YARN_NODEMANAGER_USER=root' >> ~/.bashrc
source ~/.bashrc

然后分别使用ssh命令链接到其他两个节点执行这个命令

ssh root@hadoop102
echo >> ~/.bashrc
echo 'export HDFS_NAMENODE_USER=root' >> ~/.bashrc
echo 'export HDFS_DATANODE_USER=root' >> ~/.bashrc
echo 'export HDFS_SECONDARYNAMENODE_USER=root' >> ~/.bashrc
echo 'export YARN_RESOURCEMANAGER_USER=root' >> ~/.bashrc
echo 'export YARN_NODEMANAGER_USER=root' >> ~/.bashrc
source ~/.bashrc
sleep 1
exit
ssh root@hadoop103
echo >> ~/.bashrc
echo 'export HDFS_NAMENODE_USER=root' >> ~/.bashrc
echo 'export HDFS_DATANODE_USER=root' >> ~/.bashrc
echo 'export HDFS_SECONDARYNAMENODE_USER=root' >> ~/.bashrc
echo 'export YARN_RESOURCEMANAGER_USER=root' >> ~/.bashrc
echo 'export YARN_NODEMANAGER_USER=root' >> ~/.bashrc
source ~/.bashrc
sleep 1
exit

2. 方法二:手动复制以下代码添加到~/.bashrc文件中

编辑文件:

vim ~/.bashrc

添加代码:

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

加载环境变量:

source ~/.bashrc

然后再分别使用ssh命令切换到其他两个节点重复以上操作。

这篇关于启动hadoop集群时报错ERROR: Attempting to operate on hdfs namenode as root的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/465494

相关文章

SpringBoot项目启动后自动加载系统配置的多种实现方式

《SpringBoot项目启动后自动加载系统配置的多种实现方式》:本文主要介绍SpringBoot项目启动后自动加载系统配置的多种实现方式,并通过代码示例讲解的非常详细,对大家的学习或工作有一定的... 目录1. 使用 CommandLineRunner实现方式:2. 使用 ApplicationRunne

centos7基于keepalived+nginx部署k8s1.26.0高可用集群

《centos7基于keepalived+nginx部署k8s1.26.0高可用集群》Kubernetes是一个开源的容器编排平台,用于自动化地部署、扩展和管理容器化应用程序,在生产环境中,为了确保集... 目录一、初始化(所有节点都执行)二、安装containerd(所有节点都执行)三、安装docker-

SpringBoot操作spark处理hdfs文件的操作方法

《SpringBoot操作spark处理hdfs文件的操作方法》本文介绍了如何使用SpringBoot操作Spark处理HDFS文件,包括导入依赖、配置Spark信息、编写Controller和Ser... 目录SpringBoot操作spark处理hdfs文件1、导入依赖2、配置spark信息3、cont

如何在一台服务器上使用docker运行kafka集群

《如何在一台服务器上使用docker运行kafka集群》文章详细介绍了如何在一台服务器上使用Docker运行Kafka集群,包括拉取镜像、创建网络、启动Kafka容器、检查运行状态、编写启动和关闭脚本... 目录1.拉取镜像2.创建集群之间通信的网络3.将zookeeper加入到网络中4.启动kafka集群

bat脚本启动git bash窗口,并执行命令方式

《bat脚本启动gitbash窗口,并执行命令方式》本文介绍了如何在Windows服务器上使用cmd启动jar包时出现乱码的问题,并提供了解决方法——使用GitBash窗口启动并设置编码,通过编写s... 目录一、简介二、使用说明2.1 start.BAT脚本2.2 参数说明2.3 效果总结一、简介某些情

Nacos集群数据同步方式

《Nacos集群数据同步方式》文章主要介绍了Nacos集群中服务注册信息的同步机制,涉及到负责节点和非负责节点之间的数据同步过程,以及DistroProtocol协议在同步中的应用... 目录引言负责节点(发起同步)DistroProtocolDistroSyncChangeTask获取同步数据getDis

服务器集群同步时间手记

1.时间服务器配置(必须root用户) (1)检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 (2)修改ntp配置文件 [r

Hadoop企业开发案例调优场景

需求 (1)需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 (2)需求分析: 1G / 128m = 8个MapTask;1个ReduceTask;1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务(4    3    3) HDFS参数调优 (1)修改:hadoop-env.sh export HDFS_NAMENOD

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

HDFS—存储优化(纠删码)

纠删码原理 HDFS 默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。 此种方式节约了空间,但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。 默认只开启对 RS-6-3-1024k