【Hadoop】执行start-dfs.sh启动hadoop集群时，datenode没有启动怎么办

2023-12-18 14:15

文章标签 集群启动执行没有 dfs hadoop start sh datenode

本文主要是介绍【Hadoop】执行start-dfs.sh启动hadoop集群时，datenode没有启动怎么办，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

执行start-dfs.sh后，datenode没有启动，很大一部分原因是因为在第一次格式化dfs后又重新执行了格式化命令（hdfs namenode -format)，这时主节点namenode的clusterID会重新生成，而从节点datanode的clusterID 保持不变。

在主节点也就是namenode那个节点上的hdfs-site.xml文件下找到这两个文件路径在这里插入图片描述

打开name目录中current下面的VERSION文件，然后用这个clusterID替换掉datanode节点上的data/current/VERSION里的clusterID

在这里插入图片描述

参考http://t.csdnimg.cn/Gk4cg

这篇关于【Hadoop】执行start-dfs.sh启动hadoop集群时，datenode没有启动怎么办的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

http://www.chinasem.cn/article/508705。 23002807@qq.com

服务器集群同步时间手记

1.时间服务器配置（必须root用户）（1）检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 （2）修改ntp配置文件 [r

豆包 MarsCode 不允许你还没有女朋友

在这个喧嚣的世界里，爱意需要被温柔地唤醒。为心爱的她制作每日一句小工具，就像是一场永不落幕的浪漫仪式，每天都在她的心田播撒爱的种子，让她的每一天都充满甜蜜与期待。背景在这个瞬息万变的时代，我们都在寻找那些能让我们慢下来，感受生活美好的瞬间。为了让这份浪漫持久而深刻，我们决定为女朋友定制一个每日一句小工具。这个工具会在她意想不到的时刻，为她呈现一句充满爱意的话语，让她的每一天都充满惊喜和感动

Hadoop企业开发案例调优场景

需求（1）需求：从1G数据中，统计每个单词出现次数。服务器3台，每台配置4G内存，4核CPU，4线程。（2）需求分析： 1G / 128m = 8个MapTask；1个ReduceTask；1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务（4 3 3） HDFS参数调优（1）修改：hadoop-env.sh export HDFS_NAMENOD

HDFS—集群扩容及缩容

白名单：表示在白名单的主机IP地址可以，用来存储数据。配置白名单步骤如下： 1）在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件（1）创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称，假如集群正常工作的节

Hadoop集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性） plan后面带的节点的名字必须是已经存在的，并且是需要均衡的节点。如果节点不存在，会报如下错误：如果节点只有一个硬盘的话，不会创建均衡计划：（1）生成均衡计划 hdfs diskbalancer -plan hadoop102 （2）执行均衡计划 hd

hadoop开启回收站配置

开启回收站功能，可以将删除的文件在不超时的情况下，恢复原数据，起到防止误删除、备份等作用。开启回收站功能参数说明（1）默认值fs.trash.interval = 0，0表示禁用回收站；其他值表示设置文件的存活时间。（2）默认值fs.trash.checkpoint.interval = 0，检查回收站的间隔时间。如果该值为0，则该值设置和fs.trash.interval的参数值相等。

Hadoop数据压缩使用介绍

一、压缩原则（1）运算密集型的Job，少用压缩（2）IO密集型的Job，多用压缩二、压缩算法比较三、压缩位置选择四、压缩参数配置 1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器 2）要在Hadoop中启用压缩，可以配置如下参数

MySQL数据库宕机，启动不起来，教你一招搞定！

作者介绍：老苏，10余年DBA工作运维经验，擅长Oracle、MySQL、PG、Mongodb数据库运维（如安装迁移，性能优化、故障应急处理等）公众号：老苏畅谈运维欢迎关注本人公众号，更多精彩与您分享。 MySQL数据库宕机，数据页损坏问题，启动不起来，该如何排查和解决，本文将为你说明具体的排查过程。查看MySQL error日志查看 MySQL error日志，排查哪个表（表空间

springboot3打包成war包，用tomcat8启动

1、在pom中，将打包类型改为war <packaging>war</packaging> 2、pom中排除SpringBoot内置的Tomcat容器并添加Tomcat依赖，用于编译和测试, *依赖时一定设置 scope 为 provided （相当于 tomcat 依赖只在本地运行和测试的时候有效，打包的时候会排除这个依赖）<scope>provided

内核启动时减少log的方式

内核引导选项内核引导选项大体上可以分为两类：一类与设备无关、另一类与设备有关。与设备有关的引导选项多如牛毛，需要你自己阅读内核中的相应驱动程序源码以获取其能够接受的引导选项。比如，如果你想知道可以向 AHA1542 SCSI 驱动程序传递哪些引导选项，那么就查看 drivers/scsi/aha1542.c 文件，一般在前面 100 行注释里就可以找到所接受的引导选项说明。大多数选项是通过"_

【Hadoop】执行start-dfs.sh启动hadoop集群时，datenode没有启动怎么办

相关文章