Cloudera hadoop配置文件地址和修改配置属性方法

2024-03-19 13:48

本文主要是介绍Cloudera hadoop配置文件地址和修改配置属性方法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

问题导读
1.cloudera 的配置文件路径默认在什么位置?
2.如何通过cloudera manager web UI修改配置文件?


配置文件地址:

Hadoop: /etc/hadoop/conf
hbase: /etc/hadoop/conf
hive: /etc/hive/conf

使用cloudera manager web UI 修改hadoop .xml文件属性方法:

For Cloudera the best way to push this configuration to the nodes is to use the Cloudera manager GUI.


 
From the Cloudera web page, click on the HDFS service under Status to open the HDFS service.
 
Click Configuration, and choose View and Edit
 
On the left panel expand Service-Wide and click advance
 
Click on Cluster-wide Configuration Safety Valve for core-site.xml
Enter the setting from Table above

 
Settings entered into core-site safety valve
 
At the top right of the page, Click Save Changes
 
Go back to the Cloudera Manager Home screen. Using the drop down stop the HDFS service.
 
Using the drop down next to the Status, deploy the client configuration
g
 
Using the drop down, restart the Mapreduce service.


 


Check that the nodes have received the correct configuration. From the CLI on a node do a grep on the core-site.xml and search for HSK
cat /etc/hadoop/conf.cloudera.hdfs1/core-site.xml |grep HSK


Next Upload the Java ViPR client JAR file to a client using WinSCP and copy it to the Hadoop Classpath on all Hadoop nodes.


 

On the first node where you have uploaded the ViPr client copy it to the Cloudera Classpath
cp hadoop-2.0.x-alpha-viprfs-1.0.1.jar /opt/cloudera/parcels/CDH-4.5.0-1.cdh4.5.0.p0.30/lib/hadoop/lib


 

Copy it to all the other nodes in your cluster using the scp command. Do this for all hosts.
scp hadoop-2.0.x-alpha-viprfs-1.0.1.jar  root@cdhnode8.ebc.emc.local :/opt/cloudera/parcels/CDH-4.5.0-1.cdh4.5.0.p0.30/lib/hadoop/lib


 


Validate that the connection is working with a hadoop list command. First using the ViPR URL then just a normal Hadoop list:



修改Hive配置文件路径的方法: hive1->configuration->view and edit->default->HiveServer2->Advanced 

如果想对hive-site.xml的修改存储在Cloudera Manager,则可通过上面的方法选择Hive Service Configuration Safety Valve for hive-site.xml来添加属性。
如果想要将所添加的属性,出现在服务器的/etc/hive/conf/hive-site.xml文件中,则可以hive1->configuration->view and edit->default->Gateway->Advanced->Hive Client Configuration Safety Valve for hive-site.xml

Be sure to restart Hive, restart any dependent services (Hue and Impala), and deploy client configs after making a configuration change.

这篇关于Cloudera hadoop配置文件地址和修改配置属性方法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/826189

相关文章

Linux内核参数配置与验证详细指南

《Linux内核参数配置与验证详细指南》在Linux系统运维和性能优化中,内核参数(sysctl)的配置至关重要,本文主要来聊聊如何配置与验证这些Linux内核参数,希望对大家有一定的帮助... 目录1. 引言2. 内核参数的作用3. 如何设置内核参数3.1 临时设置(重启失效)3.2 永久设置(重启仍生效

IDEA自动生成注释模板的配置教程

《IDEA自动生成注释模板的配置教程》本文介绍了如何在IntelliJIDEA中配置类和方法的注释模板,包括自动生成项目名称、包名、日期和时间等内容,以及如何定制参数和返回值的注释格式,需要的朋友可以... 目录项目场景配置方法类注释模板定义类开头的注释步骤类注释效果方法注释模板定义方法开头的注释步骤方法注

Python列表去重的4种核心方法与实战指南详解

《Python列表去重的4种核心方法与实战指南详解》在Python开发中,处理列表数据时经常需要去除重复元素,本文将详细介绍4种最实用的列表去重方法,有需要的小伙伴可以根据自己的需要进行选择... 目录方法1:集合(set)去重法(最快速)方法2:顺序遍历法(保持顺序)方法3:副本删除法(原地修改)方法4:

Python中判断对象是否为空的方法

《Python中判断对象是否为空的方法》在Python开发中,判断对象是否为“空”是高频操作,但看似简单的需求却暗藏玄机,从None到空容器,从零值到自定义对象的“假值”状态,不同场景下的“空”需要精... 目录一、python中的“空”值体系二、精准判定方法对比三、常见误区解析四、进阶处理技巧五、性能优化

如何在Mac上安装并配置JDK环境变量详细步骤

《如何在Mac上安装并配置JDK环境变量详细步骤》:本文主要介绍如何在Mac上安装并配置JDK环境变量详细步骤,包括下载JDK、安装JDK、配置环境变量、验证JDK配置以及可选地设置PowerSh... 目录步骤 1:下载JDK步骤 2:安装JDK步骤 3:配置环境变量1. 编辑~/.zshrc(对于zsh

售价599元起! 华为路由器X1/Pro发布 配置与区别一览

《售价599元起!华为路由器X1/Pro发布配置与区别一览》华为路由器X1/Pro发布,有朋友留言问华为路由X1和X1Pro怎么选择,关于这个问题,本期图文将对这二款路由器做了期参数对比,大家看... 华为路由 X1 系列已经正式发布并开启预售,将在 4 月 25 日 10:08 正式开售,两款产品分别为华

C++中初始化二维数组的几种常见方法

《C++中初始化二维数组的几种常见方法》本文详细介绍了在C++中初始化二维数组的不同方式,包括静态初始化、循环、全部为零、部分初始化、std::array和std::vector,以及std::vec... 目录1. 静态初始化2. 使用循环初始化3. 全部初始化为零4. 部分初始化5. 使用 std::a

如何将Python彻底卸载的三种方法

《如何将Python彻底卸载的三种方法》通常我们在一些软件的使用上有碰壁,第一反应就是卸载重装,所以有小伙伴就问我Python怎么卸载才能彻底卸载干净,今天这篇文章,小编就来教大家如何彻底卸载Pyth... 目录软件卸载①方法:②方法:③方法:清理相关文件夹软件卸载①方法:首先,在安装python时,下

电脑死机无反应怎么强制重启? 一文读懂方法及注意事项

《电脑死机无反应怎么强制重启?一文读懂方法及注意事项》在日常使用电脑的过程中,我们难免会遇到电脑无法正常启动的情况,本文将详细介绍几种常见的电脑强制开机方法,并探讨在强制开机后应注意的事项,以及如何... 在日常生活和工作中,我们经常会遇到电脑突然无反应的情况,这时候强制重启就成了解决问题的“救命稻草”。那

python3 gunicorn配置文件的用法解读

《python3gunicorn配置文件的用法解读》:本文主要介绍python3gunicorn配置文件的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录python3 gunicorn配置文件配置文件服务启动、重启、关闭启动重启关闭总结python3 gun