[喵咪大数据]HUE大数据管理工具

2024-05-31 07:18
文章标签 工具 数据 数据管理 hue

本文主要是介绍[喵咪大数据]HUE大数据管理工具,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

日常的大数据使用中经常是在服务器命名行中进行操作,可视化功能仅仅依靠着各个组件自带的网页进行,那么有没有一个可以结合大家能在一个网页上的管理工具呢?答案是肯定的,今天就和大家一起来探索大数据管理工具HUE的庐山真面目.

附上:

喵了个咪的博客:w-blog.cn

1.环境准备

编译依赖

wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo
sudo yum install apache-maven ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel libffi libffi-devel
ca /app/install
wget http://archive-primary.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.4.2.tar.gz
> chown -R root:root hue-3.7.0-cdh5.4.4
> chmod -R 777 hue-3.7.0-cdh5.4.4
# 启动方式
/app/install/hue-3.7.0-cdh5.4.4/build/env/bin/python2.7 /app/install/hue-3.7.0-cdh5.4.4/build/env/bin/hue runcherrypyserver

2.配置文件修改

修改配置文件

vim /app/install/hue-3.7.0-cdh5.4.4/desktop/conf/hue.ini
  • http_host = 0.0.0.0 (Hue Web Server所在主机/IP)
  • http_port = 8000 (Hue Web Server服务端口)
  • server_user = hadoop (运行Hue Web Server的进程用户)
  • server_group = hadoop (运行Hue Web Server的进程用户组)
  • default_user = hadoop (Hue管理员)
  • default_hdfs_superuser = hadoop (HDFS管理用户)
  • fs_defaultfs = hdfs://hadoop-1:8020 (对应core-site.xml配置项fs.defaultFS)
  • webhdfs_url = http://hadoop-1:50070/webhdfs/v1 (webhdfs访问地址)
  • hadoop_conf_dir = /usr/local/hadoop-2.7.3/etc/hadoop (Hadoop配置文件目录)
  • resourcemanager_host = hadoop (对应yarn-site.xml配置项yarn.resourcemanager.hostname)
  • resourcemanager_api_url = http://hadoop-1:8088 (对应于yarn-site.xml配置项yarn.resourcemanager.webapp.address)
  • proxy_api_url = http://hadoop-1:8088 (对应yarn-site.xml配置项yarn.web-proxy.address)
  • history_server_api_url = http://hadoo-1:19888 (对应mapred-site.xml配置项mapreduce.jobhistory.webapp.address)
  • hive_server_host = hadoop-1 (Hive所在节点主机名/IP)
  • hive_server_port = 10000 (HiveServer2服务端口号)
  • hive_conf_dir = /usr/local/hive-2.3.0/conf (Hive配置文件目录)

一定要增加一个hue用户

useradd hue

发现是webhdfs都是可以

curl –i "http://dev-hadoop:50070/webhdfs/v1/user?user.name=hadoop&op=GETFILESTATUS"

需要配置Hadoop访问权限

vim /usr/local/hadoop-2.7.3/etc/hadoop/core-site.xml<property><name>hadoop.proxyuser.hadoop.hosts</name><value>*</value>
</property><property><name>hadoop.proxyuser.hadoop.groups</name><value>*</value>
</property>
vim /usr/local/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

重启hadoop如果不行重启服务器

3.使用HUE

可以在线执行Hive语句(这里注意如果是Hbase关联表是无法在HUE平台使用的解决方法可以导出到Hive中的一个表在进查询)

直接查看hdfs文件系统

管理 hadoop 作业

管理zookeeper状态

关于hbase 不支持 thrift2 需要使用 hive使用thrift1 的版本才能结合使用 启动之后就可以看到如下结果

4 总结

在各种各样的组件下HUE无疑是最好的web工具的选择,HUE还有很多其他的功能包括我们后面要说到的spark,sqoop等相关的组件都可以通过HUE进行在线管理.

注:笔者能力有限有说的不对的地方希望大家能够指出,也希望多多交流!

这篇关于[喵咪大数据]HUE大数据管理工具的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1017556

相关文章

Python基于wxPython和FFmpeg开发一个视频标签工具

《Python基于wxPython和FFmpeg开发一个视频标签工具》在当今数字媒体时代,视频内容的管理和标记变得越来越重要,无论是研究人员需要对实验视频进行时间点标记,还是个人用户希望对家庭视频进行... 目录引言1. 应用概述2. 技术栈分析2.1 核心库和模块2.2 wxpython作为GUI选择的优

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

使用Java实现通用树形结构构建工具类

《使用Java实现通用树形结构构建工具类》这篇文章主要为大家详细介绍了如何使用Java实现通用树形结构构建工具类,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录完整代码一、设计思想与核心功能二、核心实现原理1. 数据结构准备阶段2. 循环依赖检测算法3. 树形结构构建4. 搜索子

Redis 中的热点键和数据倾斜示例详解

《Redis中的热点键和数据倾斜示例详解》热点键是指在Redis中被频繁访问的特定键,这些键由于其高访问频率,可能导致Redis服务器的性能问题,尤其是在高并发场景下,本文给大家介绍Redis中的热... 目录Redis 中的热点键和数据倾斜热点键(Hot Key)定义特点应对策略示例数据倾斜(Data S

利用Python开发Markdown表格结构转换为Excel工具

《利用Python开发Markdown表格结构转换为Excel工具》在数据管理和文档编写过程中,我们经常使用Markdown来记录表格数据,但它没有Excel使用方便,所以本文将使用Python编写一... 目录1.完整代码2. 项目概述3. 代码解析3.1 依赖库3.2 GUI 设计3.3 解析 Mark

Python实现将MySQL中所有表的数据都导出为CSV文件并压缩

《Python实现将MySQL中所有表的数据都导出为CSV文件并压缩》这篇文章主要为大家详细介绍了如何使用Python将MySQL数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到... python将mysql数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到另一个

利用Go语言开发文件操作工具轻松处理所有文件

《利用Go语言开发文件操作工具轻松处理所有文件》在后端开发中,文件操作是一个非常常见但又容易出错的场景,本文小编要向大家介绍一个强大的Go语言文件操作工具库,它能帮你轻松处理各种文件操作场景... 目录为什么需要这个工具?核心功能详解1. 文件/目录存javascript在性检查2. 批量创建目录3. 文件