hue(5):Hue与zookeeper、oozie、Hbase集成

2024-05-24 11:18
文章标签 集成 zookeeper hbase hue oozie

本文主要是介绍hue(5):Hue与zookeeper、oozie、Hbase集成,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、配置步骤

1.和zookeeper集成,修改hue.ini

[zookeeper]  [[clusters]]  [[[default]]]  # Zookeeper ensemble. Comma separated list of Host/Port.  # e.g. localhost:2181,localhost:2182,localhost:2183  host_ports=hadoop:2181

2.和oozie集成

(1)修改oozie-site.xml(可以不做)

<property><name>oozie.processing.timezone</name><value>UTC</value>
</property>

(2)修改hue.ini

[liboozie]# The URL where the Oozie service runs on. This is required in order for# users to submit jobs. Empty value disables the config check.oozie_url=http://hadoop:11000/oozie# Requires FQDN in oozie_url if enabled## security_enabled=false# Location on HDFS where the workflows/coordinator are deployed when submitted.remote_deployement_dir=/user/hadoop/oozie-apps/[oozie]# Location on local FS where the examples are stored.local_data_dir=/opt/modules/oozie-4.1.0-cdh5.7.0/examples/# Location on local FS where the data for the examples is stored.sample_data_dir=/opt/modules/oozie-4.1.0-cdh5.7.0/oozie-apps# Location on HDFS where the oozie examples and workflows are stored.remote_data_dir=/user/hadoop/oozie-apps/# Maximum of Oozie workflows or coodinators to retrieve in one API call.## oozie_jobs_count=100# Use Cron format for defining the frequency of a Coordinator instead of the old frequency number/unit.enable_cron_scheduling=true

(3)启动oozie

bin/oozied.sh start

3.集成hbase

(1)启动hbase的thrift应用

在hbase目录下/opt/modules/hbase-1.2.0-cdh5.7.0运行

bin/hbase thrift start

(2)修改hue配置文件desktop/conf/hue.ini

[hbase]  # Comma-separated list of HBase Thrift servers for clusters in the format of '(name|host:port)'.  # Use full hostname with security.  hbase_clusters=(Cluster|hadoop:9090)  # HBase configuration directory, where hbase-site.xml is located.  hbase_conf_dir=/opt/modules/hbase-1.2.0-cdh5.7.0/conf# Hard limit of rows or columns per row fetched before truncating.  ## truncate_limit = 500  # 'buffered' is the default of the HBase Thrift Server and supports security.  # 'framed' can be used to chunk up responses,  # which is useful when used in conjunction with the nonblocking server in Thrift.  ## thrift_transport=buffered  

(3)启动zookeeper/hmaster/hregionserver

二、测试

1.开启hdfs/yarn

2.开启zookeeper/hmaster/hregionserver

3.开启oozie

bin/oozied.sh start

4.开启hue

build/env/bin/supervisor

 

这篇关于hue(5):Hue与zookeeper、oozie、Hbase集成的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/998254

相关文章

SpringCloud集成AlloyDB的示例代码

《SpringCloud集成AlloyDB的示例代码》AlloyDB是GoogleCloud提供的一种高度可扩展、强性能的关系型数据库服务,它兼容PostgreSQL,并提供了更快的查询性能... 目录1.AlloyDBjavascript是什么?AlloyDB 的工作原理2.搭建测试环境3.代码工程1.

SpringBoot使用注解集成Redis缓存的示例代码

《SpringBoot使用注解集成Redis缓存的示例代码》:本文主要介绍在SpringBoot中使用注解集成Redis缓存的步骤,包括添加依赖、创建相关配置类、需要缓存数据的类(Tes... 目录一、创建 Caching 配置类二、创建需要缓存数据的类三、测试方法Spring Boot 熟悉后,集成一个外

Docker集成CI/CD的项目实践

《Docker集成CI/CD的项目实践》本文主要介绍了Docker集成CI/CD的项目实践,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录一、引言1.1 什么是 CI/CD?1.2 docker 在 CI/CD 中的作用二、Docke

SpringBoot集成SOL链的详细过程

《SpringBoot集成SOL链的详细过程》Solanaj是一个用于与Solana区块链交互的Java库,它为Java开发者提供了一套功能丰富的API,使得在Java环境中可以轻松构建与Solana... 目录一、什么是solanaj?二、Pom依赖三、主要类3.1 RpcClient3.2 Public

SpringBoot3集成swagger文档的使用方法

《SpringBoot3集成swagger文档的使用方法》本文介绍了Swagger的诞生背景、主要功能以及如何在SpringBoot3中集成Swagger文档,Swagger可以帮助自动生成API文档... 目录一、前言1. API 文档自动生成2. 交互式 API 测试3. API 设计和开发协作二、使用

SpringBoot如何集成Kaptcha验证码

《SpringBoot如何集成Kaptcha验证码》本文介绍了如何在Java开发中使用Kaptcha生成验证码的功能,包括在pom.xml中配置依赖、在系统公共配置类中添加配置、在控制器中添加生成验证... 目录SpringBoot集成Kaptcha验证码简介实现步骤1. 在 pom.XML 配置文件中2.

Zookeeper安装和配置说明

一、Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式。 ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境; ■ 伪集群模式:就是在一台物理机上运行多个Zookeeper 实例; ■ 集群模式:Zookeeper运行于一个集群上,适合生产环境,这个计算机集群被称为一个“集合体”(ensemble) Zookeeper通过复制来实现

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3

【区块链 + 人才服务】区块链集成开发平台 | FISCO BCOS应用案例

随着区块链技术的快速发展,越来越多的企业开始将其应用于实际业务中。然而,区块链技术的专业性使得其集成开发成为一项挑战。针对此,广东中创智慧科技有限公司基于国产开源联盟链 FISCO BCOS 推出了区块链集成开发平台。该平台基于区块链技术,提供一套全面的区块链开发工具和开发环境,支持开发者快速开发和部署区块链应用。此外,该平台还可以提供一套全面的区块链开发教程和文档,帮助开发者快速上手区块链开发。

ZooKeeper 中的 Curator 框架解析

Apache ZooKeeper 是一个为分布式应用提供一致性服务的软件。它提供了诸如配置管理、分布式同步、组服务等功能。在使用 ZooKeeper 时,Curator 是一个非常流行的客户端库,它简化了 ZooKeeper 的使用,提供了高级的抽象和丰富的工具。本文将详细介绍 Curator 框架,包括它的设计哲学、核心组件以及如何使用 Curator 来简化 ZooKeeper 的操作。 1