hue(5):Hue与zookeeper、oozie、Hbase集成

2024-05-24 11:18
文章标签 集成 zookeeper hbase hue oozie

本文主要是介绍hue(5):Hue与zookeeper、oozie、Hbase集成,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、配置步骤

1.和zookeeper集成,修改hue.ini

[zookeeper]  [[clusters]]  [[[default]]]  # Zookeeper ensemble. Comma separated list of Host/Port.  # e.g. localhost:2181,localhost:2182,localhost:2183  host_ports=hadoop:2181

2.和oozie集成

(1)修改oozie-site.xml(可以不做)

<property><name>oozie.processing.timezone</name><value>UTC</value>
</property>

(2)修改hue.ini

[liboozie]# The URL where the Oozie service runs on. This is required in order for# users to submit jobs. Empty value disables the config check.oozie_url=http://hadoop:11000/oozie# Requires FQDN in oozie_url if enabled## security_enabled=false# Location on HDFS where the workflows/coordinator are deployed when submitted.remote_deployement_dir=/user/hadoop/oozie-apps/[oozie]# Location on local FS where the examples are stored.local_data_dir=/opt/modules/oozie-4.1.0-cdh5.7.0/examples/# Location on local FS where the data for the examples is stored.sample_data_dir=/opt/modules/oozie-4.1.0-cdh5.7.0/oozie-apps# Location on HDFS where the oozie examples and workflows are stored.remote_data_dir=/user/hadoop/oozie-apps/# Maximum of Oozie workflows or coodinators to retrieve in one API call.## oozie_jobs_count=100# Use Cron format for defining the frequency of a Coordinator instead of the old frequency number/unit.enable_cron_scheduling=true

(3)启动oozie

bin/oozied.sh start

3.集成hbase

(1)启动hbase的thrift应用

在hbase目录下/opt/modules/hbase-1.2.0-cdh5.7.0运行

bin/hbase thrift start

(2)修改hue配置文件desktop/conf/hue.ini

[hbase]  # Comma-separated list of HBase Thrift servers for clusters in the format of '(name|host:port)'.  # Use full hostname with security.  hbase_clusters=(Cluster|hadoop:9090)  # HBase configuration directory, where hbase-site.xml is located.  hbase_conf_dir=/opt/modules/hbase-1.2.0-cdh5.7.0/conf# Hard limit of rows or columns per row fetched before truncating.  ## truncate_limit = 500  # 'buffered' is the default of the HBase Thrift Server and supports security.  # 'framed' can be used to chunk up responses,  # which is useful when used in conjunction with the nonblocking server in Thrift.  ## thrift_transport=buffered  

(3)启动zookeeper/hmaster/hregionserver

二、测试

1.开启hdfs/yarn

2.开启zookeeper/hmaster/hregionserver

3.开启oozie

bin/oozied.sh start

4.开启hue

build/env/bin/supervisor

 

这篇关于hue(5):Hue与zookeeper、oozie、Hbase集成的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/998254

相关文章

Zookeeper安装和配置说明

一、Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式。 ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境; ■ 伪集群模式:就是在一台物理机上运行多个Zookeeper 实例; ■ 集群模式:Zookeeper运行于一个集群上,适合生产环境,这个计算机集群被称为一个“集合体”(ensemble) Zookeeper通过复制来实现

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3

【区块链 + 人才服务】区块链集成开发平台 | FISCO BCOS应用案例

随着区块链技术的快速发展,越来越多的企业开始将其应用于实际业务中。然而,区块链技术的专业性使得其集成开发成为一项挑战。针对此,广东中创智慧科技有限公司基于国产开源联盟链 FISCO BCOS 推出了区块链集成开发平台。该平台基于区块链技术,提供一套全面的区块链开发工具和开发环境,支持开发者快速开发和部署区块链应用。此外,该平台还可以提供一套全面的区块链开发教程和文档,帮助开发者快速上手区块链开发。

ZooKeeper 中的 Curator 框架解析

Apache ZooKeeper 是一个为分布式应用提供一致性服务的软件。它提供了诸如配置管理、分布式同步、组服务等功能。在使用 ZooKeeper 时,Curator 是一个非常流行的客户端库,它简化了 ZooKeeper 的使用,提供了高级的抽象和丰富的工具。本文将详细介绍 Curator 框架,包括它的设计哲学、核心组件以及如何使用 Curator 来简化 ZooKeeper 的操作。 1

zookeeper相关面试题

zk的数据同步原理?zk的集群会出现脑裂的问题吗?zk的watch机制实现原理?zk是如何保证一致性的?zk的快速选举leader原理?zk的典型应用场景zk中一个客户端修改了数据之后,其他客户端能够马上获取到最新的数据吗?zk对事物的支持? 1. zk的数据同步原理? zk的数据同步过程中,通过以下三个参数来选择对应的数据同步方式 peerLastZxid:Learner服务器(Follo

【Shiro】Shiro 的学习教程(三)之 SpringBoot 集成 Shiro

目录 1、环境准备2、引入 Shiro3、实现认证、退出3.1、使用死数据实现3.2、引入数据库,添加注册功能后端代码前端代码 3.3、MD5、Salt 的认证流程 4.、实现授权4.1、基于角色授权4.2、基于资源授权 5、引入缓存5.1、EhCache 实现缓存5.2、集成 Redis 实现 Shiro 缓存 1、环境准备 新建一个 SpringBoot 工程,引入依赖:

系统架构师-ERP+集成

ERP   集成平台end:就懒得画新的页

Spring Boot集成Tess4J实现OCR

1.什么是Tess4j? Tesseract是一个开源的光学字符识别(OCR)引擎,它可以将图像中的文字转换为计算机可读的文本。支持多种语言和书面语言,并且可以在命令行中执行。它是一个流行的开源OCR工具,可以在许多不同的操作系统上运行。Tess4J是一个基于Tesseract OCR引擎的Java接口,可以用来识别图像中的文本,说白了,就是封装了它的API,让Java可以直接调用。 Tess

使用Spring Boot集成Spring Data JPA和单例模式构建库存管理系统

引言 在企业级应用开发中,数据库操作是非常重要的一环。Spring Data JPA提供了一种简化的方式来进行数据库交互,它使得开发者无需编写复杂的JPA代码就可以完成常见的CRUD操作。此外,设计模式如单例模式可以帮助我们更好地管理和控制对象的创建过程,从而提高系统的性能和可维护性。本文将展示如何结合Spring Boot、Spring Data JPA以及单例模式来构建一个基本的库存管理系统

Spring Boot集成PDFBox实现电子签章

概述 随着无纸化办公的普及,电子文档的使用越来越广泛。电子签章作为一种有效的身份验证方式,在很多场景下替代了传统的纸质文件签名。Apache PDFBox 是一个开源的Java库,可以用来渲染、生成、填写PDF文档等操作。本文将介绍如何使用Spring Boot框架结合PDFBox来实现电子签章功能。 准备工作 环境搭建:确保你的开发环境中安装了JDK 8或更高版本,并且配置好了Maven或