hadoop生态系统软件版本匹配

2024-06-22 12:58

本文主要是介绍hadoop生态系统软件版本匹配,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

hadoop生态系统软件版本匹配

在开始搭建hadoop集群之前,先整体考虑下我们需要安装的软件的版本是否兼容,否则后续兼容问题难以解决。

1、hadoop对Java 版本兼容性
待续

2、Hbase对Java hadoop版本兼容性
hbase-java

hbase-hadoop

3、Hive对Java hadoop hbase 版本兼容性

hive-java:
Note: Hive versions 1.2 onward require Java 1.7 or newer. Hive versions 0.14 to 1.1 work with Java 1.6 as well. Users are strongly advised to start moving to Java 1.8 (see HIVE-8607).
Hadoop 2.x (preferred), 1.x (not supported by Hive 2.0.0 onward).

hive-hadoop:
18 November 2017 : release 2.3.2 available ,works with Hadoop 2.x.y
24 October 2017 : release 2.3.1 available ,works with Hadoop 2.x.y
25 July 2017 : release 2.2.0 available, works with Hadoop 2.x.y
17 July 2017 : release 2.3.0 available, works with Hadoop 2.x.y
07 April 2017 : release 1.2.2 available, works with Hadoop 1.x.y, 2.x.y
8 December 2016 : release 2.1.1 available, works with Hadoop 2.x.y
20 June 2016 : release 2.1.0 available, works with Hadoop 2.x.y
25 May 2016 : release 2.0.1 available, works with Hadoop 2.x.y
15 February 2016 : release 2.0.0 available,works with Hadoop 2.x.y
27 June 2015 : release 1.2.1 available,works with Hadoop 1.x.y, 2.x.y
18 May 2015 : release 1.2.0 available,works with Hadoop 1.x.y, 2.x.y
8 March 2015: release 1.1.0 available,works with Hadoop 1.x.y, 2.x.y
4 February 2015: release 1.0.0 available, works with Hadoop 1.x.y, 2.x.y
12 November, 2014: release 0.14.0 available,works with Hadoop 1.x.y, 2.x.y
6 June, 2014: release 0.13.1 available,works with Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y
21 April, 2014: release 0.13.0 available,works with Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y
15 October, 2013: release 0.12.0 available,works with Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y
15 May, 2013: release 0.11.0 available,works with Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y
11 January, 2013: release 0.10.0 available,works with Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y

hive-hbase:
hive-hbase

这篇关于hadoop生态系统软件版本匹配的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1084360

相关文章

IDEA如何切换数据库版本mysql5或mysql8

《IDEA如何切换数据库版本mysql5或mysql8》本文介绍了如何将IntelliJIDEA从MySQL5切换到MySQL8的详细步骤,包括下载MySQL8、安装、配置、停止旧服务、启动新服务以及... 目录问题描述解决方案第一步第二步第三步第四步第五步总结问题描述最近想开发一个新应用,想使用mysq

java脚本使用不同版本jdk的说明介绍

《java脚本使用不同版本jdk的说明介绍》本文介绍了在Java中执行JavaScript脚本的几种方式,包括使用ScriptEngine、Nashorn和GraalVM,ScriptEngine适用... 目录Java脚本使用不同版本jdk的说明1.使用ScriptEngine执行javascript2.

Debian如何查看系统版本? 7种轻松查看Debian版本信息的实用方法

《Debian如何查看系统版本?7种轻松查看Debian版本信息的实用方法》Debian是一个广泛使用的Linux发行版,用户有时需要查看其版本信息以进行系统管理、故障排除或兼容性检查,在Debia... 作为最受欢迎的 linux 发行版之一,Debian 的版本信息在日常使用和系统维护中起着至关重要的作

你的华为手机升级了吗? 鸿蒙NEXT多连推5.0.123版本变化颇多

《你的华为手机升级了吗?鸿蒙NEXT多连推5.0.123版本变化颇多》现在的手机系统更新可不仅仅是修修补补那么简单了,华为手机的鸿蒙系统最近可是动作频频,给用户们带来了不少惊喜... 为了让用户的使用体验变得很好,华为手机不仅发布了一系列给力的新机,还在操作系统方面进行了疯狂的发力。尤其是近期,不仅鸿蒙O

什么是 Ubuntu LTS?Ubuntu LTS和普通版本区别对比

《什么是UbuntuLTS?UbuntuLTS和普通版本区别对比》UbuntuLTS是Ubuntu操作系统的一个特殊版本,旨在提供更长时间的支持和稳定性,与常规的Ubuntu版本相比,LTS版... 如果你正打算安装 Ubuntu 系统,可能会被「LTS 版本」和「普通版本」给搞得一头雾水吧?尤其是对于刚入

windows端python版本管理工具pyenv-win安装使用

《windows端python版本管理工具pyenv-win安装使用》:本文主要介绍如何通过git方式下载和配置pyenv-win,包括下载、克隆仓库、配置环境变量等步骤,同时还详细介绍了如何使用... 目录pyenv-win 下载配置环境变量使用 pyenv-win 管理 python 版本一、安装 和

Hadoop企业开发案例调优场景

需求 (1)需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 (2)需求分析: 1G / 128m = 8个MapTask;1个ReduceTask;1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务(4    3    3) HDFS参数调优 (1)修改:hadoop-env.sh export HDFS_NAMENOD

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

hadoop开启回收站配置

开启回收站功能,可以将删除的文件在不超时的情况下,恢复原数据,起到防止误删除、备份等作用。 开启回收站功能参数说明 (1)默认值fs.trash.interval = 0,0表示禁用回收站;其他值表示设置文件的存活时间。 (2)默认值fs.trash.checkpoint.interval = 0,检查回收站的间隔时间。如果该值为0,则该值设置和fs.trash.interval的参数值相等。

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数