Presto集群安装配置

2024-02-21 19:08
文章标签 配置 集群 安装 presto

本文主要是介绍Presto集群安装配置，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

  Presto是一个运行在多台服务器上的分布式系统。 完整安装包括一个coordinator（调度节点）和多个worker。 由客户端提交查询，从Presto命令行CLI提交到coordinator。 coordinator进行解析，分析并执行查询计划，然后分发处理队列到worker

目录：

  • 环境基本要求
  • 集群规划
  • 连接器
  • 安装步骤
  • config.properties
  • node.properties
  • jvm.config
  • log.properties
  • Catalog Properties
  • 运行presto
  • 测试验证

环境基本要求

  • Linux or Mac OS X
  • Java 8, 64-bit
  • Python 2.4+

集群规划

  • hdp1 ( 192.169.1.89) : 调度节点
  • hdp2 (192.169.1.2) :   worker节点
  • hdp3 (192.169.1.99) : worker节点

连接器

  • Presto支持从以下版本的Hadoop中读取Hive数据：支持以下文件类型：Text, SequenceFile, RCFile, ORC
    1. Apache Hadoop 1.x  （hive-hadoop1）
    2. Apache Hadoop 2.x  （hive-hadoop2）
    3. Cloudera CDH 4       （hive-cdh4）
    4. Cloudera CDH 5       （hive-cdh5）
  • 此外，需要有远程的Hive元数据。 不支持本地或嵌入模式。 Presto不使用MapReduce，只需要HDFS

安装步骤

  • 下载 presto-server-0.100, ( 下载地址：https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.100/presto-server-0.100.tar.gz）
  • 将 presto-server-0.100.tar.gz 上传至linux主机，解压后的文件目录结构如下（称为安装目录）：Presto需要一个用于存储日志、本地元数据等的数据目录。 建议在安装目录的外面创建一个数据目录。这样方便Presto进行升级，如：/presto/data
  • 在安装目录中创建一个etc目录， 在这个etc目录中放入以下配置文件：
    1. config.properties ：Presto 服务配置
    2. node.properties ：环境变量配置，每个节点特定配置
    3. jvm.config ：Java虚拟机的命令行选项
    4. log.properties: 允许你根据不同的日志结构设置不同的日志级别
    5. catalog目录 ：每个连接者配置（data sources）

config.properties

  • 包含了Presto server的所有配置信息。 每个Presto server既是一个coordinator也是一个worker。 但是在大型集群中，处于性能考虑，建议单独用一台机器作为 coordinator，一个coordinator的etc/config.properties应该至少包含以下信息： 
    coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=9000
task.max-memory=1GB
discovery-server.enabled=true
discovery.uri=http://192.169.1.89:9000

    1. coordinator：指定是否运维Presto实例作为一个coordinator(接收来自客户端的查询情切管理每个查询的执行过程)

    2. node-scheduler.include-coordinator：是否允许在coordinator服务中进行调度工作, 对于大型的集群，在一个节点上的Presto server即作为coordinator又作为worke将会降低查询性能。因为如果一个服务器作为worker使用，那么大部分的资源都会被worker占用，那么就不会有足够的资源进行关键任务调度、管理和监控查询执行
    3. http-server.http.port：指定HTTP server的端口。Presto 使用 HTTP进行内部和外部的所有通讯
    4. task.max-memory=1GB：一个单独的任务使用的最大内存 (一个查询计划的某个执行部分会在一个特定的节点上执行)。 这个配置参数限制的GROUP BY语句中的Group的数目、JOIN关联中的右关联表的大小、ORDER BY语句中的行数和一个窗口函数中处理的行数。 该参数应该根据并发查询的数量和查询的复杂度进行调整。如果该参数设置的太低，很多查询将不能执行；但是如果设置的太高将会导致JVM把内存耗光
    5. discovery-server.enabled：Presto 通过Discovery 服务来找到集群中所有的节点。为了能够找到集群中所有的节点，每一个Presto实例都会在启动的时候将自己注册到discovery服务。Presto为了简化部署，并且也不想再增加一个新的服务进程，Presto coordinator 可以运行一个内嵌在coordinator 里面的Discovery 服务。这个内嵌的Discovery 服务和Presto共享HTTP server并且使用同样的端口
    6. discovery.uri：Discovery server的URI。由于启用了Presto coordinator内嵌的Discovery 服务，因此这个uri就是Presto coordinator的uri。注意：这个URI一定不能以“/“结尾
  • 注意：上例中如果是worker的config.properties，配置应该如下： 
    coordinator=false
http-server.http.port=9000
query.max-memory=1GB
discovery.uri=http://192.169.1.89:9000

  • 如果用一台机器进行测试，那么这一台机器将会即作为coordinator，也作为worker。配置文件将会如下所示：

    coordinator=true
node-scheduler.include-coordinator=true
http-server.http.port=9000
task.max-memory=1GB
discovery-server.enabled=true
discovery.uri=http://192.169.1.89:9000

     

node.properties

  • 包含针对于每个节点的特定的配置信息。 一个节点就是在一台机器上安装的Presto实例，etc/node.properties配置文件至少包含如下配置信息 
    node.environment=test
node.id=ffffffff-ffff-ffff-ffff-ffffffffff01
node.data-dir=/presto/data

  1. node.environment： 集群名称, 所有在同一个集群中的Presto节点必须拥有相同的集群名称

  2. node.id： 每个Presto节点的唯一标示。每个节点的node.id都必须是唯一的。在Presto进行重启或者升级过程中每个节点的node.id必须保持不变。如果在一个节点上安装多个Presto实例（例如：在同一台机器上安装多个Presto节点），那么每个Presto节点必须拥有唯一的node.id
  3. node.data-dir： 数据存储目录的位置（操作系统上的路径）, Presto将会把日期和数据存储在这个目录下

jvm.config

  • 包含一系列在启动JVM的时候需要使用的命令行选项。这份配置文件的格式是：一系列的选项，每行配置一个单独的选项。由于这些选项不在shell命令中使用。 因此即使将每个选项通过空格或者其他的分隔符分开，java程序也不会将这些选项分开，而是作为一个命令行选项处理,信息如下：
    复制代码 
    -server
-Xmx16G
-XX:+UseConcMarkSweepGC
-XX:+ExplicitGCInvokesConcurrent
-XX:+CMSClassUnloadingEnabled
-XX:+AggressiveOpts
-XX:+HeapDumpOnOutOfMemoryError
-XX:OnOutOfMemoryError=kill -9 %p
-XX:ReservedCodeCacheSize=150M
    复制代码

  •  

log.properties

  • 这个配置文件中允许你根据不同的日志结构设置不同的日志级别。每个logger都有一个名字（通常是使用logger的类的全标示类名）. Loggers通过名字中的“.“来表示层级和集成关系，信息如下： 
    com.facebook.presto=DEBUG
  • 配置日志等级，类似于log4j。四个等级：DEBUG,INFO,WARN,ERROR

Catalog Properties

  • 通过在etc/catalog目录下创建catalog属性文件来完成catalogs的注册。 例如：可以先创建一个etc/catalog/jmx.properties文件，文件中的内容如下，完成在jmxcatalog上挂载一个jmxconnector 
    connector.name=jmx

  • 在etc/catalog目录下创建hive.properties，信息如下：

    connector.name=hive-hadoop2
hive.metastore.uri=thrift://192.169.1.89:9083
hive.config.resources=/etc/hadoop/2.4.2.0-258/0/core-site.xml, /etc/hadoop/2.4.2.0-258/0/hdfs-site.xml
hive.allow-drop-table=true

运行presto

  • 在安装目录的bin/launcher文件，就是启动脚本。Presto可以使用如下命令作为一个后台进程启动： 
    bin/launcher start
  • 也可以在前台运行, 可查看具体的日志 
    bin/launcher run
  • 停止服务进程命令 
    bin/laucher stop
  • 查看进程： ps -aux|grep PrestoServer  或 jps

测试验证

  • 下载 presto-cli-0.100-executable.jar：Presto CLI为用户提供了一个用于查询的可交互终端窗口。CLI是一个 可执行 JAR文件, 这也就意味着你可以像UNIX终端窗口一样来使用CLI ，下载地址（https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.100/presto-cli-0.100-executable.jar）
  • 文件下载后，重名名为 presto ， 使用 chmod +x 命令设置可执行权限 
    chmod +x /presto/presto.jar
  • 在hive中查一下hive default库中的表， 结果如下图：
  • 退出hive cli，进入presto cli
  • 命令： ./presto.jar --server 192.168.1.89:9000 --catalog hive --schema default   (如果要调度，可加 --debug, 红色标识的项必须与 config.properties 配置文件中的uri 地址一致，配置的IP就用IP，机器名就用机器名)
  • 命令： show tables;    (查看 hive  defult 库中表结构），如下：
  • 或者使用下面命令：
  • ./presto.jar --server 192.168.1.89:9000 --catalog hive
  • show tables from default;
  • 命令： select * from web_log;  （查询上面创建Hive表的结果）
  • 命令： quit; 退出presto cli

这篇关于Presto集群安装配置的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/732774。

相关文章

服务器集群同步时间手记

服务器集群同步时间手记

1.时间服务器配置（必须root用户） （1）检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 （2）修改ntp配置文件 [r
阅读更多...
Zookeeper安装和配置说明

Zookeeper安装和配置说明

一、Zookeeper的搭建方式 Zookeeper安装方式有三种，单机模式和集群模式以及伪集群模式。 ■ 单机模式：Zookeeper只运行在一台服务器上，适合测试环境； ■ 伪集群模式：就是在一台物理机上运行多个Zookeeper 实例； ■ 集群模式：Zookeeper运行于一个集群上，适合生产环境，这个计算机集群被称为一个“集合体”（ensemble） Zookeeper通过复制来实现
阅读更多...
CentOS7安装配置mysql5.7 tar免安装版

CentOS7安装配置mysql5.7 tar免安装版

一、CentOS7.4系统自带mariadb # 查看系统自带的Mariadb[root@localhost~]# rpm -qa|grep mariadbmariadb-libs-5.5.44-2.el7.centos.x86_64# 卸载系统自带的Mariadb[root@localhost ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7
阅读更多...
Centos7安装Mongodb4

Centos7安装Mongodb4

1、下载源码包 curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-4.2.1.tgz 2、解压 放到 /usr/local/ 目录下 tar -zxvf mongodb-linux-x86_64-rhel70-4.2.1.tgzmv mongodb-linux-x86_64-rhel70-4.2.1/
阅读更多...
HDFS—集群扩容及缩容

HDFS—集群扩容及缩容

白名单：表示在白名单的主机IP地址可以，用来存储数据。 配置白名单步骤如下： 1）在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 （1）创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称，假如集群正常工作的节
阅读更多...
Hadoop集群数据均衡之磁盘间数据均衡

Hadoop集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性） plan后面带的节点的名字必须是已经存在的，并且是需要均衡的节点。 如果节点不存在，会报如下错误： 如果节点只有一个硬盘的话，不会创建均衡计划： （1）生成均衡计划 hdfs diskbalancer -plan hadoop102 （2）执行均衡计划 hd
阅读更多...
hadoop开启回收站配置

hadoop开启回收站配置

开启回收站功能，可以将删除的文件在不超时的情况下，恢复原数据，起到防止误删除、备份等作用。 开启回收站功能参数说明 （1）默认值fs.trash.interval = 0，0表示禁用回收站；其他值表示设置文件的存活时间。 （2）默认值fs.trash.checkpoint.interval = 0，检查回收站的间隔时间。如果该值为0，则该值设置和fs.trash.interval的参数值相等。
阅读更多...
NameNode内存生产配置

NameNode内存生产配置

Hadoop2.x 系列，配置 NameNode 内存 NameNode 内存默认 2000m ，如果服务器内存 4G ， NameNode 内存可以配置 3g 。在 hadoop-env.sh 文件中配置如下。 HADOOP_NAMENODE_OPTS=-Xmx3072m Hadoop3.x 系列，配置 Nam
阅读更多...
wolfSSL参数设置或配置项解释

wolfSSL参数设置或配置项解释

1. wolfCrypt Only 解释：wolfCrypt是一个开源的、轻量级的、可移植的加密库，支持多种加密算法和协议。选择“wolfCrypt Only”意味着系统或应用将仅使用wolfCrypt库进行加密操作，而不依赖其他加密库。 2. DTLS Support 解释：DTLS（Datagram Transport Layer Security）是一种基于UDP的安全协议，提供类似于
阅读更多...
Centos7安装JDK1.8保姆版

Centos7安装JDK1.8保姆版

工欲善其事，必先利其器。这句话同样适用于学习Java编程。在开始Java的学习旅程之前，我们必须首先配置好适合的开发环境。 通过事先准备好这些工具和配置，我们可以避免在学习过程中遇到因环境问题导致的代码异常或错误。一个稳定、高效的开发环境能够让我们更加专注于代码的学习和编写，提升学习效率，减少不必要的困扰和挫折感。因此，在学习Java之初，投入一些时间和精力来配置好开发环境是非常值得的。这将为我
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2