现学现用大数据分布式集群环境部署

2024-02-25 10:18

本文主要是介绍现学现用大数据分布式集群环境部署,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

导读:
       随着大数据时代的到来,传统的GIS分析工具越来越难以满足对超大体量空间数据的分析需求。SuperMap iServer 9D(本文简称iServer)实现了地理信息服务的分布式集群架构,它可以利用集群及Spark分布式计算方式,对超大体量的空间数据进行空间分析,亦可接入分布式存储。功能如此强大,您是不是迫不及待想使用?那么,如何快速搭建大数据分布式集群计算环境呢?今天小编就现场演示iServer(内置Spark)集群环境部署全过程,您可快速入手,现学现用。
一. 实验环境说明
       本文将iServer分别部署在A和B两台PC机上,使用iServer的内置Spark搭建两个计算节点的分布式集群系统。
二. 部署流程

1.配置主节点
       操作流程如下:启动SuperMap iServer-配置并启动本机Spark集群-添加报告器,报告地址为A机器的集群服务地址,并勾选“报告器是否启用”和“是否分布式分析节点”-启用分布式分析服务。此时在集群概览里可以查看到已启用的集群以及加入到集群中的节点情况。下图为本步骤的操作演示。
这里写图片描述
2.配置子节点
       操作流程如下:启动B机器的SuperMap iServer配置并启动本机Spark集群添加报告器,报告器地址为A机器集群服务地址,并勾选“报告器是否启用”和“是否分布式分析节点”。注意在配置子节点的时候不用启用分布式分析服务。下图为本步骤的操作演示。
这里写图片描述
3.查看Spark节点
       在主节点集群概览中查看集群中的子节点是否已加入集群。还可以通过访问主节点8080端口查看Spark节点是否配置成功,该页面中Workers的数量代表了已加入该集群的Spark节点数量。
这里写图片描述
4.进行分布式分析
       到现在分布式集群部署已经完成了,下面就需要进行一次分布式分析来验证环境是否部署成功。以核密度分析为例,进行大数据分析。
这里写图片描述
       到此整个SuperMap iServer大数据分布式集群环境已经部署成功,是不是很简单呢?大家快试试吧!

这篇关于现学现用大数据分布式集群环境部署的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/745167

相关文章

linux环境openssl、openssh升级流程

《linux环境openssl、openssh升级流程》该文章详细介绍了在Ubuntu22.04系统上升级OpenSSL和OpenSSH的方法,首先,升级OpenSSL的步骤包括下载最新版本、安装编译... 目录一.升级openssl1.官网下载最新版openssl2.安装编译环境3.下载后解压安装4.备份

如何使用Docker部署FTP和Nginx并通过HTTP访问FTP里的文件

《如何使用Docker部署FTP和Nginx并通过HTTP访问FTP里的文件》本文介绍了如何使用Docker部署FTP服务器和Nginx,并通过HTTP访问FTP中的文件,通过将FTP数据目录挂载到N... 目录docker部署FTP和Nginx并通过HTTP访问FTP里的文件1. 部署 FTP 服务器 (

C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)

《C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)》本文主要介绍了C#集成DeepSeek模型实现AI私有化的方法,包括搭建基础环境,如安装Ollama和下载DeepS... 目录前言搭建基础环境1、安装 Ollama2、下载 DeepSeek R1 模型客户端 ChatBo

Ubuntu 22.04 服务器安装部署(nginx+postgresql)

《Ubuntu22.04服务器安装部署(nginx+postgresql)》Ubuntu22.04LTS是迄今为止最好的Ubuntu版本之一,很多linux的应用服务器都是选择的这个版本... 目录是什么让 Ubuntu 22.04 LTS 变得安全?更新了安全包linux 内核改进一、部署环境二、安装系统

MySQL InnoDB引擎ibdata文件损坏/删除后使用frm和ibd文件恢复数据

《MySQLInnoDB引擎ibdata文件损坏/删除后使用frm和ibd文件恢复数据》mysql的ibdata文件被误删、被恶意修改,没有从库和备份数据的情况下的数据恢复,不能保证数据库所有表数据... 参考:mysql Innodb表空间卸载、迁移、装载的使用方法注意!此方法只适用于innodb_fi

mysql通过frm和ibd文件恢复表_mysql5.7根据.frm和.ibd文件恢复表结构和数据

《mysql通过frm和ibd文件恢复表_mysql5.7根据.frm和.ibd文件恢复表结构和数据》文章主要介绍了如何从.frm和.ibd文件恢复MySQLInnoDB表结构和数据,需要的朋友可以参... 目录一、恢复表结构二、恢复表数据补充方法一、恢复表结构(从 .frm 文件)方法 1:使用 mysq

mysql8.0无备份通过idb文件恢复数据的方法、idb文件修复和tablespace id不一致处理

《mysql8.0无备份通过idb文件恢复数据的方法、idb文件修复和tablespaceid不一致处理》文章描述了公司服务器断电后数据库故障的过程,作者通过查看错误日志、重新初始化数据目录、恢复备... 周末突然接到一位一年多没联系的妹妹打来电话,“刘哥,快来救救我”,我脑海瞬间冒出妙瓦底,电信火苲马扁.

golang获取prometheus数据(prometheus/client_golang包)

《golang获取prometheus数据(prometheus/client_golang包)》本文主要介绍了使用Go语言的prometheus/client_golang包来获取Prometheu... 目录1. 创建链接1.1 语法1.2 完整示例2. 简单查询2.1 语法2.2 完整示例3. 范围值

JAVA集成本地部署的DeepSeek的图文教程

《JAVA集成本地部署的DeepSeek的图文教程》本文主要介绍了JAVA集成本地部署的DeepSeek的图文教程,包含配置环境变量及下载DeepSeek-R1模型并启动,具有一定的参考价值,感兴趣的... 目录一、下载部署DeepSeek1.下载ollama2.下载DeepSeek-R1模型并启动 二、J

javaScript在表单提交时获取表单数据的示例代码

《javaScript在表单提交时获取表单数据的示例代码》本文介绍了五种在JavaScript中获取表单数据的方法:使用FormData对象、手动提取表单数据、使用querySelector获取单个字... 方法 1:使用 FormData 对象FormData 是一个方便的内置对象,用于获取表单中的键值