SuperMap GIS大数据分析调优行动指南

SuperMap GIS大数据分析调优行动指南

一、大数据分析调优目的

    项目数据量达到千万，如果需要进行千万级与千万级数据一起分析时，很多客户会考虑选择SuperMap GIS基础软件（下文简称GIS软件）大数据模块。大数据模块环境配置较其它产品相对复杂，Spark等环境需要在Linux通过命令行来设置，对项目实施来说可能会有一定门槛。
    从多年大数据分析项目经验总结出一套调优参考办法，可供参考。

二、调优思路

    大数据分析调优主要主要有三种思路：Spark集群调优、数据调优、 GIS软件调优，如下图：

2.1 Spark环境调优

    Spark参数优化主要集中在spark-defaults.conf文件中，本文从以下四个方面进行调优参数介绍：

• 内存调优：在spark-defaults.conf文件进行修改

• 并行度调优：在spark-defaults.conf文件进行修改

• 磁盘IO调优：在spark-defaults.conf文件进行修改

• 网络IO调优：在spark-defaults.conf文件进行修改

  具体参数介绍及推荐值如下表所示，在您修改参数后，请重启Spark确保参数修改生效：

官方配置项（3.3.0版本）说明
http://spark.incubator.apache.org/docs/3.3.0/configuration.html

2.2 数据调优

2.2.1 如何选择合适的存储数据库

    适合大数据存储和分析的数据库类型，因业务场景不同而有所不同，如下为SuperMap GIS产品中适合大数据存储分析的数据库类型、介绍及优缺点简要说明：

    综上所述，根据具体的应用场景和需求，可以选择不同的数据库，以下为各个场景的推荐库：

2.2.2 数据库调优

HDFS

HDFS调优，主要修改Hadoop/etc/hadoop/hdfs-site.xml文件：

• 增加数据块大小：可以通过增加HDFS数据块大小来提高读取性能。在hdfs-site.xml配置文件中，可以设置dfs.blocksize参数，默认为128MB。
• 增加副本数：可以通过增加HDFS数据块的副本数来提高读取性能和数据可靠性。在hdfs-site.xml配置文件中，可以设置dfs.replication参数，默认为3。
• 启用压缩：可以通过启用数据压缩来减少磁盘空间占用和网络传输开销。在hdfs-site.xml配置文件中，可以设置io.compression.codecs参数，选择需要的压缩算法，如org.apache.hadoop.io.compress.GzipCodec。

PostGIS

PostGIS调优，主要修改PostgreSQL/data/postgresql.conf：

• 增加缓存：可以通过增加缓存大小来提高读取性能。可以通过postgresql.conf配置文件中的shared_buffers参数来设置缓存大小，默认为128MB，通常建议设置为系统内存的1/4到1/3。
• 调整查询计划：可以通过调整查询计划来提高查询性能。可以通过postgresql.conf配置文件中的effective_cache_size(通常建议将其设置为系统内存的一半)、work_mem(建议设置为shared_buffers的1/16到1/8之间)等参数来调整查询计划。
• 启用字段索引：可以通过启用索引来提高查询性能。可以通过CREATE INDEX命令或pgAdmin等工具来创建索引，如：

CREATE INDEX idx_name ON table_name (column_name) WHERE column_name > 0;

• 空间索引：可以通过调整PostGIS的索引来提高查询性能。可以通过CREATE INDEX命令或pgAdmin等工具来创建索引，如：

CREATE INDEX mytable_gist_idx ON mytable USING gist (geom); 

• 使用空间聚合：如ST_Union、ST_Collect和ST_ConvexHull等，可以将多个几何对象合并成一个对象。使用空间聚合可以减少查询的数据量，从而提高查询性能。

2.2.3 数据优化

    除数据库配置优化外，对于具体的数据和数据量，本文主要推荐2种做法：

• 保证精度前提下，减少参与计算和分析的数据量

          ○常用办法：抽稀或者用数据库函数等操作去简化数据

• 数据量不可变情况下，为数据创建索引

          ○常用办法：参考2.2.2数据库调优及2.3SuperMap GIS产品调优部分

2.3 SuperMap GIS产品调优

2.3.1 SuperMap GIS引擎调优

    GIS软件中，针对不同数据库使用的连接引擎有所不同，不同连接引擎支持数据库不同、优势存在差异，具体情况如下：

JDBC

• 引擎对应的连接数据库有：PostGIS、OracleSpatial
• 引擎介绍:Java数据库连接的缩写，是Java语言中用于连接和操作关系型数据库的API。JDBC提供了一个标准的接口，使得Java程序可以连接到不同的关系型数据库，并执行SQL查询和更新操作。JDBC可以在Java应用程序和数据库之间建立一条连接，并提供了一系列的接口和方法，用于执行SQL语句、处理结果集、管理事务等操作
• 优点：可在集群模式下可以实现分布式读写，极大提升性能
• 缺点：JDBC方式目前只支持读取PostGIS和OracleSpatial中的空间数据
• 调优方式：参考2.2.2数据库调优部分

DSF

• 引擎对应的连接数据库有：Hadoop HDFS
• 引擎介绍：分布式空间文件引擎（Distributed Spatial File，以下简称DSF），能够管理矢量、栅格和影像数据，兼备大体量空间数据的高性能分布式存取、空间查询、统计、分布式分析、空间可视化及数据管理能力
• 优点：DSF更加适合全量空间数据的高性能分布式计算，能够进一步强化海量经典空间数据的分布式存储和管理能力，显著提高大数据量的计算性能
• 缺点：数据需要提前建立地理分区索引，比直接从矢量数据读取分析会多一步操作。
• 调优方式:构建合适的索引
            格网索引：数据分布比较均匀时使用该索引，需要设置一个合适的行列号，行列数目的设置依据每个格网内对象数据，形成的格网中对象数目控制在一定程度，比如面对象10w以内，点50w以内
            四叉树索引：数据分布不均匀，呈现明显的聚集特点时使用该索引。地理分区要素数据集中每个分区对象数目最大值处理原则一般是，将数据集以 DSF
  方式存储，每个 DSF 文件大小不超过 Hadoop 块文件大小（默认情形下，Hadoop 块大小是
  256M）。例如点类型的要素数据集为50w对象，国土地类图斑数据为5w对象等

SDX

• 引擎对应的连接数据库有：达梦、瀚高、禹贡、人大金仓、Oracle 、PostGIS等
• 引擎介绍：SDX是SuperMap的空间引擎技术，它提供了一种通用的访问机制（或模式）来访问存储在不同引擎里的数据。这些引擎类型有数据库引擎、文件引擎和Web 引擎
• 优点：SDX面支持目前的主流商用关系数据库平台，提供了R树索引、四叉树索引、动态索引（多级格网索引）和图幅索引（三级索引），充分发挥每一种索引的优势，提高了数据访问和查询效率
• 缺点：由于SDX读写都是整库取到内存中，分布式读写效率不高
• 调优方式：通过桌面端提前对数据创建合适的空间索引与字段索引

2.3.2 JDBC、DSF、SDX该如何选择

三、可能遇到的问题及解决办法

问题一：Spark运行过程中报错java.Lang.UnsatisfiedinkError:supermap.data.EnvironmentNative.jni GetBasePath()Ljava/lang/String;

解决方案：这是由于没能读取到JAVA组件，需要检查JAVA组件是否已安装、安装后在系统中配置是否正确、是否缺少依赖；待组件配置正常后，再重新提交任务即可。

四、更便捷的大数据分析方式

    使用SuperMap GIS产品时，您可通过多种方式使用大数据分析。在此，推荐您使用SuperMap GIS中GPA模块（SuperMap iDesktopX与SuperMap iServer中均有提供）

• GPA提供100+算子，支持扩展自定义工具，开发人员无需编写复杂代码，便可以通过可视化建模简单快捷的搭建自己的业务流程，实现空间数据处理与分析过程的自动化；
• 对于Spark调优参数支持UI界面直接修改，无需重复修改Spark配置文件；
• 已有业务模型，支持导出与导入，可以方便快捷地共享复用，极大降低大数据分析的使用门槛。