流数据存储之Elasticsearch添加发送器常见问题

2024-02-25 08:48

本文主要是介绍流数据存储之Elasticsearch添加发送器常见问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

作者:lly

背景

近期很多小伙伴在使用流数据对接Elasticsearch遇到了问题,今天就来分享一下在使用Elasticsearch添加发送器可能遇到的问题。
对于Elasticsearch的搭建和iServer使用基础教程,可以参考往期文章:
1.ElasticSearch集群部署
2.流数据存储之Elasticsearch

常见问题

1.Elasticsearch添加发送器各参数如何填写,如下图:

在这里插入图片描述
其中队列名即ES中的索引名即"_index",目录名为文档名即"_type"(ES从6.x开始_type不再起作用,所以写入时_type值都为_doc,低版本则为设置的目录名);这些参数如果没有提前在集群中创建,iServer会根据所填参数自动进行创建。

2.使用Elasticsearch添加发送器入库数据时,报错ES only supports latitude and longitude projection data,如下图

在这里插入图片描述
这个错误是由于ElasticSearch中存储地理坐标数据需要使用geo-point类型,换句话说目前只支持经纬度坐标系的点;出现这个问题首先去检查我们数据接收器的元数据里,要素的数据类型是否为POINT,如下图:
在这里插入图片描述
其次经纬度字段命名必须为大写的X,Y如下图:
在这里插入图片描述

3.使用Elasticsearch添加发送器入库数据时,报错Connection error (check network and/or proxy settings)- all nodes failed; tried,如下图:

在这里插入图片描述
出现这个错误一般是由于Elasticsearch配置导致无法连接上集群,可在elasticsearch.yml中增加以下配置

node.name: elasticsearch
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["elasticsearch"]
http.cors.enabled: true
http.cors.allow-origin: "*"
4.查看iServer支持的ES版本,在iServer的根目录\webapps\iserver\WEB-INF\lib下,可以查看iServer当前所用的ES包版本,ES版本最低兼容需小于此版本,查看最低兼容版本可启动集群后,访问9200端口查看集群概览,如下图:

在这里插入图片描述
在这里插入图片描述

5.相同模型写入ES单节点成功,写入ES集群失败,并且Spark抛出以下错误

在这里插入图片描述
查看ES日志报错low disk
在这里插入图片描述
这是由于磁盘空间到达85%时,es会将节点上面的索引标为只读,导致不能写入数据,可以释放空间,或者关闭阀值设置

cluster.routing.allocation.disk.threshold_enabled: false

这篇关于流数据存储之Elasticsearch添加发送器常见问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/744976

相关文章

MySQL 删除数据详解(最新整理)

《MySQL删除数据详解(最新整理)》:本文主要介绍MySQL删除数据的相关知识,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录一、前言二、mysql 中的三种删除方式1.DELETE语句✅ 基本语法: 示例:2.TRUNCATE语句✅ 基本语

Python实现对阿里云OSS对象存储的操作详解

《Python实现对阿里云OSS对象存储的操作详解》这篇文章主要为大家详细介绍了Python实现对阿里云OSS对象存储的操作相关知识,包括连接,上传,下载,列举等功能,感兴趣的小伙伴可以了解下... 目录一、直接使用代码二、详细使用1. 环境准备2. 初始化配置3. bucket配置创建4. 文件上传到os

Java中调用数据库存储过程的示例代码

《Java中调用数据库存储过程的示例代码》本文介绍Java通过JDBC调用数据库存储过程的方法,涵盖参数类型、执行步骤及数据库差异,需注意异常处理与资源管理,以优化性能并实现复杂业务逻辑,感兴趣的朋友... 目录一、存储过程概述二、Java调用存储过程的基本javascript步骤三、Java调用存储过程示

MyBatisPlus如何优化千万级数据的CRUD

《MyBatisPlus如何优化千万级数据的CRUD》最近负责的一个项目,数据库表量级破千万,每次执行CRUD都像走钢丝,稍有不慎就引起数据库报警,本文就结合这个项目的实战经验,聊聊MyBatisPl... 目录背景一、MyBATis Plus 简介二、千万级数据的挑战三、优化 CRUD 的关键策略1. 查

python实现对数据公钥加密与私钥解密

《python实现对数据公钥加密与私钥解密》这篇文章主要为大家详细介绍了如何使用python实现对数据公钥加密与私钥解密,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录公钥私钥的生成使用公钥加密使用私钥解密公钥私钥的生成这一部分,使用python生成公钥与私钥,然后保存在两个文

MySQL之InnoDB存储引擎中的索引用法及说明

《MySQL之InnoDB存储引擎中的索引用法及说明》:本文主要介绍MySQL之InnoDB存储引擎中的索引用法及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录1、背景2、准备3、正篇【1】存储用户记录的数据页【2】存储目录项记录的数据页【3】聚簇索引【4】二

mysql中的数据目录用法及说明

《mysql中的数据目录用法及说明》:本文主要介绍mysql中的数据目录用法及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、版本3、数据目录4、总结1、背景安装mysql之后,在安装目录下会有一个data目录,我们创建的数据库、创建的表、插入的

MySQL之InnoDB存储页的独立表空间解读

《MySQL之InnoDB存储页的独立表空间解读》:本文主要介绍MySQL之InnoDB存储页的独立表空间,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、独立表空间【1】表空间大小【2】区【3】组【4】段【5】区的类型【6】XDES Entry区结构【

SQLite3 在嵌入式C环境中存储音频/视频文件的最优方案

《SQLite3在嵌入式C环境中存储音频/视频文件的最优方案》本文探讨了SQLite3在嵌入式C环境中存储音视频文件的优化方案,推荐采用文件路径存储结合元数据管理,兼顾效率与资源限制,小文件可使用B... 目录SQLite3 在嵌入式C环境中存储音频/视频文件的专业方案一、存储策略选择1. 直接存储 vs

Navicat数据表的数据添加,删除及使用sql完成数据的添加过程

《Navicat数据表的数据添加,删除及使用sql完成数据的添加过程》:本文主要介绍Navicat数据表的数据添加,删除及使用sql完成数据的添加过程,具有很好的参考价值,希望对大家有所帮助,如有... 目录Navicat数据表数据添加,删除及使用sql完成数据添加选中操作的表则出现如下界面,查看左下角从左