流数据存储之Elasticsearch添加发送器常见问题

2024-02-25 08:48

本文主要是介绍流数据存储之Elasticsearch添加发送器常见问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

作者:lly

背景

近期很多小伙伴在使用流数据对接Elasticsearch遇到了问题,今天就来分享一下在使用Elasticsearch添加发送器可能遇到的问题。
对于Elasticsearch的搭建和iServer使用基础教程,可以参考往期文章:
1.ElasticSearch集群部署
2.流数据存储之Elasticsearch

常见问题

1.Elasticsearch添加发送器各参数如何填写,如下图:

在这里插入图片描述
其中队列名即ES中的索引名即"_index",目录名为文档名即"_type"(ES从6.x开始_type不再起作用,所以写入时_type值都为_doc,低版本则为设置的目录名);这些参数如果没有提前在集群中创建,iServer会根据所填参数自动进行创建。

2.使用Elasticsearch添加发送器入库数据时,报错ES only supports latitude and longitude projection data,如下图

在这里插入图片描述
这个错误是由于ElasticSearch中存储地理坐标数据需要使用geo-point类型,换句话说目前只支持经纬度坐标系的点;出现这个问题首先去检查我们数据接收器的元数据里,要素的数据类型是否为POINT,如下图:
在这里插入图片描述
其次经纬度字段命名必须为大写的X,Y如下图:
在这里插入图片描述

3.使用Elasticsearch添加发送器入库数据时,报错Connection error (check network and/or proxy settings)- all nodes failed; tried,如下图:

在这里插入图片描述
出现这个错误一般是由于Elasticsearch配置导致无法连接上集群,可在elasticsearch.yml中增加以下配置

node.name: elasticsearch
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["elasticsearch"]
http.cors.enabled: true
http.cors.allow-origin: "*"
4.查看iServer支持的ES版本,在iServer的根目录\webapps\iserver\WEB-INF\lib下,可以查看iServer当前所用的ES包版本,ES版本最低兼容需小于此版本,查看最低兼容版本可启动集群后,访问9200端口查看集群概览,如下图:

在这里插入图片描述
在这里插入图片描述

5.相同模型写入ES单节点成功,写入ES集群失败,并且Spark抛出以下错误

在这里插入图片描述
查看ES日志报错low disk
在这里插入图片描述
这是由于磁盘空间到达85%时,es会将节点上面的索引标为只读,导致不能写入数据,可以释放空间,或者关闭阀值设置

cluster.routing.allocation.disk.threshold_enabled: false

这篇关于流数据存储之Elasticsearch添加发送器常见问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/744976

相关文章

SpringBoot简单整合ElasticSearch实践

《SpringBoot简单整合ElasticSearch实践》Elasticsearch支持结构化和非结构化数据检索,通过索引创建和倒排索引文档,提高搜索效率,它基于Lucene封装,分为索引库、类型... 目录一:ElasticSearch支持对结构化和非结构化的数据进行检索二:ES的核心概念Index:

Python数据验证神器Pydantic库的使用和实践中的避坑指南

《Python数据验证神器Pydantic库的使用和实践中的避坑指南》Pydantic是一个用于数据验证和设置的库,可以显著简化API接口开发,文章通过一个实际案例,展示了Pydantic如何在生产环... 目录1️⃣ 崩溃时刻:当你的API接口又双叒崩了!2️⃣ 神兵天降:3行代码解决验证难题3️⃣ 深度

MySQL快速复制一张表的四种核心方法(包括表结构和数据)

《MySQL快速复制一张表的四种核心方法(包括表结构和数据)》本文详细介绍了四种复制MySQL表(结构+数据)的方法,并对每种方法进行了对比分析,适用于不同场景和数据量的复制需求,特别是针对超大表(1... 目录一、mysql 复制表(结构+数据)的 4 种核心方法(面试结构化回答)方法 1:CREATE

详解C++ 存储二进制数据容器的几种方法

《详解C++存储二进制数据容器的几种方法》本文主要介绍了详解C++存储二进制数据容器,包括std::vector、std::array、std::string、std::bitset和std::ve... 目录1.std::vector<uint8_t>(最常用)特点:适用场景:示例:2.std::arra

MySQL中的DELETE删除数据及注意事项

《MySQL中的DELETE删除数据及注意事项》MySQL的DELETE语句是数据库操作中不可或缺的一部分,通过合理使用索引、批量删除、避免全表删除、使用TRUNCATE、使用ORDERBY和LIMI... 目录1. 基本语法单表删除2. 高级用法使用子查询删除删除多表3. 性能优化策略使用索引批量删除避免

MySQL 数据库进阶之SQL 数据操作与子查询操作大全

《MySQL数据库进阶之SQL数据操作与子查询操作大全》本文详细介绍了SQL中的子查询、数据添加(INSERT)、数据修改(UPDATE)和数据删除(DELETE、TRUNCATE、DROP)操作... 目录一、子查询:嵌套在查询中的查询1.1 子查询的基本语法1.2 子查询的实战示例二、数据添加:INSE

Linux服务器数据盘移除并重新挂载的全过程

《Linux服务器数据盘移除并重新挂载的全过程》:本文主要介绍在Linux服务器上移除并重新挂载数据盘的整个过程,分为三大步:卸载文件系统、分离磁盘和重新挂载,每一步都有详细的步骤和注意事项,确保... 目录引言第一步:卸载文件系统第二步:分离磁盘第三步:重新挂载引言在 linux 服务器上移除并重新挂p

使用MyBatis TypeHandler实现数据加密与解密的具体方案

《使用MyBatisTypeHandler实现数据加密与解密的具体方案》在我们日常的开发工作中,经常会遇到一些敏感数据需要存储,比如用户的手机号、身份证号、银行卡号等,为了保障数据安全,我们通常会对... 目录1. 核心概念:什么是 TypeHandler?2. 实战场景3. 代码实现步骤步骤 1:定义 E

使用C#导出Excel数据并保存多种格式的完整示例

《使用C#导出Excel数据并保存多种格式的完整示例》在现代企业信息化管理中,Excel已经成为最常用的数据存储和分析工具,从员工信息表、销售数据报表到财务分析表,几乎所有部门都离不开Excel,本文... 目录引言1. 安装 Spire.XLS2. 创建工作簿和填充数据3. 保存为不同格式4. 效果展示5

Python多任务爬虫实现爬取图片和GDP数据

《Python多任务爬虫实现爬取图片和GDP数据》本文主要介绍了基于FastAPI开发Web站点的方法,包括搭建Web服务器、处理图片资源、实现多任务爬虫和数据可视化,同时,还简要介绍了Python爬... 目录一. 基于FastAPI之Web站点开发1. 基于FastAPI搭建Web服务器2. Web服务