Elasticsearch生命周期管理那些事儿-overview

2024-06-17 03:48

本文主要是介绍Elasticsearch生命周期管理那些事儿-overview,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

背景

ES原厂于7.4版本正式官宣支持ILM(Index lifecycle management,生命周期管理特性,x-pack免费特性),源码于7.0版本已经production-ready。(其实从6.6版本开始,声明周期管理已经作为beta特性开始合入源码)

声明周期管理特性可谓是姗姗来迟,随着ES从2.x被广泛应用,越来越多的骨灰级玩家只能在各自的业务平台上封装生命周期管理这一层。直到7.x,人们才看到官方对于生命周期管理的内置支持,真是等的有点漫长了。。

ES的声明周期管理特性大致有两种应用方式:

  1. 通过ES本身提供的API设置一定的policy来管理数据声明周期,可以管理ES集群数据以及备份数据(snapshot)
  2. 在kibana内简单配置,就可以管理以前我们不得不设置cronjob去删除index的工作
整体介绍

通过ES的ILM特性,使用者可以设置policy,这个policy可以应用到某个index活某些indices,从而自动的管理数据的保留周期,其触发actions有:

Rollover - 当现存的index达到一定的大小、文档数或者周期后,可以重定向这个index的alias到新的index中去写入
Shrink - 设置一定的规则来缩小一个index的主分片数目
Force merge - 按规则自动的触发index的segment合并,删除标记文档以及优化索引大小
Freeze - 按规则将一个index置为read-only或者降低内存使用
Delete - 按规则永久的remove掉一个index,包括它的数据以及元数据信息

通常,使用者可以将一个ILM policy与一个index template关联起来,这样这个policy就可以自动的应用到所有新建的indices上;也可以将某个policy手工应用到特定的index。

ILM特性大大简化了ES数据在hot-warm-cold架构下时序数据的常见管理工作:例如logs以及metrecs。

在一个index的生命周期中,它可能要经过这样4个阶段:

Hot - index频繁的被更新(update)或者访问(queried)
Warm - index已经不被更新,但是仍然被经常访问(queried)
Cold - index已经不被更新并且很少被访问;但是数据仍然有可能被用于搜索,并且可以容忍一定的延时
Delete - index按某些管理规约已经不再被访问,完全可以安全删除

例如,如果要将ATM机群中的metrics度量数据导入到ES中去,你可以定义这样一个policy:

当index文档数据达到50GB的时候(可能使用SSD写入),利用alias rollover到一个新的index中去
将这个老的index move到warm阶段(可能保存在SAS盘),标记为只读数据,shrink成只有1个主分片的index
7天之后,move这个index到cold阶段,保存到廉价硬件存储(可能是SATA盘)中去
30天之后,将这个index永久删除

注意:使用ILM特性的时候,ES集群中的的nodes最好都是同一个内核版本,虽然ILM支持mixed-version cluster,但可能无法保证某个特性按照预想的行为执行:例如,某个高版本node支持的action在某个低版本node上无法支持,从而爆errors。

这篇关于Elasticsearch生命周期管理那些事儿-overview的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1068401

相关文章

分辨率三兄弟LPI、DPI 和 PPI有什么区别? 搞清分辨率的那些事儿

《分辨率三兄弟LPI、DPI和PPI有什么区别?搞清分辨率的那些事儿》分辨率这个东西,真的是让人又爱又恨,为了搞清楚它,我可是翻阅了不少资料,最后发现“小7的背包”的解释最让我茅塞顿开,于是,我... 在谈到分辨率时,我们经常会遇到三个相似的缩写:PPI、DPI 和 LPI。虽然它们看起来差不多,但实际应用

nvm如何切换与管理node版本

《nvm如何切换与管理node版本》:本文主要介绍nvm如何切换与管理node版本问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录nvm切换与管理node版本nvm安装nvm常用命令总结nvm切换与管理node版本nvm适用于多项目同时开发,然后项目适配no

Redis实现RBAC权限管理

《Redis实现RBAC权限管理》本文主要介绍了Redis实现RBAC权限管理,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录1. 什么是 RBAC?2. 为什么使用 Redis 实现 RBAC?3. 设计 RBAC 数据结构

mac安装nvm(node.js)多版本管理实践步骤

《mac安装nvm(node.js)多版本管理实践步骤》:本文主要介绍mac安装nvm(node.js)多版本管理的相关资料,NVM是一个用于管理多个Node.js版本的命令行工具,它允许开发者在... 目录NVM功能简介MAC安装实践一、下载nvm二、安装nvm三、安装node.js总结NVM功能简介N

ElasticSearch+Kibana通过Docker部署到Linux服务器中操作方法

《ElasticSearch+Kibana通过Docker部署到Linux服务器中操作方法》本文介绍了Elasticsearch的基本概念,包括文档和字段、索引和映射,还详细描述了如何通过Docker... 目录1、ElasticSearch概念2、ElasticSearch、Kibana和IK分词器部署

SpringBoot中使用 ThreadLocal 进行多线程上下文管理及注意事项小结

《SpringBoot中使用ThreadLocal进行多线程上下文管理及注意事项小结》本文详细介绍了ThreadLocal的原理、使用场景和示例代码,并在SpringBoot中使用ThreadLo... 目录前言技术积累1.什么是 ThreadLocal2. ThreadLocal 的原理2.1 线程隔离2

Java实现Elasticsearch查询当前索引全部数据的完整代码

《Java实现Elasticsearch查询当前索引全部数据的完整代码》:本文主要介绍如何在Java中实现查询Elasticsearch索引中指定条件下的全部数据,通过设置滚动查询参数(scrol... 目录需求背景通常情况Java 实现查询 Elasticsearch 全部数据写在最后需求背景通常情况下

Linux内存泄露的原因排查和解决方案(内存管理方法)

《Linux内存泄露的原因排查和解决方案(内存管理方法)》文章主要介绍了运维团队在Linux处理LB服务内存暴涨、内存报警问题的过程,从发现问题、排查原因到制定解决方案,并从中学习了Linux内存管理... 目录一、问题二、排查过程三、解决方案四、内存管理方法1)linux内存寻址2)Linux分页机制3)

关于Maven生命周期相关命令演示

《关于Maven生命周期相关命令演示》Maven的生命周期分为Clean、Default和Site三个主要阶段,每个阶段包含多个关键步骤,如清理、编译、测试、打包等,通过执行相应的Maven命令,可以... 目录1. Maven 生命周期概述1.1 Clean Lifecycle1.2 Default Li

Java操作ElasticSearch的实例详解

《Java操作ElasticSearch的实例详解》Elasticsearch是一个分布式的搜索和分析引擎,广泛用于全文搜索、日志分析等场景,本文将介绍如何在Java应用中使用Elastics... 目录简介环境准备1. 安装 Elasticsearch2. 添加依赖连接 Elasticsearch1. 创