Elasticsearch的Index Lifecycle Management(ILM)

2024-02-06 14:36

本文主要是介绍Elasticsearch的Index Lifecycle Management(ILM),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Elasticsearch的Index Lifecycle Management(ILM)功能提供了一种自动化管理索引生命周期的方式。ILM使得用户可以基于特定的条件(如索引的年龄、大小等)来自动执行如回滚、删除等操作,进而优化存储和提高查询性能。ILM主要包括四个阶段:Hot、Warm、Cold和Delete,每个阶段都可以自定义一系列的操作。

如何使用ILM

1. 定义ILM策略

首先,你需要定义一个ILM策略,指定索引在各个阶段应该执行的操作。这可以通过Elasticsearch的REST API完成。
示例:创建一个简单的ILM策略,该策略定义了一个索引从创建开始,在30天后转移到删除阶段并被删除。

PUT _ilm/policy/my_policy
{"policy": {"phases": {"hot": {"min_age": "0ms","actions": {"rollover": {"max_size": "25GB","max_age": "7d"}}},"delete": {"min_age": "30d","actions": {"delete": {}}}}}
}

在这个策略中,我们定义了两个阶段:Hot 和 Delete。在Hot阶段,当索引大小超过25GB或年龄超过7天时,将触发rollover操作。在Delete阶段,当索引年龄达到30天时,索引将被删除。

2. 应用ILM策略到索引模板

接下来,你需要将定义好的ILM策略应用到一个或多个索引模板中。这样,所有基于这个模板创建的索引都会自动应用这个ILM策略。
示例:创建一个索引模板并应用上面定义的ILM策略。

PUT _index_template/my_template
{"index_patterns": ["logs-*"], "template": {"settings": {"number_of_shards": 1,"number_of_replicas": 1,"index.lifecycle.name": "my_policy", "index.lifecycle.rollover_alias": "logs"}}
}

3. 创建索引并指定别名

最后,创建一个匹配模板索引模式的索引,并指定一个rollover别名。这个别名是ILM中rollover操作所必需的。
示例:创建第一个滚动索引logs-000001。

PUT logs-000001
{"aliases": {"logs": {"is_write_index": true}}
}

这将创建索引logs-000001并设置logs为其写入别名。

总结

通过上述步骤,我们定义了一个ILM策略,将其应用到一个索引模板,并创建了一个符合模板条件的索引。现在,Elasticsearch会自动根据定义的ILM策略管理这些索引的生命周期。
ILM功能是强大的,可以根据具体的业务需求来定制更复杂的策略,比如在Warm或Cold阶段对索引进行压缩、更改副本数等操作,以优化存储和查询性能。

这篇关于Elasticsearch的Index Lifecycle Management(ILM)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/684619

相关文章

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

安装SQL2005后SQL Server Management Studio 没有出来的解决方案

一种情况,在安装 sqlServer2005 时 居然出现两个警告: 1 Com+ 目录要求 2 Edition change check 郁闷!网上说出现两个警告,是肯定装不成功的!我抱着侥幸的态度试了下,成功了。 安装成功后,正准备 “ 仅工具、联机丛书和示例(T)” 但是安装不了,他提示我“工作站组件”安装过了对现有组件无法更新或升级。 解决办法: 1 打开“控

ElasticSearch的DSL查询⑤(ES数据聚合、DSL语法数据聚合、RestClient数据聚合)

目录 一、数据聚合 1.1 DSL实现聚合 1.1.1 Bucket聚合  1.1.2 带条件聚合 1.1.3 Metric聚合 1.1.4 总结 2.1 RestClient实现聚合 2.1.1 Bucket聚合 2.1.2 带条件聚合 2.2.3 Metric聚合 一、数据聚合 聚合(aggregations)可以让我们极其方便的实现对数据的统计、分析、运算。例如:

IEEE会议投稿资料汇总http://cadcg2015.nwpu.edu.cn/index.htm

最近投了篇IEEE的顶级会议文章,一下是比较有用的一些资料,以供参考。 1.会议主页:http://cadcg2015.nwpu.edu.cn/index.htm     (The 14th International Conference on Computer-Aided Design and Computer Graphics (CAD/Graphics 2015)) 2.I

【docker】基于docker-compose 安装elasticsearch + kibana + ik分词器(8.10.4版本)

记录下,使用 docker-compose 安装 Elasticsearch 和 Kibana,并配置 IK 分词器,你可以按照以下步骤进行。此过程适用于 Elasticsearch 和 Kibana 8.10.4 版本。 安装 首先,在你的工作目录下创建一个 docker-compose.yml 文件,用于配置 Elasticsearch 和 Kibana 的服务。 version:

ElasticSearch底层原理简析

1.ElasticSearch简述 ElastiaSearch(以下简称ES)是一个基于Lucene的搜索服务器,它提供了一个分布式多用户能力的全文搜索引擎,支持RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。ES设计用于云计算中,能够进行实时搜索,支持PB级搜索,具有稳定,可靠,快速,安装使用方便等

INDEX+SMALL+IF+ROW函数组合使用解…

很多人在Excel中用函数公式做查询的时候,都必然会遇到的一个大问题,那就是一对多的查找/查询公式应该怎么写?大多数人都是从VLOOKUP、INDEX+MATCH中入门的,纵然你把全部的多条件查找方法都学会了而且运用娴熟,如VLOOKUP和&、SUMPRODUCT、LOOKUP(1,0/....,但仍然只能对这种一对多的查询望洋兴叹。   这里讲的INDEX+SMALL+IF+ROW的函数组合,

CTFHub技能树-Git泄漏-Index

目录 一、Git索引(Index)的基本概念 二、解题过程 主旨:使用git泄漏恢复源代码 方法一:使用GitHack手动恢复 方法二:直接使用Git_Extract获取网站源代码拿去flag   当前大量开发人员使用git进行版本控制,对站点自动部署。如果配置不当,可能会将.git文件夹直接部署到线上环境。这就引起了git泄露漏洞。请尝试使用BugScanTeam的Gi

SIGMOD-24概览Part7: Industry Session (Graph Data Management)

👇BG3: A Cost Effective and I/O Efficient Graph Database in ByteDance 🏛机构:字节 ➡️领域: Information systems → Data management systemsStorage management 📚摘要:介绍了字节新提出的ByteGraph 3.0(BG3)模型,用来处理大规模图结构数据 背景

android.database.CursorIndexOutOfBoundsException: Index 5 requested, with a size of 5

描述: 01-02 00:13:43.380: E/flyLog:ChatManager(963): getUnreadChatGroupandroid.database.CursorIndexOutOfBoundsException: Index 5 requested, with a size of 5 01-02 00:13:43.380: E/flyLog:ChatManager(