ES-7.12-官网阅读-ILM-自定义内置ILM策略

2024-04-02 09:20

本文主要是介绍ES-7.12-官网阅读-ILM-自定义内置ILM策略,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

官网地址:Tutorial: Customize built-in ILM policies | Elasticsearch Guide [7.12] | Elastic

教程:自定义内置ILM策略(Customize built-in ILM policies)

Elasticsearch包含如下内建ILM 策略:

  • logs(日志)
  • metrics(指标)
  • syntheticc(合成材料?)

Elasctic Agent 用这些策略管理其数据流的支持索引(backing indices),这个教程告诉你如何使用kibana的Index Lifecycle Policies 来基于你应用的性能和弹性,以及保存需求来自定义这些策略;

场景(Scenario)

你想要发送日志文件到Elasticsearch集群目的是能够可视化和分析数据,这些数据有如下保留需求:

  • 当你的写入index 达到50GB或者保留了30天,滚动创建(rollover)一个新的索引
  • rollover 以后,将索引在热数据层(hot data tier)保留30天;
  • rollover 30天后
    • 移动index到热数据层(warm data tier)
    • 设置副本为1;
    • Force merge 多个索引段(segment)以释放已删除文档所使用的空间。
  • 滚动90天后删除索引;

先决条件(Prerequisites)

为完成这个教程,你将需要

  • 一个有hot和warm数据层的Elasticsearch 集群
    • Elasticsearch Service:Elasticsearch Service 上的 Elastic Stack 部署(deployment)默认包含热层,要添加warm层,请编辑您的部署(deployment)并单击添加warm层的容量
    • 自建集群(Self-managed cluster):将data_hot 和data_warm 角色分配给节点,如数据层中(Data tiers | Elasticsearch Guide [7.12] | Elastic)所述;

举例,在warm tier(warm 层)中每个节点的elasticsearch.yml文件中 包含 data_warm节点 角色

node.roles: [ data_warm ]

  • 安装了 Elastic Agent 并配置为将日志发送到 Elasticsearch 集群的主机

查看策略(View the policy)

Elastic Agent使用索引模式为logs-*-*的数据流来存储日志监控数据。内置logs  ILM 策略自动管理这些数据流的支持索引。

在kibana中访问 logs policy:

  1. 打开菜单,并去到Stack Management > Index Lifecycle Policies.;
  2. 选择logs policy;

log policy 使用建议的滚动默认值:当当前写入索引达到 50GB 或变为 30 天时开始写入新索引。

查看或更改rollover设置,点击Hot 阶段的Advanced settings,然后禁用使用推荐的默认值(Use recommended defaults);

修改策略(Modify the policy)

默认logs policy 旨在防止创建许多微小的每日索引。您可以修改策略以满足您的性能要求并管理资源使用情况。

  1. 激活热阶段并单击Advanced settings.
    1. 设置Move data into phase when  30 days old。这会将index完成rollover以后保留30天后移入到warm 层
    2. 启用Set replicas 并且改变Number of replicas 为1
    3. 启用Force merge data 并设置Number of segments为1
  2. 在warm 阶段,单击垃圾桶图标以启用删除阶段。

在delete 阶段,设置Move data into phase when to 90 days old. 这会在rollover 90天后删除index;

3.  单击 Save Policy.

这篇关于ES-7.12-官网阅读-ILM-自定义内置ILM策略的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/869588

相关文章

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来,一站式有声阅读平台听书系统 🌟&nbsp;开篇:遇见未来,从“智听”开始 在这个快节奏的时代,你是否渴望在忙碌的间隙,找到一片属于自己的宁静角落?是否梦想着能随时随地,沉浸在知识的海洋,或是故事的奇幻世界里?今天,就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统,它正悄悄改变着我们的阅读方式,让未来触手可及! 📚&nbsp;第一站:海量资源,应有尽有 走进“智听

在JS中的设计模式的单例模式、策略模式、代理模式、原型模式浅讲

1. 单例模式(Singleton Pattern) 确保一个类只有一个实例,并提供一个全局访问点。 示例代码: class Singleton {constructor() {if (Singleton.instance) {return Singleton.instance;}Singleton.instance = this;this.data = [];}addData(value)

自定义类型:结构体(续)

目录 一. 结构体的内存对齐 1.1 为什么存在内存对齐? 1.2 修改默认对齐数 二. 结构体传参 三. 结构体实现位段 一. 结构体的内存对齐 在前面的文章里我们已经讲过一部分的内存对齐的知识,并举出了两个例子,我们再举出两个例子继续说明: struct S3{double a;int b;char c;};int mian(){printf("%zd\n",s

论文阅读笔记: Segment Anything

文章目录 Segment Anything摘要引言任务模型数据引擎数据集负责任的人工智能 Segment Anything Model图像编码器提示编码器mask解码器解决歧义损失和训练 Segment Anything 论文地址: https://arxiv.org/abs/2304.02643 代码地址:https://github.com/facebookresear

Spring 源码解读:自定义实现Bean定义的注册与解析

引言 在Spring框架中,Bean的注册与解析是整个依赖注入流程的核心步骤。通过Bean定义,Spring容器知道如何创建、配置和管理每个Bean实例。本篇文章将通过实现一个简化版的Bean定义注册与解析机制,帮助你理解Spring框架背后的设计逻辑。我们还将对比Spring中的BeanDefinition和BeanDefinitionRegistry,以全面掌握Bean注册和解析的核心原理。

Oracle type (自定义类型的使用)

oracle - type   type定义: oracle中自定义数据类型 oracle中有基本的数据类型,如number,varchar2,date,numeric,float....但有时候我们需要特殊的格式, 如将name定义为(firstname,lastname)的形式,我们想把这个作为一个表的一列看待,这时候就要我们自己定义一个数据类型 格式 :create or repla

软件架构模式:5 分钟阅读

原文: https://orkhanscience.medium.com/software-architecture-patterns-5-mins-read-e9e3c8eb47d2 软件架构模式:5 分钟阅读 当有人潜入软件工程世界时,有一天他需要学习软件架构模式的基础知识。当我刚接触编码时,我不知道从哪里获得简要介绍现有架构模式的资源,这样它就不会太详细和混乱,而是非常抽象和易

HTML5自定义属性对象Dataset

原文转自HTML5自定义属性对象Dataset简介 一、html5 自定义属性介绍 之前翻译的“你必须知道的28个HTML5特征、窍门和技术”一文中对于HTML5中自定义合法属性data-已经做过些介绍,就是在HTML5中我们可以使用data-前缀设置我们需要的自定义属性,来进行一些数据的存放,例如我们要在一个文字按钮上存放相对应的id: <a href="javascript:" d

一步一步将PlantUML类图导出为自定义格式的XMI文件

一步一步将PlantUML类图导出为自定义格式的XMI文件 说明: 首次发表日期:2024-09-08PlantUML官网: https://plantuml.com/zh/PlantUML命令行文档: https://plantuml.com/zh/command-line#6a26f548831e6a8cPlantUML XMI文档: https://plantuml.com/zh/xmi