elasticsearch index sorting 索引预排序

2024-02-23 02:04

本文主要是介绍elasticsearch index sorting 索引预排序,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

预排序概要
  Elasticsearch的底层索引工具为Lucene,Lucene通过segment进行索引文件的管理存储,默认情况下,segment中文档按照自增Id排序(写入时Lucene会分配一个Id),查询时根据文档Id顺序遍历,查找所有满足条件的文档。

因此,假设我们的检索场景为基于某字段进行排序,如果底层文件可以同样按照这个字段进行排序,那是否会带来检索的一些优化呢?

   答案是肯定的,在检索阶段:查找top k文档时,默认需要遍历所有文档才可以找到所有的相关文档,但当配置了索引排序后,如果检索排序与索引排序一致,则每个分片上只需要检索前k个文档即可,这样便可以提前结束查询,减少计算和性能损耗。
  Elasticsearch6.X版本增加了一个新功能,即Index Sorting,允许我们在索引创建时指定一个或多个字段进行排序,使用或配置方法如下:

PUT twitter
{
    "settings" : {
        "index" : {
            "sort.field" : "date", 
            "sort.order" : "desc" 
        }
    },
    "mappings": {
        "properties": {
            "date": {
                "type": "date"
            }
        }
    }
}

上述命令配置了twitter索引在写入时按照date的降序进行索引构建,即segment上的文档按照date降序排列。在检索时,如果考虑如下搜索query:

GET /twitter/_search
{
    "size": 10,
    "sort": [
        { "date": "desc" }
    ],
    “track_total_hits”: false
}

因为底层segment已经预排序,所以每个segment只需要取出前10个文档进行比较,这样可以优化每个分片的查询时间。

预排序使用说明
索引如果包含nested字段,则不可以使用;(由于Elasticsearch底层默认nested必需依赖基于doc id的排序)
索引预排序只能在索引创建时配置,中途不可以更改或添加;
检索加速时,使用track_total_hits参数后,则无法得到总的匹配文档数;
配置了index sorting,对写入速度有一定的下降,具体可以参见引文[1]腾讯团队的详细测试;(本地测试,对某索引进行reindex操作,重索引至具有索引排序的索引,es记录的峰值写入速度约为3200/s,重索引至无索引排序的索引,es记录的峰值写入速度约为6000/s)搜索性能尚未进行大规模压测
Reference
[1]. 腾讯云Elasticsearch技术团队 Elasticsearch 6.x索引预排序分析
[2]. Elasticsearch官方文档 Elasticsearch index sorting的使用
————————————————

                            版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
                        
原文链接:https://blog.csdn.net/Vancl_Wang/article/details/103137909

这篇关于elasticsearch index sorting 索引预排序的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/737188

相关文章

Java操作ElasticSearch的实例详解

《Java操作ElasticSearch的实例详解》Elasticsearch是一个分布式的搜索和分析引擎,广泛用于全文搜索、日志分析等场景,本文将介绍如何在Java应用中使用Elastics... 目录简介环境准备1. 安装 Elasticsearch2. 添加依赖连接 Elasticsearch1. 创

Python中lambda排序的六种方法

《Python中lambda排序的六种方法》本文主要介绍了Python中使用lambda函数进行排序的六种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们... 目录1.对单个变量进行排序2. 对多个变量进行排序3. 降序排列4. 单独降序1.对单个变量进行排序

oracle数据库索引失效的问题及解决

《oracle数据库索引失效的问题及解决》本文总结了在Oracle数据库中索引失效的一些常见场景,包括使用isnull、isnotnull、!=、、、函数处理、like前置%查询以及范围索引和等值索引... 目录oracle数据库索引失效问题场景环境索引失效情况及验证结论一结论二结论三结论四结论五总结ora

关于Java内存访问重排序的研究

《关于Java内存访问重排序的研究》文章主要介绍了重排序现象及其在多线程编程中的影响,包括内存可见性问题和Java内存模型中对重排序的规则... 目录什么是重排序重排序图解重排序实验as-if-serial语义内存访问重排序与内存可见性内存访问重排序与Java内存模型重排序示意表内存屏障内存屏障示意表Int

Python中列表的高级索引技巧分享

《Python中列表的高级索引技巧分享》列表是Python中最常用的数据结构之一,它允许你存储多个元素,并且可以通过索引来访问这些元素,本文将带你深入了解Python列表的高级索引技巧,希望对... 目录1.基本索引2.切片3.负数索引切片4.步长5.多维列表6.列表解析7.切片赋值8.删除元素9.反转列表

MySQL的索引失效的原因实例及解决方案

《MySQL的索引失效的原因实例及解决方案》这篇文章主要讨论了MySQL索引失效的常见原因及其解决方案,它涵盖了数据类型不匹配、隐式转换、函数或表达式、范围查询、LIKE查询、OR条件、全表扫描、索引... 目录1. 数据类型不匹配2. 隐式转换3. 函数或表达式4. 范围查询之后的列5. like 查询6

PostgreSQL如何查询表结构和索引信息

《PostgreSQL如何查询表结构和索引信息》文章介绍了在PostgreSQL中查询表结构和索引信息的几种方法,包括使用`d`元命令、系统数据字典查询以及使用可视化工具DBeaver... 目录前言使用\d元命令查看表字段信息和索引信息通过系统数据字典查询表结构通过系统数据字典查询索引信息查询所有的表名可

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题,本文将一起从代码层去分析为什么没有建立索引? 开源ERP项目地址:https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置

【数据结构】——原来排序算法搞懂这些就行,轻松拿捏

前言:快速排序的实现最重要的是找基准值,下面让我们来了解如何实现找基准值 基准值的注释:在快排的过程中,每一次我们要取一个元素作为枢纽值,以这个数字来将序列划分为两部分。 在此我们采用三数取中法,也就是取左端、中间、右端三个数,然后进行排序,将中间数作为枢纽值。 快速排序实现主框架: //快速排序 void QuickSort(int* arr, int left, int rig