本文主要是介绍elasticsearch index sorting 索引预排序,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
预排序概要
Elasticsearch的底层索引工具为Lucene,Lucene通过segment进行索引文件的管理存储,默认情况下,segment中文档按照自增Id排序(写入时Lucene会分配一个Id),查询时根据文档Id顺序遍历,查找所有满足条件的文档。
因此,假设我们的检索场景为基于某字段进行排序,如果底层文件可以同样按照这个字段进行排序,那是否会带来检索的一些优化呢?
答案是肯定的,在检索阶段:查找top k文档时,默认需要遍历所有文档才可以找到所有的相关文档,但当配置了索引排序后,如果检索排序与索引排序一致,则每个分片上只需要检索前k个文档即可,这样便可以提前结束查询,减少计算和性能损耗。
Elasticsearch6.X版本增加了一个新功能,即Index Sorting,允许我们在索引创建时指定一个或多个字段进行排序,使用或配置方法如下:
PUT twitter
{
"settings" : {
"index" : {
"sort.field" : "date",
"sort.order" : "desc"
}
},
"mappings": {
"properties": {
"date": {
"type": "date"
}
}
}
}
上述命令配置了twitter索引在写入时按照date的降序进行索引构建,即segment上的文档按照date降序排列。在检索时,如果考虑如下搜索query:
GET /twitter/_search
{
"size": 10,
"sort": [
{ "date": "desc" }
],
“track_total_hits”: false
}
因为底层segment已经预排序,所以每个segment只需要取出前10个文档进行比较,这样可以优化每个分片的查询时间。
预排序使用说明
索引如果包含nested字段,则不可以使用;(由于Elasticsearch底层默认nested必需依赖基于doc id的排序)
索引预排序只能在索引创建时配置,中途不可以更改或添加;
检索加速时,使用track_total_hits参数后,则无法得到总的匹配文档数;
配置了index sorting,对写入速度有一定的下降,具体可以参见引文[1]腾讯团队的详细测试;(本地测试,对某索引进行reindex操作,重索引至具有索引排序的索引,es记录的峰值写入速度约为3200/s,重索引至无索引排序的索引,es记录的峰值写入速度约为6000/s)搜索性能尚未进行大规模压测
Reference
[1]. 腾讯云Elasticsearch技术团队 Elasticsearch 6.x索引预排序分析
[2]. Elasticsearch官方文档 Elasticsearch index sorting的使用
————————————————
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
原文链接:https://blog.csdn.net/Vancl_Wang/article/details/103137909
这篇关于elasticsearch index sorting 索引预排序的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!