Java实现Elasticsearch查询当前索引全部数据的完整代码

2025-02-07 04:50
文章标签 java elasticsearch 索引 查询 代码 完整 当前 全部 数据 实现

本文主要是介绍Java实现Elasticsearch查询当前索引全部数据的完整代码，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

《Java实现Elasticsearch查询当前索引全部数据的完整代码》：本文主要介绍如何在Java中实现查询Elasticsearch索引中指定条件下的全部数据,通过设置滚动查询参数（scrol...

需求背景

通常情况下，Elasticsearch 为了提高查询效率，对于不指定分页查询条数的查询语句，默认会返回10条数据。那么这就会有一种情况，当你需要一次性返回 Elasticsearch 索引中的全部数据时，就无法实现了。这个时候你可能会考虑，比如我将每页取值的size 设置的很大，这样或许可以解决问题，但是数据量的上升你是无法控制的，最终会有一天数据量会超过你此时设置的最大 size，那么这就是一个雷点。并且如果一次查询很大量数据的话，即便是 Elasticsearch 查询效率高的索引结构可能也会导致查询时长较长，甚至响应超时。那么是否有一种查询效率高，且相对灵活的方式可以查询 Elasticsearch 的索引中全部数据呢？答案是：有的。

通常情况

下面来看一下在不设置 size 大小的情况下，执行 Elasticsearch 查询语句默认返回几条数据，结果是默认返回 10条。执行如下查询命令

GET crm_meiqia_conversation/_search

返回结果如图，这时我们看到返回了 10 条数据

Java实现Elasticsearch查询当前索引全部数据的完整代码

此时如果你需要查询更多数据的话，你就可以通过指定 size 大小来查询更多数据，比如执行如下命令

GET crm_meiqia_conversation/_search
{
  "size":20
}

执行查询语句后返回的结果如图所示，索引查询会返回你指定 size 大小的数据

Java实现Elasticsearch查询当前索引全部数据的完整代码

很明显，在一些特殊的场景下，想要一次性查询指定条件下的所有数据改如何操作呢，下面就来基于 Java 实现查询指定条件下的所有数据操作。

Java 实现查询 Elasticsearch 全部数据

在具体讲解如何通过 Java 实现查询 Elasticsearch 全部数据之前，我们可以先来看一下我已经实现之后的查询效果。这里你可以看到滚动州已经变得很小，这就是因为我查询出了指定条件下的全部数据导致的，而不是默认的 10 条数据

Java实现Elasticsearch查询当前索引全部数据的完整代码

而如果没有实现查询指定索引指定条件下的全部数据时，看到的效果应该是这样的，默认只能一次性查询 10 条数据返回

Java实现Elasticsearch查询当前索引全部数据的完整代码

下面再来讲一下如何通过 Java 实现 查询 es 全部数据，我们由浅入深来讲解，首先来看一下默认查询 es 10条数据的代码，Java 通过如下 SearchRequestBuilder searchRequest = client.prepareSearch(indexProperties.getMeiqiaConversationIndex()).setTypes(indexProperties.getMeiqiaConversationType()).setQuery(query); 构造查询 es 索引代码，这种情况没有设置 size 大小，默认的话就是查询指定索引下 10条数据，完整代码如下：

public AJAXResult getMeiqiaUidList(MeiqiaConversation meiqiaConversation) {
        BoolQueryBuilder query = QueryBuilders.boolQuery();
        BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
        //会话id
        Long convId = meiqiaConversation.getConvId();
        if (convId != null) {
            boolQuery.filter(QueryBuilders.termQuery("convId",convId));
        }
        //会话日期
        String convStartDate = (String) meiqiaConversation.getParams().get("convStartDate");
        String convEndDate = (String) meiqiaConversation.getParams().get("convEndDate");
        if (StringUtils.isNotEmpty(convStartDate)) {
            Date date = DateUtils.stringToDate(convStartDate, DateUtils.SDF_YMDHMS);
            boolQuery.filter(QueryBuilders.rangeQuery("convStartDate").gte(date.getTime()));
        }
        if (StringUtil.isNotEmptyString(convEndDate)) {
            Date date = DateUtils.stringToDate(convEndDate, DateUtils.SDF_YMDHMS);
            boolQuery.filter(QueryBuilders.rangeQuery("convEndDate").lte(date.getTime()));
        }
        //会话日期
        Date convStartDate2 = meiqiaConversation.getConvStartDate();
        Date convEndDate2 = meiqiaConversation.getConvEndDate();
        if (Objects.nonNull(convStartDate2)) {
            boolQuery.filter(QueryBuilders.rangeQuery("convStartDate").gte(convStartDate2.getTime()));
        }
        if (Objects.nonNull(convEndDate2)) {
            boolQuery.filter(QueryBuilders.rangeQuery("convEndDate").lte(convEndDate2.getTime()));
        }
        //学号
        String uid = (String) meiqiaConversation.getParams().get("uid");
        if (StringUtils.isNotEmpty(uid)) {
            if (uid.contains("#")) {
                String replace = uid.replace("#", "");
                boolQuery.filter(QueryBuilders.termQuery("clientInfo.name",replace));
            }else {
                boolQuery.filter(QueryBuilders.termQuery("clientInfo.uid",uid));
            }
        }
        //客服工号
        String agentId = (String) meiqiaConversation.getParams().get("agentId");
        if (StringUtils.isNotEmpty(agentId)) {
            boolQuery.filter(QueryBuilders.termQuery("agentId",agentId));
        }
        // 会话内容
        String content = (String) meiqiaConversation.getParams().get("content");
        if (StringUtils.isNotEmpty(content)) {
            boolQuery.filter(QueryBuilders.matchPhrasePrefixQuery("convContent.content",content));
        }

        query.must(boolQuery);

        // 初始化搜索请求构建器，用于构造搜索请求
        SearchRequestBuilder searchRequest = client.prepareSearch(indexProperties.getMeiqiaConversationIndex())
                // 设置搜索的类型
                .setTypes(indexProperties.getMeiqiaConversationType())
                // 设置查询条件
                .setQuery(query);


        // 使用SearchRequest获取搜索响应
        SearchResponse searchResponse = searchRequest.get();
        // 初始化存储所有搜索结果的列表
        List<EsMeiqiaConversation> rows = new ArrayList<>();
        // 格式化搜索响应中的数据，并添加到rows列表中
        List<EsMeiqiaConversation> list1 = formatMeiqiaDto(searchResponse);
        rows.addAll(list1);


        //记录返回的uid name
        List<MeiqiaConversation> list = new ArrayList<>();
        if (CollectionUtils.isNotEmpty(rows)) {
            //获取 uid name
            Map<String, List<EsMeiqiaConversation>> collect = rows.stream().collect(Collectors.groupingBy(EsMeiqiaConversation::getClientUid, Collectors.toList()));
            Set<String> uids = collect.keySet();
            for (String u : uids) {
                MeiqiaConversation conv = new MeiqiaConversation();
                conv.setUid(u);
                //同一个uid 对应同一个 name
                List<EsMeiqiaConversation> esconv = collect.get(u);
                String name = esconv.get(0).getClientName();
                conv.setName(name);
                list.add(conv);
            }
        }
        return AjaxResult.success(list);
    android}

那么如何实现 一次查询满足条件的全部 es 数据呢，这就需要通过 scroll 实现，在初始化索引查询构造器时通过 SearchRequestBuilder searchRequest = client.prepareSearch(indexProperties.getMeiqiaConversationIndex()).setTypes(indexProperties.getMeiqiaConversationType()).setQuery(query).setSize(100).setScroll(TimeValue.timeValueMinutes(1)); 设置 scroll 参数来实现，同时需要再后续增加再次查询索引逻辑，将 scorllId 循环传递 获取全部数据，最终改造后的获取全部数据的代码如下

    public AjaxResult getMeiqiaUidList(MeiqiaConversation meiqiaConversation) {
        BoolQueryBuilder query = QueryBuilders.boolQuery();
        BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
        //会话id
        Long convId = meiqiaConversation.getConvId();
        if (convId != null) {
            boolQuery.filter(QueryBuilders.termQuery("convId",convId));
        }
        //会话日期
        String convStartDate = (String) meiqiaConversation.getParams().get("convStartDate");
        String convEndDate = (String) meiqiaConversation.getParams().get("convEndDateandroid");
        if (StringUtils.isNotEmpty(convStartDate)) {
            Date date = DateUtils.stringToDate(convStartDate, DateUtils.SDF_YMDHMS);
            boolQuery.filter(QueryBuilders.rangeQuery("convStartDate").gtehttp://www.chinasem.cn(date.getTime()));
        }
        if (StringUtil.isNotEmptyString(convEndDate)) {
            Date date = DateUtils.stringToDate(convEndDate, DateUtils.SDF_YMDHMS);
            boolQuery.filter(QueryBuilders.rangeQuery("convEndDate").lte(date.getTime()));
        }
        //会话日期
        Date convStartDate2 = meiqiaConversation.getConvStartDate();
        Date convEndDate2 = meiqiaConversation.getConvEndDate();
        if (Objects.nonNull(convStartDate2)) {
            boolQuery.filter(QueryBuilders.rangeQuery("convStartDate").gte(convStartDate2.getTime()));
        }
        if (Objects.nonNull(convEndDate2)) {
            boolQuery.filter(QueryBuilders.rangeQuery("convEndDate").lte(convEndDate2.getTime()));
        }
        //学号
        String uid = (String) meiqiaConversation.getParams().get("uid");
        if (StringUtils.isNotEmpty(uid)) {
            if (uid.contains("#")) {
                String replace = uid.replace("#", "");
                boolQuery.filter(QueryBuilders.termQuery("clientInfo.name",replace));
            }else {
                boolQuery.filter(QueryBuilders.termQuery("clientInfo.uid",uid));
            }
        }
        //客服工号
        String agentId = (String) meiqiaConversation.getParams().get("agentId");
        if (StringUtils.isNotEmpty(agentId)) {
            boolQuery.filter(QueryBuilders.termQuery("agentId",agentId));
        }
        // 会话内容
        String content = (String) meiqiaConversation.getParams().get("content");
        if (StringUtils.isNotEmpty(content)) {
            boolQuery.filter(QueryBuilders.matchPhrasePrefixQuery("convContent.content",content));
        }

        query.must(boolQuery);

        // 初始化搜索请求构建器，用于构造搜索请求
        SearchRequestBuilder searchRequest = client.prepareSearch(ipythonndexProperties.getMeiqiaConversationIndex())
                // 设置搜索的类型
                .setTypes(indexProperties.getMeiqiaConversationType())
                // 设置查询条件
                .setQuery(query)
                // 设置返回结果的数量为100
                .setSize(100)
                // 设置滚动查询的时间间隔为1分钟
                .setScroll(TimeValue.timeValueMinutes(1));

        // 使用SearchRequest获取搜索响应
        SearchResponse searchResponse = searchRequest.get();
        // 初始化存储所有搜索结果的列表
        List<EsMeiqiaConversation> rows = new ArrayList<>();
        // 格式化搜索响应中的数据，并添加到rows列表中
        List<EsMeiqiaConversation> list1 = formatMeiqiaDto(searchResponse);
        rows.addAll(list1);
        // 使用Scroll方式遍历所有搜索结果
        do {
            // 准备下一次Scroll搜索，设置滚动时间为1分钟
            // 将scorllId循环传递 获取全部数据
            searchResponse = client.prepareSearchScroll(searchResponse.getScrollId()).setScroll(TimeValue.timeValueMinutes(1)).execute().actionGet();
            // 格式化新一批搜索结果，并添加到rows列表中
            List<EsMeiqiaConversation> list = formatMeiqiaDto(searchResponse);
            if (CollectionUtils.isNotEmpty(list)) {
                rows.addAll(list);
            }
            // 当搜索结果为空时，结束循环
            // 当searchHits的数组为空的时候结束循环，至此数据全部读取完毕
        } while (searchResponse.getHits().getHits().length != 0);

        // 创建一个ClearScrollRequest实例，用于清除滚动查询的会话。
        ClearScrollRequest clearScrollRequest = new ClearScrollRequest();

        // 将上一次查询返回的滚动ID添加到请求中，以便清除这个特定的会话。
        // 这是必要的，因为ClearScrollRequest需要至少一个滚动ID才能执行清除操作。
        clearScrollRequest.addScrollId(searchResponse.getScrollId());

        // 发送ClearScroll请求并获取操作的结果。
        // 这一步是必需的，因为它实际执行了清除滚动会话的操作，并允许我们处理结果或任何异常。
        client.clearScroll(clearScrollRequest).actionGet();

        //记录返回的uid name
        List<MeiqiaConversation> list = new ArrayList<>();
        if (CollectionUtils.isNotEmpty(rows)) {
            //获取 uid name
            Map<String, List<EsMeiqiaConversation>> collect = rows.stream().collect(Collectors.groupingBy(EsMeiqiaConversation::getClientUid, Collectors.toList()));
            Set<String> uids = collect.keySet();
            for (String u : uids) {
                MeiqiaCojavascriptnversation conv = new MeiqiaConversation();
                conv.setUid(u);
                //同一个uid 对应同一个 name
                List<EsMeiqiaConversation> esconv = collect.get(u);
                String name = esconv.get(0).getClientName();
                conv.setName(name);
                list.add(conv);
            }
        }
        return AjaxResult.success(list);
    }

那么这段的核心代码是增加了滚动查询数据的操作，如图所示

Java实现Elasticsearch查询当前索引全部数据的完整代码

同时再执行循环查询时将 scrollId 循环传递，并将查询结果 addAll 到当前list 的集合中

Java实现Elasticsearch查询当前索引全部数据的完整代码

查询结束之后，最后是清除滚动会话的操作

Java实现Elasticsearch查询当前索引全部数据的完整代码

到这里关于 Java 实现 es 查询指定条件下的全部数据操作就结束了，整个操作过程比较容易理解，增加了 es 滚动查询 scroll 操作来实现查询 es 全部数据。

写在最后

最后想要说的是，对于 es 查询，通常情况下是不需要一次性查询出当前索引所有条件下的数据的，毕竟数据量比较大，但是也有特殊的场景，这个时候不得不一次性查询出所有的数据，这就需要上文中用到的办法了，希望对大家有帮助。

到此这篇关于Java实现Elasticsearch查询当前索引全部数据的文章就介绍到这了,更多相关Java Elasticsearch查询当前索引全部数据内容请搜索China编程(www.chinasem.cn)以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程China编程(www.chinasem.cn)！

这篇关于Java实现Elasticsearch查询当前索引全部数据的完整代码的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1153324。

相关文章

Nginx实现高并发的项目实践

Nginx实现高并发的项目实践

《Nginx实现高并发的项目实践》本文主要介绍了Nginx实现高并发的项目实践,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录使用最新稳定版本的Nginx合理配置工作进程(workers)配置工作进程连接数(worker_co
阅读更多...
python中列表list切分的实现

python中列表list切分的实现

《python中列表list切分的实现》列表是Python中最常用的数据结构之一,经常需要对列表进行切分操作,本文主要介绍了python中列表list切分的实现,文中通过示例代码介绍的非常详细,对大家... 目录一、列表切片的基本用法1.1 基本切片操作1.2 切片的负索引1.3 切片的省略二、列表切分的高
阅读更多...
基于Python实现一个PDF特殊字体提取工具

基于Python实现一个PDF特殊字体提取工具

《基于Python实现一个PDF特殊字体提取工具》在PDF文档处理场景中,我们常常需要针对特定格式的文本内容进行提取分析,本文介绍的PDF特殊字体提取器是一款基于Python开发的桌面应用程序感兴趣的... 目录一、应用背景与功能概述二、技术架构与核心组件2.1 技术选型2.2 系统架构三、核心功能实现解析
阅读更多...
Flutter监听当前页面可见与隐藏状态的代码详解

Flutter监听当前页面可见与隐藏状态的代码详解

《Flutter监听当前页面可见与隐藏状态的代码详解》文章介绍了如何在Flutter中使用路由观察者来监听应用进入前台或后台状态以及页面的显示和隐藏,并通过代码示例讲解的非常详细,需要的朋友可以参考下... flutter 可以监听 app 进入前台还是后台状态，也可以监听当http://www.cppcn
阅读更多...
Python使用PIL库将PNG图片转换为ICO图标的示例代码

Python使用PIL库将PNG图片转换为ICO图标的示例代码

《Python使用PIL库将PNG图片转换为ICO图标的示例代码》在软件开发和网站设计中,ICO图标是一种常用的图像格式,特别适用于应用程序图标、网页收藏夹图标等场景,本文将介绍如何使用Python的... 目录引言准备工作代码解析实践操作结果展示结语引言在软件开发和网站设计中，ICO图标是一种常用的图像
阅读更多...
使用Java发送邮件到QQ邮箱的完整指南

使用Java发送邮件到QQ邮箱的完整指南

《使用Java发送邮件到QQ邮箱的完整指南》在现代软件开发中,邮件发送功能是一个常见的需求,无论是用户注册验证、密码重置,还是系统通知,邮件都是一种重要的通信方式,本文将详细介绍如何使用Java编写程... 目录引言1. 准备工作1.1 获取QQ邮箱的SMTP授权码1.2 添加JavaMail依赖2. 实现
阅读更多...
Java嵌套for循环优化方案分享

Java嵌套for循环优化方案分享

《Java嵌套for循环优化方案分享》介绍了Java中嵌套for循环的优化方法,包括减少循环次数、合并循环、使用更高效的数据结构、并行处理、预处理和缓存、算法优化、尽量减少对象创建以及本地变量优化,通... 目录Java 嵌套 for 循环优化方案1. 减少循环次数2. 合并循环3. 使用更高效的数据结构4
阅读更多...
IDEA与JDK、Maven安装配置完整步骤解析

IDEA与JDK、Maven安装配置完整步骤解析

《IDEA与JDK、Maven安装配置完整步骤解析》：本文主要介绍如何安装和配置IDE（IntelliJIDEA）,包括IDE的安装步骤、JDK的下载与配置、Maven的安装与配置,以及如何在I... 目录1. IDE安装步骤2.配置操作步骤3. JDK配置下载JDK配置JDK环境变量4. Maven配置下
阅读更多...
使用Python实现表格字段智能去重

使用Python实现表格字段智能去重

《使用Python实现表格字段智能去重》在数据分析和处理过程中,数据清洗是一个至关重要的步骤,其中字段去重是一个常见且关键的任务,下面我们看看如何使用Python进行表格字段智能去重吧... 目录一、引言二、数据重复问题的常见场景与影响三、python在数据清洗中的优势四、基于Python的表格字段智能去重
阅读更多...
java两个List的交集,并集方式

java两个List的交集,并集方式

《java两个List的交集,并集方式》文章主要介绍了Java中两个List的交集和并集的处理方法,推荐使用Apache的CollectionUtils工具类,因为它简单且不会改变原有集合,同时,文章... 目录Java两个List的交集,并集方法一方法二方法三总结java两个List的交集,并集方法一
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2