OpenSearch使用scroll滚动搜索实战

本文主要是介绍OpenSearch使用scroll滚动搜索实战，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

前言

起源和开源性质:
Elasticsearch：Elasticsearch最初由Elastic公司开发，后来开源，但采用了Elastic License，这是一种有限制的许可协议。
OpenSearch：OpenSearch是从Elasticsearch的分支项目发展而来，以满足更广泛的开源社区需求，它采用了Apache License 2.0，这是一种较为开放的许可协议。

https://opensearch.org/docs/latest/api-reference/scroll/

正常search查询：结果hits.total.value=10000，得知会有限制，使用scroll来解决限制

查询结果深处的页面可能会对性能产生重大影响，因此 OpenSearch 将此方法限制为 10000 个结果。
所以需要使用scroll来解决10000以后的数据

当前环境

php8.1、hyperf3.0框架、OpenSearch7.10.2

composer包引入

"hyperf/elasticsearch": "3.0.*",
"opensearch-project/opensearch-php": "^2.2",

实战

// 创建 Elasticsearch 客户端
$client = $clientBuilder->setIndex('your_index')->getClient();// 定义滚动查询的初始搜索条件
$searchParams = ['scroll' => '1m', // 设置滚动时间'size' => 1000,   // 设置每次滚动查询返回的文档数'body' => ['query' => ['match' => ['field' => 'value',],],],
];// 执行初始滚动查询
$response = $client->scroll($searchParams);// 获取第一批结果
$scrollId = $response['_scroll_id'];
$results = new Collection($response['hits']['hits']);// 处理第一批结果
foreach ($results as $result) {// 处理结果echo $result['_id'] . ": " . $result['_source']['field'] . "\n";
}// 开始滚动查询
while (true) {// 使用滚动 ID 获取下一批结果$scrollParams = ['scroll_id' => $scrollId,'scroll' => '1m', // 设置滚动时间，必须与初始查询保持一致];$response = $client->scroll($scrollParams);if (count($response['hits']['hits']) === 0) {// 所有结果已经获取完毕break;}// 获取下一批结果$results = new Collection($response['hits']['hits']);// 处理下一批结果foreach ($results as $result) {// 处理结果echo $result['_id'] . ": " . $result['_source']['field'] . "\n";}
}// 清除滚动查询
$client->clearScroll(['scroll_id' => [$scrollId]]);

遇到的问题

如果不及时清除滚动，数据量过大会遇到以下报错，需要重启OpenSearch

{ Error: [exception] Trying to create too many scroll contexts. Must be less than or equal to: [500]. This limit can be set by changing the [search.max_open_scroll_context] setting.

这篇关于OpenSearch使用scroll滚动搜索实战的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---