从白日梦到现实:推出 Elastic 的管道查询语言 ES|QL

2023-12-20 11:40

本文主要是介绍从白日梦到现实:推出 Elastic 的管道查询语言 ES|QL,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

作者:George Kobar, Bahubali Shetti, Mark Settle

今天,我们很高兴地宣布 Elastic® 的新管道查询语言 ES|QL(Elasticsearch 查询语言)的技术预览版,它可以转换、丰富和简化数据调查。 ES|QL 由新的查询引擎提供支持,通过并发处理提供高级搜索功能,无论数据源和结构如何,都可以提高速度和效率。 通过在单个屏幕上创建聚合和可视化来快速解决问题,以实现迭代和流畅的工作流程。

ES|QL 介绍

Elastic 可观测性 ESQL 演示

Elasticsearch 的演变

在过去 13 年中,Elasticsearch® 取得了显着发展,适应了用户需求和不断变化的数字环境。 Elasticsearch 最初用于全文搜索,后来根据用户反馈扩展到支持更广泛的用例。 在整个过程中,Elasticsearch Query DSL(我们第一个采用的搜索语言)为过滤器、聚合和其他操作提供了丰富的查询集。 这种基于 JSON 的 DSL 最终成为我们 _search API 端点的基础。

随着时间的推移和需求的多样化,逐渐显现出用户需要的不仅仅是查询 DSL 所提供的功能。我们开始在查询 DSL 下引入和融合了其他 DSL,用于脚本编写、安全调查中的事件等等。然而,尽管这些扩展功能非常多才多艺,它们并没有完全满足用户的一些需求。

用户想要一种能够:

  • 简化威胁和安全调查,同时通过提供全面和迭代方法的单个查询观察和解决生产问题
  • 通过单一界面搜索、丰富、聚合和可视化更多内容来简化数据调查
  • 使用高级搜索功能(例如带有并发处理的查找)提高查询大量数据的速度和效率,无论来源和结构如何

从白日梦到现实 – ES|QL 简介

我们倾听并自豪地推出Elasticsearch 查询语言 (ES|QL),这是我们全新的创新管道查询语言 — 一种与 Elasticsearch 中的数据交互的统一方法和语言,同时消除了将数据传输到外部系统进行专门处理的昂贵需求。 与 Elastic 多年来采用的其他语言(例如 Query DSL)不同,ES|QL 是从头开始设计和构建的,旨在大大简化数据调查,并且可供初学者使用,同时对专家来说功能强大。

ES|QL 示例命令:

from logstash-*
| stats avg_bytes = avg(bytes) by geo.src
| eval avg_bytes_kb = round(avg_bytes/1024, 2)
| enrich geo-data on geo.src with country, continent
| keep avg_bytes_kb, geo.src, country, continent  
| limit 4

ES|QL 示例输出:

avg_bytes_kbgeo.srccountrycontinent
8.84BDBangladeshAsia
6.92BRBrazilAmericas
2.75CICôte d'IvoireAfrica
4.55CLChileAmericas

简化的简化:专为增强和迭代工作流程量身定制的 UI

连接正在展开的攻击的各个点或浏览可观察性数据需要你对大量数据进行过滤、搜索、转换和聚合。 ES|QL 通过单个查询提供此功能。

上下文切换或尝试从多个屏幕中查找所需内容可能会减慢你的速度并令人沮丧。 ES|QL通过统一的显示,提供自动完成语法、集成产品文档、可视化搜索结果,确保数据查询的不间断、高效的工作流程。 无论是安全性、可观察性还是搜索,ES|QL 都能提高数据探索的效率、速度和深度。

ES|QL 并发 — 两个线程比一个线程好

ES|QL 由强大的查询引擎提供支持,提供具有并发处理的高级搜索功能,使用户能够跨不同的数据源和结构无缝查询。

没有把 ES|QL 的实现直接翻译为对 Query DSL 的查询; 相反,ES|QL 中的每个查询最初都会被分解、解释其含义、验证准确性,然后进行增强以获得最佳性能。 然后设计一个流程来跨集群内的各个节点执行查询。 目标节点处理查询,使用 ES|QL 提供的框架对执行计划进行即时调整。 结果是开箱即用的闪电般的快速查询。 例如,查看夜间基准进行比较。

更多比较请点击链接进行查看。

平台创新推动 Elastic 解决方案的优势

Elastic 的解决方案(搜索、可观察性和安全性)均受益于 Elasticsearch 和 Kibana® 中提供的功能和创新。 ES|QL 从根本上改变了使用这些解决方案的体验,并提供了简单但功能强大的数据调查工作流程。

ES|QL 增强 Elastic 安全性

ES|QL 从根本上改变了分析师追踪威胁和加强检测的方式。 它是为了响应丰富的社区输入而构建的,以 Elasticsearch 的速度释放管道查询的力量,增强 Elastic Security 的 SIEM、端点安全和云安全功能。

  • 快速搜索及迭代:跟踪新兴威胁的痕迹需要快速行动和提供迭代工作流程的语言。
  • 通过上下文丰富结果:ES|QL 使分析师能够将可疑 IP 地址与已知威胁情报数据库关联起来,从而立即明确潜在威胁。
  • 转换数据:ES|QL 使用户能够通过定义新字段或解析非标准化数据来操作数据,确保数据的清晰度和相关性。
  • 聚合数据:可以整合和聚合结果,为更深入的分析和洞察提取铺平道路。

Elastic 是唯一将写入模式架构的效率与读取模式管道查询语言的迭代搜索体验相结合的搜索平台。 凭借令人难以置信的快速搜索 — 以及查询分析员输出的完整视图 - 我们可以通过每个连续的管道更接近他们的目标。

ES|QL 还增强了 Elastic Security 强大的检测引擎。 为了减少警报疲劳、提高警报相关性并提供行为检测的另一种途径,组织可以将聚合值合并到检测规则中。 通过内联评估,从业者可以迭代开发和完善基于 ES|QL 的规则。 查询采用纯文本格式,简化了协作并支持检测即代码。

ES|QL 影响弹性可观测性

使用 Elastic Observability 的 SRE 可以利用 ES|QL 来分析日志、指标、跟踪和分析数据,使他们能够通过单个查询查明性能瓶颈和系统问题。 在 Elastic Observability 中使用 ES|QL 管理高维和高基数数据时,SRE 具有以下优势:

  • 消除信号噪音:借助 ES|QL 警报,通过关注重要趋势而不是个别事件、最大限度地减少误报并提供可操作的通知来提高检测精度。 SRE 可以通过 Elastic API 管理这些警报并将其集成到 DevOps 流程中。
  • 通过洞察增强分析:ES|QL 可以处理各种可观测数据,包括应用程序、基础设施、业务数据等,无论来源和结构如何。 ES|QL 可以轻松地通过附加字段和上下文丰富数据,从而允许通过单个查询创建仪表板可视化或问题分析。
  • 缩短解决问题的平均时间:ES|QL 与 Elastic Observability 的 AIOps 和 AI Assistant 结合使用,可通过识别趋势、隔离事件和减少误报来提高检测准确性。 这种上下文的改进有助于故障排除以及快速查明和解决问题。

Elastic Observability 中的 ES|QL 不仅增强了 SRE 更有效地管理客户体验、组织收入和 SLO 的能力,而且还通过提供上下文聚合数据来促进与开发人员和 DevOps 的协作。

ES|QL 推进 Elastic Search

使用 ES|QL,你可以检索、聚合、计算数据并将其转换为单个查询。 它拥有关键功能,例如能够在查询时定义字段、执行数据丰富查找以及同时处理查询。 使用 ES|QL 以多种方式理解和探索你的数据。 从利用客户端直接 API/代码集成到直接从一个屏幕可视化结果,ES|QL 简化了你的数据调查,确保你轻松简单地充分利用数据集。

ES|QL 的设计重点体现在其降低代码复杂性的能力,最终节省成本和时间。 通过促进后续搜索中查询结果的重用,ES|QL 最大限度地减少了计算开销,消除了对复杂脚本和冗余查询的需要。 ES|QL 不仅仅是一个 API,而且是一种简单而强大的方法来转变你的搜索方法。

踏上你的 ES|QL 之旅

数据探索和操作的未来就在这里。 Elastic 邀请安全分析师、SRE 和开发人员亲身体验这种变革性语言,并开启数据任务的新视野。 详细了解 ES|QL 的可能性,或立即在技术预览版中开始免费试用。

本文中描述的任何特性或功能的发布和时间安排均由 Elastic 自行决定。 当前不可用的任何特性或功能可能无法按时交付或根本无法交付。

原文:Announcing Elastic’s piped query language, ES|QL | Elastic Blog

这篇关于从白日梦到现实:推出 Elastic 的管道查询语言 ES|QL的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/515909

相关文章

Redis中管道操作pipeline的实现

《Redis中管道操作pipeline的实现》RedisPipeline是一种优化客户端与服务器通信的技术,通过批量发送和接收命令减少网络往返次数,提高命令执行效率,本文就来介绍一下Redis中管道操... 目录什么是pipeline场景一:我要向Redis新增大批量的数据分批处理事务( MULTI/EXE

Linux中的进程间通信之匿名管道解读

《Linux中的进程间通信之匿名管道解读》:本文主要介绍Linux中的进程间通信之匿名管道解读,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、基本概念二、管道1、温故知新2、实现方式3、匿名管道(一)管道中的四种情况(二)管道的特性总结一、基本概念我们知道多

Linux命名管道方式

《Linux命名管道方式》:本文主要介绍Linux命名管道方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、命名管道1、与匿名管道的关系2、工作原理3、系统调用接口4、实现两个进程间通信二、可变参数列表总结一、命名管道1、与匿名管道的关系命名管道由mkf

SpringBoot整合easy-es的详细过程

《SpringBoot整合easy-es的详细过程》本文介绍了EasyES,一个基于Elasticsearch的ORM框架,旨在简化开发流程并提高效率,EasyES支持SpringBoot框架,并提供... 目录一、easy-es简介二、实现基于Spring Boot框架的应用程序代码1.添加相关依赖2.添

微软正式推出 Spartan 斯巴达浏览器

作为用于替代 IE 浏览器的下一代继任者,微软的 Project Spartan 斯巴达浏览器可算是吊足了玩家们的胃口!如今,在最新的 Windows 10 Build 10049 版本起,它终于正式登场了。 斯巴达浏览器搭载了全新的渲染引擎、新的用户界面并集成了 Cortana 语音助手。功能上新增了稍后阅读列表、阅读视图、F12开发者工具、支持网页注释 (手写涂鸦),可以保存到 O

Science Robotics 首尔国立大学研究团队推出BBEX外骨骼,实现多维力量支持!

重复性举起物体可能会对脊柱和背部肌肉造成损伤,由此引发的腰椎损伤是工业环境等工作场所中一个普遍且令人关注的问题。为了减轻这类伤害,有研究人员已经研发出在举起任务中为工人提供辅助的背部支撑装置。然而,现有的这类装置通常无法在非对称性的举重过程中提供多维度的力量支持。此外,针对整个人体脊柱的设备安全性验证也一直是一个缺失的环节。 据探索前沿科技边界,传递前沿科技成果的X-robot投稿,来自首尔国立

ElasticSearch的DSL查询⑤(ES数据聚合、DSL语法数据聚合、RestClient数据聚合)

目录 一、数据聚合 1.1 DSL实现聚合 1.1.1 Bucket聚合  1.1.2 带条件聚合 1.1.3 Metric聚合 1.1.4 总结 2.1 RestClient实现聚合 2.1.1 Bucket聚合 2.1.2 带条件聚合 2.2.3 Metric聚合 一、数据聚合 聚合(aggregations)可以让我们极其方便的实现对数据的统计、分析、运算。例如:

Claude Enterprise推出计划

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/ 今天推出的Claude Enterprise计划,专为企业打造安全的

OpenGL ES学习总结:基础知识简介

什么是OpenGL ES? OpenGL ES (为OpenGL for Embedded System的缩写) 为适用于嵌入式系统的一个免费二维和三维图形库。 为桌面版本OpenGL 的一个子集。 OpenGL ES管道(Pipeline) OpenGL ES 1.x 的工序是固定的,称为Fix-Function Pipeline,可以想象一个带有很多控制开关的机器,尽管加工

OpenGL ES 2.0渲染管线

http://codingnow.cn/opengles/1504.html Opengl es 2.0实现了可编程的图形管线,比起1.x的固定管线要复杂和灵活很多,由两部分规范组成:Opengl es 2.0 API规范和Opengl es着色语言规范。下图是Opengl es 2.0渲染管线,阴影部分是opengl es 2.0的可编程阶段。   1. 顶点着色器(Vert