Elasticsearch：将文档级安全性 (DLS) 添加到你的内部知识搜索

2024-02-02 06:36
文章标签 文档 搜索 elasticsearch 知识 安全性 内部 dls

本文主要是介绍Elasticsearch：将文档级安全性 (DLS) 添加到你的内部知识搜索，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

作者：来自 Elastic Sean Story

你的企业很可能淹没在内部数据中。

你拥有问题跟踪、笔记记录、会议记录、维基页面、视频录制、聊天以及即时消息和私信。 并且不要忘记电子邮件！

难怪如此多的企业都在尝试创造工作场所搜索体验 - 为员工提供集中、一站式的内部信息搜索服务。

通过 Elastic 的连接器（connectors）目录，这相对容易做到。 但是，当你将所有数据编入索引并准备好进行搜索后，如何确保其安全？ 毕竟，苔丝（来自工程部门）不应该查看鲍勃（来自人力资源部门）关于绩效评估的笔记。 你如何确保访问此统一搜索栏的每个单独用户都只能获得他们有权查看的数据的独特视图？

进入文档级安全性 (document level security - DLS)。

背景

关注 Elasticsearch 一段时间的人可能已经意识到，DLS 已经成为 Elasticsearch 的一项功能相当长一段时间了。 它是用户授权（user authorization）这一更大主题的一部分，而且确实非常简单。 你将元数据嵌入到 Elasticsearch 文档中，然后创建一个 Elasticsearch 查询，根据描述用户授权的文档元数据进行过滤。 该查询用于创建 Elasticsearch 角色。

在查询时，当搜索用户进行身份验证时，他们的角色（如果有）将被识别，并且嵌入的查询过滤器（如果有）将应用于他们的搜索。

让我们看一个简单的例子。 假设我们有两个文档：

PUT example/_doc/1
{"my-data": true,"text": "This data is mine"
}PUT example/_doc/2
{"my-data": false,"text": "This data belongs to someone else"
}

仅获取我的数据的查询是：

GET example/_search
{"query": {"term": {"my-data": {"value": true}}}
}

该查询可以嵌入到角色中，例如：

POST /_security/role/my_role
{"indices": [{"names": [ "example" ],"privileges": ["read"],"query": {"term": {"my-data": {"value": true}}}}]
}

注意：我们必须为我们的 Elasticsearch 集群配置安全才可以顺利地运行上面的命令。

因此，如果我的用户被分配角色 my_role，如果我这样做：

GET example/_search

我们可以使用如下的命令来进行验证：

curl -k -XGET -u liuxg:password "https://localhost:9200/example/_search" -H "kbn-xsrf: reporting"

从上面的输出中，我们可以看到只有文档 1 被搜索到。文档 2 没有被搜索到。

虽然这个例子在理论上很简单，但它有相对较多的移动部件。

  • 你必须确保文档包含相关元数据（"my-data": true 与 "my-data": false）
  • 你必须相信这些文档中的元数据是准确的
  • 你必须使用精心设计的 Elasticsearch 查询为每个搜索用户创建一个角色
  • 你必须确保您创建的每个角色在查询时正确映射到正确的用户
  • 你必须确保上述所有内容均保持最新。

最后一项尤其困难。 当你企业中的人员加入、离开、切换团队或晋升时，这需要进行更改 - 可能会更改你的（元）数据和你的角色。 如果你添加支持共享或访问编辑的数据源，你肯定需要确保你的（元）数据保持最新。

使用 Elastic 连接器

连接器文档级安全性基于 Elasticsearch DLS 构建。 对于许多连接器来说，这包括同步相关元数据和角色描述符以支持 DLS。 这会导致内容索引中的文档自动包含元数据（通常在 _allow_access_control 字段中）来描述有权搜索该文档的人员/组，以及特殊 .search-acl-filter-<index 中的文档 -name> 索引，包含为给定搜索用户构建具体角色或 API 密钥所需的角色描述符 JSON。

你可以在此处找到哪些连接器具有可用的 DLS。 在本博客中，我们将引用一个使用 Sharepoint Online 连接器的示例应用程序。 这是我们启用 DLS 的第一个连接器，但该示例可以轻松适应任何启用 DLS 的连接器。

如果你的连接器符合条件，并且你拥有 Platinum+ Elasticsearch 许可证，则可以通过连接器配置页面上的开关启用 DLS。

从那里开始，只需运行完全同步和访问控制同步，Elasticsearch 将获得所需的所有数据。

一个例子

然后什么？

一旦 Elasticsearch 拥有角色描述符和文档数据以及这些角色过滤器的足够元数据，你就可以构建安全的搜索体验。

我们已经构建了一个示例知识搜索应用程序，我们将在本博客中使用它，欢迎你查看其源代码。 但是，我们确实想强调，这只是一个示例 - 它尚未准备好在生产中自行运行。 请运用良好的判断力，不要运行你未阅读或不理解的代码。

该应用程序的架构非常简单。

它由 Flask 后端和 React 前端组成。 后端配置了环境变量以与 Elasticsearch 建立连接。

export ELASTICSEARCH_URL=...
export ELASTIC_USERNAME=...
export ELASTIC_PASSWORD=...

使用此连接，后端提供三个端点：

  • GET /api/persona 此端点列出连接器在访问控制同步期间找到的 “身份” 或 “角色” 的标识符。 前端使用此列表填充角色下拉列表，以便演示搜索结果如何根据所选角色而变化。
  • GET /api/indices 该端点列出了你的搜索应用程序中已包含的索引。 前端使用此列表来允许你选择要搜索的列表。
  • GET /api/api_key?persona=<persona> 此端点根据所选角色创建并返回 Elasticsearch API 密钥。 在生产系统中，角色不会是请求参数，而是从身份验证凭据中推断出来。 然后前端使用此 API 密钥向 Elasticsearch 发出搜索请求。

注意事项

如上所述，该示例不应在生产中使用。 差距包括：

  • 它不实现身份验证。 生产就绪的应用程序需要一种方法让用户进行身份验证并验证其身份，而不是从下拉列表中选择用户。
  • 它不使用 SSL/TLS。 后端当前通过 HTTP（而不是 HTTPS）将 Elasticsearch API 密钥传输到前端。
  • 前端直接向 Elasticsearch 发出 /_search 请求。 根据生产用例，你可能不希望像这样向最终用户公开 Elasticsearch。 相反，建议从前端向后端发出请求（同样，实施身份验证），然后让后端将这些请求转换为 Elasticsearch 查询。

源代码

下面我们链接到使用 DLS 实现搜索所需的关键代码片段。

创建经过身份验证的用户的角色描述符

代码链接

identity = elasticsearch_client.get(index=identities_index, id=persona)permissions = identity["_source"]["query"]["template"]["params"]["access_control"]role_descriptor = {"dls-role": {"cluster": ["all"],"indices": [{"names": [search_app_name],"privileges": ["read"],"query": {"template": {"params": {"access_control": permissions},"source": """{"bool": {"should": [{"bool": {"must_not": {"exists": {"field": "_allow_access_control"}}}},{"terms": {"_allow_access_control.enum": {{#toJson}}access_control{{/toJson}}}}]}}""",}},}],"restriction": {"workflows": ["search_application_query"]},}}

你可能会注意到，此角色描述符中的查询模板比本博客前面提供的简单示例要复杂得多。 这个查询做了几件事：

  1. 它使用查询模板，而不是显式查询。 这使得在阅读时更容易将一长串权限列表与查询语法分开。
  2. 它使用布尔查询。 这使我们能够结合多个逻辑检查。
  3. 它授予对不包含 _allow_access_control 字段的任何文档的访问权限
  4. 它授予对 _allow_access_control 字段包含此用户 permissions 中找到的值的文档的访问权限

从该角色描述符创建 API 密钥

代码链接

api_key = elasticsearch_client.security.create_api_key(name=search_app_name+"-internal-knowledge-search-example-"+persona, expiration="1h", role_descriptors=role_descriptor)return {"api_key": api_key['encoded']}

使用 API 密钥搜索

代码链接

const apiKey = searchPersonaAPIKey;const client = SearchApplicationClient(appName,searchEndpoint,apiKey,{facets: {description: {type: "text",},},},{disableCache: true,});const sortArray = Object.values(sorts).map((sort) => ({[sort.title]: sort.sortDirection,}));const rawResults = await client().query(query).setSort(sortArray).setPageSize(10).addParameter("indices", indexFilter).search();const searchResults = rawResults.hits.hits.map((hit: any) => {return mapHitToSearchResult(hit);});

原文：Adding Document Level Security (DLS) to your Internal Knowledge Search — Elastic Search Labs

这篇关于Elasticsearch：将文档级安全性 (DLS) 添加到你的内部知识搜索的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/669753。

相关文章

SpringBoot3集成swagger文档的使用方法

SpringBoot3集成swagger文档的使用方法

《SpringBoot3集成swagger文档的使用方法》本文介绍了Swagger的诞生背景、主要功能以及如何在SpringBoot3中集成Swagger文档,Swagger可以帮助自动生成API文档... 目录一、前言1. API 文档自动生成2. 交互式 API 测试3. API 设计和开发协作二、使用
阅读更多...
C# ComboBox下拉框实现搜索方式

C# ComboBox下拉框实现搜索方式

《C#ComboBox下拉框实现搜索方式》文章介绍了如何在加载窗口时实现一个功能,并在ComboBox下拉框中添加键盘事件以实现搜索功能,由于数据不方便公开,作者表示理解并希望得到大家的指教... 目录C# ComboBox下拉框实现搜索步骤一步骤二步骤三总结C# ComboBox下拉框实现搜索步骤一这
阅读更多...
基于C#实现将图片转换为PDF文档

基于C#实现将图片转换为PDF文档

《基于C#实现将图片转换为PDF文档》将图片（JPG、PNG）转换为PDF文件可以帮助我们更好地保存和分享图片,所以本文将介绍如何使用C#将JPG/PNG图片转换为PDF文档,需要的可以参考下... 目录介绍C# 将单张图片转换为PDF文档C# 将多张图片转换到一个PDF文档介绍将图片（JPG、PNG）转
阅读更多...
Java架构师知识体认识

Java架构师知识体认识

源码分析 常用设计模式 Proxy代理模式Factory工厂模式Singleton单例模式Delegate委派模式Strategy策略模式Prototype原型模式Template模板模式 Spring5 beans 接口实例化代理Bean操作 Context Ioc容器设计原理及高级特性Aop设计原理Factorybean与Beanfactory Transaction 声明式事物
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
认识、理解、分类——acm之搜索

认识、理解、分类——acm之搜索

普通搜索方法有两种：1、广度优先搜索；2、深度优先搜索； 更多搜索方法： 3、双向广度优先搜索； 4、启发式搜索（包括A*算法等）； 搜索通常会用到的知识点：状态压缩（位压缩，利用hash思想压缩）。
阅读更多...
hdu1240、hdu1253（三维搜索题）

hdu1240、hdu1253（三维搜索题）

1、从后往前输入，（x，y，z）; 2、从下往上输入，（y , z, x）; 3、从左往右输入，（z，x，y）； hdu1240代码如下： #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#inc
阅读更多...
sqlite3 相关知识

sqlite3 相关知识

WAL 模式 VS 回滚模式 特性WAL 模式回滚模式（Rollback Journal）定义使用写前日志来记录变更。使用回滚日志来记录事务的所有修改。特点更高的并发性和性能；支持多读者和单写者。支持安全的事务回滚，但并发性较低。性能写入性能更好，尤其是读多写少的场景。写操作会造成较大的性能开销，尤其是在事务开始时。写入流程数据首先写入 WAL 文件，然后才从 WAL 刷新到主数据库。数据在开始
阅读更多...
活用c4d官方开发文档查询代码

活用c4d官方开发文档查询代码

当你问AI助手比如豆包，如何用python禁止掉xpresso标签时候，它会提示到 这时候要用到两个东西。https://developers.maxon.net/论坛搜索和开发文档 比如这里我就在官方找到正确的id描述 然后我就把参数标签换过来
阅读更多...
系统架构师考试学习笔记第三篇——架构设计高级知识（20）通信系统架构设计理论与实践

系统架构师考试学习笔记第三篇——架构设计高级知识（20）通信系统架构设计理论与实践

本章知识考点：         第20课时主要学习通信系统架构设计的理论和工作中的实践。根据新版考试大纲,本课时知识点会涉及案例分析题(25分),而在历年考试中,案例题对该部分内容的考查并不多,虽在综合知识选择题目中经常考查,但分值也不高。本课时内容侧重于对知识点的记忆和理解,按照以往的出题规律,通信系统架构设计基础知识点多来源于教材内的基础网络设备、网络架构和教材外最新时事热点技术。本课时知识
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2