从零开发短视频电商 OpenSearch/ElasticSearch中数据类型介绍

2023-12-12 06:28
文章标签 视频 介绍 开发 数据类型 elasticsearch 电商 opensearch

本文主要是介绍从零开发短视频电商 OpenSearch/ElasticSearch中数据类型介绍，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

    • 查询和排序问题
    • 数据类型
      • Text（文本）
      • Keyword（关键字）
      • Wildcard（通配符）
      • Long、Integer、Short、Byte（整数类型）
      • Double、Float、Half_Float、Scaled_Float（浮点数类型）
      • Date、Date_Nanos（日期类型）
      • Date_Range（日期范围）
      • Boolean（布尔）
      • Binary（二进制）
      • Integer_Range、Float_Range、Long_Range、Double_Range（范围类型）
      • Ip_Range（IP 地址范围）
      • Object（对象）
      • Nested（嵌套）
      • Flattened（扁平化）
      • Ip（IP 地址）
      • TokenCount（词条数量）
      • Percolator（过滤器查询）
      • Search_As_You_Type（搜索即时建议）
      • Rank_Feature、Rank_Features（排名特征、排名特征集）
      • Dense_Vector（稠密向量）

查询和排序问题

在Elasticsearch中，查询和过滤是搜索过程中的两个主要步骤，它们的执行时序和具体过程如下：

  • 1.查询（Query）阶段：
    • 匹配查询： 在这个阶段，Elasticsearch执行你定义的查询来找到与查询条件匹配的文档。查询可以是全文本查询、精确匹配、范围查询等。
    • 评分（Scoring）： 对于匹配的文档，Elasticsearch会为每个文档计算一个分数，用于排序结果。评分考虑了文档与查询的匹配程度，以及其他相关因素
{"query": {"match": {"field": "value"}}
}
  • 2.过滤（Filter）阶段：
    • 筛选匹配文档： 在查询阶段找到匹配的文档后，过滤阶段用于筛选出满足附加条件的文档。过滤不涉及评分，只关注文档是否满足过滤条件。
{"query": {"match": {"field": "value"}},"filter": {"range": {"date": {"gte": "2023-01-01"}}}
}

在这个示例中，查询阶段找到包含指定字段和值的文档，然后过滤阶段通过范围条件筛选出那些日期在指定范围内的文档。

性能优化： 过滤通常比查询更快，因为它不需要进行评分计算。过滤条件可以包括范围、精确匹配、布尔条件等。

  • 性能考虑： 过滤阶段通常比查询阶段执行得更快，因此，如果你只是需要精确地匹配文档而不关心评分，考虑使用过滤来提高性能。
  • 缓存： 过滤条件的结果可以被缓存，以加速相同条件的后续查询。这对于重复性的查询非常有用。

例如：存储学生数据，不要评分，只搜索年龄大于30岁的学生。

在这种情况下，由于你不关心评分，而只关心筛选出年龄大于30岁的学生，使用过滤（Filter）通常会更快。过滤不涉及评分计算，而且它的结果可以被缓存，从而提高性能。

数据类型

当在 Elasticsearch 中选择数据类型时，应该根据数据的性质和使用场景来进行选择。以下是每个数据类型的常见应用场景和示例：

Text（文本）

  • 应用场景： 存储全文本，支持全文本搜索和分析。
  • 示例： 文章内容、评论、描述等。

text 用于全文本搜索和分析，而 keyword 用于精确匹配和聚合。text 会经历分词等分析过程，而 keyword 则保持原始字符串不变。

text 类型用于全文本搜索，将文本字段分析成词项（terms），并创建倒排索引以支持搜索。

存储在 keyword 类型字段上的文本不会被分析，整个字符串作为一个独立的项。主要用于精确匹配和聚合。

wildcard 主要用于支持通配符搜索，不涉及到分析。它可以用于匹配模式中的通配符表达式。

使用 text 类型字段进行Wildcard查询时，会根据分词结果进行匹配，而使用 keyword 类型字段进行Wildcard查询时，需要整个关键词与查询匹配。

PUT /my_index
{"mappings": {"properties": {"content": {"type": "text"}}}
}POST /my_index/_doc/1
{"content": "Elasticsearch is a distributed search engine."
}GET /my_index/_search
{"query": {"match": {"content": "search engine"}}
}

Keyword（关键字）

  • 应用场景： 精确匹配，通常用于不需要进行全文本搜索的字段。
  • 示例： 类别、标签、关键字等。
PUT /my_index
{"mappings": {"properties": {"text_field": {"type": "text","analyzer": "standard"},"keyword_field": {"type": "keyword"}}}
}POST /my_index/_doc/1
{"text_field": "Elasticsearch is powerful","keyword_field": "Elasticsearch is powerful"
}GET /my_index/_search
{"query": {"term": {"keyword_field": "Elasticsearch"}}
}
结果：搜不到GET /my_index/_search
{"query": {"wildcard": {"keyword_field": "power*"}}
}
结果：搜不到   GET /my_index/_search
{"query": {"match": {"text_field": "Elasticsearch"}}
}
结果：搜索到结果GET /my_index/_search
{"query": {"wildcard": {"text_field": "power*"}}
}
结果：搜索到结果

当你搜索 Elasticsearch 时，对于 text_field 可能会匹配到，因为它被分成了独立的词项。而对于 keyword_field，只有当你搜索整个精确的字符串 “Elasticsearch is powerful” 时才能匹配。

Wildcard（通配符）

  • 应用场景： 支持通配符搜索。
  • 示例： 使用通配符进行模糊搜索。

Wildcard 和 Text 都可以用于支持通配符搜索。

Wildcard 专门用于通配符搜索，而 Text 是一种通用的文本类型，支持全文本搜索、分析和其他文本处理操作。

通配符查询允许在搜索时使用通配符 * 或 ? 来匹配文档中的值。

* 匹配零个或多个字符，? 匹配一个字符。

PUT /my_index
{"mappings": {"properties": {"product_name": {"type": "wildcard"}}}
}POST /my_index/_doc/1
{"product_name": "Elasticsearch"
}GET /my_index/_search
{"query": {"wildcard": {"product_name": "Elast*"}}
}

Long、Integer、Short、Byte（整数类型）

  • 应用场景： 存储整数数据。
  • 示例： 年龄、数量、计数等。

这些整数类型都用于存储整数数据，但有不同的存储范围。

integer、long、short 和 byte 分别表示 32 位、64 位、16 位和 8 位有符号整数。选择取决于你的数据范围。

PUT /my_index
{"mappings": {"properties": {"age": {"type": "long"}}}
}POST /my_index/_doc/1
{"age": 25
}GET /my_index/_search
{"query": {"range": {"age": {"gte": 20}}}
}

Double、Float、Half_Float、Scaled_Float（浮点数类型）

  • 应用场景： 存储浮点数数据。
  • 示例： 价格、坐标、百分比等。

这些浮点数类型都用于存储浮点数数据。

float 和 double 分别表示 32 位和 64 位浮点数，而 half_float 是 16 位浮点数。scaled_float 允许通过指定缩放因子来存储浮点数。

PUT /my_index
{"mappings": {"properties": {"price": {"type": "double"}}}
}POST /my_index/_doc/1
{"price": 49.99
}GET /my_index/_search
{"query": {"range": {"price": {"lte": 50.0}}}
}

Date、Date_Nanos（日期类型）

  • 应用场景： 存储日期和时间信息。
  • 示例： 发布日期、事件时间等。

date 存储毫秒级的日期，date_nanos 存储纳秒级的日期，而 date_range 用于表示日期范围。

PUT /my_index
{"mappings": {"properties": {"publish_date": {"type": "date"}}}
}POST /my_index/_doc/1
{"publish_date": "2023-01-01T12:00:00"
}GET /my_index/_search
{"query": {"range": {"publish_date": {"gte": "2023-01-01"}}}
}

Date_Range（日期范围）

  • 应用场景： 表示日期范围。
  • 示例： 活动日期范围、计划时间段等。
PUT /my_index
{"mappings": {"properties": {"date_range": {"type": "date_range"}}}
}POST /my_index/_doc/1
{"date_range": {"gte": "2023-01-01","lte": "2023-12-31"}
}GET /my_index/_search
{"query": {"range": {"date_range": {"gte": "2023-06-01","lte": "2023-09-01"}}}
}

Boolean（布尔）

  • 应用场景： 存储布尔值。
  • 示例： 是否完成、是否启用等。
PUT /my_index
{"mappings": {"properties": {"is_completed": {"type": "boolean"}}}
}POST /my_index/_doc/1
{"is_completed": true
}GET /my_index/_search
{"query": {"term": {"is_completed": true}}
}

Binary（二进制）

  • 应用场景： 存储二进制数据，如图像、文档等。
  • 示例： 图片、PDF 文档等。
PUT /my_index
{"mappings": {"properties": {"image_data": {"type": "binary"}}}
}POST /my_index/_doc/1
{"image_data": "base64_encoded_image_data"
}GET /my_index/_search
{"query": {"exists": {"field": "image_data"}}
}

Integer_Range、Float_Range、Long_Range、Double_Range（范围类型）

  • 应用场景： 表示数值范围。
  • 示例： 价格范围、评分范围等。
PUT /my_index
{"mappings": {"properties": {"age_range": {"type": "integer_range"}}}
}POST /my_index/_doc/1
{"age_range": {"gte": 18,"lte": 35}
}GET /my_index/_search
{"query": {"range": {"age_range": {"gte": 25,"lte": 40}}}
}

Ip_Range（IP 地址范围）

  • 应用场景： 存储 IP 地址范围。
  • 示例： IP 地址过滤、地址段范围等。
PUT /my_index
{"mappings": {"properties": {"ip_address_range": {"type": "ip_range"}}}
}POST /my_index/_doc/1
{"ip_address_range": {"gte": "192.168.0.1","lte": "192.168.0.255"}
}GET /my_index/_search
{"query": {"range": {"ip_address_range": {"gte": "192.168.0.100","lte": "192.168.0.200"}}}
}

Object（对象）

  • 应用场景： 嵌套对象，可以包含其他字段。
  • 示例： 用户信息、地址信息等。

Object 类型是一个简单的嵌套对象，可以包含其他字段，但是这些字段是平等的，没有特定的关系。

适用于表示简单嵌套结构的文档，其中字段之间没有复杂的关联。

PUT /my_index
{"mappings": {"properties": {"user_info": {"type": "object","properties": {"name": { "type": "text" },"age": { "type": "integer" },"email": { "type": "keyword" }}}}}
}POST /my_index/_doc/1
{"user_info": {"name": "John Doe","age": 30,"email": "john.doe@example.com"}
}GET /my_index/_search
{"query": {"match": {"user_info.name": "John"}}
}

Nested（嵌套）

  • 应用场景： 嵌套文档类型，适用于嵌套复杂结构的文档。
  • 示例： 文章的评论、订单的商品列表等。

Nested 类型用于嵌套复杂结构的文档，并建立了父子关系，允许在子文档中使用独立的查询。

适用于表示具有层次结构和相互关联的文档，如文章的评论、订单的商品列表等。

PUT /my_index
{"mappings": {"properties": {"comments": {"type": "nested","properties": {"user": { "type": "keyword" },"comment": { "type": "text" }}}}}
}POST /my_index/_doc/1
{"comments": [{ "user": "user1", "comment": "Great article!" },{ "user": "user2", "comment": "Interesting points." }]
}GET /my_index/_search
{"query": {"nested": {"path": "comments","query": {"match": {"comments.comment": "article"}}}}
}

Flattened（扁平化）

  • 应用场景： 将嵌套对象的字段扁平化，以便更容易进行搜索和分析。
  • 示例： 扁平化订单信息中的商品详细信息。

Flattened 类型用于将嵌套对象的字段扁平化，以便更容易进行搜索和分析。它适用于具有深层次嵌套的复杂对象。

适用于需要对嵌套结构进行扁平化处理，以便于搜索和聚合。

PUT /my_index
{"mappings": {"properties": {"order_details": {"type": "flattened"}}}
}POST /my_index/_doc/1
{"order_details": {"product_name": "Smartphone","price": 499.99,"quantity": 2}
}GET /my_index/_search
{"query": {"match": {"order_details.product_name": "Smartphone"}}
}

Ip（IP 地址）

  • 应用场景： 存储 IP 地址。
  • 示例： 用户 IP 地址、服务器 IP 地址等。
PUT /my_index
{"mappings": {"properties": {"ip_address": {"type": "ip"}}}
}POST /my_index/_doc/1
{"ip_address": "192.168.0.1"
}GET /my_index/_search
{"query": {"term": {"ip_address": "192.168.0.1"}}
}

TokenCount（词条数量）

  • 应用场景： 存储通过分析器处理后的词条数量。
  • 示例： 文章中的单词数量、文档中的关键词数量等。
PUT /my_index
{"mappings": {"properties": {"word_count": {"type": "token_count"}}}
}POST /my_index/_doc/1
{"word_count": 100
}GET /my_index/_search
{"query": {"range": {"word_count": {"gte": 50}}}
}

Percolator（过滤器查询）

  • 应用场景： 存储过滤器查询，用于实时检查文档与查询的匹配情况。
  • 示例： 保存搜索过滤器，以便在新文档插入时检查匹配。
PUT /my_index
{"mappings": {"properties": {"filter_query": {"type": "percolator"}}}
}POST /my_index/_doc/1
{"filter_query": {"match": {"category": "Technology"}}
}GET /my_index/_search
{"query": {"percolate": {"field": "filter_query","document": {"category": "Technology"}}}
}

Search_As_You_Type（搜索即时建议）

  • 应用场景： 支持搜索时的自动建议功能。
  • 示例： 实时搜索建议、搜索框中的自动完成。
PUT /my_index
{"mappings": {"properties": {"suggest_field": {"type": "search_as_you_type"}}}
}POST /my_index/_doc/1
{"suggest_field": "Elasticsearch"
}GET /my_index/_search
{"suggest": {"text": "Elasti","my-suggestion": {"prefix": "true","completion": {"field": "suggest_field"}}}
}

Rank_Feature、Rank_Features（排名特征、排名特征集）

  • 应用场景： 存储数值特征，用于搜索和排序。
  • 示例： 用户评分、商品评分等。
PUT /my_index
{"mappings": {"properties": {"user_rating": {"type": "rank_feature"}}}
}POST /my_index/_doc/1
{"user_rating": 4.5
}GET /my_index/_search
{"query": {"function_score": {"query": {"match_all": {}},"field_value_factor": {"field": "user_rating","missing": 0}}}
}

Dense_Vector（稠密向量）

  • 应用场景： 存储数值向量，通常用于机器学习等场景。
  • 示例： 特征向量、嵌套向量表示等。
PUT /my_index
{"mappings": {"properties": {"feature_vector": {"type": "dense_vector"}}}
}POST /my_index/_doc/1
{"feature_vector": [0.1, 0.5, 0.8]
}GET /my_index/_search
{"query": {"script_score": {"query": {"match_all": {}},"script": {"source": "cosineSimilarity(params.query_vector, 'feature_vector') + 1.0","params": {"query_vector": [0.2, 0.3, 0.7]}}}}
}

这篇关于从零开发短视频电商 OpenSearch/ElasticSearch中数据类型介绍的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/483550。

相关文章

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因？

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因？

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台，是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力，在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术，能够处理多种视频流格式，并以多种格式（RTMP、RTSP、HTTP-FLV、WebS
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
这15个Vue指令，让你的项目开发爽到爆

这15个Vue指令，让你的项目开发爽到爆

1. V-Hotkey 仓库地址: github.com/Dafrok/v-ho… Demo: 戳这里 https://dafrok.github.io/v-hotkey 安装: npm install --save v-hotkey 这个指令可以给组件绑定一个或多个快捷键。你想要通过按下 Escape 键后隐藏某个组件，按住 Control 和回车键再显示它吗？小菜一碟： <template
阅读更多...
性能测试介绍

性能测试介绍

性能测试是一种测试方法，旨在评估系统、应用程序或组件在现实场景中的性能表现和可靠性。它通常用于衡量系统在不同负载条件下的响应时间、吞吐量、资源利用率、稳定性和可扩展性等关键指标。 为什么要进行性能测试 通过性能测试，可以确定系统是否能够满足预期的性能要求，找出性能瓶颈和潜在的问题，并进行优化和调整。 发现性能瓶颈：性能测试可以帮助发现系统的性能瓶颈，即系统在高负载或高并发情况下可能出现的问题
阅读更多...
水位雨量在线监测系统概述及应用介绍

水位雨量在线监测系统概述及应用介绍

在当今社会，随着科技的飞速发展，各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中，水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术，其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成，形成了一个完整的闭环系统。 数据采集单元：这是系统的“眼睛”，
阅读更多...
Hadoop企业开发案例调优场景

Hadoop企业开发案例调优场景

需求 （1）需求：从1G数据中，统计每个单词出现次数。服务器3台，每台配置4G内存，4核CPU，4线程。 （2）需求分析： 1G / 128m = 8个MapTask；1个ReduceTask；1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务（4    3    3） HDFS参数调优 （1）修改：hadoop-env.sh export HDFS_NAMENOD
阅读更多...
Hadoop数据压缩使用介绍

Hadoop数据压缩使用介绍

一、压缩原则 （1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器 2）要在Hadoop中启用压缩，可以配置如下参数
阅读更多...
综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动，这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升：减少抖动，提高图像的清晰度和细节表现力，使得监控画面更加真实可信。 - 细节增强：在低光条件下，抖
阅读更多...
嵌入式QT开发：构建高效智能的嵌入式系统

嵌入式QT开发：构建高效智能的嵌入式系统

摘要： 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发，详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程，包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发，涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用，以及嵌入式 QT 与硬件设备的交互，包括输入输出设
阅读更多...
OpenHarmony鸿蒙开发（ Beta5.0）无感配网详解

OpenHarmony鸿蒙开发（ Beta5.0）无感配网详解

1、简介 无感配网是指在设备联网过程中无需输入热点相关账号信息，即可快速实现设备配网，是一种兼顾高效性、可靠性和安全性的配网方式。 2、配网原理 2.1 通信原理 手机和智能设备之间的信息传递，利用特有的NAN协议实现。利用手机和智能设备之间的WiFi 感知订阅、发布能力，实现了数字管家应用和设备之间的发现。在完成设备间的认证和响应后，即可发送相关配网数据。同时还支持与常规Sof
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2