使用阿里云试用Elasticsearch学习:使用内置模型 lang_ident_model_1 创建管道并使用

本文主要是介绍使用阿里云试用Elasticsearch学习:使用内置模型 lang_ident_model_1 创建管道并使用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文档:https://www.elastic.co/guide/en/machine-learning/current/ml-nlp-deploy-model.html

部署刚刚下载好的内置模型

在这里插入图片描述
在这里插入图片描述

部署内存不够用

在这里插入图片描述
还得花钱,拉几把倒吧。就用自带的吧。

测试模型

在这里插入图片描述

POST _ml/trained_models/lang_ident_model_1/_infer
{"docs":[{"text": "The fool doth think he is wise, but the wise man knows himself to be a fool."}]
}

以下是高概率预测英语的结果。

{"inference_results": [{"predicted_value": "en","prediction_probability": 0.9999658805366392,"prediction_score": 0.9999658805366392}]
}

创建管道

添加处理器

reference 推理

# Field map
{"message": "text"
}
# Inference configuration
{"classification":{"num_top_classes":5}
}

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/ead8f9cf189f422c8f6885a6dbe1403a.png
set 设置

#  field 
event.ingested
# value 
{{{_ingest.timestamp}}}

在这里插入图片描述

失败处理器

在这里插入图片描述

测试

[{"_source": {"text_field":"Hello, my name is Josh and I live in Berlin."}}
]

在这里插入图片描述

[{"_source":{"message":"Sziasztok! Ez egy rövid magyar szöveg. Nézzük, vajon sikerül-e azonosítania a language identification funkciónak? Annak ellenére is sikerülni fog, hogy a szöveg két angol szót is tartalmaz."}}
]

在这里插入图片描述
在这里插入图片描述

测试没问题,创建管道

在这里插入图片描述

使用

安装插件

注意版本号与es版本一直,都是8.9.1。安装完会自行重启。
下载mapper-annotated-text安装包
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/acc4f9669673445fa673d204baff59a0.png

映射索引

注意message字段别写错

PUT ner-test
{"mappings": {"properties": {"ml.inference.predicted_value": {"type": "annotated_text"},"ml.inference.model_id": {"type": "keyword"},"message": {"type": "text"},"event.ingested": {"type": "date"}}}
}

索引文档

通过管道 lang_ident_model_1 索引一批文档

POST /_bulk?pipeline=lang_ident_model_1
{"create":{"_index":"ner-test","_id":"1"}}
{"message":"Hello, my name is Josh and I live in Berlin."}
{"create":{"_index":"ner-test","_id":"2"}}
{"message":"I work for Elastic which was founded in Amsterdam."}
{"create":{"_index":"ner-test","_id":"3"}}
{"message":"Elastic has headquarters in Mountain View, California."}
{"create":{"_index":"ner-test","_id":"4"}}
{"message":"Elastic's founder, Shay Banon, created Elasticsearch to solve a simple need: finding recipes!"}
{"create":{"_index":"ner-test","_id":"5"}}
{"message":"Elasticsearch is built using Lucene, an open source search library."}

或者用query

POST lang-test/_doc?pipeline=ner-test
{"message": "Mon pays ce n'est pas un pays, c'est l'hiver"
}

查看数据

"hits": [{"_index": "ner-test","_id": "1","_score": 1,"_source": {"message": "Hello, my name is Josh and I live in Berlin.","event": {"ingested": "2024-04-13T20:31:48.855089336Z"},"ml": {"inference": {"predicted_value": "en","top_classes": [{"class_name": "en","class_probability": 0.9854748734614491,"class_score": 0.9854748734614491},{"class_name": "tg","class_probability": 0.003855695585908385,"class_score": 0.003855695585908385},{"class_name": "ig","class_probability": 0.0036940515396614113,"class_score": 0.0036940515396614113},{"class_name": "sw","class_probability": 0.0021393582129747924,"class_score": 0.0021393582129747924},{"class_name": "it","class_probability": 0.0011839650697029283,"class_score": 0.0011839650697029283}],"prediction_probability": 0.9854748734614491,"prediction_score": 0.9854748734614491,"model_id": "lang_ident_model_1"}}}},......

文档重新索引到新目标

POST _reindex
{"source": {"index": "ner-test-new","size": 50},"dest": {"index": "ner-test","pipeline": "lang_ident_model_1"}
}

这篇关于使用阿里云试用Elasticsearch学习:使用内置模型 lang_ident_model_1 创建管道并使用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/902384

相关文章

Java Spring 中 @PostConstruct 注解使用原理及常见场景

《JavaSpring中@PostConstruct注解使用原理及常见场景》在JavaSpring中,@PostConstruct注解是一个非常实用的功能,它允许开发者在Spring容器完全初... 目录一、@PostConstruct 注解概述二、@PostConstruct 注解的基本使用2.1 基本代

C#使用StackExchange.Redis实现分布式锁的两种方式介绍

《C#使用StackExchange.Redis实现分布式锁的两种方式介绍》分布式锁在集群的架构中发挥着重要的作用,:本文主要介绍C#使用StackExchange.Redis实现分布式锁的... 目录自定义分布式锁获取锁释放锁自动续期StackExchange.Redis分布式锁获取锁释放锁自动续期分布式

springboot使用Scheduling实现动态增删启停定时任务教程

《springboot使用Scheduling实现动态增删启停定时任务教程》:本文主要介绍springboot使用Scheduling实现动态增删启停定时任务教程,具有很好的参考价值,希望对大家有... 目录1、配置定时任务需要的线程池2、创建ScheduledFuture的包装类3、注册定时任务,增加、删

使用Python实现矢量路径的压缩、解压与可视化

《使用Python实现矢量路径的压缩、解压与可视化》在图形设计和Web开发中,矢量路径数据的高效存储与传输至关重要,本文将通过一个Python示例,展示如何将复杂的矢量路径命令序列压缩为JSON格式,... 目录引言核心功能概述1. 路径命令解析2. 路径数据压缩3. 路径数据解压4. 可视化代码实现详解1

Pandas透视表(Pivot Table)的具体使用

《Pandas透视表(PivotTable)的具体使用》透视表用于在数据分析和处理过程中进行数据重塑和汇总,本文就来介绍一下Pandas透视表(PivotTable)的具体使用,感兴趣的可以了解一下... 目录前言什么是透视表?使用步骤1. 引入必要的库2. 读取数据3. 创建透视表4. 查看透视表总结前言

Python 交互式可视化的利器Bokeh的使用

《Python交互式可视化的利器Bokeh的使用》Bokeh是一个专注于Web端交互式数据可视化的Python库,本文主要介绍了Python交互式可视化的利器Bokeh的使用,具有一定的参考价值,感... 目录1. Bokeh 简介1.1 为什么选择 Bokeh1.2 安装与环境配置2. Bokeh 基础2

Android使用ImageView.ScaleType实现图片的缩放与裁剪功能

《Android使用ImageView.ScaleType实现图片的缩放与裁剪功能》ImageView是最常用的控件之一,它用于展示各种类型的图片,为了能够根据需求调整图片的显示效果,Android提... 目录什么是 ImageView.ScaleType?FIT_XYFIT_STARTFIT_CENTE

Java学习手册之Filter和Listener使用方法

《Java学习手册之Filter和Listener使用方法》:本文主要介绍Java学习手册之Filter和Listener使用方法的相关资料,Filter是一种拦截器,可以在请求到达Servl... 目录一、Filter(过滤器)1. Filter 的工作原理2. Filter 的配置与使用二、Listen

Pandas使用AdaBoost进行分类的实现

《Pandas使用AdaBoost进行分类的实现》Pandas和AdaBoost分类算法,可以高效地进行数据预处理和分类任务,本文主要介绍了Pandas使用AdaBoost进行分类的实现,具有一定的参... 目录什么是 AdaBoost?使用 AdaBoost 的步骤安装必要的库步骤一:数据准备步骤二:模型

使用Pandas进行均值填充的实现

《使用Pandas进行均值填充的实现》缺失数据(NaN值)是一个常见的问题,我们可以通过多种方法来处理缺失数据,其中一种常用的方法是均值填充,本文主要介绍了使用Pandas进行均值填充的实现,感兴趣的... 目录什么是均值填充?为什么选择均值填充?均值填充的步骤实际代码示例总结在数据分析和处理过程中,缺失数