SKIL/工作流程/KNN(K邻近值算法)

2023-10-21 16:50

本文主要是介绍SKIL/工作流程/KNN(K邻近值算法),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

K邻近值算法

除了部署转换和网络模型,SKIL还允许你部署KNN模型。

KNN (k邻近值算法) 是最简单的分类算法之一,广泛用于解决机器学习的基本问题。通过计算输入数据和数据集中所有示例之间的相似度(或距离)函数,找出最接近给定数据点的示例。knn中的“k”表示算法在对数据执行时,我们希望获得的最接近的示例的“k”个分类数。

 

K邻近值算法流程

该工作流程涉及到生成一个二进制KNN向量文件,其中包含将在其上执行K邻近值算法的数据集。向量文件将包含行向量,表示数据集中的每个示例。有一个可选的标签文件,其中包含表示数据集中每个示例行数据向量的标签。如果没有提供,则在查询模型时,数据集中行向量的索引将作为标签返回,或者在标签字段中返回“None”字符串。

这些步骤可以概括为:

  1. 收集要表示为数据集的数据,其中每个示例都以行向量形式表示。
  2. 创建一个标签文件,表示数据集中每个数据点的标签。
  3. 使用BinarySerde和INDArray以二进制形式保存数据集。
  4. 保存标签文件,其中每一行包含数据集中每个数据点的标签,每个数据点位于不同的行中。
  5. 部署时导入KNN模型和标签文件。
  6. 查询KNN模型。

下面的示例将演示所有这些步骤。

 

示例

 

0. 载加依赖

 

本演示使用SMILE库计算任何k-means 数据的质心。要使用SMILE库,请在笔记本中加载以下依赖项。

 

%spark.depz.load("com.github.haifengl:smile-core:jar:1.5.1")

 

1. 创建数据集

 

在这里,对于每个示例,KNN数据集中的数据点被展平为它们的行向量形式。演示使用k-means将12个数据点聚类为3个质心。

import smile.clustering.GMeans
import smile.clustering.KMeansimport io.skymind.zeppelin.utils._
import org.nd4j.linalg.factory.Nd4jval kmeanData = Array(Array(-1.0, -1.2, -1.1), Array(-1.1, -1.1, -1.0), Array(-0.9, -0.9, -1.2), Array(-0.9, -1.0, -0.9), Array(0.0, 0.0, 0.0), Array(0.1, 0.2, 0.3), Array(-0.1, 0.2, -0.1), Array(0.1, 0.1, 0.1), Array(1.0, 1.0, 1.0),Array(1.1, 1.1, 1.1),Array(1.0, 0.9, 0.9),Array(1.2, 0.9, 1.0)
)val kmeans = new KMeans(kmeanData, 3)kmeans.predict(Array(-1.0, 0.0, 0.0))val centers = kmeans.centroids()val array = Nd4j.create(centers)

array变量包含3个质心,将用作KNN数据集。

 

2. 创建标签

这里的标签非常简单,每一行都被标记为其索引。实际上,这些标签可以是任何字符串值。

 

val labels = centers.indices

 

3. 保存数据集

要将INDArrays序列化为二进制形式,请确保使用 BinarySerde#writeArrayToDisk。

import java.io.File
import org.nd4j.serde.binary.BinarySerdeBinarySerde.writeArrayToDisk(array, new File("/tmp/centroids.bin"))

 

4. 保存标签

 

标签可以正常保存,每行代表数据集中每行数据向量的标签字符串。

import java.io.PrintWriterval writer = new PrintWriter(new File("/tmp/centroids.labels"))for (i <- labels) {writer.println(i.toString)
}
writer.close()

 

5. 导入KNN

可以像在SKIL用户界面中导入其他部署模型一样导入KNN模型。

Import a model

导入模型
在笔记本示例中,模型保存在/tmp/centroids.bin,标签保存在/tmp/centroids.labels。请记住,标签文件是可选的。
当你想知道从输入数据点到数据点的最远距离时,“inverted”复选框很有用。当你想在数据集中查找离群点时,这很有用。


“相似性函数”选择列表指定了在计算给定数据点与数据集中其余示例之间的相似性/距离时要使用的距离函数。


填写完表格后,如下图所示,单击“导入KNN(Import KNN)”。

Filling KNN import details

填写KNN导入明细


模型导入成功后,启动KNN服务器。

Starting KNN server

启动KNN服务器

在状态指示服务器已启动后,可以查询KNN服务器。同时复制使用“endpoint”头的端点URL。这里是http://localhost:9008/endpoints/demo/knn/knntest/default/。这可能会因填写在KNN导入模型表单中的表单设置而有所不同。

KNN server started

KNN 服务器启动

 

6. 查询KNN模型

要查询KNN模型,可以使用以下端点:

  • https://docs.skymind.ai/v1.1/reference#knn
  • https://docs.skymind.ai/v1.1/reference#knnnew
// 部署完之后:
import com.mashape.unirest.http.Unirest
import org.json.JSONObjectimport java.text.MessageFormatimport org.nd4j.linalg.factory.Nd4j
import org.nd4j.serde.base64.Nd4jBase64val skilContext = new SkilContext()Unirest.setDefaultHeader("Authorization", "Token " + skilContext.client.getAuthToken);//Ref: https://docs.skymind.ai/v1.1/reference#knn
val nearestNeighborResultsKnn = Unirest.post(MessageFormat.format("http://localhost:9008/endpoints/demo/knn/knntest/default/{0}", "knn")).header("accept", "application/json").header("Content-Type", "application/json").body(new JSONObject() //使用它是因为字段函数无法转换为可接受的JSON.put("k", 2).put("index", 1).toString()).asJson().getBody().getObject()val base64Array = Nd4jBase64.base64String(Nd4j.create(Array(0.0, 0.0, 0.0))); // Base64 Encoded form of Array - [0.0, 0.0, 0.0]// Ref: https://docs.skymind.ai/v1.1/reference#knnnew
val nearestNeighborResultsKnnNew = Unirest.post(MessageFormat.format("http://localhost:9008/endpoints/demo/knn/knntest/default/{0}", "knnnew")).header("accept", "application/json").header("Content-Type", "application/json").body(new JSONObject() //使用它是因为字段函数无法转换为可接受的JSON.put("k", 2).put("index", 1).put("ndarray", base64Array).toString()).asJson().getBody().getObject()

这篇关于SKIL/工作流程/KNN(K邻近值算法)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/255668

相关文章

Java中的雪花算法Snowflake解析与实践技巧

《Java中的雪花算法Snowflake解析与实践技巧》本文解析了雪花算法的原理、Java实现及生产实践,涵盖ID结构、位运算技巧、时钟回拨处理、WorkerId分配等关键点,并探讨了百度UidGen... 目录一、雪花算法核心原理1.1 算法起源1.2 ID结构详解1.3 核心特性二、Java实现解析2.

Spring Security中用户名和密码的验证完整流程

《SpringSecurity中用户名和密码的验证完整流程》本文给大家介绍SpringSecurity中用户名和密码的验证完整流程,本文结合实例代码给大家介绍的非常详细,对大家的学习或工作具有一定... 首先创建了一个UsernamePasswordAuthenticationTChina编程oken对象,这是S

SpringBoot集成LiteFlow工作流引擎的完整指南

《SpringBoot集成LiteFlow工作流引擎的完整指南》LiteFlow作为一款国产轻量级规则引擎/流程引擎,以其零学习成本、高可扩展性和极致性能成为微服务架构下的理想选择,本文将详细讲解Sp... 目录一、LiteFlow核心优势二、SpringBoot集成实战三、高级特性应用1. 异步并行执行2

Android ViewBinding使用流程

《AndroidViewBinding使用流程》AndroidViewBinding是Jetpack组件,替代findViewById,提供类型安全、空安全和编译时检查,代码简洁且性能优化,相比Da... 目录一、核心概念二、ViewBinding优点三、使用流程1. 启用 ViewBinding (模块级

Spring @Scheduled注解及工作原理

《Spring@Scheduled注解及工作原理》Spring的@Scheduled注解用于标记定时任务,无需额外库,需配置@EnableScheduling,设置fixedRate、fixedDe... 目录1.@Scheduled注解定义2.配置 @Scheduled2.1 开启定时任务支持2.2 创建

SpringBoot整合Flowable实现工作流的详细流程

《SpringBoot整合Flowable实现工作流的详细流程》Flowable是一个使用Java编写的轻量级业务流程引擎,Flowable流程引擎可用于部署BPMN2.0流程定义,创建这些流程定义的... 目录1、流程引擎介绍2、创建项目3、画流程图4、开发接口4.1 Java 类梳理4.2 查看流程图4

LiteFlow轻量级工作流引擎使用示例详解

《LiteFlow轻量级工作流引擎使用示例详解》:本文主要介绍LiteFlow是一个灵活、简洁且轻量的工作流引擎,适合用于中小型项目和微服务架构中的流程编排,本文给大家介绍LiteFlow轻量级工... 目录1. LiteFlow 主要特点2. 工作流定义方式3. LiteFlow 流程示例4. LiteF

java Long 与long之间的转换流程

《javaLong与long之间的转换流程》Long类提供了一些方法,用于在long和其他数据类型(如String)之间进行转换,本文将详细介绍如何在Java中实现Long和long之间的转换,感... 目录概述流程步骤1:将long转换为Long对象步骤2:将Longhttp://www.cppcns.c

SpringBoot集成LiteFlow实现轻量级工作流引擎的详细过程

《SpringBoot集成LiteFlow实现轻量级工作流引擎的详细过程》LiteFlow是一款专注于逻辑驱动流程编排的轻量级框架,它以组件化方式快速构建和执行业务流程,有效解耦复杂业务逻辑,下面给大... 目录一、基础概念1.1 组件(Component)1.2 规则(Rule)1.3 上下文(Conte

详解如何使用Python构建从数据到文档的自动化工作流

《详解如何使用Python构建从数据到文档的自动化工作流》这篇文章将通过真实工作场景拆解,为大家展示如何用Python构建自动化工作流,让工具代替人力完成这些数字苦力活,感兴趣的小伙伴可以跟随小编一起... 目录一、Excel处理:从数据搬运工到智能分析师二、PDF处理:文档工厂的智能生产线三、邮件自动化: