OpenShift AI - 运行欺诈检测模型和流程

2024-02-08 19:36

本文主要是介绍OpenShift AI - 运行欺诈检测模型和流程,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

《OpenShift / RHEL / DevSecOps 汇总目录》
说明:本文已经在 OpenShift 4.14 + RHODS 2.50 的环境中验证

文章目录

  • 准备运行环境
    • 安装 OpenShift AI 环境
    • 安装 Minio 对象存储软件
    • 创建 Data Science Project
    • 创建 Data connection
    • 创建 Workbench
    • 配置 Model server
    • 创建 Pipeline server
  • 运行应用
    • 运行欺诈检测应用
    • 配置和运行 Pipeline
      • 运行 Workbench Pipeline
      • 运行 Python Pipeline
  • 参考

准备运行环境

安装 OpenShift AI 环境

先根据《OpenShift AI - 部署 OpenShift AI 环境,运行 AI/ML 应用(视频)》一文完成 OpenShift AI 环境的安装。
注意:本应用无需 GPU 即可运行。

安装 Minio 对象存储软件

根据《OpenShift 4 - 管理和使用 OpenShift AI 运行环境》一文安装 MinIO。

创建 Data Science Project

在 OpenShift 控制台的菜单中选择 Red Hat OpenShift AI,然后在 OpenShift AI 控制台中创建名为 Fraud Detection 的 Data Science Project。

创建 Data connection

在项目中按以下配置创建两个 Data connection。

NameMy StoragePipeline Artifacts
Access keyminiominio
Secret keyminio123minio123
Endpointhttp://minio-service.minio.svc.cluster.local:9000http://minio-service.minio.svc.cluster.local:9000
Regionnono
Bucketmy-storagepipeline-artifacts

创建 Workbench

在项目中按以下配置创建一个 Workbench。

NameFraud Detection
Image selectionTensorFlow
Version selection2023.2
Container sizeSmall
Create new persistent storage -> NameFraud Detection
Use existing data connection -> Data connectionMy Storage

配置 Model server

  1. 在项目中按以下配置创建一个 Model server。
    在这里插入图片描述
  2. 点击创建好的 Model Server 的 Deploy model 按钮,然后按以下配置部署模型。
    在这里插入图片描述
  3. 最后可以查看部署的模型对应的内部服务地址。
    在这里插入图片描述

创建 Pipeline server

  1. 确认已经在 OpenShift 上安装了 OpenShift Pipelines Operator。
  2. 在项目中按以下配置创建一个 Pipeline server。
    在这里插入图片描述

运行应用

运行欺诈检测应用

  1. 从 Workbench 打开 Jupyter 的控制台。
  2. 将 https://github.com/rh-aiservices-bu/fraud-detection.git 克隆到本地。
  3. 运行编号为 1-5 的 ipynb 文件。其中在运行 2_save_model.ipynb 后,可以在对象存储中看到生成的模型。
    在这里插入图片描述

配置和运行 Pipeline

运行 Workbench Pipeline

  1. 打开 6 Train Save.pipeline 文件,其中包含 2 个节点。
  2. 在 Pipeline Properties 中将 Generic Node Defaults 的 Runtime Image 设为 Tensorflow with Cuda and Python 3.9 (UBI 9)。
  3. 选中 1_experiment_train 节点,然后将 Node Properties 中的 File Dependencies 设为 data/card_transdata.csv 和 Include Subdirectories。
  4. 分别选中 2 个节点,然后将 Node Properties 中的 Output Files 设为 models/fraud/model.onnx。
  5. 选中 2_save_model 节点,然后按下表添加 5 个 Kubernetes secrets。
    | Environment Variable | Secret Name | Secret Key |
    |–|–|–|
    | AWS_ACCESS_KEY_ID | aws-connection-my-storage | AWS_ACCESS_KEY_ID |
    | AWS_SECRET_ACCESS_KEY | aws-connection-my-storage | AWS_SECRET_ACCESS_KEY |
    | AWS_S3_ENDPOINT | aws-connection-my-storage | AWS_S3_ENDPOINT |
    | AWS_DEFAULT_REGION | aws-connection-my-storage | AWS_DEFAULT_REGION |
    | AWS_S3_BUCKET | aws-connection-my-storage | AWS_S3_BUCKET |
  6. 运行 6 Train Save.pipeline,然后在弹出窗口点击 OK。
    在这里插入图片描述
  7. 可以在 Data Science Pipelines 的 Runs 中查看到 Pipeline 实例的执行情况。
    在这里插入图片描述

运行 Python Pipeline

  1. 将 7_get_data_train_upload.yaml 文件下载到本地。
    在这里插入图片描述
  2. 在 OpenShift AI 控制台的 Fraud Detection 项目中通过 Import pipeline 功能按下图导入 7_get_data_train_upload.yaml 文件。
    在这里插入图片描述
  3. 在 OpenShift AI 控制台的 Data Science Pipelines - > Pipelines 中的 Python pipeline 点击 Create run,然后按下图创建一个运行实例。
    在这里插入图片描述
  4. 最后查看 Run 1 的运行情况。
    在这里插入图片描述

参考

https://rh-aiservices-bu.github.io/fraud-detection/
https://access.redhat.com/documentation/en-us/red_hat_openshift_ai_self-managed/2.5/html/openshift_ai_tutorial_-_fraud_detection_example
https://rh-aiservices-bu.github.io/rhoai-rh1-testdrive/modules/llm/download-save-llm.html

这篇关于OpenShift AI - 运行欺诈检测模型和流程的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/692001

相关文章

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

Java终止正在运行的线程的三种方法

《Java终止正在运行的线程的三种方法》停止一个线程意味着在任务处理完任务之前停掉正在做的操作,也就是放弃当前的操作,停止一个线程可以用Thread.stop()方法,但最好不要用它,本文给大家介绍了... 目录前言1. 停止不了的线程2. 判断线程是否停止状态3. 能停止的线程–异常法4. 在沉睡中停止5

Spring AI ectorStore的使用流程

《SpringAIectorStore的使用流程》SpringAI中的VectorStore是一种用于存储和检索高维向量数据的数据库或存储解决方案,它在AI应用中发挥着至关重要的作用,本文给大家介... 目录一、VectorStore的基本概念二、VectorStore的核心接口三、VectorStore的

python之流程控制语句match-case详解

《python之流程控制语句match-case详解》:本文主要介绍python之流程控制语句match-case使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录match-case 语法详解与实战一、基础值匹配(类似 switch-case)二、数据结构解构匹

在VSCode中本地运行DeepSeek的流程步骤

《在VSCode中本地运行DeepSeek的流程步骤》本文详细介绍了如何在本地VSCode中安装和配置Ollama和CodeGPT,以使用DeepSeek进行AI编码辅助,无需依赖云服务,需要的朋友可... 目录步骤 1:在 VSCode 中安装 Ollama 和 CodeGPT安装Ollama下载Olla

Spring AI集成DeepSeek三步搞定Java智能应用的详细过程

《SpringAI集成DeepSeek三步搞定Java智能应用的详细过程》本文介绍了如何使用SpringAI集成DeepSeek,一个国内顶尖的多模态大模型,SpringAI提供了一套统一的接口,简... 目录DeepSeek 介绍Spring AI 是什么?Spring AI 的主要功能包括1、环境准备2

Spring AI集成DeepSeek实现流式输出的操作方法

《SpringAI集成DeepSeek实现流式输出的操作方法》本文介绍了如何在SpringBoot中使用Sse(Server-SentEvents)技术实现流式输出,后端使用SpringMVC中的S... 目录一、后端代码二、前端代码三、运行项目小天有话说题外话参考资料前面一篇文章我们实现了《Spring

Spring AI与DeepSeek实战一之快速打造智能对话应用

《SpringAI与DeepSeek实战一之快速打造智能对话应用》本文详细介绍了如何通过SpringAI框架集成DeepSeek大模型,实现普通对话和流式对话功能,步骤包括申请API-KEY、项目搭... 目录一、概述二、申请DeepSeek的API-KEY三、项目搭建3.1. 开发环境要求3.2. mav

linux环境openssl、openssh升级流程

《linux环境openssl、openssh升级流程》该文章详细介绍了在Ubuntu22.04系统上升级OpenSSL和OpenSSH的方法,首先,升级OpenSSL的步骤包括下载最新版本、安装编译... 目录一.升级openssl1.官网下载最新版openssl2.安装编译环境3.下载后解压安装4.备份