OpenShift 4 - 在 Jupyter Notebook 中使用 Elyra 执行 AI 处理流水线

2024-01-08 13:52

本文主要是介绍OpenShift 4 - 在 Jupyter Notebook 中使用 Elyra 执行 AI 处理流水线,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

《OpenShift / RHEL / DevSecOps 汇总目录》
说明:本文已经在 OpenShift 4.14 + RHODS 2.50 的环境中验证

说明:请先根据《OpenShift 4 - 管理和使用 OpenShift AI 运行环境》一文完成 MinIO 的安装。
注意:如无特殊说明,和 OpenShift AI 相关的 Blog 均无需 GPU。

什么是 Elyra

Elyra 是 JupyterLab Notebook 的扩展插件。它提供了一个可视化管道编辑器,用于从 Python 和 R 脚本以及 Jupyter Notebook 构建管道,从而有助于简化将多个文件转换为批处理作业或工作流的过程。

Elyra 的管道由节点组成,节点之间相互连接,以定义执行依赖关系。为了组装管道,Elyra 的可视化管道编辑器支持将文件拖放到画布上并定义其依赖关系。在组装好管道并准备运行后,Elyra 编辑器会生成 Tekton YAML 定义,并将其提交给 OpenShift Pipeline 执行。

准备 Elyra 管道运行环境

使用定制镜像

  1. 用管理员登录 OpenShift AI 控制台,然后进入 Settings > Notebook image settings。
  2. 在 Notebook image settings 页面点击 Import new image 按钮,然后在 Import notebook image 窗口按以下配置导入镜像。
    Repository: quay.io/mmurakam/workbenches:fraud-detection-v1.0.1
    Name: Fraud detection workbench

准备模型

  1. 在 MinIO 中创建名为 fraud-detection 的 Bucket。
  2. 从 https://github.com/mamurak/os-mlops-artefacts/tree/fraud-detection-model-v0.1/models/fraud-detection 和 https://github.com/mamurak/os-mlops-artefacts/tree/fraud-detection-model-v0.1/data/fraud-detection 分别下载 model-latest.onnx 和 live-data.csv 文件,然后上传到 MinIO 的 fraud-detection 路径下。
    在这里插入图片描述

配置 Workbench、 Data Connection 和 Cluster storage

  1. 使用一般用户在 OpenShift AI 控制台中创建名为 pipelines-example 的 Data Science Project。
  2. 在 pipelines-example 项目下按照以下配置创建名为 fraud-detection-workbench 的 Workbench。
    将 Name 设置 fraud-detection-workbench
    在 Notebook image 中为 Notebook image 选择 Fraud detection workbench
    在 Deployment size 中为 Container size 选择 Small
  3. 分别为 fraud-detection 应用和运行的 Pipeline 创建名为 fraud-detection 和 offline-scoring-data-volume 的 Cluster storage,都为 5 GB。
  4. 按照以下配置创建 Data Connection,用来访问对象存储中的模型。
    Name: fraud-detection
    Access key: minio
    Secret key: minio123
    Endpoint: http://minio-service.minio.svc.cluster.local:9000
    Bucket: fraud-detection
  5. 完成配置以后 fraud-detection 项目下的配置如下图:
    在这里插入图片描述

创建 Elyra Server 运行环境

配置和运行 Elyra 管道的生命周期需要一个 Elyra Server 环境,Elyra Serve 包含以下组件和功能:

  • 运行 Pipeline Server 的容器
  • 用来保存 Pipeline 定义和运行结果的 MariaDB
  • 用来定时运行 Pipeline 的调度器
  • A Persistent Agent to record the set of containers that executed as well as their inputs and outputs.
  • 用来记录容器集执行的输入和输出的持久代理。

配置 Elyra Server 的过程如下:

  1. 在 pipelines-example 项目下按下图创建一个 Data Connection。其中名为 fraud-detection-pipelines 的 Bucket 会被自动创建。
    Name: fraud-detection-pipelines
    Access key: minio
    Secret key: minio123
    Endpoint: http://minio-service.minio.svc.cluster.local:9000
    Bucket: fraud-detection-pipelines
    在这里插入图片描述
  2. 在 pipelines-example 项目下点击 Create a pipeline server 按钮。
    在这里插入图片描述
  3. 在 Configure pipeline server 窗口中选择其所使用的 Data Connection 为 fraud-detection-pipelines。
    在这里插入图片描述
  4. 在配置好 Pipeline server 后,可以在 OpenShift 开发者视图中看到部署的相关资源如下图。
    在这里插入图片描述

配置 Elyra 管道

  1. 打开 fraud-detection-workbench,然后在 Jupyter Notebook 中导入 https://github.com/RedHatQuickCourses/rhods-qc-apps.git。
  2. 进入 rhods-qc-apps/5.pipelines/elyra 目录,然后在 Jupyter Notebook 的 Launcher 中点击 Elyra 区域的 Pipeline Editor,然后将创建的文件改名为 offline-scoring.pipeline。
    在这里插入图片描述
  3. 打开的 offline-scoring.pipeline 文件,然后将 rhods-qc-apps/5.pipelines/elyra 目录中的 5 个 py 文件拖拽到 offline-scoring.pipeline 文件的编辑区,然后按下图顺序将其连接起来。
    在这里插入图片描述
  4. 进入左侧工具条的 Runtime Images,此时界面如下图。然后点击 “+” 来创建新的运行时镜像。
    在这里插入图片描述
  5. 在 Add new Runtime Image runtime image 界面中按以下配置创建,然后 Save & Close。
    Display Name: fraud detection runtime
    Image Name: quay.io/mmurakam/runtimes:fraud-detection-v0.2.0
    在这里插入图片描述
  6. 打开 Open Panel,然后在右侧进入 PIPELINE PROPERTIES。
  7. 在 Generic Node Defaults 区域将 Runtime Image 设为 fraud detection runtime。
  8. 增加 4 个 Kubernetes Secrets。将每个 Secret 的 Environment Variable 和 Secret Key 设为相同内容,分别为以下 4 组,并且将所有 Secret Name 设为 aws-connection-fraud-detection。
    AWS_ACCESS_KEY_ID
    AWS_SECRET_ACCESS_KEY
    AWS_S3_ENDPOINT
    AWS_S3_BUCKET
    在这里插入图片描述
  9. 在 Pipeline 中选择 model_loading.py 节点,此时界面右侧区域会切换至 NODE PROPERTIES,然后将 Output Files 设为 model.onnx。
  10. 在 Pipeline 中依次选择 data_ingrestion.py、preprocessing.py、scoring.py、results_upload.py节点,然后在 NODE PROPERTIES 中按以下配置为每个节点增加一个 Data Volume。
    Mount Path: /data
    Persistent Volume Claim Name: offline-scoring-data-volume
    在这里插入图片描述

运行Elyra 管道

  1. 在 offline-scoring.pipeline 界面的工具条中点击 Run pipeline 图标运行管道,然后在提示窗口接受缺省选项,最后点击 OK。
    在这里插入图片描述
  2. 管道运行后,在下面成功提示的提示框点击 OK。注意:如果管道没有运行起来,可以先关闭再重启 Workbench。
    在这里插入图片描述
  3. 在 OpenShift AI 控制台进入 Data Science Pipelines > Pipelines,可以看到管道的运行状态,如下图。
    在这里插入图片描述
  4. 点击上图 Runs 下的 offline-scoring-1223032941 的链接,可以看到此次管道运行的详细情况,如下图。
    在这里插入图片描述
  5. 另外也可在 OpenShift 开发者视图中的管道中看到 OpenShift Pipeline 的运行情况。注意:下图中名为 pipeline/runid 的标签和上图的 Run ID 有相同的内容。
    在这里插入图片描述
  6. 在 MinIO 中查看 fraud-detection 和 fraud-detection-pipelines 存储桶生成的内容,分别是模型和管道生成的数据。
    在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

参考

https://redhatquickcourses.github.io/rhods-pipelines

这篇关于OpenShift 4 - 在 Jupyter Notebook 中使用 Elyra 执行 AI 处理流水线的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/583676

相关文章

python处理带有时区的日期和时间数据

《python处理带有时区的日期和时间数据》这篇文章主要为大家详细介绍了如何在Python中使用pytz库处理时区信息,包括获取当前UTC时间,转换为特定时区等,有需要的小伙伴可以参考一下... 目录时区基本信息python datetime使用timezonepandas处理时区数据知识延展时区基本信息

使用Python和Pyecharts创建交互式地图

《使用Python和Pyecharts创建交互式地图》在数据可视化领域,创建交互式地图是一种强大的方式,可以使受众能够以引人入胜且信息丰富的方式探索地理数据,下面我们看看如何使用Python和Pyec... 目录简介Pyecharts 简介创建上海地图代码说明运行结果总结简介在数据可视化领域,创建交互式地

Java Stream流使用案例深入详解

《JavaStream流使用案例深入详解》:本文主要介绍JavaStream流使用案例详解,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录前言1. Lambda1.1 语法1.2 没参数只有一条语句或者多条语句1.3 一个参数只有一条语句或者多

Java Spring 中 @PostConstruct 注解使用原理及常见场景

《JavaSpring中@PostConstruct注解使用原理及常见场景》在JavaSpring中,@PostConstruct注解是一个非常实用的功能,它允许开发者在Spring容器完全初... 目录一、@PostConstruct 注解概述二、@PostConstruct 注解的基本使用2.1 基本代

C#使用StackExchange.Redis实现分布式锁的两种方式介绍

《C#使用StackExchange.Redis实现分布式锁的两种方式介绍》分布式锁在集群的架构中发挥着重要的作用,:本文主要介绍C#使用StackExchange.Redis实现分布式锁的... 目录自定义分布式锁获取锁释放锁自动续期StackExchange.Redis分布式锁获取锁释放锁自动续期分布式

springboot使用Scheduling实现动态增删启停定时任务教程

《springboot使用Scheduling实现动态增删启停定时任务教程》:本文主要介绍springboot使用Scheduling实现动态增删启停定时任务教程,具有很好的参考价值,希望对大家有... 目录1、配置定时任务需要的线程池2、创建ScheduledFuture的包装类3、注册定时任务,增加、删

使用Python实现矢量路径的压缩、解压与可视化

《使用Python实现矢量路径的压缩、解压与可视化》在图形设计和Web开发中,矢量路径数据的高效存储与传输至关重要,本文将通过一个Python示例,展示如何将复杂的矢量路径命令序列压缩为JSON格式,... 目录引言核心功能概述1. 路径命令解析2. 路径数据压缩3. 路径数据解压4. 可视化代码实现详解1

Pandas透视表(Pivot Table)的具体使用

《Pandas透视表(PivotTable)的具体使用》透视表用于在数据分析和处理过程中进行数据重塑和汇总,本文就来介绍一下Pandas透视表(PivotTable)的具体使用,感兴趣的可以了解一下... 目录前言什么是透视表?使用步骤1. 引入必要的库2. 读取数据3. 创建透视表4. 查看透视表总结前言

Python 交互式可视化的利器Bokeh的使用

《Python交互式可视化的利器Bokeh的使用》Bokeh是一个专注于Web端交互式数据可视化的Python库,本文主要介绍了Python交互式可视化的利器Bokeh的使用,具有一定的参考价值,感... 目录1. Bokeh 简介1.1 为什么选择 Bokeh1.2 安装与环境配置2. Bokeh 基础2

Android使用ImageView.ScaleType实现图片的缩放与裁剪功能

《Android使用ImageView.ScaleType实现图片的缩放与裁剪功能》ImageView是最常用的控件之一,它用于展示各种类型的图片,为了能够根据需求调整图片的显示效果,Android提... 目录什么是 ImageView.ScaleType?FIT_XYFIT_STARTFIT_CENTE