java使用Deep Java Library(djl)搭配TorchScript搭建图片分类

2024-04-07 12:12
文章标签 java 使用 图片 分类 搭建 搭配 deep library torchscript djl

本文主要是介绍java使用Deep Java Library(djl)搭配TorchScript搭建图片分类，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一、前置要求

1.1、下载TorchScript类型的模型，注意这里是TorchScript类型，有些模型在说明中会说明是否为该格式的文件。可以从huggingface下载，在huggingface注意未区分PyTorch和TorchScript，在模型下方的标签都标记的为PyTorch，需要看具体的描述是否说该模型为TorchScript。
1.2、pom文件引入依赖，注意和引擎相关的包需要搭配引用，例如ai.djl.pytorch的native和jni包与engine版本要对上。pom.xml引入包如下：

<properties><maven.compiler.source>11</maven.compiler.source><maven.compiler.target>11</maven.compiler.target><djl.version>0.27.0</djl.version></properties><dependencies><!-- https://mvnrepository.com/artifact/ai.djl/api --><dependency><groupId>ai.djl</groupId><artifactId>api</artifactId><version>${djl.version}</version></dependency><!-- https://mvnrepository.com/artifact/ai.djl/model-zoo --><dependency><groupId>ai.djl</groupId><artifactId>model-zoo</artifactId><version>${djl.version}</version></dependency><!-- https://mvnrepository.com/artifact/ai.djl.pytorch/pytorch-engine --><dependency><groupId>ai.djl.pytorch</groupId><artifactId>pytorch-engine</artifactId><version>${djl.version}</version></dependency><dependency><groupId>ai.djl</groupId><artifactId>basicdataset</artifactId><version>${djl.version}</version></dependency><dependency><groupId>ai.djl.pytorch</groupId><artifactId>pytorch-engine</artifactId><version>${djl.version}</version></dependency><dependency><groupId>ai.djl.pytorch</groupId><artifactId>pytorch-jni</artifactId><version>2.1.1-0.27.0</version></dependency><dependency><groupId>ai.djl.pytorch</groupId><artifactId>pytorch-native-cpu</artifactId><classifier>win-x86_64</classifier><version>2.1.1</version></dependency><dependency><groupId>ai.djl</groupId><artifactId>djl-zero</artifactId><version>${djl.version}</version></dependency><dependency><groupId>org.apache.logging.log4j</groupId><artifactId>log4j-slf4j-impl</artifactId><version>2.21.0</version></dependency></dependencies>

二、java代码

将下载好的模型放到对应的位置，其中模型文件包含两个部分，一个是pt结尾的文件，当然结尾不一定是这个，可能是其他的，可以使用压缩文件打开这个模型文件看看是否包含了constants.pkl等文件，这个可以用作确认是否为TorchScript的一个标志。然后还需要一个synset.txt文件。

//这里也可以使用在线的模型
private static final URL MODEL_URL = NSFWUtil.class.getClassLoader().getResource("model/xxx.pt");public static void main(String[] args) throws MalformedModelException, IOException, ModelNotFoundException, TranslateException {getNSFW4JSON("image path");}/*** * @param imagePath 文件地址* @throws ModelNotFoundException * @throws MalformedModelException* @throws IOException* @throws TranslateException* @return nsfw的json*/public static Classifications  getNSFW4JSON(String imagePath) throws ModelNotFoundException, MalformedModelException, IOException, TranslateException {Image img = ImageFactory.getInstance().fromFile(Paths.get(imagePath));Translator<Image, Classifications> translator =ImageClassificationTranslator.builder().addTransform(new Resize(224, 224)).addTransform(new ToTensor()).optApplySoftmax(true).build();Criteria<Image, Classifications> criteria = Criteria.builder().setTypes(Image.class, Classifications.class).optModelUrls(MODEL_URL.toString()).optTranslator(translator).optEngine("PyTorch") // Use PyTorch engine.optProgress(new ProgressBar()).build();try (ZooModel<Image, Classifications> model = criteria.loadModel()){Predictor<Image, Classifications> predictor = model.newPredictor();return predictor.predict(img);}}/*** * @param in 输入流* @throws ModelNotFoundException * @throws MalformedModelException* @throws IOException* @throws TranslateException* @return nsfw的json*/public static Classifications  getNSFW4JSON(InputStream in) throws ModelNotFoundException, MalformedModelException, IOException, TranslateException {Image img = BufferedImageFactory.getInstance().fromInputStream(in);Translator<Image, Classifications> translator =ImageClassificationTranslator.builder().addTransform(new Resize(224, 224)).addTransform(new ToTensor()).optApplySoftmax(true).build();Criteria<Image, Classifications> criteria = Criteria.builder().setTypes(Image.class, Classifications.class).optModelUrls(MODEL_URL.toString()).optTranslator(translator).optEngine("PyTorch") // Use PyTorch engine.optProgress(new ProgressBar()).build();try (ZooModel<Image, Classifications> model = criteria.loadModel()){Predictor<Image, Classifications> predictor = model.newPredictor();return predictor.predict(img);}}

三、总结

3.1、代码中的ImageClassificationTranslator在其他很多时候是自己在定义具体的方法实现，这里我们是图片分类，所以我们用的是官方提供的Translator。
3.2、就目前来说框架帮我们实现了很多的代码，能写的代码不是很多，难点在于如何找到能用的模型，目前很多模型还是PyTorch类型的，无法在JAVA或者C++环境调用。
3.3、可以试一下的模型nsfw,记住下synset.txt

这篇关于java使用Deep Java Library(djl)搭配TorchScript搭建图片分类的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/882570。

相关文章

JVM 的类初始化机制

JVM 的类初始化机制

前言 当你在 Java 程序中new对象时，有没有考虑过 JVM 是如何把静态的字节码（byte code）转化为运行时对象的呢，这个问题看似简单，但清楚的同学相信也不会太多，这篇文章首先介绍 JVM 类初始化的机制，然后给出几个易出错的实例来分析，帮助大家更好理解这个知识点。 JVM 将字节码转化为运行时对象分为三个阶段，分别是：loading 、Linking、initialization
阅读更多...
Spring Security 基于表达式的权限控制

Spring Security 基于表达式的权限控制

前言 spring security 3.0已经可以使用spring el表达式来控制授权，允许在表达式中使用复杂的布尔逻辑来控制访问的权限。 常见的表达式 Spring Security可用表达式对象的基类是SecurityExpressionRoot。 表达式描述hasRole([role])用户拥有制定的角色时返回true （Spring security默认会带有ROLE_前缀）,去
阅读更多...
浅析Spring Security认证过程

浅析Spring Security认证过程

类图 为了方便理解Spring Security认证流程，特意画了如下的类图，包含相关的核心认证类 概述 核心验证器 AuthenticationManager 该对象提供了认证方法的入口，接收一个Authentiaton对象作为参数; public interface AuthenticationManager {Authentication authenticate(Authenti
阅读更多...
Spring Security--Architecture Overview

Spring Security--Architecture Overview

1 核心组件 这一节主要介绍一些在Spring Security中常见且核心的Java类，它们之间的依赖，构建起了整个框架。想要理解整个架构，最起码得对这些类眼熟。 1.1 SecurityContextHolder SecurityContextHolder用于存储安全上下文（security context）的信息。当前操作的用户是谁，该用户是否已经被认证，他拥有哪些角色权限…这些都被保
阅读更多...
Spring Security基于数据库验证流程详解

Spring Security基于数据库验证流程详解

Spring Security 校验流程图 相关解释说明（认真看哦） AbstractAuthenticationProcessingFilter 抽象类 /*** 调用 #requiresAuthentication(HttpServletRequest, HttpServletResponse) 决定是否需要进行验证操作。* 如果需要验证，则会调用 #attemptAuthentica
阅读更多...
Spring Security 从入门到进阶系列教程

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门（一）：登录与退出》 《Spring-Security-入门（二）：基于数据库验证》 《Spring-Security-入门（三）：密码加密》 《Spring-Security-入门（四）：自定义-Filter》 《Spring-Security-入门（五）：在 Sprin
阅读更多...
Java架构师知识体认识

Java架构师知识体认识

源码分析 常用设计模式 Proxy代理模式Factory工厂模式Singleton单例模式Delegate委派模式Strategy策略模式Prototype原型模式Template模板模式 Spring5 beans 接口实例化代理Bean操作 Context Ioc容器设计原理及高级特性Aop设计原理Factorybean与Beanfactory Transaction 声明式事物
阅读更多...
中文分词jieba库的使用与实景应用（一）

中文分词jieba库的使用与实景应用（一）

知识星球：https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义： 精确模式（默认模式）： 全模式： 搜索引擎模式： paddle 模式（基于深度学习的分词模式）： 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取
阅读更多...
基于人工智能的图像分类系统

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务，目标是自动识别图像中的对象类别。通过卷积神经网络（CNN）等深度学习技术，我们可以构建高效的图像分类系统，广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统，包括环境
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2