java使用fasttext实现文本分类

2024-04-19 16:04
文章标签 java 实现 使用 分类 文本 fasttext

本文主要是介绍java使用fasttext实现文本分类，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1.fastText

官网

  • fastText是一个用于有效学习单词表示和句子分类的库
  • fastText建立在现代Mac OS和Linux发行版上。因为它使用了c++ 11的特性，所以它需要一个具有良好的c++11支持的编译器

2.创建maven项目

maven配置:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><groupId>org.example</groupId><artifactId>fasttext-demo</artifactId><version>1.0-SNAPSHOT</version><properties><maven.compiler.source>8</maven.compiler.source><maven.compiler.target>8</maven.compiler.target><project.build.sourceEncoding>UTF-8</project.build.sourceEncoding><!-- ai.djl --><djl.version>0.27.0</djl.version></properties><dependencies><!--ai.djl --><dependency><groupId>ai.djl</groupId><artifactId>api</artifactId><version>${djl.version}</version></dependency><dependency><groupId>ai.djl</groupId><artifactId>basicdataset</artifactId><version>${djl.version}</version></dependency><dependency><groupId>ai.djl</groupId><artifactId>model-zoo</artifactId><version>${djl.version}</version></dependency><dependency><groupId>ai.djl.fasttext</groupId><artifactId>fasttext-engine</artifactId><version>${djl.version}</version></dependency><!-- SLF4J绑定到Log4j --><dependency><groupId>org.slf4j</groupId><artifactId>slf4j-reload4j</artifactId><version>1.7.36</version></dependency><!-- Log4j核心库 --><dependency><groupId>log4j</groupId><artifactId>log4j</artifactId><version>1.2.17</version></dependency></dependencies><!-- 使用 aliyun 的 Maven 源，提升下载速度 --><repositories><repository><id>aliyunmaven</id><name>aliyun</name><url>https://maven.aliyun.com/repository/public</url></repository></repositories><build><plugins><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-compiler-plugin</artifactId><configuration><source>8</source><target>8</target></configuration><version>3.8.1</version></plugin><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-assembly-plugin</artifactId><version>3.3.0</version><configuration><descriptorRefs><descriptorRef>jar-with-dependencies</descriptorRef></descriptorRefs><!-- 可选配置，如设置JAR文件名、MANIFEST.MF信息等 --><!-- ... --></configuration><executions><execution><id>make-assembly</id><phase>package</phase><goals><goal>single</goal></goals></execution></executions></plugin></plugins></build></project>

创建DemoDataset.java：

package cn.fasttext.demo;import ai.djl.ndarray.NDManager;
import ai.djl.training.dataset.Batch;
import ai.djl.training.dataset.RawDataset;
import ai.djl.translate.TranslateException;
import ai.djl.util.Progress;import java.io.File;
import java.io.IOException;
import java.nio.file.Path;/*** 数据集配置** @Author tanyong*/
public class DemoDataset implements RawDataset<Path> {private final String trainPath;public DemoDataset(String localPath) {this.trainPath = localPath;}@Overridepublic Path getData() throws IOException {return new File(trainPath).toPath();}@Overridepublic Iterable<Batch> getData(NDManager ndManager) throws IOException, TranslateException {return null;}@Overridepublic void prepare(Progress progress) throws IOException, TranslateException {}
}

创建FastTextDemo.java用于模型学习和预测:

package cn.fasttext.demo;import ai.djl.MalformedModelException;
import ai.djl.fasttext.FtModel;
import ai.djl.fasttext.FtTrainingConfig;
import ai.djl.fasttext.TrainFastText;
import ai.djl.fasttext.zoo.nlp.textclassification.FtTextClassification;
import ai.djl.modality.Classifications;
import ai.djl.training.TrainingResult;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;import java.io.File;
import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.util.*;/*** @Author tanyong* @Version FastTextDemo v1.0.0 $$*/
public class FastTextDemo {private static final Logger logger = LoggerFactory.getLogger(FastTextDemo.class);private final static String MODEL_PATH = "build/model_demo.bin";public static boolean isWindows() {String osName = System.getProperty("os.name");return osName != null && osName.toLowerCase().startsWith("windows");}/*** 训练** @param params* @throws IOException*/public void trainClassification(Map<String, String> params) throws IOException {if (isWindows()) {throw new RuntimeException("fastText is not supported on windows");}String trainPath = params.get("trainPath");if (Objects.isNull(trainPath) || trainPath.length() == 0) {throw new RuntimeException("trainPath 不能为空！");}// 模型保存路径String outputDir = params.getOrDefault("outputDir", "build");// 模型名称String modelName = params.getOrDefault("modelName", "model_demo");// 训练次数 [5 - 50]String epoch = params.getOrDefault("epoch", "5");// 学习率 default 0.1 [0.1 - 1.0]String lr = params.getOrDefault("lr", "0.1");// ngram [1 - 5] n-gram来指任何n个连续标记的连接String ngram = params.getOrDefault("ngram", "1");/***  损失函数* NS (Negative Sampling): Negative Sampling是一种在大规模数据集上进行训练时常用的损失函数优化方法，特别是在词嵌入和文档分类任务中。在FastText中，它被用来减少计算softmax函数时的复杂度。具体来说，对于每个目标词（正样本），模型会随机抽取一小部分非目标词（负样本）。在每次迭代中，模型不仅预测目标词，还要区分这些负样本。这样做的好处是大大减少了需要计算概率的词汇数量，从而加快训练速度，同时保持了模型的学习效果。* HS (Hierarchical Softmax):Hierarchical Softmax是一种替代常规softmax函数的方法，用于降低大规模词汇表上计算所有词的概率分布的复杂度。它通过构建霍夫曼树（Huffman Tree）将词汇表组织成层次结构，使得频繁出现的词在树中距离根节点较近，不常出现的词则位于较远的叶节点。在预测时，模型只需沿着树的路径计算一系列二分类问题，而非一次性计算整个词汇表的概率分布。这种方法同样可以有效提升训练效率，尤其是在词汇表非常大的场景下* SOFTMAX:Softmax函数是最常见的多类别分类任务损失函数之一。在FastText中，当未使用NS或HS优化时，模型直接使用softmax函数计算每个词在词汇表中的概率分布。给定词向量表示，softmax函数会将其映射到一个概率分布，使得所有类别（词）的概率和为1。模型的目标是最大化目标词的概率，同时最小化非目标词的概率。虽然softmax函数提供了完整的概率分布，但它在大规模词汇表上的计算成本较高，因此对于非常大的数据集，通常会使用NS或HS代替。* OVA (One-Versus-All):One-Versus-All，也称为One-vs-the-Rest或多类单标签分类，是一种将多类分类问题转化为多个二分类问题的技术。在FastText中，OVA通常用于多标签分类任务，即一个样本可能属于多个类别。对于每个类别，模型会训练一个独立的二分类器，该分类器的任务是区分当前类别与其他所有类别。在预测时，模型对每个类别应用其对应的二分类器，得到该类别是否属于样本的预测结果。OVA方法在FastText中不太常见，因为它通常与多标签分类相关，而FastText更常用于词嵌入和文档分类任务。*/String loss = params.getOrDefault("loss", "hs");// 学习数据集路径DemoDataset demoDataset = new DemoDataset(trainPath);FtTrainingConfig config =FtTrainingConfig.builder().setOutputDir(Paths.get(outputDir)).setModelName(modelName).optEpoch(Integer.parseInt(epoch)).optLearningRate(Float.parseFloat(lr)).optMaxNGramLength(Integer.parseInt(ngram)).optLoss(FtTrainingConfig.FtLoss.valueOf(loss.toUpperCase())).build();FtTextClassification block = TrainFastText.textClassification(config, demoDataset);TrainingResult result = block.getTrainingResult();assert result.getEpoch() != Integer.parseInt(epoch) : "Epoch Error";String modelPath = outputDir + File.separator + modelName + ".bin";assert Files.exists(Paths.get(modelPath)) : "bin not found";}/*** load model** @return* @throws MalformedModelException* @throws IOException*/public FtModel loadModel() throws MalformedModelException, IOException {Path path = Paths.get(MODEL_PATH);assert Files.exists(path) : "bin not found";FtModel model = new FtModel("model_demo");model.load(path);return model;}public static void main(String[] args) throws IOException {Map<String, String> params = new HashMap<>(16);for (String arg : args) {String[] param = arg.split("=");if (Objects.nonNull(param) && param.length == 2) {params.put(param[0], param[1]);}}String type = params.get("type");if (Objects.isNull(type) || type.length() == 0) {throw new RuntimeException("type not null");}FastTextDemo fastTextDemo = null;switch (type) {case "train":fastTextDemo = new FastTextDemo();fastTextDemo.trainClassification(params);break;case "classification":fastTextDemo = new FastTextDemo();try {FtModel model = fastTextDemo.loadModel();Scanner scanner = new Scanner(System.in);while (true) {logger.info("\n请输入一段文字（输入 'quit' 退出程序）:");String inputString = scanner.nextLine();if ("quit".equalsIgnoreCase(inputString)) {break; // 用户输入 'quit' 时，跳出循环，结束程序}if (Objects.isNull(inputString) || inputString.length() == 0) {continue;}try {Classifications result = ((FtTextClassification) model.getBlock()).classify(inputString, 5);logger.info(result.getAsString());} catch (Exception e) {e.printStackTrace();}}scanner.close();} catch (Exception e) {throw new RuntimeException(e);}break;default:break;}}
}

3.打包部署到服务器

打包:

mvn clean package

执行命令成功生成fasttext-demo-1.0-SNAPSHOT-jar-with-dependencies.jar
在这里插入图片描述
训练:
下载数据集:

wget https://dl.fbaipublicfiles.com/fasttext/data/cooking.stackexchange.tar.gz && tar xvzf cooking.stackexchange.tar.gz
head cooking.stackexchange.txt

文本文件的每一行都包含一个标签列表，后面跟着相应的文档。所有标签都以__label__前缀开头。文本内容需要分词，用空格隔开.
执行训练命令:

java -cp fasttext-demo-1.0-SNAPSHOT-jar-with-dependencies.jar cn.fasttext.demo.FastTextDemo trainPath=/home/hadoop/app/fasttext-demo/train.txt type=train epoch=25 lr=0.5 ngram=1 loss=hs

出现异常:

Exception in thread "main" java.lang.UnsatisfiedLinkError: /root/.djl.ai/fasttext/0.9.2-0.27.0/libjni_fasttext.so: /lib64/libstdc++.so.6: version `GLIBCXX_3.4.20' not found (required by /root/.djl.ai/fasttext/0.9.2-0.27.0/libjni_fasttext.so)at java.lang.ClassLoader$NativeLibrary.load(Native Method)at java.lang.ClassLoader.loadLibrary0(ClassLoader.java:1934)at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1817)at java.lang.Runtime.load0(Runtime.java:782)at java.lang.System.load(System.java:1100)at ai.djl.fasttext.jni.LibUtils.loadLibrary(LibUtils.java:57)at ai.djl.fasttext.jni.FtWrapper.<clinit>(FtWrapper.java:29)at ai.djl.fasttext.zoo.nlp.textclassification.FtTextClassification.fit(FtTextClassification.java:66)at ai.djl.fasttext.TrainFastText.textClassification(TrainFastText.java:37)at cn.fasttext.demo.FastTextDemo.trainClassification(FastTextDemo.java:77)at cn.fasttext.demo.FastTextDemo.main(FastTextDemo.java:101)

c++的版本太低需要升级版本
查询GLIBCXX版本,fasttext要求GLIBCXX_3.4.20，查询出来只有GLIBCXX_3.4.19

strings /usr/lib64/libstdc++.so.6 |grep GLIBCXX*

在这里插入图片描述
下载 高版本:

wget http://www.vuln.cn/wp-content/uploads/2019/08/libstdc.so_.6.0.26.zip
unzip libstdc.so_.6.0.26.zip
#复制到/usr/lib64
cp libstdc++.so.6.0.26 /usr/lib64

查看软连接

ls -l | grep libstdc++

在这里插入图片描述
重新建立高版本的软连接:

ln -sf /usr/lib64/libstdc++.so.6.0.26 /usr/lib64/libstdc++.so.6

重新查看软连接:

ls -l | grep libstdc++

在这里插入图片描述
通过命令查询:

strings /usr/lib64/libstdc++.so.6 |grep GLIBCXX*

在这里插入图片描述
问题解决

重新执行训练命令输出结果:
在这里插入图片描述
build文件夹下能查看到模型文件,model_demo.bin model_demo.vec

预测:
执行命令

java -cp fasttext-demo-1.0-SNAPSHOT-jar-with-dependencies.jar cn.fasttext.demo.FastTextDemo trainPath=/home/hadoop/app/fasttext-demo/train.txt type=classification

运行结果:
在这里插入图片描述

这篇关于java使用fasttext实现文本分类的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/918004。

相关文章

Spring Boot + MyBatis Plus 高效开发实战从入门到进阶优化(推荐)

Spring Boot + MyBatis Plus 高效开发实战从入门到进阶优化(推荐)

《SpringBoot+MyBatisPlus高效开发实战从入门到进阶优化(推荐)》本文将详细介绍SpringBoot+MyBatisPlus的完整开发流程,并深入剖析分页查询、批量操作、动... 目录Spring Boot + MyBATis Plus 高效开发实战：从入门到进阶优化1. MyBatis
阅读更多...
SpringCloud动态配置注解@RefreshScope与@Component的深度解析

SpringCloud动态配置注解@RefreshScope与@Component的深度解析

《SpringCloud动态配置注解@RefreshScope与@Component的深度解析》在现代微服务架构中,动态配置管理是一个关键需求,本文将为大家介绍SpringCloud中相关的注解@Re... 目录引言1. @RefreshScope 的作用与原理1.1 什么是 @RefreshScope1.
阅读更多...
Java并发编程必备之Synchronized关键字深入解析

Java并发编程必备之Synchronized关键字深入解析

《Java并发编程必备之Synchronized关键字深入解析》本文我们深入探索了Java中的Synchronized关键字,包括其互斥性和可重入性的特性,文章详细介绍了Synchronized的三种... 目录一、前言二、Synchronized关键字2.1 Synchronized的特性1. 互斥2.
阅读更多...
Spring Boot 配置文件之类型、加载顺序与最佳实践记录

Spring Boot 配置文件之类型、加载顺序与最佳实践记录

《SpringBoot配置文件之类型、加载顺序与最佳实践记录》SpringBoot的配置文件是灵活且强大的工具,通过合理的配置管理,可以让应用开发和部署更加高效,无论是简单的属性配置,还是复杂... 目录Spring Boot 配置文件详解一、Spring Boot 配置文件类型1.1 applicatio
阅读更多...
使用Sentinel自定义返回和实现区分来源方式

使用Sentinel自定义返回和实现区分来源方式

《使用Sentinel自定义返回和实现区分来源方式》：本文主要介绍使用Sentinel自定义返回和实现区分来源方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Sentinel自定义返回和实现区分来源1. 自定义错误返回2. 实现区分来源总结Sentinel自定
阅读更多...
Pandas使用SQLite3实战

Pandas使用SQLite3实战

《Pandas使用SQLite3实战》本文主要介绍了Pandas使用SQLite3实战,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学... 目录1 环境准备2 从 SQLite3VlfrWQzgt 读取数据到 DataFrame基础用法：读
阅读更多...
JSON Web Token在登陆中的使用过程

JSON Web Token在登陆中的使用过程

《JSONWebToken在登陆中的使用过程》：本文主要介绍JSONWebToken在登陆中的使用过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录JWT 介绍微服务架构中的 JWT 使用结合微服务网关的 JWT 验证1. 用户登录，生成 JWT2. 自定义过滤
阅读更多...
Java中StopWatch的使用示例详解

Java中StopWatch的使用示例详解

《Java中StopWatch的使用示例详解》stopWatch是org.springframework.util包下的一个工具类,使用它可直观的输出代码执行耗时,以及执行时间百分比,这篇文章主要介绍... 目录stopWatch 是org.springframework.util 包下的一个工具类，使用它
阅读更多...
Java进行文件格式校验的方案详解

Java进行文件格式校验的方案详解

《Java进行文件格式校验的方案详解》这篇文章主要为大家详细介绍了Java中进行文件格式校验的相关方案,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、背景异常现象原因排查用户的无心之过二、解决方案Magandroidic Number判断主流检测库对比Tika的使用区分zip
阅读更多...
Java实现时间与字符串互相转换详解

Java实现时间与字符串互相转换详解

《Java实现时间与字符串互相转换详解》这篇文章主要为大家详细介绍了Java中实现时间与字符串互相转换的相关方法,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、日期格式化为字符串（一）使用预定义格式（二）自定义格式二、字符串解析为日期（一）解析ISO格式字符串（二）解析自定义
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2