本文主要是介绍H2O的MOJO使用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
什么是POJO
H2O允许用户将现有模型生成POJO(java原生对象),POJOs允许用户使用H2O生成模型然后使用这个模型进行实时分析。
什么是MOJO
MOJO是H2O支持的POJO的替代品,和POJO一样,H2O允许你把现有模型构建成MOJO并进行实时分析。
MOJO只支持默认或枚举的编码
MOJO的优势
相较于pojo,mojo没有大小限制(POJO不支持大于1G的源文件),MOJO生成的可执行文件小得多,速度也快得多。
在大范围内,与pojo相比,新模型在磁盘空间上大约小20-25倍,在hot scoring时快2-3倍(在JVM能够优化典型执行路径之后),在cold scoring时快10-40倍(当JVM还不知道执行路径时)。模型的尺寸越大,这些效率收益就越大。
H2O利用深度为25的5000棵树模型进行了室内测试。在非常小的尺度下(50棵树/ 5个深度),pojo比二项式和回归模型的mojo大约快10%,但是比多项式模型的mojo慢50%。
MOJO quick start
使用python创建和抽取模型(这里如果使用flow可以直接存储mojo模型)
- 打开命令行启动python
- 运行下列命令生成gbm模型
import h2ofrom h2o.estimators.gbm import H2OGradientBoostingEstimatorh2o.init()h2o_df = h2o.load_dataset("prostate.csv")h2o_df["CAPSULE"] = h2o_df["CAPSULE"].asfactor()model=H2OGradientBoostingEstimator(distribution="bernoulli",ntrees=100,max_depth=4,learn_rate=0.1)model.train(y="CAPSULE",x=["AGE","RACE","PSA","GLEASON"],training_frame=h2o_df)
-
下载mojo并生成h2o-genmodel.jar文件到experiment 文件夹中. 确认指定MOJO的完全路径,不光是相对路径
modelfile = model.download_mojo(path="~/experiment/", get_genmodel_jar=True)print("Model saved to " + modelfile)Model saved to /Users/user/GBM_model_python_1475248925871_888.zip
编译运行MOJO
打开新命令行,输入
cd experiment
在experiment 文件夹下创建一个main.java文件,包括以下内容
import java.io.*;
import hex.genmodel.easy.RowData;
import hex.genmodel.easy.EasyPredictModelWrapper;
import hex.genmodel.easy.prediction.*;
import hex.genmodel.MojoModel;public class main {public static void main(String[] args) throws Exception {EasyPredictModelWrapper model = new EasyPredictModelWrapper(MojoModel.load("GBM_model_R_1475248925871_74.zip"));RowData row = new RowData();row.put("AGE", "68");row.put("RACE", "2");row.put("DCAPS", "2");row.put("VOL", "0");row.put("GLEASON", "6");BinomialModelPrediction p = model.predictBinomial(row);System.out.println("Has penetrated the prostatic capsule (1=yes; 0=no): " + p.label);System.out.print("Class probabilities: ");for (int i = 0; i < p.classProbabilities.length; i++) {if (i > 0) {System.out.print(",");}System.out.print(p.classProbabilities[i]);}System.out.println("");}}
GBM 和DRF 算法返回分类概率, 不是所有的MOJO都会返回分类概率域. 参考MOJO每个算法的模型预定义. This is available in the H2O-3 GitHub repo at:
https://github.com/h2oai/h2o-3/tree/master/h2o-genmodel/src/main/java/hex/genmodel/easy/prediction.
GBM和DRF算法还会返回叶节点赋值域,但是由于会增加计算量,所以会减慢MOJO的计算速度。下列代码体现了怎么返回叶节点赋值
import java.io.*;import hex.genmodel.easy.RowData;import hex.genmodel.easy.EasyPredictModelWrapper;import hex.genmodel.easy.prediction.*;import hex.genmodel.MojoModel;public class main {public static void main(String[] args) throws Exception {EasyPredictModelWrapper.Config config = new EasyPredictModelWrapper.Config().setModel(MojoModel.load("GBM_model_R_1475248925871_74.zip")).setEnableLeafAssignment(true);EasyPredictModelWrapper model = new EasyPredictModelWrapper(config);RowData row = new RowData();row.put("AGE", "68");row.put("RACE", "2");row.put("DCAPS", "2");row.put("VOL", "0");row.put("GLEASON", "6");BinomialModelPrediction p = model.predictBinomial(row);System.out.println("Has penetrated the prostatic capsule (1=yes; 0=no): " + p.label);System.out.print("Class probabilities: ");for (int i = 0; i < p.classProbabilities.length; i++) {if (i > 0) {System.out.print(",");}System.out.print(p.classProbabilities[i]);}System.out.println("Leaf node assighnments: ");for (int i=0; i < p.leafNodeAssignments; i++) {if (i > 0) {System.out.print.(p.leafNodeAssignments[i]);}}System.out.println("");}}
重启一个命令行进行编译和运行,执行下列命令
$ javac -cp h2o-genmodel.jar -J-Xms2g -J-XX:MaxPermSize=128m main.java# Linux and OS X users$ java -cp .:h2o-genmodel.jar main# Windows users$ java -cp .;h2o-genmodel.jar main
输出如下:
怎样查看MOJO模型
H2O打包了一个将二进制MOJO文件转化成可视化图形的工具,这个工具提供将图中的点转化成图形的输出。
这个是GBM模型的输出示例
这篇关于H2O的MOJO使用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!