java mpj_Win7下搭建JAVA并行开发环境MPJ Express(PART3)

2023-11-23 15:50

本文主要是介绍java mpj_Win7下搭建JAVA并行开发环境MPJ Express(PART3),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在前面的两个PART中,我们分别搭建了并行开发环境,并小试牛刀实践了简单的并行开发。

http://blog.csdn.net/baimafujinji/article/details/45195159

http://blog.csdn.net/baimafujinji/article/details/45195285

当然在这个过程中,出现这样或那样的问题是在所难免的,这一部分我们就来讨论一下其中可能会遇到的问题。

问题1:当我们搭建好开发环境后,我们需要试用一下mpjdaemon批处理命令,此时可能遇到的一个问题是: Port is not available,如下图所示。

0818b9ca8b590ca3270a3433284dd417.png

问题在于端口不可用。我们根据提示找到配置文件mpjexpress.conf所在的文件夹,然后用记事本把它打开,如下所示。可见,默认情况下port.1=10000,port.2=10001。

0818b9ca8b590ca3270a3433284dd417.png

此时,我们只需对端口进行调整,例如修改为下面这种结果(当然,应该保证8888和8889并没有被占用)

0818b9ca8b590ca3270a3433284dd417.png

修改完成后保存文件,问题即得到解决。

问题2:注意到我们把解压后的MPJ Express文件存于路径“D:\mpj-v0_43”下,并相应的将环境变量MPJ_HOME赋值为D:\mpj-v0_43。如果我们将文件存于路径“D:\Program Files\mpj-v0_43”下,并相应的修改环境变量赋值,将会有什么变化?

0818b9ca8b590ca3270a3433284dd417.png

这似乎是一个看起来完全不是问题的问题,但是一旦我们这样做了,当再使用mpjdaemon批处理命令时,就会遇到下面这种情况。

0818b9ca8b590ca3270a3433284dd417.png

结果显示报错了!

Error: Unable to access jarfile D:\Program

系统没有办法访问相应的jar文件。但是为什么?这是因为Program Files这个文件夹的名字不合法。这种文件夹的名字在Windows中当然没有任何问题,对于我们日常的大多数应用开发而言这也不会成为一个问题。但是在MPJ Express中,文件夹的名字中间是不能包含有“空格”的。我们都知道,在控制台中输入一条指令时,空格通常是用来间隔操作符与操作数的,或者可以认为空格也是有意义的,因此MPJ Express中的批处理命令在解析一个带有空格的路径名的时候就会产生混乱。这就是问题所在。所以只要我们把MPJ Express文件的存放路径稍作调整即可消除此类问题。

此外,在命令行中查看当前环境变量设置情况的一个简单方法是使用echo指令,例如

0818b9ca8b590ca3270a3433284dd417.png

问题3:上一个问题除了会发生在控制台操作界面上以外,在Eclipse中也会出现。回想在PART2中,我们设置VM arguments参数时是这样写的

-jar D:/mpj-v0_43/lib/starter.jar

-np 4

可见我们使用了一个绝对路径!而更多的时候我们都习惯于写相对路径,此时用户需要在菜单栏中选择"Window",然后在下拉菜单中选择"Preferences",如下所示。

0818b9ca8b590ca3270a3433284dd417.png

然后在从左侧的列表中选择“String Substitution”,并新建一个“变量替换”,如下所示。

0818b9ca8b590ca3270a3433284dd417.png

完成上述步骤后,我们就可以使用形如下面这种情况的相对路径了。

-jar ${MPJ_HOME}/lib/starter.jar

0818b9ca8b590ca3270a3433284dd417.png

这里我们需要注意,MPJ_HOME的值仍然不能等于一个有空格的路径,否则就会出现下面这个错误,原理与问题2相同,这里不再赘述。

0818b9ca8b590ca3270a3433284dd417.png

问题4:最后我们讨论一下在命令下编译运行并行程序的方法。

首先编辑下列代码并将其存入一个名为HelloWorld.java的文件中。

import mpi.*;

public class HelloWorld{

public static void main(String[] args)  throws Exception

{

MPI.Init(args);

int me = MPI.COMM_WORLD.Rank();

int size = MPI.COMM_WORLD.Size();

System.out.println            ("Hi from " + me + " of " + size + "\n");

MPI.Finalize();

}

}

编译指令示例: javac -cp .;%MPJ_HOME%/lib/mpj.jar HelloWorld.java

执行指令示例: mpjrun.bat -np 4 HelloWorld  a //其中a是一个任意指定的参数

执行结果,如下所示。

0818b9ca8b590ca3270a3433284dd417.png

上面这种情况是执行并行计算的第一种场景,即在多核配置下执行MPJ Express 程序。

我们通过mpjrun.bat -np 后面的数字来指定核的数量。

另外一种场景是在集群(Cluster)配置下执行MPJ Express 程序。

集群配置: 如果开发人员期望在分布式内存平台(包括集群和计算机网络)上执行并行JAVA程序,那么他们就会采样这种配置场景。

对于这种集群配置,一共有四种选项,如下:

1) niodev - 使用 Java NIO Sockets

2) mxdev - 使用 Myrinet eXpress (MX) library for Myrinet networks

3) hybdev - 针对多核处理的集群

4) native - 使用一个 native MPI library (curretly only tested under MS-MPI for Windows)

具体使用时写一个名为"machines"的文件,并在其中指定用于并发执行的所有主机名或IP地址。

执行方法

对于 niodev, hybdev and mxdev

1) 开启守护: mpjdaemon.bat -boot

- 你将需要在每一个开启守护的机器上手动地执行该命令。

2) 执行指令示例: mpjrun.bat -np 4 -dev niodev HelloWorld

-- 其中 -dev 里面的 device可以是 niodev, hybdev 或 mxdev

3) 终止守护指令: mpjdaemon.bat -halt

对于 native

1) 编译 JNI wrapper library(具体编译方法请参见MPJ Express的相关帮助文档)

2) 执行指令示例: mpjrun.bat -np 4 -dev native HelloWorld

全文完。

这篇关于java mpj_Win7下搭建JAVA并行开发环境MPJ Express(PART3)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/419029

相关文章

Spring事务传播机制最佳实践

《Spring事务传播机制最佳实践》Spring的事务传播机制为我们提供了优雅的解决方案,本文将带您深入理解这一机制,掌握不同场景下的最佳实践,感兴趣的朋友一起看看吧... 目录1. 什么是事务传播行为2. Spring支持的七种事务传播行为2.1 REQUIRED(默认)2.2 SUPPORTS2

怎样通过分析GC日志来定位Java进程的内存问题

《怎样通过分析GC日志来定位Java进程的内存问题》:本文主要介绍怎样通过分析GC日志来定位Java进程的内存问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、GC 日志基础配置1. 启用详细 GC 日志2. 不同收集器的日志格式二、关键指标与分析维度1.

Java进程异常故障定位及排查过程

《Java进程异常故障定位及排查过程》:本文主要介绍Java进程异常故障定位及排查过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、故障发现与初步判断1. 监控系统告警2. 日志初步分析二、核心排查工具与步骤1. 进程状态检查2. CPU 飙升问题3. 内存

java中新生代和老生代的关系说明

《java中新生代和老生代的关系说明》:本文主要介绍java中新生代和老生代的关系说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、内存区域划分新生代老年代二、对象生命周期与晋升流程三、新生代与老年代的协作机制1. 跨代引用处理2. 动态年龄判定3. 空间分

Java设计模式---迭代器模式(Iterator)解读

《Java设计模式---迭代器模式(Iterator)解读》:本文主要介绍Java设计模式---迭代器模式(Iterator),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录1、迭代器(Iterator)1.1、结构1.2、常用方法1.3、本质1、解耦集合与遍历逻辑2、统一

Java内存分配与JVM参数详解(推荐)

《Java内存分配与JVM参数详解(推荐)》本文详解JVM内存结构与参数调整,涵盖堆分代、元空间、GC选择及优化策略,帮助开发者提升性能、避免内存泄漏,本文给大家介绍Java内存分配与JVM参数详解,... 目录引言JVM内存结构JVM参数概述堆内存分配年轻代与老年代调整堆内存大小调整年轻代与老年代比例元空

深度解析Java DTO(最新推荐)

《深度解析JavaDTO(最新推荐)》DTO(DataTransferObject)是一种用于在不同层(如Controller层、Service层)之间传输数据的对象设计模式,其核心目的是封装数据,... 目录一、什么是DTO?DTO的核心特点:二、为什么需要DTO?(对比Entity)三、实际应用场景解析

Java 线程安全与 volatile与单例模式问题及解决方案

《Java线程安全与volatile与单例模式问题及解决方案》文章主要讲解线程安全问题的五个成因(调度随机、变量修改、非原子操作、内存可见性、指令重排序)及解决方案,强调使用volatile关键字... 目录什么是线程安全线程安全问题的产生与解决方案线程的调度是随机的多个线程对同一个变量进行修改线程的修改操

从原理到实战深入理解Java 断言assert

《从原理到实战深入理解Java断言assert》本文深入解析Java断言机制,涵盖语法、工作原理、启用方式及与异常的区别,推荐用于开发阶段的条件检查与状态验证,并强调生产环境应使用参数验证工具类替代... 目录深入理解 Java 断言(assert):从原理到实战引言:为什么需要断言?一、断言基础1.1 语

深度解析Java项目中包和包之间的联系

《深度解析Java项目中包和包之间的联系》文章浏览阅读850次,点赞13次,收藏8次。本文详细介绍了Java分层架构中的几个关键包:DTO、Controller、Service和Mapper。_jav... 目录前言一、各大包1.DTO1.1、DTO的核心用途1.2. DTO与实体类(Entity)的区别1