MPI-2 并行IO的使用方法

2024-03-09 17:08
文章标签 使用 方法 io 并行 mpi

本文主要是介绍MPI-2 并行IO的使用方法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

转自 http://www.cnblogs.com/LCcnblogs/p/6050075.html


  写的MPI程序需要用到并行IO来操作文件,但是搜遍了度娘都没有找到多少关于并行IO函数的使用方法。最后在知网搜到了一些有用的论文,看了一下,感觉豁然开朗。

  MPI-1对文件的操作是使用绑定语言的函数调用来进行的,通常采用的是串行IO的读写方式,一般情况下是用一个主进程打开文件和读取数据,然后分发给其他进程来处理,这种串行IO数据的通信量很大、效率较低。MPI-2实现了并行IO,允许多个进程同时对文件进行操作,从而避免了文件数据在不同进程间的传送,对于需要密集文件操作的程序而言,简直是一大福祉!

  并行IO可分为三种方法:指定显式偏移量、独立文件指针和共享文件指针,每种方式又可分为阻塞和非阻塞两种情况。

  下面以读写一个二进制文件数组为例,阐述这三种方法的函数调用。下面的三个mian函数分别对应三种方法,读取“data"二进制文件数组(文件内容:行数、列数、数组元素),读取完整后由进程0输出其读取的数据以验证读取是否正确,最后所有进程将其读取的数据写入一个叫“data2"的二进制文件。怎么来查看二进制文件的内容以验证是否读写正确呢,或者说二进制文件和可读内容的文本文件之间怎么转换呢?下面也给出简单代码。

  


  1 #include<stdio.h>
  2 #include<stdlib.h>
  3 #include<string.h>
  4 #include"mpi.h"
  5 
  6 #define BLOCK_LOW(rank,size,n)    ((rank)*(n)/(size))
  7 #define BLOCK_HIGH(rank,size,n)    (BLOCK_LOW((rank)+1,size,n)-1)
  8 #define BLOCK_SIZE(rank,size,n)    (BLOCK_HIGH(rank,size,n)-BLOCK_LOW(rank,size,n)+1)
  9 
 10 //并行IO:指定显式偏移的文件操作
 11 int main(int argc, char *argv[])
 12 {
 13     int size,rank,i;
 14     int n,m;
 15     float *array;
 16     MPI_File fh;
 17     MPI_Status status;
 18     MPI_Init(&argc,&argv);
 19     MPI_Comm_rank(MPI_COMM_WORLD,&rank);
 20     MPI_Comm_size(MPI_COMM_WORLD,&size);
 21 
 22     MPI_File_open(MPI_COMM_WORLD,"data",MPI_MODE_RDONLY,MPI_INFO_NULL,&fh);
 23     MPI_File_read_at_all(fh,0,&n,1,MPI_INT,&status);    //从偏移量0处读取
 24     MPI_File_read_at_all(fh,sizeof(int),&m,1,MPI_INT,&status);    //从偏移量1个int处读取
 25     array=(float *)malloc(BLOCK_SIZE(rank,size,n)*m*sizeof(float));
 26     MPI_File_read_at_all(fh,2*sizeof(int)+BLOCK_LOW(rank,size,n)*m*sizeof(float),array,BLOCK_SIZE(rank,size,n)*m,MPI_FLOAT,&status);
 27     MPI_File_close(&fh);
 28 
 29     if(rank==0){
 30         printf("rank=%d: %d %d\n",rank,n,m);
 31         for(i=0;i<BLOCK_SIZE(rank,size,n)*m;i++){
 32             printf("% .0f",array[i]);
 33             if((i+1)%m==0)    putchar('\n');
 34         }
 35     }
 36 
 37     MPI_File_open(MPI_COMM_WORLD,"data2",MPI_MODE_CREATE|MPI_MODE_WRONLY,MPI_INFO_NULL,&fh);
 38     MPI_File_write_at_all(fh,0,&n,1,MPI_INT,&status);
 39     MPI_File_write_at_all(fh,sizeof(int),&m,1,MPI_INT,&status);
 40     MPI_File_write_at_all(fh,2*sizeof(int)+BLOCK_LOW(rank,size,n)*m*sizeof(float),array,BLOCK_SIZE(rank,size,n)*m,MPI_FLOAT,&status);
 41     MPI_File_close(&fh);
 42 
 43     MPI_Finalize();
 44     return 0;
 45 }
 46  
 47 /*
 48 //并行IO:独立文件指针
 49 int main(int argc,char *argv[])
 50 {
 51     int size,rank,i;
 52     int n,m;
 53     float *array;
 54     MPI_File fh;
 55     MPI_Status status;
 56     MPI_Init(&argc,&argv);
 57     MPI_Comm_rank(MPI_COMM_WORLD,&rank);
 58     MPI_Comm_size(MPI_COMM_WORLD,&size);
 59 
 60     MPI_File_open(MPI_COMM_WORLD,"data",MPI_MODE_RDONLY,MPI_INFO_NULL,&fh);
 61     MPI_File_set_view(fh,0,MPI_INT,MPI_INT,"internal",MPI_INFO_NULL);    //设置绝对偏移量为0
 62     MPI_File_read_all(fh,&n,1,MPI_INT,&status);    //读取后偏移量自动加1
 63     MPI_File_read_all(fh,&m,1,MPI_INT,&status);
 64     array=(float *)malloc(BLOCK_SIZE(rank,size,n)*m*sizeof(float));
 65     MPI_File_set_view(fh,2*sizeof(int)+BLOCK_LOW(rank,size,n)*m*sizeof(float),MPI_FLOAT,MPI_FLOAT,"internal",MPI_INFO_NULL);//重置偏移量
 66     MPI_File_read_all(fh,array,BLOCK_SIZE(rank,size,n)*m,MPI_INT,&status);
 67     MPI_File_close(&fh);
 68 
 69     if(rank==0){
 70         printf("rank=%d: %d %d\n",rank,n,m);
 71         for(i=0;i<BLOCK_SIZE(rank,size,n)*m;i++){
 72             printf("% .0f",array[i]);
 73             if((i+1)%m==0)    putchar('\n');
 75         }
 76     }
 77     
 78     MPI_File_open(MPI_COMM_WORLD,"data2",MPI_MODE_CREATE|MPI_MODE_WRONLY,MPI_INFO_NULL,&fh);
 79     MPI_File_set_view(fh,0,MPI_INT,MPI_INT,"internal",MPI_INFO_NULL);
 80     MPI_File_write_all(fh,&n,1,MPI_INT,&status);
 81     MPI_File_write_all(fh,&m,1,MPI_INT,&status);
 82     MPI_File_set_view(fh,2*sizeof(int)+BLOCK_LOW(rank,size,n)*m*sizeof(float),MPI_FLOAT,MPI_FLOAT,"internal",MPI_INFO_NULL); 
 83     MPI_File_write_all(fh,array,BLOCK_SIZE(rank,size,n)*m,MPI_FLOAT,&status);
 84     MPI_File_close(&fh);
 85 
 86     MPI_Finalize();
 87 }
 88 */
 89 
 90 /*
 91 //并行IO:共享文件指针
 92 int main(int argc,char *argv[])
 93 {
 94     int size,rank,i;
 95     int n,m;
 96     float *array;
 97     MPI_File fh;
 98     MPI_Status status;
 99     MPI_Init(&argc,&argv);
100     MPI_Comm_rank(MPI_COMM_WORLD,&rank);
101     MPI_Comm_size(MPI_COMM_WORLD,&size);
102 
103     MPI_File_open(MPI_COMM_WORLD,"data",MPI_MODE_RDONLY,MPI_INFO_NULL,&fh);
104     MPI_File_read_at_all(fh,0,&n,1,MPI_INT,&status);    //指定显式偏移的读取
105     MPI_File_read_at_all(fh,sizeof(int),&m,1,MPI_INT,&status);
106     array=(float *)malloc(BLOCK_SIZE(rank,size,n)*m*sizeof(float));
107     MPI_File_seek_shared(fh,2*sizeof(int),MPI_SEEK_SET);    //共享文件指针,偏移量是2个int
108     MPI_File_read_ordered(fh,array,BLOCK_SIZE(rank,size,n)*m,MPI_FLOAT,&status);    //按序读取
109     MPI_File_close(&fh);
110 
111     if(rank==0){
112         printf("rank=%d: %d %d\n",rank,n,m);
113         for(i=0;i<BLOCK_SIZE(rank,size,n)*m;i++){
114             printf("% .0f",array[i]);
115             if((i+1)%m==0)    putchar('\n');
117         }
118     }
119  
120     MPI_File_open(MPI_COMM_WORLD,"data2",MPI_MODE_CREATE|MPI_MODE_WRONLY,MPI_INFO_NULL,&fh);
121     MPI_File_write_at_all(fh,0,&n,1,MPI_INT,&status);    //指定显式偏移的写入
122     MPI_File_write_at_all(fh,sizeof(int),&m,1,MPI_INT,&status);
123     MPI_File_seek_shared(fh,2*sizeof(int),MPI_SEEK_SET);    //共享文件指针,偏移量是2个int
124     MPI_File_write_ordered(fh,array,BLOCK_SIZE(rank,size,n)*m,MPI_FLOAT,&status);    //按序写入
125     MPI_File_close(&fh);
126 
127     MPI_Finalize();
128 }
129 */


 1 //将二进制数组文件转换为文本文件。要求二进制文件的内容:行数 列数 数组元素
 2 #include <stdio.h>
 3 #include <stdlib.h>
 4 
 5 typedef float type;
 6 
 7 int main()
 8 {
 9     int i,j;
10     int n,m;
11     type **array;
12     FILE *fp;
13     fp=fopen("data","rb");
14     fread(&n,sizeof(int),1,fp);
15     fread(&m,sizeof(int),1,fp);
16 
17     array=(type **)malloc(n*sizeof(type *));
18     *array=(type *)malloc(n*m*sizeof(type));
19     for(i=1;i<n;i++)    array[i]=array[i-1]+m;
20 
21     fread(&array[0][0],n*m*sizeof(type),1,fp);  //注意不能是地址 array
22     fclose(fp);
23 
24     fp=fopen("data.txt","w");
25     fprintf(fp," %d %d\n",n,m);
26     for(i=0;i<n;i++){
27         for(j=0;j<m;j++)
28             fprintf(fp,"% f ",array[i][j]);
29         putc('\n',fp);
30     }
31     fprintf(stdout,"Successfully!\n");
32 }




 1 //将数组文本文件转换为二进制文件。要求文本文件的内容:行数 列数 数组元素
 2 #include <stdio.h>
 3 #include <stdlib.h>
 4 
 5 typedef float type;
 6 
 7 int main()
 8 {
 9     int i,j;
10     int n,m;
11     type **array;
12     FILE *fp;
13     fp=fopen("data.txt","r");
14     fscanf(fp,"%d",&n);
15     fscanf(fp,"%d",&m);
16 
17     array=(type **)malloc(n*sizeof(type *));
18     *array=(type *)malloc(n*m*sizeof(type));
19     for(i=1;i<n;i++)    array[i]=array[i-1]+m;
20 
21     for(i=0;i<n;i++)
22         for(j=0;j<m;j++)
23             fscanf(fp,"%f",&array[i][j]);
24     fclose(fp);
25 
26     fp=fopen("data","wb");
27     fwrite(&n,sizeof(int),1,fp);
28     fwrite(&m,sizeof(int),1,fp);
29     fwrite(&array[0][0],n*m*sizeof(type),1,fp);  //注意不能是地址 &array
30     fclose(fp);
31     fprintf(stdout,"Successfully!\n");
32 }


  一个示例的文本文件数组data.txt:

  8 8
  1.000000 1.000000 1.000000 1.000000 1.000000 1.000000 1.000000 1.000000
  2.000000 2.000000 2.000000 2.000000 2.000000 2.000000 2.000000 2.000000
  3.000000 3.000000 3.000000 3.000000 3.000000 3.000000 3.000000 3.000000
  4.000000 4.000000 4.000000 4.000000 4.000000 4.000000 4.000000 4.000000
  5.000000 5.000000 5.000000 5.000000 5.000000 5.000000 5.000000 5.000000
  6.000000 6.000000 6.000000 6.000000 6.000000 6.000000 6.000000 6.000000
  7.000000 7.000000 7.000000 7.000000 7.000000 7.000000 7.000000 7.000000
  8.000000 8.000000 8.000000 8.000000 8.000000 8.000000 8.000000 8.000000 

这篇关于MPI-2 并行IO的使用方法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/791348

相关文章

Java学习手册之Filter和Listener使用方法

《Java学习手册之Filter和Listener使用方法》:本文主要介绍Java学习手册之Filter和Listener使用方法的相关资料,Filter是一种拦截器,可以在请求到达Servl... 目录一、Filter(过滤器)1. Filter 的工作原理2. Filter 的配置与使用二、Listen

Pandas使用AdaBoost进行分类的实现

《Pandas使用AdaBoost进行分类的实现》Pandas和AdaBoost分类算法,可以高效地进行数据预处理和分类任务,本文主要介绍了Pandas使用AdaBoost进行分类的实现,具有一定的参... 目录什么是 AdaBoost?使用 AdaBoost 的步骤安装必要的库步骤一:数据准备步骤二:模型

Pandas统计每行数据中的空值的方法示例

《Pandas统计每行数据中的空值的方法示例》处理缺失数据(NaN值)是一个非常常见的问题,本文主要介绍了Pandas统计每行数据中的空值的方法示例,具有一定的参考价值,感兴趣的可以了解一下... 目录什么是空值?为什么要统计空值?准备工作创建示例数据统计每行空值数量进一步分析www.chinasem.cn处

使用Pandas进行均值填充的实现

《使用Pandas进行均值填充的实现》缺失数据(NaN值)是一个常见的问题,我们可以通过多种方法来处理缺失数据,其中一种常用的方法是均值填充,本文主要介绍了使用Pandas进行均值填充的实现,感兴趣的... 目录什么是均值填充?为什么选择均值填充?均值填充的步骤实际代码示例总结在数据分析和处理过程中,缺失数

如何使用 Python 读取 Excel 数据

《如何使用Python读取Excel数据》:本文主要介绍使用Python读取Excel数据的详细教程,通过pandas和openpyxl,你可以轻松读取Excel文件,并进行各种数据处理操... 目录使用 python 读取 Excel 数据的详细教程1. 安装必要的依赖2. 读取 Excel 文件3. 读

解决Maven项目idea找不到本地仓库jar包问题以及使用mvn install:install-file

《解决Maven项目idea找不到本地仓库jar包问题以及使用mvninstall:install-file》:本文主要介绍解决Maven项目idea找不到本地仓库jar包问题以及使用mvnin... 目录Maven项目idea找不到本地仓库jar包以及使用mvn install:install-file基

Windows 上如果忘记了 MySQL 密码 重置密码的两种方法

《Windows上如果忘记了MySQL密码重置密码的两种方法》:本文主要介绍Windows上如果忘记了MySQL密码重置密码的两种方法,本文通过两种方法结合实例代码给大家介绍的非常详细,感... 目录方法 1:以跳过权限验证模式启动 mysql 并重置密码方法 2:使用 my.ini 文件的临时配置在 Wi

MySQL重复数据处理的七种高效方法

《MySQL重复数据处理的七种高效方法》你是不是也曾遇到过这样的烦恼:明明系统测试时一切正常,上线后却频频出现重复数据,大批量导数据时,总有那么几条不听话的记录导致整个事务莫名回滚,今天,我就跟大家分... 目录1. 重复数据插入问题分析1.1 问题本质1.2 常见场景图2. 基础解决方案:使用异常捕获3.

最详细安装 PostgreSQL方法及常见问题解决

《最详细安装PostgreSQL方法及常见问题解决》:本文主要介绍最详细安装PostgreSQL方法及常见问题解决,介绍了在Windows系统上安装PostgreSQL及Linux系统上安装Po... 目录一、在 Windows 系统上安装 PostgreSQL1. 下载 PostgreSQL 安装包2.

Python使用getopt处理命令行参数示例解析(最佳实践)

《Python使用getopt处理命令行参数示例解析(最佳实践)》getopt模块是Python标准库中一个简单但强大的命令行参数处理工具,它特别适合那些需要快速实现基本命令行参数解析的场景,或者需要... 目录为什么需要处理命令行参数?getopt模块基础实际应用示例与其他参数处理方式的比较常见问http