1/*   Copyright 2007-2011, UCAR/Unidata. See COPYRIGHT file for copying
2  and redistribution conditions.
3
4  This is part of the netCDF package.
5
6  This is a benchmarking program for netCDF-4 parallel I/O.
7*/
8
9/* Defining USE_MPE causes the MPE trace library to be used (and you
10 * must also relink with -llmpe -lmpe). This causes clog2 output to be
11 * written, which can be converted to slog2 (by the program
12 * clog2TOslog2) and then used in the analysis program jumpshot. */
13/*#define USE_MPE 1*/
14
15#include <mpi.h>
16#include <stdio.h>
17#include <string.h>
18#include <netcdf.h>
19#include <netcdf_par.h>
20
21#ifdef USE_MPE
22#include <mpe.h>
23#endif /* USE_MPE */
24
25#define FILE_NAME "tst_parallel4_simplerw_coll.nc"
26#define NDIMS 3
27#define DIMSIZE 16
28#define NUM_SLABS 16
29#define DIM1_NAME "slab"
30#define DIM2_NAME "x"
31#define DIM3_NAME "y"
32#define VAR_NAME "Bond_James_Bond"
33#define ERR do { \
34fflush(stdout); /* Make sure our stdout is synced with stderr. */ \
35fprintf(stderr, "Sorry! Unexpected result, %s, line: %d\n", \
36        __FILE____LINE__);                                \
37return 2;                                                   \
38} while (0)
39
40int
41main(int argc, char **argv)
42{
43    /* MPI stuff. */
44    int mpi_namelen;
45    char mpi_name[MPI_MAX_PROCESSOR_NAME];
46    int mpi_sizempi_rank;
47    MPI_Comm comm = MPI_COMM_WORLD;
48    MPI_Info info = MPI_INFO_NULL;
49    double start_time = 0, total_time;
50
51    /* Netcdf-4 stuff. */
52    int ncidvariddimids[NDIMS];
53    size_t start[NDIMS] = {0, 0, 0};
54    size_t count[NDIMS] = {1, DIMSIZEDIMSIZE};
55    int data[DIMSIZE * DIMSIZE], data_in[DIMSIZE * DIMSIZE];
56    int jiret;
57
58    char file_name[NC_MAX_NAME + 1];
59    int ndims_innvars_innatts_inunlimdimid_in;
60
61#ifdef USE_MPE
62    int s_inite_inits_definee_defines_writee_writes_closee_close;
63#endif /* USE_MPE */
64
65    /* Initialize MPI. */
66    MPI_Init(&argc,&argv);
67    MPI_Comm_size(MPI_COMM_WORLD, &mpi_size);
68    MPI_Comm_rank(MPI_COMM_WORLD, &mpi_rank);
69    MPI_Get_processor_name(mpi_name, &mpi_namelen);
70    /*printf("mpi_name: %s size: %d rank: %d\n", mpi_name, mpi_size, mpi_rank);*/
71//#if 0
72    /* Must be able to evenly divide my slabs between processors. */
73    if (NUM_SLABS % mpi_size != 0)
74    {
75       if (!mpi_rank) printf("NUM_SLABS (%d) is not evenly divisible by mpi_size(%d)\n",
76                             NUM_SLABSmpi_size);
77       ERR;
78    }
79
80#ifdef USE_MPE
81    MPE_Init_log();
82    s_init = MPE_Log_get_event_number();
83    e_init = MPE_Log_get_event_number();
84    s_define = MPE_Log_get_event_number();
85    e_define = MPE_Log_get_event_number();
86    s_write = MPE_Log_get_event_number();
87    e_write = MPE_Log_get_event_number();
88    s_close = MPE_Log_get_event_number();
89    e_close = MPE_Log_get_event_number();
90    s_open = MPE_Log_get_event_number();
91    e_open = MPE_Log_get_event_number();
92    MPE_Describe_state(s_inite_init, "Init", "red");
93    MPE_Describe_state(s_definee_define, "Define", "yellow");
94    MPE_Describe_state(s_writee_write, "Write", "green");
95    MPE_Describe_state(s_closee_close, "Close", "purple");
96    MPE_Describe_state(s_opene_open, "Open", "blue");
97    MPE_Start_log();
98    MPE_Log_event(s_init, 0, "start init");
99#endif /* USE_MPE */
100
101/*     if (!mpi_rank) */
102/*     { */
103/*        printf("\n*** Testing parallel I/O some more.\n"); */
104/*        printf("*** writing a %d x %d x %d file from %d processors...\n",  */
105/*               NUM_SLABS, DIMSIZE, DIMSIZE, mpi_size); */
106/*     } */
107
108    /* We will write the same slab over and over. */
109    for (i = 0; i < DIMSIZE * DIMSIZEi++)
110       data[i] = mpi_rank;
111
112#ifdef USE_MPE
113    MPE_Log_event(e_init, 0, "end init");
114    MPE_Log_event(s_define, 0, "start define file");
115#endif /* USE_MPE */
116
117    /* Create a parallel netcdf-4 file. */
118    if (nc_create_par(FILE_NAMENC_NETCDF4|NC_MPIIOcomminfo, &ncid)) ERR;
119
120    /* A global attribute holds the number of processors that created
121     * the file. */
122    if (nc_put_att_int(ncidNC_GLOBAL, "num_processors", NC_INT, 1, &mpi_size)) ERR;
123
124    /* Create three dimensions. */
125    if (nc_def_dim(ncidDIM1_NAMENUM_SLABSdimids)) ERR;
126    if (nc_def_dim(ncidDIM2_NAMEDIMSIZE, &dimids[1])) ERR;
127    if (nc_def_dim(ncidDIM3_NAMEDIMSIZE, &dimids[2])) ERR;
128
129    /* Create one var. */
130    if (nc_def_var(ncidVAR_NAMENC_INTNDIMSdimids, &varid)) ERR;
131
132    /* Write metadata to file. */
133    if (nc_enddef(ncid)) ERR;
134
135#ifdef USE_MPE
136    MPE_Log_event(e_define, 0, "end define file");
137    if (mpi_rank)
138       sleep(mpi_rank);
139#endif /* USE_MPE */
140
141/*    if (nc_var_par_access(ncid, varid, NC_COLLECTIVE)) ERR;*/
142/*    if (nc_var_par_access(ncid, varid, NC_INDEPENDENT)) ERR;*/
143
144    if (!mpi_rank)
145       start_time = MPI_Wtime();
146
147    /* Write all the slabs this process is responsible for. */
148    for (i = 0; i < NUM_SLABS / mpi_sizei++)
149    {
150       start[0] = NUM_SLABS / mpi_size * mpi_rank + i;
151
152#ifdef USE_MPE
153       MPE_Log_event(s_write, 0, "start write slab");
154#endif /* USE_MPE */
155
156       /* Write one slab of data. */
157       if (nc_put_vara_int(ncidvaridstartcountdata)) ERR;
158
159#ifdef USE_MPE
160       MPE_Log_event(e_write, 0, "end write file");
161#endif /* USE_MPE */
162    }
163
164    if (!mpi_rank)
165    {
166       total_time = MPI_Wtime() - start_time;
167/*       printf("num_proc\ttime(s)\n");*/
168       printf("%d\t%g\t%g\n", mpi_sizetotal_timeDIMSIZE * DIMSIZE * NUM_SLABS * sizeof(int) / total_time);
169    }
170
171#ifdef USE_MPE
172    MPE_Log_event(s_close, 0, "start close file");
173#endif /* USE_MPE */
174
175    /* Close the netcdf file. */
176    if (nc_close(ncid)) ERR;
177
178//#endif
179#ifdef USE_MPE
180    MPE_Log_event(e_close, 0, "end close file");
181#endif /* USE_MPE */
182
183    /* Reopen the file and check it. */
184    if ((ret = nc_open_par(FILE_NAMENC_NOWRITE|NC_MPIIOcomminfo, &ncid)))
185    {
186       printf("ret = %d\n", ret);
187       return -1;
188    }
189    if (nc_inq(ncid, &ndims_in, &nvars_in, &natts_in, &unlimdimid_in)) ERR;
190    if (ndims_in != NDIMS || nvars_in != 1 || natts_in != 1 ||
191        unlimdimid_in != -1) ERR;
192
193    /* Read all the slabs this process is responsible for. */
194    for (i = 0; i < NUM_SLABS / mpi_sizei++)
195    {
196       start[0] = NUM_SLABS / mpi_size * mpi_rank + i;
197
198#ifdef USE_MPE
199       MPE_Log_event(s_read, 0, "start read slab");
200#endif /* USE_MPE */
201
202      if(mpi_rank == 0) {
203for(j=0; j<3;j++)
204count[j] = 0;
205
206      }
207    if (nc_var_par_access(ncidvaridNC_COLLECTIVE)) ERR;
208       /* Read one slab of data. */
209       if (nc_get_vara_int(ncidvaridstartcountdata_in)) ERR;
210
211if(mpi_rank != 0) {
212       /* Check data. */
213       for (j = 0; j < DIMSIZE * DIMSIZEj++)
214   if (data_in[j] != mpi_rank)
215   {
216      ERR;
217      break;
218   }
219}
220
221#ifdef USE_MPE
222       MPE_Log_event(e_read, 0, "end read file");
223#endif /* USE_MPE */
224    }
225
226#ifdef USE_MPE
227    MPE_Log_event(s_close, 0, "start close file");
228#endif /* USE_MPE */
229
230    /* Close the netcdf file. */
231    if (nc_close(ncid)) ERR;
232
233#ifdef USE_MPE
234    MPE_Log_event(e_close, 0, "end close file");
235#endif /* USE_MPE */
236
237    /* Delete this large file. */
238   // remove(file_name);
239
240    /* Shut down MPI. */
241    MPI_Finalize();
242
243/*     if (!mpi_rank) */
244/*     { */
245/*        SUMMARIZE_ERR; */
246/*        FINAL_RESULTS; */
247/*     } */
248    return 0;
249}


HyperKWIC - Version 7.20DA executed at 11:37 on 27 Oct 2017 | Polyhedron Solutions - INTERNAL USE | COMMERCIAL (Any O/S) SN 4AKIed