<div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr">Dear all,<div><br></div><div>I am trying to build the most recent stable version of QE-GPU with CUDA/PGI community edition. My environment is set up as follows</div><div><br></div><div><div> echo $LD_LIBRARY_PATH </div><div>/usr/local/cuda-9.2/lib64:/usr/local/pgi/18.10/linux86-64/2018/cuda/9.2/lib64:/usr/local/pgi/18.10/linux86-64/18.10/lib</div><div><br></div><div><div>echo $CUDA </div><div>/usr/local/cuda-9.2</div></div><div><br></div><div>python get_device_props.py<br></div><div><div> If all compute capabilities match, configure QE with:</div><div>./configure --with-cuda=$CUDA_HOME --with-cuda-cc=70 --with-cuda-runtime=9.2</div></div><div><br></div><div>running ./configure --with-cuda=$CUDA --with-cuda-cc=70 --with-cuda-runtime=9.2 works</div><div><br></div><div>but make pw fails with</div><div>gfortran: error: unrecognized command line option ‘-Mcuda=cc70,cuda9.2’<br></div><div><br></div><div>F90 is set to gfortran but as far as I understood this is correct (or should it be pgf90?)</div><div><br></div><div>my make.inc is attached below.</div><div><br></div><div>Thanks in advance for your help!</div><div><br></div><div>Best,</div><div>Chris </div><div><div># make.inc.  Generated from <a href="http://make.inc.in">make.inc.in</a> by configure.</div><div><br></div><div># compilation rules</div><div><br></div><div>.SUFFIXES :</div><div>.SUFFIXES : .o .c .f .f90</div><div><br></div><div># most fortran compilers can directly preprocess c-like directives: use</div><div># <span style="white-space:pre">        </span>$(MPIF90) $(F90FLAGS) -c $<</div><div># if explicit preprocessing by the C preprocessor is needed, use:</div><div># <span style="white-space:pre">      </span>$(CPP) $(CPPFLAGS) $< -o $*.F90</div><div>#<span style="white-space:pre">   </span>$(MPIF90) $(F90FLAGS) -c $*.F90 -o $*.o</div><div># remember the tabulator in the first column !!!</div><div><br></div><div>.f90.o:</div><div><span style="white-space:pre"> </span>$(MPIF90) $(F90FLAGS) -c $<</div><div><br></div><div># .f.o and .c.o: do not modify</div><div><br></div><div>.f.o:</div><div><span style="white-space:pre">     </span>$(F77) $(FFLAGS) -c $<</div><div><br></div><div>.c.o:</div><div><span style="white-space:pre">        </span>$(CC) $(CFLAGS)  -c $<</div><div><br></div><div><br></div><div><br></div><div># Top QE directory, useful for locating libraries,  linking QE with plugins</div><div># The following syntax should always point to TOPDIR:</div><div>TOPDIR = $(dir $(abspath $(filter %make.inc,$(MAKEFILE_LIST))))</div><div># if it doesn't work, uncomment the following line (edit if needed):</div><div><br></div><div># TOPDIR = /usr/local/qe-6.4-GPU/q-e-gpu-gpu-master</div><div><br></div><div># DFLAGS  = precompilation options (possible arguments to -D and -U)</div><div>#           used by the C compiler and preprocessor</div><div># To use libxc (v>=3.0.1), add -D__LIBXC to DFLAGS</div><div># See include/defs.h.README for a list of options and their meaning</div><div># With the exception of IBM xlf, FDFLAGS = $(DFLAGS)</div><div># For IBM xlf, FDFLAGS is the same as DFLAGS with separating commas</div><div><br></div><div># MANUAL_DFLAGS  = additional precompilation option(s), if desired</div><div>#                  BEWARE: it does not work for IBM xlf! Manually edit FDFLAGS</div><div>MANUAL_DFLAGS  =</div><div>DFLAGS         =  -D__CUDA -D__FFTW</div><div>FDFLAGS        = $(DFLAGS) $(MANUAL_DFLAGS)</div><div><br></div><div># IFLAGS = how to locate directories with *.h or *.f90 file to be included</div><div>#          typically -I$(TOPDIR)/include -I/some/other/directory/</div><div>#          the latter contains .e.g. files needed by FFT libraries</div><div># for libxc add -I/path/to/libxc/include/</div><div><br></div><div>IFLAGS         = -I$(TOPDIR)/include -I$(TOPDIR)/FoX/finclude -I$(TOPDIR)/S3DE/iotk/include/</div><div><br></div><div># MOD_FLAG = flag used by f90 compiler to locate modules</div><div><br></div><div>MOD_FLAG      = -I</div><div><br></div><div># BASEMOD_FLAGS points to directories containing basic modules,</div><div># while BASEMODS points to the corresponding module libraries</div><div># Each Makefile can add directories to MODFLAGS and libraries to QEMODS</div><div><br></div><div>BASEMOD_FLAGS= $(MOD_FLAG)$(TOPDIR)/iotk/src \</div><div>               $(MOD_FLAG)$(TOPDIR)/Modules \</div><div>               $(MOD_FLAG)$(TOPDIR)/FFTXlib \</div><div><span style="white-space:pre"> </span>       $(MOD_FLAG)$(TOPDIR)/LAXlib \</div><div><span style="white-space:pre">      </span>       $(MOD_FLAG)$(TOPDIR)/UtilXlib \</div><div><span style="white-space:pre">    </span>       $(MOD_FLAG)$(TOPDIR)/FoX/finclude</div><div><br></div><div># Compilers: fortran-90, fortran-77, C</div><div># If a parallel compilation is desired, MPIF90 should be a fortran-90</div><div># compiler that produces executables for parallel execution using MPI</div><div># (such as for instance mpif90, mpf90, mpxlf90,...);</div><div># otherwise, an ordinary fortran-90 compiler (f90, g95, xlf90, ifort,...)</div><div># If you have a parallel machine but no suitable candidate for MPIF90,</div><div># try to specify the directory containing "mpif.h" in IFLAGS</div><div># and to specify the location of MPI libraries in MPI_LIBS</div><div><br></div><div>MPIF90         = mpif90</div><div>F90           = gfortran</div><div>CC             = /usr/local/pgi/18.10/linux86-64/18.10/bin/pgcc</div><div>F77            = /usr/local/pgi/18.10/linux86-64/18.10/bin/pgf77</div><div><br></div><div># GPU architecture (Kepler: 35, Pascal: 60, Volta: 70 )</div><div>GPU_ARCH=70</div><div><br></div><div># CUDA runtime (Pascal: 8.0, Volta: 9.0)</div><div>CUDA_RUNTIME=9.2</div><div><br></div><div># CUDA F90 Flags</div><div>CUDA_F90FLAGS=-Mcuda=cc70,cuda9.2 $(MOD_FLAG)$(TOPDIR)/EIGENSOLVER_GPU/lib_eigsolve</div><div><br></div><div># C preprocessor and preprocessing flags - for explicit preprocessing,</div><div># if needed (see the compilation rules above)</div><div># preprocessing flags must include DFLAGS and IFLAGS</div><div><br></div><div>CPP            = /usr/local/pgi/18.10/linux86-64/18.10/bin/pgcc -Mcpp</div><div>CPPFLAGS       =  $(DFLAGS) $(IFLAGS)</div><div><br></div><div># compiler flags: C, F90, F77</div><div># C flags must include DFLAGS and IFLAGS</div><div># F90 flags must include MODFLAGS, IFLAGS, and FDFLAGS with appropriate syntax</div><div><br></div><div>CFLAGS         = -O3 $(DFLAGS) $(IFLAGS)</div><div>F90FLAGS       = $(FFLAGS) -x f95-cpp-input $(FDFLAGS) $(CUDA_F90FLAGS) $(IFLAGS) $(MODFLAGS)</div><div>FFLAGS         = -O3 -g</div><div><br></div><div># compiler flags without optimization for fortran-77</div><div># the latter is NEEDED to properly compile dlamch.f, used by lapack</div><div><br></div><div>FFLAGS_NOOPT   = -O0 -g</div><div><br></div><div># compiler flag needed by some compilers when the main program is not fortran</div><div># Currently used for Yambo</div><div><br></div><div>FFLAGS_NOMAIN   = </div><div><br></div><div># Linker, linker-specific flags (if any)</div><div># Typically LD coincides with F90 or MPIF90, LD_LIBS is empty</div><div># for libxc, set LD_LIBS=-L/path/to/libxc/lib/ -lxcf90 -lxc</div><div><br></div><div>LD             = mpif90</div><div>LDFLAGS        =  -Mcuda=cc70,cuda9.2</div><div>LD_LIBS        = </div><div><br></div><div># External Libraries (if any) : blas, lapack, fft, MPI</div><div><br></div><div># If you have nothing better, use the local copy via "--with-netlib" :</div><div># BLAS_LIBS = /your/path/to/espresso/LAPACK/blas.a</div><div># BLAS_LIBS_SWITCH = internal</div><div><br></div><div>BLAS_LIBS      = </div><div>BLAS_LIBS_SWITCH = external</div><div><br></div><div># If you have nothing better, use the local copy via "--with-netlib" :</div><div># LAPACK_LIBS = /your/path/to/espresso/LAPACK/lapack.a</div><div># LAPACK_LIBS_SWITCH = internal</div><div># For IBM machines with essl (-D__ESSL): load essl BEFORE lapack !</div><div># remember that LAPACK_LIBS precedes BLAS_LIBS in loading order</div><div><br></div><div>LAPACK_LIBS    = $(TOPDIR)/LAPACK/liblapack.a $(TOPDIR)/LAPACK/libblas.a</div><div>LAPACK_LIBS_SWITCH = internal</div><div><br></div><div>SCALAPACK_LIBS = </div><div><br></div><div># nothing needed here if the the internal copy of FFTW is compiled</div><div># (needs -D__FFTW in DFLAGS)</div><div><br></div><div>FFT_LIBS       = </div><div><br></div><div># HDF5</div><div>HDF5_LIB = </div><div>FOX_LIB  = -L$(TOPDIR)/FoX/lib  -lFoX_dom -lFoX_sax -lFoX_wxml -lFoX_common\</div><div>            -lFoX_utils -lFoX_fsys </div><div>FOX_FLAGS = </div><div># For parallel execution, the correct path to MPI libraries must</div><div># be specified in MPI_LIBS (except for IBM if you use mpxlf)</div><div><br></div><div>MPI_LIBS       = </div><div><br></div><div># IBM-specific: MASS libraries, if available and if -D__MASS is defined in FDFLAGS</div><div><br></div><div>MASS_LIBS      = </div><div><br></div><div># CUDA libraries</div><div>CUDA_LIBS=-Mcudalib=cufft,cublas,cusolver $(TOPDIR)/EIGENSOLVER_GPU/lib_eigsolve/lib_eigsolve.a</div><div>CUDA_EXTLIBS = eigensolver</div><div><br></div><div># ar command and flags - for most architectures: AR = ar, ARFLAGS = ruv</div><div><br></div><div>AR             = ar</div><div>ARFLAGS        = ruv</div><div><br></div><div># ranlib command. If ranlib is not needed (it isn't in most cases) use</div><div># RANLIB = echo</div><div><br></div><div>RANLIB         = ranlib</div><div><br></div><div># all internal and external libraries - do not modify</div><div><br></div><div>FLIB_TARGETS   = all</div><div><br></div><div>LIBOBJS        = $(TOPDIR)/clib/clib.a  $(TOPDIR)/iotk/src/libiotk.a</div><div>LIBXC_LIBS     = </div><div>QELIBS         = $(CUDA_LIBS) $(SCALAPACK_LIBS) $(LAPACK_LIBS) $(FOX_LIB) $(FFT_LIBS) $(BLAS_LIBS) $(MPI_LIBS) $(MASS_LIBS) $(HDF5_LIB) $(LIBXC_LIBS) $(LD_LIBS)</div><div><br></div><div># wget or curl - useful to download from network</div><div>WGET = wget -O</div><div><br></div><div># Install directory - "make install" copies *.x executables there</div><div>PREFIX = /usr/local</div></div><div dir="ltr" class="gmail_signature"><div dir="ltr"><blockquote type="cite" style="font-size:12.8px"><div dir="ltr"><div><div dir="ltr"></div></div></div></blockquote></div></div></div></div></div></div></div></div></div></div></div>