<div dir="ltr"><div>Dear Pietro,</div><div><br></div><div>Thanks for sharing the link. I got the error of missing v0.3.1.tar.gz file in the archive folder, so I downloaded it manually. Everything went well and I could run jobs. However, there are a few things that are unclear to me.</div><div><br></div><div>config options:<br></div><div><br></div><div>./configure FC=pgf90 F90=pgf90 CC=pgcc --with-cuda=yes --enable-cuda-env-check=no --with-cuda-runtime=11.0 --with-cuda-cc=70 --enable-openmp --with-scalapack=no</div><div><br></div><div>The make.sys file is changed based on the install instructions on this page: <a href="https://gitlab.com/QEF/q-e-gpu/-/wikis/home">https://gitlab.com/QEF/q-e-gpu/-/wikis/home</a></div><div><br></div><div>
DFLAGS Â  Â  Â  Â  = Â -D__CUDA -D__DFTI -D__MPI

</div><div>DFLAGS Â  Â  Â  Â  = Â -D__CUDA -D__DFTI -D__MPI__GPU_MPI</div><div><br></div><div>Since two cards are installed on the mainboard, I ran the jobs in this form:</div><div><br></div><div>mpirun -np 2 pw.x -input <a href="http://file.in">file.in</a> | tee file.out</div><div><br></div><div>The hardware 
<span class="gmail-kgnlhe" tabindex="0" dir="ltr">specifications in the output file:</span></div><div><span class="gmail-kgnlhe" tabindex="0" dir="ltr"><br></span></div><div><span class="gmail-kgnlhe" tabindex="0" dir="ltr">  Â Â  GPU used by master process:<br><br>  Â  Â  Â  Device Number: 0<br>  Â  Â  Â  Device name: TITAN V<br>  Â  Â  Â  Compute capability : 70<br>  Â  Â  Â  Ratio of single to double precision performance Â : 2<br>  Â  Â  Â  Memory Clock Rate (KHz): 850000<br>  Â  Â  Â  Memory Bus Width (bits): 3072<br>  Â  Â  Â  Peak Memory Bandwidth (GB/s): 652.80</span></div><div><span class="gmail-kgnlhe" tabindex="0" dir="ltr"><br></span></div><div><span class="gmail-kgnlhe" tabindex="0" dir="ltr">I just wonder why the second card (device # 1) is not printed in the output.</span></div><div><span class="gmail-kgnlhe" tabindex="0" dir="ltr"><br></span></div><div><span class="gmail-kgnlhe" tabindex="0" dir="ltr">Since 
-D__DFTI is printed in the make.sys file, the MKL and FFTW of Intel Parallel Studio is utilized. Is this an appropriate config in order to get the best performance?<br></span></div><div><span class="gmail-kgnlhe" tabindex="0" dir="ltr"><br></span></div><div><span class="gmail-kgnlhe" tabindex="0" dir="ltr">Is it possible to compile the code for multiple graphic cards with different cuda-cc ? <br></span></div><div><span class="gmail-kgnlhe" tabindex="0" dir="ltr"><br></span></div><div><span class="gmail-kgnlhe" tabindex="0" dir="ltr">
<span class="gmail-q-box gmail-qu-userSelect--text" style="box-sizing:border-box"><span style="font-weight:normal;font-style:normal;background:rgba(0,0,0,0) none repeat scroll 0% 0%">I’m
 sorry for asking so many questions.  I appreciate your time in 
responding to whatever you can, when you are able to find the time.</span></span></span></div><div><span class="gmail-kgnlhe" tabindex="0" dir="ltr"><span class="gmail-q-box gmail-qu-userSelect--text" style="box-sizing:border-box"><span style="font-weight:normal;font-style:normal;background:rgba(0,0,0,0) none repeat scroll 0% 0%"><br></span></span></span></div><div><span class="gmail-kgnlhe" tabindex="0" dir="ltr"><span class="gmail-q-box gmail-qu-userSelect--text" style="box-sizing:border-box"><span style="font-weight:normal;font-style:normal;background:rgba(0,0,0,0) none repeat scroll 0% 0%">Best,</span></span></span></div><div><span class="gmail-kgnlhe" tabindex="0" dir="ltr"><span class="gmail-q-box gmail-qu-userSelect--text" style="box-sizing:border-box"><span style="font-weight:normal;font-style:normal;background:rgba(0,0,0,0) none repeat scroll 0% 0%"><br></span></span></span></div><div><span class="gmail-kgnlhe" tabindex="0" dir="ltr"><span class="gmail-q-box gmail-qu-userSelect--text" style="box-sizing:border-box"><span style="font-weight:normal;font-style:normal;background:rgba(0,0,0,0) none repeat scroll 0% 0%">Mohammad</span></span></span></div><div><span class="gmail-kgnlhe" tabindex="0" dir="ltr"><span class="gmail-q-box gmail-qu-userSelect--text" style="box-sizing:border-box"><span style="font-weight:normal;font-style:normal;background:rgba(0,0,0,0) none repeat scroll 0% 0%">ShirazU<br></span></span>

</span></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Dec 20, 2020 at 9:08 PM Pietro Bonfa' <<a href="mailto:pietro.bonfa@unipr.it">pietro.bonfa@unipr.it</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Dear Mohammad,<br>
<br>
for some reason you are having trouble accessing gitlab. I uploaded a <br>
package that includes all dependencies and can be compiled without <br>
network access. You can find it here:<br>
<br>
<a href="https://univpr-my.sharepoint.com/:u:/g/personal/pietro_bonfa_unipr_it/EV-nHENjf1lFkat0RvJypFIBap2o92v9BzG75po06z48WA?e=uiDjDD" rel="noreferrer" target="_blank">https://univpr-my.sharepoint.com/:u:/g/personal/pietro_bonfa_unipr_it/EV-nHENjf1lFkat0RvJypFIBap2o92v9BzG75po06z48WA?e=uiDjDD</a><br>
<br>
Best wishes,<br>
Pietro<br>
<br>
--<br>
Pietro Bonfà,<br>
University of Parma<br>
<br>
On 12/19/20 7:27 AM, Mohammad Moaddeli wrote:<br>
> Dear Louis and Pietro,<br>
> <br>
> *With the config options as following:*<br>
> *<br>
> *<br>
> *./configure FC=pgf90 F90=pgf90 CC=pgcc <br>
> --with-cuda=/opt/nvidia/hpc_sdk/Linux_x86_64/20.11/cuda/11.0 <br>
> --with-cuda-runtime=11.0 --with-cuda-cc=70 --enable-openmp <br>
> --with-scalapack=no*<br>
> *<br>
> *<br>
> *results is:*<br>
> <br>
> checking build system type... x86_64-pc-linux-gnu<br>
> checking ARCH... x86_64<br>
> checking setting AR... ... ar<br>
> checking setting ARFLAGS... ... ruv<br>
> checking whether the Fortran compiler works... yes<br>
> checking for Fortran compiler default output file name... a.out<br>
> checking for suffix of executables...<br>
> checking whether we are cross compiling... no<br>
> checking for suffix of object files... o<br>
> checking whether we are using the GNU Fortran compiler... no<br>
> checking whether pgf90 accepts -g... yes<br>
> configure: WARNING: F90 value is set to be consistent with value of MPIF90<br>
> checking for mpiifort... no<br>
> checking for mpif90... mpif90<br>
> checking whether we are using the GNU Fortran compiler... no<br>
> checking whether mpif90 accepts -g... yes<br>
> checking version of mpif90... nvfortran 20.11-0<br>
> checking for Fortran flag to compile .f90 files... none<br>
> setting F90... nvfortran<br>
> setting MPIF90... mpif90<br>
> checking whether we are using the GNU C compiler... yes<br>
> checking whether pgcc accepts -g... yes<br>
> checking for pgcc option to accept ISO C89... none needed<br>
> setting CC... pgcc<br>
> setting CFLAGS... -fast -Mpreprocess<br>
> using F90... nvfortran<br>
> setting FFLAGS... -O1<br>
> setting F90FLAGS... $(FFLAGS)<br>
> setting FFLAGS_NOOPT... -O0<br>
> setting CPP... cpp<br>
> setting CPPFLAGS... -P -traditional -Uvector<br>
> setting LD... mpif90<br>
> setting LDFLAGS...<br>
> checking for Fortran flag to compile .f90 files... (cached) none<br>
> checking whether Fortran compiler accepts -Mcuda=cuda11.0... yes<br>
> checking for nvcc... <br>
> /opt/nvidia/hpc_sdk/Linux_x86_64/20.11/compilers/bin/nvcc<br>
> checking whether nvcc works... yes<br>
> checking for cuInit in -lcuda... no<br>
> configure: error: in `/codes/qe_6.7_GPU/q-e-gpu-qe-gpu-6.7':<br>
> configure: error: Couldn't find libcuda<br>
> See `config.log' for more details<br>
> <br>
> *Although the option --enable-cuda-env-check=no resulted in the <br>
> configuration finished:*<br>
> *<br>
> *<br>
> *./configure FC=pgf90 F90=pgf90 CC=pgcc --with-cuda=yes <br>
> --enable-cuda-env-check=no --with-cuda-runtime=11.0 --with-cuda-cc=70 <br>
> --enable-openmp --with-scalapack=no*<br>
> <br>
> checking build system type... x86_64-pc-linux-gnu<br>
> checking ARCH... x86_64<br>
> checking setting AR... ... ar<br>
> checking setting ARFLAGS... ... ruv<br>
> checking whether the Fortran compiler works... yes<br>
> checking for Fortran compiler default output file name... a.out<br>
> checking for suffix of executables...<br>
> checking whether we are cross compiling... no<br>
> checking for suffix of object files... o<br>
> checking whether we are using the GNU Fortran compiler... no<br>
> checking whether pgf90 accepts -g... yes<br>
> configure: WARNING: F90 value is set to be consistent with value of MPIF90<br>
> checking for mpiifort... no<br>
> checking for mpif90... mpif90<br>
> checking whether we are using the GNU Fortran compiler... no<br>
> checking whether mpif90 accepts -g... yes<br>
> checking version of mpif90... nvfortran 20.11-0<br>
> checking for Fortran flag to compile .f90 files... none<br>
> setting F90... nvfortran<br>
> setting MPIF90... mpif90<br>
> checking whether we are using the GNU C compiler... yes<br>
> checking whether pgcc accepts -g... yes<br>
> checking for pgcc option to accept ISO C89... none needed<br>
> setting CC... pgcc<br>
> setting CFLAGS... -fast -Mpreprocess<br>
> using F90... nvfortran<br>
> setting FFLAGS... -O1<br>
> setting F90FLAGS... $(FFLAGS)<br>
> setting FFLAGS_NOOPT... -O0<br>
> setting CPP... cpp<br>
> setting CPPFLAGS... -P -traditional -Uvector<br>
> setting LD... mpif90<br>
> setting LDFLAGS...<br>
> checking for Fortran flag to compile .f90 files... (cached) none<br>
> checking whether Fortran compiler accepts -Mcuda=cuda11.0... yes<br>
> checking for /usr/local/cuda/... no<br>
> checking for /usr/local/cuda/include... no<br>
> checking for /usr/local/cuda/lib64... no<br>
> checking for nvcc... <br>
> /opt/nvidia/hpc_sdk/Linux_x86_64/20.11/compilers/bin/nvcc<br>
> checking whether nvcc works... yes<br>
> checking for cusolverDnZhegvdx_bufferSize in -lcusolver... no<br>
> configure: WARNING: Using legacy custom solver.<br>
> checking whether make sets $(MAKE)... yes<br>
> checking whether Fortran files must be preprocessed... yes<br>
> checking whether we are using the GNU Fortran 77 compiler... no<br>
> checking whether nvfortran accepts -g... yes<br>
> checking for library containing dgemm... no<br>
> MKL not found<br>
> in /opt/intel/mkl/lib/intel64: checking for library containing dgemm... <br>
> -lmkl_intel_lp64<br>
> setting BLAS_LIBS... -L/opt/intel/mkl/lib/intel64 -lmkl_intel_lp64 <br>
> -lmkl_intel_thread -lmkl_core<br>
> checking FFT...<br>
> checking MASS...<br>
> checking for library containing mpi_init... none required<br>
> checking ELPA...<br>
> checking BEEF... -lbeef<br>
> setting BEEF_LIBS... $(TOPDIR)/LIBBEEF/libbeef.a<br>
> checking for ranlib... ranlib<br>
> checking for wget... wget -O<br>
> setting WGET... wget -O<br>
> setting DFLAGS... -D__CUDA -D__DFTI -D__MPI<br>
> setting IFLAGS... -I$(TOPDIR)/include -I$(TOPDIR)/FoX/finclude <br>
> -I/opt/intel/mkl/include<br>
> configure: creating ./config.status<br>
> config.status: creating install/make_lapack.inc<br>
> config.status: creating include/configure.h<br>
> config.status: creating make.inc<br>
> config.status: creating configure.msg<br>
> config.status: creating install/make_wannier90.inc<br>
> config.status: creating include/qe_cdefs.h<br>
> --------------------------------------------------------------------<br>
> ESPRESSO can take advantage of several optimized numerical libraries<br>
> (essl, fftw, mkl...).  This configure script attempts to find them,<br>
> but may fail if they have been installed in non-standard locations.<br>
> If a required library is not found, the local copy will be compiled.<br>
> <br>
> The following libraries have been found:<br>
>  Â  BLAS_LIBS=-L/opt/intel/mkl/lib/intel64 -lmkl_intel_lp64 <br>
>  Â -lmkl_intel_thread -lmkl_core<br>
>  Â  LAPACK_LIBS=<br>
>  Â  FFT_LIBS=<br>
> <br>
> Please check if this is what you expect.<br>
> <br>
> If any libraries are missing, you may specify a list of directories<br>
> to search and retry, as follows:<br>
>  Â  ./configure LIBDIRS="list of directories, separated by spaces"<br>
> <br>
> Parallel environment detected successfully.\<br>
> Configured for compilation of parallel executables.<br>
> <br>
> For more info, read the ESPRESSO User's Guide (Doc/users-guide.tex).<br>
> --------------------------------------------------------------------<br>
> configure: success<br>
> <br>
> *make pw results in:*<br>
> <br>
> ....<br>
> .....<br>
> ....<br>
> cpp -P -traditional -Uvector -D__CUDA -D__DFTI -D__MPI <br>
> -I/codes/qe_6.7_GPU/q-e-gpu-qe-gpu-6.7//include <br>
> -I/codes/qe_6.7_GPU/q-e-gpu-qe-gpu-6.7//FoX/finclude <br>
>  Â -I/opt/intel/mkl/include thread_util.f90 -o thread_util_tmp.f90 ; \<br>
>  Â  Â  Â  Â  mpif90 -O1 Â  -D__CUDA -D__DFTI -D__MPI Â -Mcuda=cc70,cuda11.0 <br>
> -I/codes/qe_6.7_GPU/q-e-gpu-qe-gpu-6.7//external/devxlib/src <br>
> -I/codes/qe_6.7_GPU/q-e-gpu-qe-gpu-6.7//external/devxlib/include <br>
> -I/codes/qe_6.7_GPU/q-e-gpu-qe-gpu-6.7//EIGENSOLVER_GPU/lib_eigsolve <br>
> -I/codes/qe_6.7_GPU/q-e-gpu-qe-gpu-6.7//external/devxlib/src <br>
> -I/codes/qe_6.7_GPU/q-e-gpu-qe-gpu-6.7//include <br>
> -I/codes/qe_6.7_GPU/q-e-gpu-qe-gpu-6.7//FoX/finclude <br>
>  Â -I/opt/intel/mkl/include -I. -c thread_util_tmp.f90 -o thread_util.o<br>
> ar ruv libutil.a clocks_handler.o device_helper.o divide.o data_buffer.o <br>
> error_handler.o export_gstart_2_solvers.o find_free_unit.o <br>
> fletcher32_mod.o mem_counter.o mp.o mp_base.o mp_base_gpu.o <br>
> mp_bands_util.o parallel_include.o set_mpi_comm_4_solvers.o util_param.o <br>
> thread_util.o<br>
> ar: creating libutil.a<br>
> a - clocks_handler.o<br>
> a - device_helper.o<br>
> a - divide.o<br>
> a - data_buffer.o<br>
> a - error_handler.o<br>
> a - export_gstart_2_solvers.o<br>
> a - find_free_unit.o<br>
> a - fletcher32_mod.o<br>
> a - mem_counter.o<br>
> a - mp.o<br>
> a - mp_base.o<br>
> a - mp_base_gpu.o<br>
> a - mp_bands_util.o<br>
> a - parallel_include.o<br>
> a - set_mpi_comm_4_solvers.o<br>
> a - util_param.o<br>
> a - thread_util.o<br>
> ranlib libutil.a<br>
> make[1]: Leaving directory `/codes/qe_6.7_GPU/q-e-gpu-qe-gpu-6.7/UtilXlib'<br>
> cd install ; make -f extlibs_makefile liblapack<br>
> make[1]: Entering directory `/codes/qe_6.7_GPU/q-e-gpu-qe-gpu-6.7/install'<br>
> make[1]: Nothing to be done for `liblapack'.<br>
> make[1]: Leaving directory `/codes/qe_6.7_GPU/q-e-gpu-qe-gpu-6.7/install'<br>
> cd install ; make -f extlibs_makefile libcuda<br>
> make[1]: Entering directory `/codes/qe_6.7_GPU/q-e-gpu-qe-gpu-6.7/install'<br>
> cd ../external/devxlib; \<br>
>  Â  Â  if test ! -e configure; then \<br>
>  Â  Â  wget <br>
> "<a href="https://gitlab.com/max-centre/components/devicexlib/-/archive/master/devicexlib-master.tar.gz" rel="noreferrer" target="_blank">https://gitlab.com/max-centre/components/devicexlib/-/archive/master/devicexlib-master.tar.gz</a> <br>
> <<a href="https://gitlab.com/max-centre/components/devicexlib/-/archive/master/devicexlib-master.tar.gz" rel="noreferrer" target="_blank">https://gitlab.com/max-centre/components/devicexlib/-/archive/master/devicexlib-master.tar.gz</a>>" <br>
> -O devxlib.tar.gz || curl <br>
> "<a href="https://gitlab.com/max-centre/components/devicexlib/-/archive/master/devicexlib-master.tar.gz" rel="noreferrer" target="_blank">https://gitlab.com/max-centre/components/devicexlib/-/archive/master/devicexlib-master.tar.gz</a> <br>
> <<a href="https://gitlab.com/max-centre/components/devicexlib/-/archive/master/devicexlib-master.tar.gz" rel="noreferrer" target="_blank">https://gitlab.com/max-centre/components/devicexlib/-/archive/master/devicexlib-master.tar.gz</a>>" <br>
> -o devxlib.tar.gz ; \<br>
>  Â  Â  tar xzf devxlib.tar.gz --strip-components=1 -C . ; \<br>
>  Â  Â  rm devxlib.tar.gz ; \<br>
>  Â  Â  fi; \<br>
>  Â  Â  touch make.inc; \<br>
>  Â  Â  make clean; \<br>
>  Â  Â  export F90FLAGS=""; \<br>
>  Â  Â  ./configure FC=nvfortran CC=pgcc \<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  --with-cuda= \<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  --with-cuda-cc=70 \<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  --with-cuda-runtime=11.0 \<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  --disable-parallel \<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  --enable-cuda-env-check=no; \<br>
>  Â  Â  make all<br>
> --2020-12-19 09:29:12-- <br>
> <a href="https://gitlab.com/max-centre/components/devicexlib/-/archive/master/devicexlib-master.tar.gz" rel="noreferrer" target="_blank">https://gitlab.com/max-centre/components/devicexlib/-/archive/master/devicexlib-master.tar.gz</a> <br>
> <<a href="https://gitlab.com/max-centre/components/devicexlib/-/archive/master/devicexlib-master.tar.gz" rel="noreferrer" target="_blank">https://gitlab.com/max-centre/components/devicexlib/-/archive/master/devicexlib-master.tar.gz</a>><br>
> Resolving <a href="http://gitlab.com" rel="noreferrer" target="_blank">gitlab.com</a> <br>
> <<a href="http://gitlab.com/" rel="noreferrer" target="_blank">http://gitlab.com/</a>> <br>
> (<a href="http://gitlab.com" rel="noreferrer" target="_blank">gitlab.com</a> <br>
> <<a href="http://gitlab.com/" rel="noreferrer" target="_blank">http://gitlab.com/</a>>)... <br>
> 172.65.251.78, 2606:4700:90:0:f22e:fbec:5bed:a9b9<br>
> Connecting to <a href="http://gitlab.com" rel="noreferrer" target="_blank">gitlab.com</a> <br>
> <<a href="http://gitlab.com/" rel="noreferrer" target="_blank">http://gitlab.com/</a>> <br>
> (<a href="http://gitlab.com" rel="noreferrer" target="_blank">gitlab.com</a> <br>
> <<a href="http://gitlab.com/" rel="noreferrer" target="_blank">http://gitlab.com/</a>>)|172.65.251.78|:443... <br>
> connected.<br>
> HTTP request sent, awaiting response... 403 Forbidden<br>
> 2020-12-19 09:29:23 ERROR 403: Forbidden.<br>
> <br>
>  Â  % Total Â  Â % Received % Xferd Â Average Speed Â  Time Â  Â Time Â  Â  Time <br>
>  Â Current<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â Dload Â Upload Â  Total Â  Spent Â  Â Left <br>
>  Â Speed<br>
> 100 Â  Â 16 Â 100 Â  Â 16 Â  Â 0 Â  Â  0 Â  Â  27 Â  Â  Â 0 --:--:-- --:--:-- --:--:-- <br>
>  Â  Â 27<br>
> <br>
> gzip: stdin: not in gzip format<br>
> tar: Child returned status 1<br>
> tar: Error is not recoverable: exiting now<br>
> make[2]: Entering directory <br>
> `/codes/qe_6.7_GPU/q-e-gpu-qe-gpu-6.7/external/devxlib'<br>
> make[2]: *** No rule to make target `clean'.  Stop.<br>
> make[2]: Leaving directory <br>
> `/codes/qe_6.7_GPU/q-e-gpu-qe-gpu-6.7/external/devxlib'<br>
> /bin/sh: line 9: ./configure: No such file or directory<br>
> make[2]: Entering directory <br>
> `/codes/qe_6.7_GPU/q-e-gpu-qe-gpu-6.7/external/devxlib'<br>
> make[2]: *** No rule to make target `all'.  Stop.<br>
> make[2]: Leaving directory <br>
> `/codes/qe_6.7_GPU/q-e-gpu-qe-gpu-6.7/external/devxlib'<br>
> make[1]: *** [libcuda_devxlib] Error 2<br>
> make[1]: Leaving directory `/codes/qe_6.7_GPU/q-e-gpu-qe-gpu-6.7/install'<br>
> make: *** [libcuda] Error 2<br>
> <br>
> *Moreover, "which libcuda.so" results in:*<br>
> *<br>
> *<br>
> /opt/nvidia/hpc_sdk/Linux_x86_64/20.11/cuda/11.0/lib64/stubs/libcuda.so<br>
> *<br>
> *<br>
> *Any help will be greatly appreciated.*<br>
> *<br>
> *<br>
> *Best regards,*<br>
> *<br>
> *<br>
> *Mohammad*<br>
> *ShirazU*<br>
> <br>
> On Wed, Dec 16, 2020 at 5:08 PM Pietro Bonfa' <<a href="mailto:pietro.bonfa@unipr.it" target="_blank">pietro.bonfa@unipr.it</a> <br>
> <mailto:<a href="mailto:pietro.bonfa@unipr.it" target="_blank">pietro.bonfa@unipr.it</a>>> wrote:<br>
> <br>
>  Â  Â Dear Mohammad,<br>
> <br>
>  Â  Â CUDA may be installed somewhere else, anyway, if you want to skip the<br>
>  Â  Â environment check, you may configure QE with this command<br>
> <br>
>  Â  Â ./configure FC=pgf90 F90=pgf90 CC=pgcc --with-cuda=yes<br>
>  Â  Â --enable-cuda-env-check=no  --with-cuda-runtime=SETME --with-cuda-cc=70<br>
>  Â  Â --enable-openmp<br>
> <br>
>  Â  Â Remember to set the cuda runtime according to what is provided by your<br>
>  Â  Â setup.<br>
> <br>
>  Â  Â Hope this helps,<br>
>  Â  Â best,<br>
>  Â  Â Pietro<br>
> <br>
>  Â  Â ---<br>
>  Â  Â Pietro Bonfà<br>
>  Â  Â University of Parma<br>
> <br>
> <br>
>  Â  Â On 12/16/20 9:10 AM, Mohammad Moaddeli wrote:<br>
>  Â  Â  > Dear all,<br>
>  Â  Â  > I am trying to compile the 6.7 version of the code using PGI 2020.<br>
>  Â  Â  > I followed these steps:<br>
>  Â  Â  ><br>
>  Â  Â  > *1) NVIDIA driver (NVIDIA-Linux-x86_64-450.80.02.rpm) is installed.*<br>
>  Â  Â  > *the output of nvidia-smi:*<br>
>  Â  Â  ><br>
>  Â  Â  > Wed Dec 16 09:07:11 2020<br>
>  Â  Â  ><br>
>  Â  Â +-----------------------------------------------------------------------------+<br>
>  Â  Â  > | NVIDIA-SMI 450.80.02 Â  Â Driver Version: 450.80.02 Â  Â CUDA Version:<br>
>  Â  Â  > 11.0 Â  Â  |<br>
>  Â  Â  ><br>
>  Â  Â |-------------------------------+----------------------+----------------------+<br>
>  Â  Â  > | GPU Â Name Â  Â  Â  Â Persistence-M| Bus-Id Â  Â  Â  Â Disp.A | Volatile<br>
>  Â  Â  > Uncorr. ECC |<br>
>  Â  Â  > | Fan Â Temp Â Perf Â Pwr:Usage/Cap| Â  Â  Â  Â  Memory-Usage | GPU-Util<br>
>  Â  Â  >  Â Compute M. |<br>
>  Â  Â  > | Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  | Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â |<br>
>  Â  Â  > MIG M. |<br>
>  Â  Â  ><br>
>  Â  Â |===============================+======================+======================|<br>
>  Â  Â  > | Â  0 Â TITAN V Â  Â  Â  Â  Â  Â  Off Â | 00000000:06:00.0 Off |<br>
>  Â  Â  >  Â N/A |<br>
>  Â  Â  > | 27% Â  37C Â  Â P0 Â  Â 32W / 250W | Â  Â  Â 0MiB / 12066MiB | Â  Â  Â 0%<br>
>  Â  Â  >  Â Default |<br>
>  Â  Â  > | Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  | Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â |<br>
>  Â  Â  >  Â N/A |<br>
>  Â  Â  ><br>
>  Â  Â +-------------------------------+----------------------+----------------------+<br>
>  Â  Â  > | Â  1 Â TITAN V Â  Â  Â  Â  Â  Â  Off Â | 00000000:07:00.0 Off |<br>
>  Â  Â  >  Â N/A |<br>
>  Â  Â  > | 25% Â  37C Â  Â P0 Â  Â 35W / 250W | Â  Â  Â 0MiB / 12066MiB | Â  Â  Â 0%<br>
>  Â  Â  >  Â Default |<br>
>  Â  Â  > | Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  | Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â |<br>
>  Â  Â  >  Â N/A |<br>
>  Â  Â  ><br>
>  Â  Â +-------------------------------+----------------------+----------------------+<br>
>  Â  Â  ><br>
>  Â  Â  ><br>
>  Â  Â +-----------------------------------------------------------------------------+<br>
>  Â  Â  > | Processes:<br>
>  Â  Â  >  Â  Â  Â |<br>
>  Â  Â  > | Â GPU Â  GI Â  CI Â  Â  Â  Â PID Â  Type Â  Process name  Â  Â  Â  Â  Â  Â  Â  <br>
>  Â  Â  Â GPU<br>
>  Â  Â  > Memory |<br>
>  Â  Â  > | Â  Â  Â  Â ID Â  ID  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  <br>
>  Â  Â  Â  Usage<br>
>  Â  Â  >  Â  Â  Â |<br>
>  Â  Â  ><br>
>  Â  Â |=============================================================================|<br>
>  Â  Â  > | Â No running processes found<br>
>  Â  Â  >  Â  Â  Â  |<br>
>  Â  Â  ><br>
>  Â  Â +-----------------------------------------------------------------------------+<br>
>  Â  Â  ><br>
>  Â  Â  > *The output of pgaccelinfo:*<br>
>  Â  Â  ><br>
>  Â  Â  > CUDA Driver Version: Â  Â  Â  Â  Â  11000<br>
>  Â  Â  > NVRM version: Â  Â  Â  Â  Â  Â  Â  Â  Â NVIDIA UNIX x86_64 Kernel Module<br>
>  Â  Â  >  Â 450.80.02 Â Wed Sep 23 01:13:39 UTC 2020<br>
>  Â  Â  ><br>
>  Â  Â  > Device Number: Â  Â  Â  Â  Â  Â  Â  Â  0<br>
>  Â  Â  > Device Name: Â  Â  Â  Â  Â  Â  Â  Â  Â  TITAN V<br>
>  Â  Â  > Device Revision Number: Â  Â  Â  Â 7.0<br>
>  Â  Â  > Global Memory Size: Â  Â  Â  Â  Â  Â 12652838912<br>
>  Â  Â  > Number of Multiprocessors: Â  Â  80<br>
>  Â  Â  > Concurrent Copy and Execution: Yes<br>
>  Â  Â  > Total Constant Memory: Â  Â  Â  Â  65536<br>
>  Â  Â  > Total Shared Memory per Block: 49152<br>
>  Â  Â  > Registers per Block: Â  Â  Â  Â  Â  65536<br>
>  Â  Â  > Warp Size: Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  32<br>
>  Â  Â  > Maximum Threads per Block: Â  Â  1024<br>
>  Â  Â  > Maximum Block Dimensions: Â  Â  Â 1024, 1024, 64<br>
>  Â  Â  > Maximum Grid Dimensions: Â  Â  Â  2147483647 x 65535 x 65535<br>
>  Â  Â  > Maximum Memory Pitch: Â  Â  Â  Â  Â 2147483647B<br>
>  Â  Â  > Texture Alignment: Â  Â  Â  Â  Â  Â  512B<br>
>  Â  Â  > Clock Rate: Â  Â  Â  Â  Â  Â  Â  Â  Â  Â 1455 MHz<br>
>  Â  Â  > Execution Timeout: Â  Â  Â  Â  Â  Â  No<br>
>  Â  Â  > Integrated Device: Â  Â  Â  Â  Â  Â  No<br>
>  Â  Â  > Can Map Host Memory: Â  Â  Â  Â  Â  Yes<br>
>  Â  Â  > Compute Mode: Â  Â  Â  Â  Â  Â  Â  Â  Â default<br>
>  Â  Â  > Concurrent Kernels: Â  Â  Â  Â  Â  Â Yes<br>
>  Â  Â  > ECC Enabled: Â  Â  Â  Â  Â  Â  Â  Â  Â  No<br>
>  Â  Â  > Memory Clock Rate: Â  Â  Â  Â  Â  Â  850 MHz<br>
>  Â  Â  > Memory Bus Width: Â  Â  Â  Â  Â  Â  Â 3072 bits<br>
>  Â  Â  > L2 Cache Size: Â  Â  Â  Â  Â  Â  Â  Â  4718592 bytes<br>
>  Â  Â  > Max Threads Per SMP: Â  Â  Â  Â  Â  2048<br>
>  Â  Â  > Async Engines: Â  Â  Â  Â  Â  Â  Â  Â  7<br>
>  Â  Â  > Unified Addressing: Â  Â  Â  Â  Â  Â Yes<br>
>  Â  Â  > Managed Memory: Â  Â  Â  Â  Â  Â  Â  Â Yes<br>
>  Â  Â  > Concurrent Managed Memory: Â  Â  Yes<br>
>  Â  Â  > Preemption Supported: Â  Â  Â  Â  Â Yes<br>
>  Â  Â  > Cooperative Launch: Â  Â  Â  Â  Â  Â Yes<br>
>  Â  Â  >  Â  Multi-Device: Â  Â  Â  Â  Â  Â  Â  Â Yes<br>
>  Â  Â  > Default Target: Â  Â  Â  Â  Â  Â  Â  Â cc70<br>
>  Â  Â  ><br>
>  Â  Â  > Device Number: Â  Â  Â  Â  Â  Â  Â  Â  1<br>
>  Â  Â  > Device Name: Â  Â  Â  Â  Â  Â  Â  Â  Â  TITAN V<br>
>  Â  Â  > Device Revision Number: Â  Â  Â  Â 7.0<br>
>  Â  Â  > Global Memory Size: Â  Â  Â  Â  Â  Â 12652838912<br>
>  Â  Â  > Number of Multiprocessors: Â  Â  80<br>
>  Â  Â  > Concurrent Copy and Execution: Yes<br>
>  Â  Â  > Total Constant Memory: Â  Â  Â  Â  65536<br>
>  Â  Â  > Total Shared Memory per Block: 49152<br>
>  Â  Â  > Registers per Block: Â  Â  Â  Â  Â  65536<br>
>  Â  Â  > Warp Size: Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  32<br>
>  Â  Â  > Maximum Threads per Block: Â  Â  1024<br>
>  Â  Â  > Maximum Block Dimensions: Â  Â  Â 1024, 1024, 64<br>
>  Â  Â  > Maximum Grid Dimensions: Â  Â  Â  2147483647 x 65535 x 65535<br>
>  Â  Â  > Maximum Memory Pitch: Â  Â  Â  Â  Â 2147483647B<br>
>  Â  Â  > Texture Alignment: Â  Â  Â  Â  Â  Â  512B<br>
>  Â  Â  > Clock Rate: Â  Â  Â  Â  Â  Â  Â  Â  Â  Â 1455 MHz<br>
>  Â  Â  > Execution Timeout: Â  Â  Â  Â  Â  Â  No<br>
>  Â  Â  > Integrated Device: Â  Â  Â  Â  Â  Â  No<br>
>  Â  Â  > Can Map Host Memory: Â  Â  Â  Â  Â  Yes<br>
>  Â  Â  > Compute Mode: Â  Â  Â  Â  Â  Â  Â  Â  Â default<br>
>  Â  Â  > Concurrent Kernels: Â  Â  Â  Â  Â  Â Yes<br>
>  Â  Â  > ECC Enabled: Â  Â  Â  Â  Â  Â  Â  Â  Â  No<br>
>  Â  Â  > Memory Clock Rate: Â  Â  Â  Â  Â  Â  850 MHz<br>
>  Â  Â  > Memory Bus Width: Â  Â  Â  Â  Â  Â  Â 3072 bits<br>
>  Â  Â  > L2 Cache Size: Â  Â  Â  Â  Â  Â  Â  Â  4718592 bytes<br>
>  Â  Â  > Max Threads Per SMP: Â  Â  Â  Â  Â  2048<br>
>  Â  Â  > Async Engines: Â  Â  Â  Â  Â  Â  Â  Â  7<br>
>  Â  Â  > Unified Addressing: Â  Â  Â  Â  Â  Â Yes<br>
>  Â  Â  > Managed Memory: Â  Â  Â  Â  Â  Â  Â  Â Yes<br>
>  Â  Â  > Concurrent Managed Memory: Â  Â  Yes<br>
>  Â  Â  > Preemption Supported: Â  Â  Â  Â  Â Yes<br>
>  Â  Â  > Cooperative Launch: Â  Â  Â  Â  Â  Â Yes<br>
>  Â  Â  >  Â  Multi-Device: Â  Â  Â  Â  Â  Â  Â  Â Yes<br>
>  Â  Â  > Default Target: Â  Â  Â  Â  Â  Â  Â  Â cc70<br>
>  Â  Â  ><br>
>  Â  Â  > *2) PGI compiler is installed:*<br>
>  Â  Â  > *yum install nvhpc-20-11-20.11-1.x86_64.rpm<br>
>  Â  Â nvhpc-2020-20.11-1.x86_64.rpm<br>
>  Â  Â  > *<br>
>  Â  Â  > *PATHs that are set in ~/.bashrc file:<br>
>  Â  Â  > *<br>
>  Â  Â  > *<br>
>  Â  Â  > *<br>
>  Â  Â  > export<br>
>  Â  Â PATH=/opt/nvidia/hpc_sdk/Linux_x86_64/20.11/cuda/11.1/bin:$PATH<br>
>  Â  Â  > export<br>
>  Â  Â PATH=/opt/nvidia/hpc_sdk/Linux_x86_64/20.11/cuda/11.1/include:$PATH<br>
>  Â  Â  > export<br>
>  Â  Â  ><br>
>  Â  Â LD_LIBRARY_PATH=/opt/nvidia/hpc_sdk/Linux_x86_64/20.11/cuda/11.1/lib64:$LD_LIBRARY_PATH<br>
>  Â  Â  > export<br>
>  Â  Â  ><br>
>  Â  Â LD_LIBRARY_PATH=/opt/nvidia/hpc_sdk/Linux_x86_64/20.11/cuda/11.1/extras/CUPTI/lib64:$LD_LIBRARY_PATH<br>
>  Â  Â  > export<br>
>  Â  Â  ><br>
>  Â  Â LD_LIBRARY_PATH=/opt/nvidia/hpc_sdk/Linux_x86_64/20.11/cuda/11.1/lib64/stubs:$LD_LIBRARY_PATH<br>
>  Â  Â  > NVARCH=`uname -s`_`uname -m`; export NVARCH<br>
>  Â  Â  > NVCOMPILERS=/opt/nvidia/hpc_sdk; export NVCOMPILERS<br>
>  Â  Â  > MANPATH=$MANPATH:$NVCOMPILERS/$NVARCH/20.11/compilers/man; export<br>
>  Â  Â MANPATH<br>
>  Â  Â  > PATH=$NVCOMPILERS/$NVARCH/20.11/compilers/bin:$PATH; export PATH<br>
>  Â  Â  > PATH=$NVCOMPILERS/$NVARCH/20.11/compilers/include:$PATH; export PATH<br>
>  Â  Â  > LD_LIBRARY_PATH=$NVCOMPILERS/$NVARCH/20.11/compilers/lib:$PATH;<br>
>  Â  Â export<br>
>  Â  Â  > LD_LIBRARY_PATH<br>
>  Â  Â  > export<br>
>  Â  Â PATH=/opt/nvidia/hpc_sdk/Linux_x86_64/20.11/comm_libs/mpi/bin:$PATH<br>
>  Â  Â  > export<br>
>  Â  Â  ><br>
>  Â  Â PATH=/opt/nvidia/hpc_sdk/Linux_x86_64/20.11/comm_libs/mpi/include:$PATH<br>
>  Â  Â  > export<br>
>  Â  Â  ><br>
>  Â  Â LD_LIBRARY_PATH=/opt/nvidia/hpc_sdk/Linux_x86_64/20.11/comm_libs/mpi/lib:$LD_LIBRARY_PATH<br>
>  Â  Â  > export<br>
>  Â  Â  ><br>
>  Â  Â LD_LIBRARY_PATH=/opt/nvidia/hpc_sdk/Linux_x86_64/20.11/math_libs/11.1/lib64:$LD_LIBRARY_PATH<br>
>  Â  Â  > export<br>
>  Â  Â  ><br>
>  Â  Â LD_LIBRARY_PATH=/opt/nvidia/hpc_sdk/Linux_x86_64/20.11/math_libs/11.1/lib64/stubs:$LD_LIBRARY_PATH*<br>
>  Â  Â  > *<br>
>  Â  Â  > *<br>
>  Â  Â  > *<br>
>  Â  Â  > *3) compiling the code using:*<br>
>  Â  Â  > *./configure FC=pgf90 F90=pgf90 F77=pgf90 CC=pgcc MPIF90=mpif90<br>
>  Â  Â  > --with-cuda=/opt/nvidia/hpc_sdk/Linux_x86_64/20.11/cuda<br>
>  Â  Â  > --with-cuda-runtime=11.1 --with-cuda-cc=70 --enable-openmp<br>
>  Â  Â  > --with-scalapack=no*<br>
>  Â  Â  ><br>
>  Â  Â  > checking build system type... x86_64-pc-linux-gnu<br>
>  Â  Â  > checking ARCH... x86_64<br>
>  Â  Â  > checking setting AR... ... ar<br>
>  Â  Â  > checking setting ARFLAGS... ... ruv<br>
>  Â  Â  > checking whether the Fortran compiler works... yes<br>
>  Â  Â  > checking for Fortran compiler default output file name... a.out<br>
>  Â  Â  > checking for suffix of executables...<br>
>  Â  Â  > checking whether we are cross compiling... no<br>
>  Â  Â  > checking for suffix of object files... o<br>
>  Â  Â  > checking whether we are using the GNU Fortran compiler... no<br>
>  Â  Â  > checking whether pgf90 accepts -g... yes<br>
>  Â  Â  > configure: WARNING: F90 value is set to be consistent with value<br>
>  Â  Â of MPIF90<br>
>  Â  Â  > checking for mpif90... mpif90<br>
>  Â  Â  > checking whether we are using the GNU Fortran compiler... no<br>
>  Â  Â  > checking whether mpif90 accepts -g... yes<br>
>  Â  Â  > checking version of mpif90... nvfortran 20.11-0<br>
>  Â  Â  > checking for Fortran flag to compile .f90 files... none<br>
>  Â  Â  > setting F90... nvfortran<br>
>  Â  Â  > setting MPIF90... mpif90<br>
>  Â  Â  > checking whether we are using the GNU C compiler... yes<br>
>  Â  Â  > checking whether pgcc accepts -g... yes<br>
>  Â  Â  > checking for pgcc option to accept ISO C89... none needed<br>
>  Â  Â  > setting CC... pgcc<br>
>  Â  Â  > setting CFLAGS... -fast -Mpreprocess<br>
>  Â  Â  > using F90... nvfortran<br>
>  Â  Â  > setting FFLAGS... -O1<br>
>  Â  Â  > setting F90FLAGS... $(FFLAGS)<br>
>  Â  Â  > setting FFLAGS_NOOPT... -O0<br>
>  Â  Â  > setting CPP... cpp<br>
>  Â  Â  > setting CPPFLAGS... -P -traditional -Uvector<br>
>  Â  Â  > setting LD... mpif90<br>
>  Â  Â  > setting LDFLAGS...<br>
>  Â  Â  > checking for Fortran flag to compile .f90 files... (cached) none<br>
>  Â  Â  > checking whether Fortran compiler accepts -Mcuda=cuda11.1... yes<br>
>  Â  Â  > checking for nvcc...<br>
>  Â  Â  > /opt/nvidia/hpc_sdk/Linux_x86_64/20.11/compilers/bin/nvcc<br>
>  Â  Â  > checking whether nvcc works... no<br>
>  Â  Â  > configure: WARNING: CUDA compiler has problems.<br>
>  Â  Â  > checking for cuInit in -lcuda... no<br>
>  Â  Â  > configure: error: in `/codes/qe_6.7_GPU/q-e-gpu-qe-gpu-6.7':<br>
>  Â  Â  > configure: error: Couldn't find libcuda<br>
>  Â  Â  > See `config.log' for more details*<br>
>  Â  Â  > *<br>
>  Â  Â  > *<br>
>  Â  Â  > *<br>
>  Â  Â  > *<br>
>  Â  Â  > *<br>
>  Â  Â  > *<br>
>  Â  Â  > *<br>
>  Â  Â  > *Any Help will be greatly appreciated.*<br>
>  Â  Â  > *<br>
>  Â  Â  > *<br>
>  Â  Â  > *<br>
>  Â  Â  > *<br>
>  Â  Â  > *<br>
>  Â  Â  > *<br>
>  Â  Â  > *P.S.*<br>
>  Â  Â  > *When I run nvcc in terminal, the following error appears:*<br>
>  Â  Â  > $ which nvcc<br>
>  Â  Â  > /opt/nvidia/hpc_sdk/Linux_x86_64/20.11/compilers/bin/nvcc<br>
>  Â  Â  > **<br>
>  Â  Â  > $ nvcc<br>
>  Â  Â  > nvcc-Error-CUDA version 10.2 was not installed with this HPC SDK:<br>
>  Â  Â  > /opt/nvidia/hpc_sdk/Linux_x86_64/20.11/cuda/10.2/bin<br>
>  Â  Â  ><br>
>  Â  Â  ><br>
>  Â  Â  > *Best,*<br>
>  Â  Â  > *Mohammad Moaddeli*<br>
>  Â  Â  > *Shiraz University*<br>
>  Â  Â  > **<br>
>  Â  Â  > **<br>
>  Â  Â  ><br>
>  Â  Â  > _______________________________________________<br>
>  Â  Â  > Quantum ESPRESSO is supported by MaX (<a href="http://www.max-centre.eu" rel="noreferrer" target="_blank">www.max-centre.eu</a><br>
>  Â  Â <<a href="http://www.max-centre.eu/" rel="noreferrer" target="_blank">http://www.max-centre.eu/</a>>)<br>
>  Â  Â  > users mailing list <a href="mailto:users@lists.quantum-espresso.org" target="_blank">users@lists.quantum-espresso.org</a><br>
>  Â  Â <mailto:<a href="mailto:users@lists.quantum-espresso.org" target="_blank">users@lists.quantum-espresso.org</a>><br>
>  Â  Â  > <a href="https://lists.quantum-espresso.org/mailman/listinfo/users" rel="noreferrer" target="_blank">https://lists.quantum-espresso.org/mailman/listinfo/users</a><br>
>  Â  Â <<a href="https://lists.quantum-espresso.org/mailman/listinfo/users" rel="noreferrer" target="_blank">https://lists.quantum-espresso.org/mailman/listinfo/users</a>><br>
>  Â  Â  ><br>
>  Â  Â _______________________________________________<br>
>  Â  Â Quantum ESPRESSO is supported by MaX (<a href="http://www.max-centre.eu" rel="noreferrer" target="_blank">www.max-centre.eu</a><br>
>  Â  Â <<a href="http://www.max-centre.eu/" rel="noreferrer" target="_blank">http://www.max-centre.eu/</a>>)<br>
>  Â  Â users mailing list <a href="mailto:users@lists.quantum-espresso.org" target="_blank">users@lists.quantum-espresso.org</a><br>
>  Â  Â <mailto:<a href="mailto:users@lists.quantum-espresso.org" target="_blank">users@lists.quantum-espresso.org</a>><br>
>  Â  Â <a href="https://lists.quantum-espresso.org/mailman/listinfo/users" rel="noreferrer" target="_blank">https://lists.quantum-espresso.org/mailman/listinfo/users</a><br>
>  Â  Â <<a href="https://lists.quantum-espresso.org/mailman/listinfo/users" rel="noreferrer" target="_blank">https://lists.quantum-espresso.org/mailman/listinfo/users</a>><br>
> <br>
> <br>
> _______________________________________________<br>
> Quantum ESPRESSO is supported by MaX (<a href="http://www.max-centre.eu" rel="noreferrer" target="_blank">www.max-centre.eu</a>)<br>
> users mailing list <a href="mailto:users@lists.quantum-espresso.org" target="_blank">users@lists.quantum-espresso.org</a><br>
> <a href="https://lists.quantum-espresso.org/mailman/listinfo/users" rel="noreferrer" target="_blank">https://lists.quantum-espresso.org/mailman/listinfo/users</a><br>
> <br>
_______________________________________________<br>
Quantum ESPRESSO is supported by MaX (<a href="http://www.max-centre.eu" rel="noreferrer" target="_blank">www.max-centre.eu</a>)<br>
users mailing list <a href="mailto:users@lists.quantum-espresso.org" target="_blank">users@lists.quantum-espresso.org</a><br>
<a href="https://lists.quantum-espresso.org/mailman/listinfo/users" rel="noreferrer" target="_blank">https://lists.quantum-espresso.org/mailman/listinfo/users</a></blockquote></div>