<div dir="ltr"><div>Dear all, please help. I'm trying to build parallel QE-5.4.0 on hpc cluster.  System parameters:<br></div><div>20 nodes with<br></div><div>2* E5-2680 Intel Xeon CPU (8 n), 128GiB RAM 300 GiB HDD<br>arch: x86_64<br>Gentoo/Linux 3.2.59 <br></div><div>GCC compilers, gfortran 4.8<br>OpenMPI, mpich-2 mpi-mpich2-1_5-x86_64<br><br></div><div>Autoconfig detects compilers and parallel environment correctly but  links libraries:<br><br>BLAS_LIBS      = -L/opt/intel/composerxe-2013.0<wbr>.080/mkl/lib/intel64 -lmkl_gf_lp64  -lmkl_sequential -lmkl_core<br>BLAS_LIBS_SWITCH = external<br>LAPACK_LIBS    = <br>LAPACK_LIBS_SWITCH = external<br>ELPA_LIBS_SWITCH = disabled<br>SCALAPACK_LIBS = -lmkl_scalapack_lp64 -lmkl_blacs_openmpi_lp64<br>FFT_LIBS       = -lfftw3<br>MPI_LIBS       = <br>MASS_LIBS      = <br>AR             = ar<br>ARFLAGS        = ruv<br>RANLIB         = ranlib<br>FLIB_TARGETS   = all<br>LIBOBJS        = ../clib/clib.a ../iotk/src/libiotk.a<br>LIBS           = $(SCALAPACK_LIBS) $(LAPACK_LIBS) $(FFT_LIBS) $(BLAS_LIBS) $(MPI_LIBS) $(MASS_LIBS) $(LD_LIBS)<br><br></div><div>In this configuration "make" fails:<br><br>_ _ _ _ _ _ <br>test -d bin || mkdir bin<br>( cd FFTXlib ; make TLDEPS= all || exit 1 )<br>make[1]: Entering directory `/home/osvasilyev/QE/FFTXlib'<br>mpif90
 -O3 -g -x f95-cpp-input -D__GFORTRAN -D__STD_F95 -D__DFTI -D__MPI 
-D__PARA -D__SCALAPACK  -I../include -I/include  -c fft_types.f90<br>Warning: Nonexistent include directory "/include"<br>mpif90
 -O3 -g -x f95-cpp-input -D__GFORTRAN -D__STD_F95 -D__DFTI -D__MPI 
-D__PARA -D__SCALAPACK  -I../include -I/include  -c scatter_mod.f90<br>Warning: Nonexistent include directory "/include"<br>mpif90
 -O3 -g -x f95-cpp-input -D__GFORTRAN -D__STD_F95 -D__DFTI -D__MPI 
-D__PARA -D__SCALAPACK  -I../include -I/include  -c fft_scalar.f90<br>Warning: Nonexistent include directory "/include"<br>In file included from fft_scalar.f90:27:0:<br>fft_scalar.DFTI.f90:20:0: fatal error: mkl_dfti.f90: No such file or directory<br> #include "mkl_dfti.f90"<br> ^<br>compilation terminated.<br>make[1]: *** [fft_scalar.o] Error 1<br>make[1]: Leaving directory `/home/osvasilyev/QE/FFTXlib'<br>make: *** [libfft] Error 1<br>_ _ _ _ _ _ _ <br><br></div><div>Then
 i tryed to build QE with MKL libraries following the Intel's manual, 
linking explicitlly  ./configure --LIBDIRS=" 
-L/opt/intel/composerxe-2013.0<wbr>.080/mkl/lib/intel64 -Wl, 
-lmkl_scalapack_ilp64 -lmkl_gf_ilp64 -lmkl_gnu_thread -lmkl_core 
-lmkl_blacs_intelmpi_ilp64 -lgomp -lpthread -lm -ldl" .<br>Configure says<br>"The following libraries have been found:<br>  BLAS_LIBS=-L/opt/intel/compose<wbr>rxe-2013.0.080/mkl/lib/intel64 -lmkl_gf_lp64  -lmkl_sequential -lmkl_core<br>  LAPACK_LIBS=<br>  SCALAPACK_LIBS=-lmkl_scalapack<wbr>_lp64 -lmkl_blacs_openmpi_lp64<br>  FFT_LIBS=-lfftw3<br></div><div>parallel environments detected successfully"<br><br>But
 compilation crushed again with same log. It's not clear for me what the
 errors occure. Directory "include" existed. When linking MKL breafly, 
the same. And there was any unsuccessful cases of configuration, with 
internal libs too.<br></div><div><br></div><div>QE was 
builded only in configuration: LAPACK_LIBS  = -latllapack, 
SCALAPACK_LIBS = , FFT_LIBS  =  -lfftw3,  MPI_LIBS  =  
-L/usr/lib/mpi/mpi-mpich2-1_5-<wbr>x86_64/usr/lib64/ , but it works 
poorly.  Examples go normally on -np 2..8, but jobs (scf, md, relax that
 start normally on local)  always fail due to SEGFAULT. tryed -np 
2..128.<br></div><div>  <br>So I ask for advice, has anyone dealt 
sucesfully with QE on cluster with GFORTRAN? I suspect that 
gfortran+mkl+QE is unlivable, who knows some appropriate configurations?<br><br></div><div>PS. Sysadmin's advices didn't help that's why I'm here)<br></div><div><br></div><div>Sincerely,<br></div><div>Eugenia W.<br><br></div><div>Research engineer<br></div>NRNU, Moscow.</div>