<div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-family:tahoma,sans-serif">I think I did all things correctly. In order to override the default mpirun (which is 2.0.0) I ran:</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"># export PATH=/usr/lib64/qt-3.3/bin:/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/share/apps/softwares/openmpi-4.0.1/bin</div><div class="gmail_default" style="font-family:tahoma,sans-serif"># export LD_LIBRARY_PATH=/share/apps/softwares/openmpi-4.0.1/lib</div><div class="gmail_default" style="font-family:tahoma,sans-serif"># mpirun --version<br>mpirun (Open MPI) 4.0.1<br><br>Report bugs to <a href="http://www.open-mpi.org/community/help/">http://www.open-mpi.org/community/help/</a><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">Then I tried to build qe</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"># ./configure --prefix=/share/apps/softwares/q-e-qe-6.4/build</div><div class="gmail_default" style="font-family:tahoma,sans-serif"># make all -j6<br># make install<br>...</div><div class="gmail_default" style="font-family:tahoma,sans-serif">\u2018XSpectra/src/xspectra.x\u2019 -> \u2018/share/apps/softwares/q-e-qe-6.4/build/bin/xspectra.x\u2019<br><br>Quantum ESPRESSO binaries are installed in /share/apps/softwares/q-e-qe-6.4/build/bin<br># ldd build/bin/pw.x<br>    linux-vdso.so.1 =>  (0x00007ffd51f58000)<br>    libmpi_usempi.so.40 => /share/apps/softwares/openmpi-4.0.1/lib/libmpi_usempi.so.40 (0x00007f16552c8000)<br>    libmpi_mpifh.so.40 => /share/apps/softwares/openmpi-4.0.1/lib/libmpi_mpifh.so.40 (0x00007f1655070000)<br>    libmpi.so.40 => /share/apps/softwares/openmpi-4.0.1/lib/libmpi.so.40 (0x00007f1654d58000)<br>    libgfortran.so.3 => /lib64/libgfortran.so.3 (0x00007f1654a10000)<br>    libm.so.6 => /lib64/libm.so.6 (0x00007f1654708000)<br>    libgcc_s.so.1 => /lib64/libgcc_s.so.1 (0x00007f16544f0000)<br>    libquadmath.so.0 => /lib64/libquadmath.so.0 (0x00007f16542b0000)<br>    libpthread.so.0 => /lib64/libpthread.so.0 (0x00007f1654090000)<br>    libc.so.6 => /lib64/libc.so.6 (0x00007f1653cc8000)<br>    libopen-rte.so.40 => /share/apps/softwares/openmpi-4.0.1/lib/libopen-rte.so.40 (0x00007f1653a08000)<br>    libopen-pal.so.40 => /share/apps/softwares/openmpi-4.0.1/lib/libopen-pal.so.40 (0x00007f16536f8000)<br>    libdl.so.2 => /lib64/libdl.so.2 (0x00007f16534f0000)<br>    libudev.so.1 => /lib64/libudev.so.1 (0x00007f16534d8000)<br>    librt.so.1 => /lib64/librt.so.1 (0x00007f16532d0000)<br>    libutil.so.1 => /lib64/libutil.so.1 (0x00007f16530c8000)<br>    libz.so.1 => /lib64/libz.so.1 (0x00007f1652eb0000)<br>    /lib64/ld-linux-x86-64.so.2 (0x00005652f0f3b000)<br>    libcap.so.2 => /lib64/libcap.so.2 (0x00007f1652ca8000)<br>    libdw.so.1 => /lib64/libdw.so.1 (0x00007f1652a60000)<br>    libattr.so.1 => /lib64/libattr.so.1 (0x00007f1652858000)<br>    libelf.so.1 => /lib64/libelf.so.1 (0x00007f1652640000)<br>    liblzma.so.5 => /lib64/liblzma.so.5 (0x00007f1652418000)<br>    libbz2.so.1 => /lib64/libbz2.so.1 (0x00007f1652208000)<br><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">So, it seems that qe-6.4 has been built with openmpi-4 correctly.</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">Back to my user account, I again set PATH and LD_LIBRARY_PATH in order to override the default openmpi on the system.<br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">As I tried my own file, I received the following error</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">$ which mpirun<br>/share/apps/softwares/openmpi-4.0.1/bin/mpirun<br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">$ mpirun --version<br>mpirun (Open MPI) 4.0.1<br><br>Report bugs to <a href="http://www.open-mpi.org/community/help/">http://www.open-mpi.org/community/help/</a><br>$ which pw.x<br>/share/apps/softwares/q-e-qe-6.4/build/bin/pw.x<br>[mahmood@rocks7 job]$ mpirun -np 2 pw.x <a href="http://mos64.scf.in">mos64.scf.in</a> <br>--------------------------------------------------------------------------<br>As of version 3.0.0, the "sm" BTL is no longer available in Open MPI.<br><br>Efficient, high-speed same-node shared memory communication support in<br>Open MPI is available in the "vader" BTL.  To use the vader BTL, you<br>can re-run your job with:<br><br>    mpirun --mca btl vader,self,... your_mpi_application<br>--------------------------------------------------------------------------<br>--------------------------------------------------------------------------<br>A requested component was not found, or was unable to be opened.  This<br>means that this component is either not installed or is unable to be<br>used on your system (e.g., sometimes this means that shared libraries<br>that the component requires are unable to be found/loaded).  Note that<br>Open MPI stopped checking at the first component that it did not find.<br><br>Host:      <a href="http://rocks7.jupiterclusterscu.com">rocks7.jupiterclusterscu.com</a><br>Framework: btl<br>Component: sm<br>--------------------------------------------------------------------------<br>--------------------------------------------------------------------------<br>It looks like MPI_INIT failed for some reason; your parallel process is<br>likely to abort.  There are many reasons that a parallel process can<br>fail during MPI_INIT; some of which are due to configuration or environment<br>problems.  This failure appears to be an internal failure; here's some<br>additional information (which may only be relevant to an Open MPI<br>developer):<br><br>  mca_bml_base_open() failed<br>  --> Returned "Not found" (-13) instead of "Success" (0)<br>--------------------------------------------------------------------------<br>[rocks7:08912] *** An error occurred in MPI_Init<br>[rocks7:08912] *** reported by process [1787822081,3255307776955514881]<br>[rocks7:08912] *** on a NULL communicator<br>[rocks7:08912] *** Unknown error<br>[rocks7:08912] *** MPI_ERRORS_ARE_FATAL (processes in this communicator will now abort,<br>[rocks7:08912] ***    and potentially your MPI job)<br>[<a href="http://rocks7.jupiterclusterscu.com:08903">rocks7.jupiterclusterscu.com:08903</a>] 1 more process has sent help message help-mpi-btl-sm.txt / btl sm is dead<br>[<a href="http://rocks7.jupiterclusterscu.com:08903">rocks7.jupiterclusterscu.com:08903</a>] Set MCA parameter "orte_base_help_aggregate" to 0 to see all help / error messages<br>[<a href="http://rocks7.jupiterclusterscu.com:08903">rocks7.jupiterclusterscu.com:08903</a>] 1 more process has sent help message help-mca-base.txt / find-available:not-valid<br>[<a href="http://rocks7.jupiterclusterscu.com:08903">rocks7.jupiterclusterscu.com:08903</a>] 1 more process has sent help message help-mpi-runtime.txt / mpi_init:startup:internal-failure<br>[<a href="http://rocks7.jupiterclusterscu.com:08903">rocks7.jupiterclusterscu.com:08903</a>] 1 more process has sent help message help-mpi-errors.txt / mpi_errors_are_fatal unknown handle<br><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">From this line </div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">As of version 3.0.0, the "sm" BTL is no longer available in Open MPI.</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">I think that QE is using a feature from OpenMPI which is not available in Openmpi-4. Do you confirm that? Should I use OpenMPI-3?</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">My input file is</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">&CONTROL<br>    calculation   = "scf"<br>    forc_conv_thr =  1.00000e-03<br>    max_seconds   =  1.72800e+05<br>    prefix        = 'mos2',<br>    verbosity     = 'high' ,<br>    tstress       = .true. ,<br>    tprnfor       = .true. ,<br>    nstep         =  100<br>    outdir        = '/home/mahmood/qe/' , <br>    pseudo_dir    = '/share/apps/softwaers/q-e-qe-6.4.1/pseudo/' ,<br>/<br>&SYSTEM<br>    a                         =  3.16100e+00<br>    c                         =  1.22950e+01<br>    degauss                   =  1.00000e-02<br>    ecutrho                   = 440<br>    ecutwfc                   = 48<br>    ibrav                     = 4<br>    nat                       = 6<br>    nspin                     = 2<br>    ntyp                      = 2<br>    occupations               = "smearing"<br>    smearing                  = "gaussian"<br>    starting_magnetization(1) =  2.00000e-01<br>    starting_magnetization(2) =  0.00000e+00<br>/<br>&ELECTRONS<br>    conv_thr         =  1.00000e-06<br>    electron_maxstep =  200<br>    mixing_beta      =  7.00000e-01<br>    startingpot      = "atomic"<br>    startingwfc      = "atomic+random"<br>/<br>&IONS<br>    ion_dynamics = "bfgs"<br>/<br>&CELL<br>    cell_dynamics  = "bfgs"<br>    press_conv_thr =  5.00000e-01<br>/<br>K_POINTS {automatic}<br> 4  4  1  0 0 0<br>ATOMIC_SPECIES<br>Mo     95.94000  Mo.revpbe-spn-rrkjus_psl.0.3.0.UPF<br>S      32.06600  S.revpbe-n-rrkjus_psl.0.1.UPF<br>ATOMIC_POSITIONS {angstrom}<br>Mo      -0.000002917   1.825008211   3.073729342<br>Mo       1.580497606   0.912506275   9.221229342<br>S       -0.000005246   1.825013176   7.657345580<br>S        1.580494470   0.912510775   1.509845580<br>S        0.000001175   1.825005054  10.785175078<br>S        1.580498911   0.912501509   4.637675078<br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br clear="all"></div><div><div dir="ltr" class="gmail_signature"><div dir="ltr"><font face="tahoma,sans-serif">Regards,<br>Mahmood</font><br><br><br></div></div></div><br></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Apr 30, 2019 at 5:20 PM Paolo Giannozzi <<a href="mailto:p.giannozzi@gmail.com">p.giannozzi@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>The MPI run-time environment (e.g. mpirun) must be consistent with the MPI libraries you are linking. Be very careful when setting your PATH, LIBPATH, etc. environment variables. They must be the same when you configure, compile, and run. </div><div><br></div><div>Paolo<br></div></div><br><br></blockquote></div></div>