<div dir="auto">Having read the FAQ before posting, this response is approximately what I expected. Unfortunately, more analysis on my part shows it is very likely incorrect.<div dir="auto"><br></div><div dir="auto">On the same machine built against the same libraries with the exception of the specific MKL (blacs_openmpi vs blacs_intelmpi) library but with OpenMPI 3.1.6, pw.x runs inputs from the test-suite without issue. This suggests to me that some part of the code is in loose compliance with the MPI standard, causing memory issues/incompatibilities with certain implementations.</div><div dir="auto"><br></div><div dir="auto">This is further supported by a full stack trace when the software is built against HPE MPT, which indicates a memory issue with the in-place AllReduce operation on line 253 of FFTXlib/stick_base.f90. I can't be certain that this is the same issue encountered with IntelMPI, but it's certainly possible even with slightly different output given application output buffering on the machine.</div><div dir="auto"><br></div><div dir="auto">Obviously, I will be looking further into this tomorrow but welcome suggestions as to flags to loosen the standards interpretation of IntelMPI.</div><div dir="auto"><br></div><div dir="auto">Regards,</div><div dir="auto">Nik Antolin</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Oct 14, 2021, 00:23 Paolo Giannozzi <<a href="mailto:p.giannozzi@gmail.com" rel="noreferrer noreferrer" target="_blank">p.giannozzi@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div dir="ltr">On Thu, Oct 14, 2021 at 1:09 AM Nikolas Antolin <<a href="mailto:nantolin@gmail.com" rel="noreferrer noreferrer noreferrer" target="_blank">nantolin@gmail.com</a>> wrote:<br></div><div dir="ltr"><br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div dir="ltr"><div>(basically worthless as far as I can tell):<br></div><div>#0  0x00002af86df05817 in atan () from /lib64/libm.so.6</div></div></div></blockquote></div><div><br></div><div>well, maybe not completely worthless: the segfault happens in the arctan function, presumably because the compiler links a wrong set of mathematical libraries. There is something weird in the software of your machine.</div><div><br></div><div>QE does not use any nonstandard, "advanced", exotic features of MPI, as far as I know, All MPI libraries should work.</div><div><br></div><div>Paolo</div><div><br></div>-- <br><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div>Paolo Giannozzi, Dip. Scienze Matematiche Informatiche e Fisiche,<br>Univ. Udine, via delle Scienze 206, 33100 Udine, Italy<br>Phone +39-0432-558216, fax +39-0432-558222<br><br></div></div></div></div></div></div>
_______________________________________________<br>
Quantum ESPRESSO is supported by MaX (<a href="http://www.max-centre.eu" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">www.max-centre.eu</a>)<br>
users mailing list <a href="mailto:users@lists.quantum-espresso.org" rel="noreferrer noreferrer noreferrer" target="_blank">users@lists.quantum-espresso.org</a><br>
<a href="https://lists.quantum-espresso.org/mailman/listinfo/users" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">https://lists.quantum-espresso.org/mailman/listinfo/users</a></blockquote></div>