<div dir="ltr"><div><div>Hi Taylor (and CC: to q-e-developers)<br><br></div>please try the attached patch (I cannot make any serious test right now). The initialization of the so-called "custom grid" was slightly different on different pools, in addition to being exceedingly confused and confusing.<br><br></div>Paolo <br></div><div class="gmail_extra"><br><div class="gmail_quote">On Sun, Aug 13, 2017 at 5:32 AM, Taylor Barnes <span dir="ltr"><<a href="mailto:tbarnes@lbl.gov" target="_blank">tbarnes@lbl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div>Hi Paolo,<br><br></div>   I've recently encountered a somewhat strange bug that crashes certain hybrid calculations.  I had originally thought that it was a consequence of my changes to exx.f90, but I am able to reproduce the bug in the public release of 6.0, which does not include my changes.  The bug does not seem to exist in QE 5.4.0.<br><br></div><div>   When running certain hybrid calculations with pools, the code crashes near the end of subroutine exxinit, at the point when exxbuff is summed across pools (at line 846 of exx.f90 in QE 6.0).  The error message is along the lines of:<br><br>Message from rank 7 and tag 14 truncated; 358400 bytes received but buffer size is 302976<br></div><div><br></div><div>   After some more investigating, I have found that this happens because nrxxs is somehow different for each pool, which of course means that the size of exxbuff different for each pool, and inter-pool communication fails as a result.  As best as I can tell, this issue was introduced by some of the changes that were made to FFTXlib between QE 5.4 and QE 6.0.  I'm having a hard time narrowing things down much further than that, partly due to my limited understanding of those changes.<br><br></div><div>   I have attached an input file for a small calculation that is affected by the bug.  I ran on a total of 8 MPI tasks and used 8 pools.<br><br></div><div>   Do you have any insight into what might be happening here?<br></div><div><br></div><div>Thanks,<br></div><div>Taylor<br></div><div><br><br></div></div>
</blockquote></div><br><br clear="all"><br>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div>Paolo Giannozzi, Dip. Scienze Matematiche Informatiche e Fisiche,<br>Univ. Udine, via delle Scienze 208, 33100 Udine, Italy<br>Phone +39-0432-558216, fax +39-0432-558222<br><br></div></div></div></div></div>
</div>