<div dir="ltr"><div>3.26x seems possible to me. It can be caused by load imbalance in the iterative solver among the 4 k-points.</div><div></div><div>Could you list the time in seconds with 1 node and 4 nodes? Those you used to calculate 3.26x.</div><div>Could you also try diago_david_ndim=2 under "&ELECTRONS" and provide 1 and 4-node time in seconds?</div><div><br></div><div><div></div><div>In addition, you may try ELPA which usually gives better performance than scalapack.</div><div><br></div></div><div>Thanks,<br></div><div>Ye</div><div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr">===================<br>
Ye Luo, Ph.D.<br>Computational Science Division & Leadership Computing Facility<br>
Argonne National Laboratory</div></div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, May 27, 2020 at 9:27 AM Michal Krompiec <<a href="mailto:michal.krompiec@gmail.com">michal.krompiec@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hello,<br>
How can I minimize inter-node MPI communication in a pw.x run? My<br>
system doesn't have Infiniband and inter-node MPI can easily become<br>
the bottleneck.<br>
Let's say, I'm running a calculation with 4 k-points, on 4 nodes, with<br>
56 MPI tasks per node. I would then use -npool 4 to create 4 pools for<br>
the k-point parallelization. However, it seems that the<br>
diagonalization is by default parallelized imperfectly (or isn't it?):<br>
     Subspace diagonalization in iterative solution of the eigenvalue problem:<br>
     one sub-group per band group will be used<br>
     scalapack distributed-memory algorithm (size of sub-group:  7*  7 procs)<br>
So far, speedup on 4 nodes vs 1 node is 3.26x. Is it normal or does it<br>
look like it can be improved?<br>
<br>
Best regards,<br>
<br>
Michal Krompiec<br>
Merck KGaA<br>
Southampton, UK<br>
_______________________________________________<br>
Quantum ESPRESSO is supported by MaX (<a href="http://www.max-centre.eu/quantum-espresso" rel="noreferrer" target="_blank">www.max-centre.eu/quantum-espresso</a>)<br>
users mailing list <a href="mailto:users@lists.quantum-espresso.org" target="_blank">users@lists.quantum-espresso.org</a><br>
<a href="https://lists.quantum-espresso.org/mailman/listinfo/users" rel="noreferrer" target="_blank">https://lists.quantum-espresso.org/mailman/listinfo/users</a><br>
</blockquote></div>