<div>Hi Michal,</div><div> </div><div>I'm no expert in GPU graphics, so I didn't even know that this T4 is not good card.</div><div> </div><div>Anyway, this cluster has another GPU graphics card:</div><div> </div><div><span style="background-color:#ffffff;color:#000000;float:none;font-family:'arial' , 'helvetica' , sans-serif;font-size:13px;font-style:normal;font-weight:400;text-decoration-style:initial;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px">.. has 22 training nodes each with 2 Power9 processors, 512GB memory and 6 nVidia V100 GPUs, 128 inference nodes with 2 Power9 processors, 256GB memory and 4 nVidia T4 GPUs, 2 vis nodes each with 2 Power9 processors, 512GB memory and 2 nVidia V100 GPUs (SRD not yet available).</span></div><div> </div><div>I guess I can use QE on those "training nodes" that have V100 GPUs.</div><div><br /></div><div><br /></div><div>06.09.2020, 00:47, "Michal Krompiec" <michal.krompiec@gmail.com>:</div><blockquote><div><div dir="auto">Dear Sergey,</div><div dir="auto">T4 won’t help you much, even if you manage to compile QE to work with it. You need a GPU with high double-precision performance, such as V100 or P100.</div><div dir="auto">Best regards,</div><div dir="auto">Michal Krompiec</div><div dir="auto">Merck KGaA</div></div><div><div><br /><div class="f13ca48719c8a60033905b23b39675agmail_quote"><div class="334d7d341e3233c5b27ca91297445127gmail_attr" dir="ltr">On Sat, 5 Sep 2020 at 22:03, Sergey Lisenkov <<a href="mailto:proffess@yandex.ru">proffess@yandex.ru</a>> wrote:<br /></div><blockquote class="f13ca48719c8a60033905b23b39675agmail_quote" style="border-left-color:rgb( 204 , 204 , 204 );border-left-style:solid;border-left-width:1px;margin:0px 0px 0px 0.8ex;padding-left:1ex"><div>Dear all,</div><div> </div><div>I have an access to our new cluster -  IBM Power9 (each node has 2 x 20 cores + 4 Nvidia T4 GPU).  It seems it is very similar to Marconi100, which seems to be very familiar to many of users here.</div><div> </div><div>Anyway, I'm trying to utilize GPU version of Quantum EspreSSO, but I have almost no experience with that. I was reading WIKI at QE-GPU, so I was able to compile it. We have PGI and GNU compilers installed, IBM Spectrum MPI and OpenMPI, ESSL library.</div><div> </div><div>According to some templates, I was able to compile PW.x  using PGI/IBM Spectrum MPI, FFTW3, and ESSL. CPU version is quite slow on such cluster (almost twice slower than on Cray XC40).</div><div> </div><div>But I'm not sure how to correctly run GPU version. Since each node has 4 GPU, it means pw.x runs only on 4 GPU, and 40 CPU cores are idle? Unfortunately, our cluster does not have too much documentation, so I use google to find out how to utilize such system. We have LSF installed, unfortunately, because all similar systems use SLURM.</div><div> </div><div>If somebody runs GPU Q-E, can you share some examples how to correctly run the code?</div><div> </div><div>Thanks,</div><div> Sergey</div>_______________________________________________<br /><br />Quantum ESPRESSO is supported by MaX (<a href="http://www.max-centre.eu/quantum-espresso">www.max-centre.eu/quantum-espresso</a>)<br /><br />users mailing list <a href="mailto:users@lists.quantum-espresso.org">users@lists.quantum-espresso.org</a><br /><br /><a href="https://lists.quantum-espresso.org/mailman/listinfo/users">https://lists.quantum-espresso.org/mailman/listinfo/users</a></blockquote></div></div><br /><br /></div>
,<p>_______________________________________________<br />Quantum ESPRESSO is supported by MaX (<a href="https://www.max-centre.eu/quantum-espresso">www.max-centre.eu/quantum-espresso</a>)<br />users mailing list <a href="mailto:users@lists.quantum-espresso.org">users@lists.quantum-espresso.org</a><br /><a href="https://lists.quantum-espresso.org/mailman/listinfo/users">https://lists.quantum-espresso.org/mailman/listinfo/users</a><br /></p></blockquote>