<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0cm;
margin-bottom:.0001pt;
font-size:11.0pt;
font-family:"Calibri",sans-serif;
mso-fareast-language:EN-US;}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:#0563C1;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:#954F72;
text-decoration:underline;}
span.EmailStyle17
{mso-style-type:personal-compose;
font-family:"Calibri",sans-serif;
color:windowtext;}
.MsoChpDefault
{mso-style-type:export-only;
font-family:"Calibri",sans-serif;
mso-fareast-language:EN-US;}
@page WordSection1
{size:612.0pt 792.0pt;
margin:72.0pt 72.0pt 72.0pt 72.0pt;}
div.WordSection1
{page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-GB" link="#0563C1" vlink="#954F72">
<div class="WordSection1">
<p class="MsoNormal">Dear Community,<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">I have compiled Quantum ESPRESSO (Program PWSCF v.6.7MaX) for GPU acceleration (hybrid MPI/OpenMP) with the next options:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"> module load compiler/intel/2020.1<o:p></o:p></p>
<p class="MsoNormal"> module load hpc_sdk/20.9<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"> ./configure F90=pgf90 CC=pgcc MPIF90=mpif90 --with-cuda=yes --enable-cuda-env-check=no --with-cuda-runtime=11.0 --with-cuda-cc=70 --enable-openmp BLAS_LIBS='-lmkl_intel_lp64 -lmkl_intel_thread -lmkl_core'<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"> make -j8 pw<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Apparently the compilation ends successfully and then, I execute the program:
<o:p></o:p></p>
<p class="MsoNormal"> module load compiler/intel/2020.1<o:p></o:p></p>
<p class="MsoNormal"> module load hpc_sdk/20.9<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"> export OMP_NUM_THREADS=1<o:p></o:p></p>
<p class="MsoNormal"> mpirun -n 2 /home/my_user/q-e-gpu-qe-gpu-6.7/bin/pw.x < silverslab32.in > silver4.out<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Then, the program starts and output:<o:p></o:p></p>
<p class="MsoNormal"> Parallel version (MPI & OpenMP), running on 8 processor cores<o:p></o:p></p>
<p class="MsoNormal"> Number of MPI processes: 2<o:p></o:p></p>
<p class="MsoNormal"> Threads/MPI process: 4<o:p></o:p></p>
<p class="MsoNormal"> ...<o:p></o:p></p>
<p class="MsoNormal"> GPU acceleration is ACTIVE<o:p></o:p></p>
<p class="MsoNormal"> ...<o:p></o:p></p>
<p class="MsoNormal"> Estimated max dynamical RAM per process > 13.87 GB<o:p></o:p></p>
<p class="MsoNormal"> Estimated total dynamical RAM > 27.75 GB<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">But after 2 minutes of execution the job ends with error:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">0: ALLOCATE: 4345479360 bytes requested; status = 2(out of memory)<o:p></o:p></p>
<p class="MsoNormal">0: ALLOCATE: 4345482096 bytes requested; status = 2(out of memory)<o:p></o:p></p>
<p class="MsoNormal">--------------------------------------------------------------------------<o:p></o:p></p>
<p class="MsoNormal">Primary job terminated normally, but 1 process returned<o:p></o:p></p>
<p class="MsoNormal">a non-zero exit code. Per user-direction, the job has been aborted.<o:p></o:p></p>
<p class="MsoNormal">--------------------------------------------------------------------------<o:p></o:p></p>
<p class="MsoNormal">--------------------------------------------------------------------------<o:p></o:p></p>
<p class="MsoNormal">mpirun detected that one or more processes exited with non-zero status, thus causing<o:p></o:p></p>
<p class="MsoNormal">the job to be terminated. The first process to do so was:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"> Process name: [[47946,1],1]<o:p></o:p></p>
<p class="MsoNormal"> Exit code: 127<o:p></o:p></p>
<p class="MsoNormal">--------------------------------------------------------------------------<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">This node has > 180GB of available RAM. With the top commands this is the memory consume:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"> PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND<o:p></o:p></p>
<p class="MsoNormal">89681 my_user 20 0 30.1g 3.6g 2.1g R 100.0 1.9 1:39.45 pw.x<o:p></o:p></p>
<p class="MsoNormal">89682 my_user 20 0 29.8g 3.2g 2.0g R 100.0 1.7 1:39.30 pw.x<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">When the RES memory arise the 4GB the processes stop and the error is displayed<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">This are the characteristics of the node:<o:p></o:p></p>
<p class="MsoNormal">(base) [my_user@gpu001]$ numactl --hardware<o:p></o:p></p>
<p class="MsoNormal">available: 2 nodes (0-1)<o:p></o:p></p>
<p class="MsoNormal">node 0 cpus: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 28 29 30 31 32 33 34 35 36 37 38 39 40 41<o:p></o:p></p>
<p class="MsoNormal">node 0 size: 95313 MB<o:p></o:p></p>
<p class="MsoNormal">node 0 free: 41972 MB<o:p></o:p></p>
<p class="MsoNormal">node 1 cpus: 14 15 16 17 18 19 20 21 22 23 24 25 26 27 42 43 44 45 46 47 48 49 50 51 52 53 54 55<o:p></o:p></p>
<p class="MsoNormal">node 1 size: 96746 MB<o:p></o:p></p>
<p class="MsoNormal">node 1 free: 70751 MB<o:p></o:p></p>
<p class="MsoNormal">node distances:<o:p></o:p></p>
<p class="MsoNormal">node 0 1<o:p></o:p></p>
<p class="MsoNormal"> 0: 10 21<o:p></o:p></p>
<p class="MsoNormal"> 1: 21 10<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">(base) [my_user@gpu001]$ free -lm<o:p></o:p></p>
<p class="MsoNormal"> total used free shared buff/cache available<o:p></o:p></p>
<p class="MsoNormal">Mem: 192059 2561 112716 260 76781 188505<o:p></o:p></p>
<p class="MsoNormal">Low: 192059 79342 112716<o:p></o:p></p>
<p class="MsoNormal">High: 0 0 0<o:p></o:p></p>
<p class="MsoNormal">Swap: 8191 0 8191<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">(base) [my_user@gpu001]$ ulimit -a<o:p></o:p></p>
<p class="MsoNormal">core file size (blocks, -c) 0<o:p></o:p></p>
<p class="MsoNormal">data seg size (kbytes, -d) unlimited<o:p></o:p></p>
<p class="MsoNormal">scheduling priority (-e) 0<o:p></o:p></p>
<p class="MsoNormal">file size (blocks, -f) unlimited<o:p></o:p></p>
<p class="MsoNormal">pending signals (-i) 768049<o:p></o:p></p>
<p class="MsoNormal">max locked memory (kbytes, -l) unlimited<o:p></o:p></p>
<p class="MsoNormal">max memory size (kbytes, -m) unlimited<o:p></o:p></p>
<p class="MsoNormal">open files (-n) 100000<o:p></o:p></p>
<p class="MsoNormal">pipe size (512 bytes, -p) 8<o:p></o:p></p>
<p class="MsoNormal">POSIX message queues (bytes, -q) 819200<o:p></o:p></p>
<p class="MsoNormal">real-time priority (-r) 0<o:p></o:p></p>
<p class="MsoNormal">stack size (kbytes, -s) unlimited<o:p></o:p></p>
<p class="MsoNormal">cpu time (seconds, -t) unlimited<o:p></o:p></p>
<p class="MsoNormal">max user processes (-u) 4096<o:p></o:p></p>
<p class="MsoNormal">virtual memory (kbytes, -v) unlimited<o:p></o:p></p>
<p class="MsoNormal">file locks (-x) unlimited<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">The version of MPI is: (Open MPI) 3.1.5<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">This node is a compute node in a cluster, but no matter if I submit the job with SLURM or run it directly on the node, the error is the same.<o:p></o:p></p>
<p class="MsoNormal">Note that I compile it on the login node and run it on this GPU node, the difference is that on the login node it has no GPU connected.
<o:p></o:p></p>
<p class="MsoNormal">I would really appreciate it if you could help me figure out what could be going on.<o:p></o:p></p>
<p class="MsoNormal">Thank you.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><span style="font-size:12.0pt;color:black;mso-fareast-language:EN-GB"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black;mso-fareast-language:EN-GB">Ms.C. Sandra Romero Molina<br>
Ph.D. student<br>
Computational Biochemistry<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black;mso-fareast-language:EN-GB">T03 R01 D48<br>
Faculty of Biology<br>
University of Duisburg-Essen<br>
Universitätsstr. </span><span lang="DE" style="font-size:10.0pt;color:black;mso-fareast-language:EN-GB">2, 45117 Essen<br>
emails: </span><span style="font-size:10.0pt;mso-fareast-language:EN-GB"><a href="mailto:sandra.romero-molina@uni-due.de"><span lang="DE" style="color:#0563C1">sandra.romero-molina@uni-due.de</span></a></span><span lang="DE" style="font-size:10.0pt;color:black;mso-fareast-language:EN-GB"><o:p></o:p></span></p>
<p class="MsoNormal" style="margin-bottom:12.0pt"><span lang="DE" style="font-size:10.0pt;color:black;mso-fareast-language:EN-GB">Phone: +49 176 2341 8772<br>
ORCID: </span><span style="mso-fareast-language:EN-GB"><a href="https://orcid.org/0000-0002-4990-1649"><span lang="DE" style="color:#0563C1">https://orcid.org/0000-0002-4990-1649</span></a></span><span lang="DE" style="mso-fareast-language:EN-GB"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="DE"><o:p> </o:p></span></p>
</div>
</body>
</html>