<div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr">Dear all,</div><div dir="ltr">I am trying to use Quantum ESPRESSO v 7.1 with GPU acceleration.</div><div dir="ltr">However, since I am new to this field, I need to learn about the flags and variables that could be exported to achieve optimum performance.</div><div dir="ltr"><br></div><div dir="ltr">Here is a bunch of variables that were suggested to me:</div><div dir="ltr"><br></div><div dir="ltr"><font face="monospace">export GPU_FORCE_64BIT_PTR=0</font></div><div dir="ltr"><font face="monospace">export GPU_MAX_HEAP_SIZE=100</font></div><div dir="ltr"><font face="monospace">export GPU_USE_SYNC_OBJECTS=1</font></div><div dir="ltr"><font face="monospace">export GPU_MAX_ALLOC_PERCENT=100</font></div><div dir="ltr"><font face="monospace">export GPU_SINGLE_ALLOC_PERCENT=100</font></div><div dir="ltr"><font face="monospace"><br></font></div><div dir="ltr"><font face="monospace">export OMP_NUM_THREADS=1</font></div><div dir="ltr"><font face="monospace">export MPI_PER_GPU=20</font></div><div dir="ltr"><font face="monospace">export ENABLE_MPS=false</font></div><div dir="ltr"><font face="monospace">export LS_HYPERTHREAD=true</font></div><div dir="ltr"><font face="monospace"><br></font></div><div dir="ltr"><div dir="ltr">I could not find the documentation about these variables, nor do I understand how these work. </div><div dir="ltr">The GPUs are not being utilized fully. I say this since I tried to run some basic profiling, all of which indicate the same:</div></div><div dir="ltr"><br></div><div dir="ltr"><img src="cid:ii_loxwteeg0" alt="image.png" width="1025" height="220" style="margin-right: 0px;"><br></div><div dir="ltr"><br></div><div dir="ltr"><div dir="ltr"><br></div><div dir="ltr">I am using a SLURM  script to run my jobs. Every GPU node on the cluster has 2 Tesla V100-SXM2-16GB and 40CPU cores.</div><div>The job is launched using "mpirun -np $SLURM_NTASKS pw.x -ndiag 1 -in <a href="http://input.in">input.in</a> > output.out"</div><div dir="ltr"><br></div><div dir="ltr">Could anyone shed some light on the following:</div><div dir="ltr">1. What flags and variables could be set, and how do I decide which are relevant for my calculations?</div><div dir="ltr">2. Where can I read more about these variables and flags to test which ones are relevant for the calculations?</div><div>3. Can the mpirun command be modified for better performance?</div><div dir="ltr"><br></div><div dir="ltr">Any insights would be very helpful.</div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div>Sincerely,</div></div></div></div></div></div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><b>Anson Thomas</b><div>Research Scholar, </div><div>Department of Chemistry, </div><div>Indian Institute of Technology, Roorkee</div></div></div></div></div>