<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
</head>
<body style="overflow-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;">
Dear QE developers, 
<div><br>
</div>
<div>I am running a  PBE0 scf calculation on NERSC gpu. I found my gpu result are different from cpu result. I tested different cpu installation on different clusters and it gives <span style="caret-color: rgb(0, 0, 0); color: rgb(0, 0, 0);">Bandgap=3.0945
 eV and </span><span style="caret-color: rgb(0, 0, 0); color: rgb(0, 0, 0);">!! total energy = -41479.47524618 Ry . With gpu version I got
</span><span style="caret-color: rgb(0, 0, 0); color: rgb(0, 0, 0);">bandgap=2.9022  and </span><span style="caret-color: rgb(0, 0, 0); color: rgb(0, 0, 0);">!! total energy = -41428.12547634 Ry. I got this result consistently by adjusting different cutoff
 energy and mixing_beta. </span></div>
<div><span style="caret-color: rgb(0, 0, 0); color: rgb(0, 0, 0);"><br>
</span></div>
<div><font color="#000000"><span style="caret-color: rgb(0, 0, 0);">Does anyone have similar experience on getting different result with gpu? </span></font></div>
<div><font color="#000000"><span style="caret-color: rgb(0, 0, 0);"><br>
</span></font></div>
<div><font color="#000000"><span style="caret-color: rgb(0, 0, 0);">Best,</span></font></div>
<div><font color="#000000"><span style="caret-color: rgb(0, 0, 0);">Shimin</span></font></div>
<div><font color="#000000"><span style="caret-color: rgb(0, 0, 0);"><br>
</span></font></div>
<div><font color="#000000"><span style="caret-color: rgb(0, 0, 0);">Here is my input: </span></font></div>
<div><font color="#000000"><span style="caret-color: rgb(0, 0, 0);"><br>
</span></font></div>
<div><font color="#000000"><span style="caret-color: rgb(0, 0, 0);"><br>
</span></font></div>
<div>
<div>&control</div>
<div> calculation = 'scf'</div>
<div> wf_collect = .true.</div>
<div> verbosity = 'high'</div>
<div> pseudo_dir=“~/Pseudopotential/pseudo-ONCV-proj"</div>
<div> etot_conv_thr=1d-6,</div>
<div> forc_conv_thr=1d-5,</div>
<div> nstep=1000</div>
<div>/</div>
<div><br>
</div>
<div>&system</div>
<div> input_dft = "pbe0"</div>
<div> ibrav = 0</div>
<div> nat = 192</div>
<div> ntyp = 2</div>
<div> ecutwfc = 60</div>
<div> ecutfock = 120</div>
<div> nbnd = 1258</div>
<div>/</div>
<div><br>
</div>
<div>&electrons</div>
<div> conv_thr = 1e-09</div>
<div> electron_maxstep = 100</div>
<div> mixing_beta = 0.5</div>
<div>/</div>
<div>&ions</div>
<div>/</div>
<div>&cell</div>
<div>/</div>
<div>ATOMIC_SPECIES</div>
<div>Zn  0.0  Zn_ONCV_PBE-1.0.upf</div>
<div>O  0.0  O_ONCV_PBE-1.0.upf</div>
</div>
<div>
<div>K_POINTS gamma</div>
<div><br>
</div>
<div>CELL_PARAMETERS angstrom</div>
<div>        12.994354258       0.000000000       0.000000000</div>
<div>        -6.497177129      11.253440893       0.000000000</div>
<div>         0.000000000       0.000000000      15.612038607</div>
</div>
<div>
<div>ATOMIC_POSITIONS crystal</div>
<div>    O           0.333333250       0.916666750       0.793874404</div>
<div>    O           0.583333250       0.666666750       0.127207737</div>
<div>    O           0.666666750       0.583333250       0.293874404</div>
<div>    O           0.583333250       0.416666750       0.793874404</div>
<div>    O           0.666666750       0.333333250       0.960541070</div>
<div>    O           0.583333250       0.416666750       0.460541070</div>
<div>    O           0.666666750       0.333333250       0.627207737</div>
<div>    O           0.583333250       0.416666750       0.127207737</div>
<div>    O           0.666666750       0.333333250       0.293874404</div>
<div>    O           0.583333250       0.166666750       0.793874404</div>
<div>    O           0.666666750       0.083333250       0.960541070</div>
<div>    O           0.583333250       0.166666750       0.460541070</div>
<div>    O           0.666666750       0.083333250       0.627207737</div>
<div>    O           0.583333250       0.166666750       0.127207737</div>
<div>    O           0.666666750       0.583333250       0.627207737</div>
<div>    O           0.666666750       0.083333250       0.293874404</div>
<div>    O           0.416666750       0.833333250       0.960541070</div>
<div>    O           0.333333250       0.916666750       0.460541070</div>
<div>    O           0.416666750       0.833333250       0.627207737</div>
<div>    O           0.333333250       0.916666750       0.127207737</div>
<div>    O           0.416666750       0.833333250       0.293874404</div>
<div>    O           0.333333250       0.666666750       0.793874404</div>
<div>    O           0.416666750       0.583333250       0.960541070</div>
<div>    O           0.333333250       0.666666750       0.460541070</div>
<div>    O           0.416666750       0.583333250       0.627207737</div>
<div>    O           0.333333250       0.666666750       0.127207737</div>
<div>    O           0.416666750       0.583333250       0.293874404</div>
<div>    O           0.333333250       0.416666750       0.793874404</div>
<div>    O           0.416666750       0.333333250       0.960541070</div>
<div>    O           0.916666750       0.833333250       0.960541070</div>
<div>    O           0.333333250       0.416666750       0.460541070</div>
<div>    O           0.583333250       0.666666750       0.460541070</div>
<div>    O           0.583333250       0.666666750       0.793874404</div>
<div>    O           0.833333250       0.916666750       0.460541070</div>
<div>    O           0.916666750       0.833333250       0.627207737</div>
<div>    O           0.833333250       0.916666750       0.127207737</div>
<div>    O           0.916666750       0.833333250       0.293874404</div>
<div>    O           0.833333250       0.666666750       0.793874404</div>
<div>    O           0.916666750       0.583333250       0.960541070</div>
<div>    O           0.833333250       0.666666750       0.460541070</div>
<div>    O           0.916666750       0.583333250       0.627207737</div>
</div>
<div>
<div>    O           0.833333250       0.666666750       0.127207737</div>
<div>    O           0.916666750       0.583333250       0.293874404</div>
<div>    O           0.833333250       0.416666750       0.793874404</div>
<div>    O           0.916666750       0.333333250       0.960541070</div>
<div>    O           0.833333250       0.416666750       0.460541070</div>
<div>    O           0.666666750       0.583333250       0.960541070</div>
<div>    O           0.916666750       0.333333250       0.627207737</div>
<div>    O           0.916666750       0.333333250       0.293874404</div>
<div>    O           0.833333250       0.166666750       0.793874404</div>
<div>    O           0.916666750       0.083333250       0.960541070</div>
<div>    O           0.833333250       0.166666750       0.460541070</div>
<div>    O           0.916666750       0.083333250       0.627207737</div>
<div>    O           0.833333250       0.166666750       0.127207737</div>
<div>    O           0.916666750       0.083333250       0.293874404</div>
<div>    O           0.583333250       0.916666750       0.793874404</div>
<div>    O           0.666666750       0.833333250       0.960541070</div>
<div>    O           0.583333250       0.916666750       0.460541070</div>
<div>    O           0.666666750       0.833333250       0.627207737</div>
<div>    O           0.583333250       0.916666750       0.127207737</div>
<div>    O           0.666666750       0.833333250       0.293874404</div>
<div>    O           0.833333250       0.416666750       0.127207737</div>
<div>    O           0.416666750       0.333333250       0.627207737</div>
<div>    O           0.833333250       0.916666750       0.793874404</div>
</div>
<div>
<div>    O           0.083333250       0.666666750       0.460541070</div>
<div>    O           0.166666750       0.083333250       0.960541070</div>
<div>    O           0.083333250       0.166666750       0.793874404</div>
<div>    O           0.083333250       0.916666750       0.793874404</div>
<div>    O           0.166666750       0.833333250       0.960541070</div>
<div>    O           0.166666750       0.333333250       0.293874404</div>
<div>    O           0.083333250       0.916666750       0.460541070</div>
<div>    O           0.083333250       0.416666750       0.127207737</div>
<div>    O           0.166666750       0.833333250       0.627207737</div>
<div>    O           0.083333250       0.916666750       0.127207737</div>
<div>    O           0.166666750       0.333333250       0.627207737</div>
<div>    O           0.166666750       0.833333250       0.293874404</div>
<div>    O           0.083333250       0.416666750       0.460541070</div>
<div>    O           0.083333250       0.666666750       0.793874404</div>
<div>    O           0.166666750       0.583333250       0.960541070</div>
<div>    O           0.166666750       0.333333250       0.960541070</div>
<div>    O           0.083333250       0.416666750       0.793874404</div>
<div>    O           0.333333250       0.416666750       0.127207737</div>
</div>
<div>
<div>    O           0.166666750       0.583333250       0.627207737</div>
<div>    O           0.166666750       0.583333250       0.293874404</div>
<div>    O           0.416666750       0.083333250       0.293874404</div>
<div>    O           0.333333250       0.166666750       0.127207737</div>
<div>    O           0.083333250       0.666666750       0.127207737</div>
<div>    O           0.416666750       0.083333250       0.960541070</div>
<div>    O           0.083333250       0.166666750       0.460541070</div>
<div>    O           0.416666750       0.333333250       0.293874404</div>
<div>    O           0.416666750       0.083333250       0.627207737</div>
<div>    O           0.333333250       0.166666750       0.793874404</div>
<div>    O           0.166666750       0.083333250       0.627207737</div>
<div>    O           0.083333250       0.166666750       0.127207737</div>
<div>    O           0.333333250       0.166666750       0.460541070</div>
<div>    O           0.166666750       0.083333250       0.293874404</div>
<div>    Zn          0.916666750       0.083333250       0.833358930</div>
<div>    Zn          0.916666750       0.833333250       0.500025596</div>
<div>    Zn          0.166666750       0.333333250       0.833358930</div>
<div>    Zn          0.833333250       0.166666750       0.333358930</div>
<div>    Zn          0.916666750       0.083333250       0.500025596</div>
<div>    Zn          0.083333250       0.416666750       0.666692263</div>
<div>    Zn          0.833333250       0.916666750       0.333358930</div>
<div>    Zn          0.166666750       0.083333250       0.833358930</div>
<div>    Zn          0.083333250       0.166666750       0.000025596</div>
<div>    Zn          0.916666750       0.833333250       0.833358930</div>
<div>    Zn          0.166666750       0.583333250       0.166692263</div>
<div>    Zn          0.583333250       0.916666750       0.666692263</div>
<div>    Zn          0.666666750       0.833333250       0.833358930</div>
<div>    Zn          0.083333250       0.666666750       0.000025596</div>
<div>    Zn          0.833333250       0.916666750       0.666692263</div>
<div>    Zn          0.833333250       0.166666750       0.000025596</div>
<div>    Zn          0.916666750       0.083333250       0.166692263</div>
<div>    Zn          0.166666750       0.083333250       0.500025596</div>
<div>    Zn          0.833333250       0.666666750       0.333358930</div>
<div>    Zn          0.916666750       0.583333250       0.500025596</div>
<div>    Zn          0.083333250       0.166666750       0.666692263</div>
<div>    Zn          0.916666750       0.583333250       0.833358930</div>
<div>    Zn          0.833333250       0.666666750       0.000025596</div>
<div>    Zn          0.916666750       0.583333250       0.166692263</div>
<div>    Zn          0.833333250       0.666666750       0.666692263</div>
</div>
<div>
<div>    Zn          0.166666750       0.333333250       0.166692263</div>
<div>    Zn          0.833333250       0.416666750       0.666692263</div>
<div>    Zn          0.583333250       0.916666750       0.333358930</div>
<div>    Zn          0.083333250       0.416666750       0.000025596</div>
<div>    Zn          0.833333250       0.416666750       0.333358930</div>
<div>    Zn          0.083333250       0.166666750       0.333358930</div>
<div>    Zn          0.916666750       0.333333250       0.500025596</div>
<div>    Zn          0.916666750       0.833333250       0.166692263</div>
<div>    Zn          0.833333250       0.916666750       0.000025596</div>
<div>    Zn          0.166666750       0.333333250       0.500025596</div>
<div>    Zn          0.833333250       0.416666750       0.000025596</div>
<div>    Zn          0.916666750       0.333333250       0.166692263</div>
<div>    Zn          0.083333250       0.416666750       0.333358930</div>
<div>    Zn          0.833333250       0.166666750       0.666692263</div>
<div>    Zn          0.916666750       0.333333250       0.833358930</div>
<div>    Zn          0.416666750       0.333333250       0.500025596</div>
<div>    Zn          0.166666750       0.583333250       0.500025596</div>
<div>    Zn          0.666666750       0.083333250       0.166692263</div>
<div>    Zn          0.416666750       0.083333250       0.166692263</div>
<div>    Zn          0.333333250       0.916666750       0.666692263</div>
<div>    Zn          0.416666750       0.833333250       0.833358930</div>
<div>    Zn          0.333333250       0.166666750       0.000025596</div>
<div>    Zn          0.333333250       0.916666750       0.333358930</div>
<div>    Zn          0.416666750       0.833333250       0.500025596</div>
<div>    Zn          0.416666750       0.083333250       0.500025596</div>
<div>    Zn          0.333333250       0.916666750       0.000025596</div>
<div>    Zn          0.416666750       0.833333250       0.166692263</div>
<div>    Zn          0.333333250       0.166666750       0.333358930</div>
<div>    Zn          0.583333250       0.166666750       0.000025596</div>
<div>    Zn          0.333333250       0.666666750       0.666692263</div>
<div>    Zn          0.416666750       0.083333250       0.833358930</div>
<div>    Zn          0.333333250       0.666666750       0.333358930</div>
<div>    Zn          0.416666750       0.583333250       0.500025596</div>
<div>    Zn          0.333333250       0.166666750       0.666692263</div>
<div>    Zn          0.333333250       0.666666750       0.000025596</div>
<div>    Zn          0.416666750       0.583333250       0.166692263</div>
<div>    Zn          0.416666750       0.333333250       0.166692263</div>
<div>    Zn          0.333333250       0.416666750       0.666692263</div>
<div>    Zn          0.416666750       0.333333250       0.833358930</div>
</div>
<div>
<div>    Zn          0.333333250       0.416666750       0.000025596</div>
<div>    Zn          0.333333250       0.416666750       0.333358930</div>
<div>    Zn          0.416666750       0.583333250       0.833358930</div>
<div>    Zn          0.666666750       0.833333250       0.500025596</div>
<div>    Zn          0.083333250       0.916666750       0.666692263</div>
<div>    Zn          0.583333250       0.166666750       0.333358930</div>
<div>    Zn          0.583333250       0.916666750       0.000025596</div>
<div>    Zn          0.666666750       0.833333250       0.166692263</div>
<div>    Zn          0.083333250       0.666666750       0.333358930</div>
<div>    Zn          0.583333250       0.666666750       0.666692263</div>
<div>    Zn          0.666666750       0.583333250       0.833358930</div>
<div>    Zn          0.166666750       0.583333250       0.833358930</div>
<div>    Zn          0.583333250       0.666666750       0.333358930</div>
<div>    Zn          0.666666750       0.583333250       0.500025596</div>
<div>    Zn          0.083333250       0.666666750       0.666692263</div>
<div>    Zn          0.583333250       0.666666750       0.000025596</div>
<div>    Zn          0.666666750       0.583333250       0.166692263</div>
<div>    Zn          0.666666750       0.083333250       0.500025596</div>
<div>    Zn          0.166666750       0.833333250       0.166692263</div>
<div>    Zn          0.666666750       0.333333250       0.833358930</div>
<div>    Zn          0.083333250       0.916666750       0.000025596</div>
<div>    Zn          0.583333250       0.416666750       0.333358930</div>
<div>    Zn          0.666666750       0.333333250       0.500025596</div>
<div>    Zn          0.166666750       0.833333250       0.500025596</div>
<div>    Zn          0.583333250       0.416666750       0.000025596</div>
<div>    Zn          0.666666750       0.333333250       0.166692263</div>
<div>    Zn          0.083333250       0.916666750       0.333358930</div>
<div>    Zn          0.583333250       0.166666750       0.666692263</div>
<div>    Zn          0.666666750       0.083333250       0.833358930</div>
<div>    Zn          0.166666750       0.833333250       0.833358930</div>
<div>    Zn          0.583333250       0.416666750       0.666692263</div>
<div>    Zn          0.166666750       0.083333250       0.166692263</div>
</div>
<div><br>
</div>
</body>
</html>