[QE-users] GPU version gives different result from CPU version
Omar A. Ashour
ashour at berkeley.edu
Mon Jul 29 23:00:40 CEST 2024
Hi Shimin,
You did not specify the QE version you are using, how it was compiled, and
which libraries you linked to. If you’re using the default modules on
NERSC’s Perlmutter (7.0-libxc5.2.2), they are linked to different
libraries. I believe the CPU version is compiled with GNU compilers and
linked to Cray LibSci and FFTW3, whereas the GPU version is compiled with
nvcc/PGI and linked to the NVIDIA implementations (cuBLAS, cuFFTW, etc.).
In principle, they should give identical results that are close to
numerical precision, but there might be something going on here.
Your calculation is too expensive to try myself with my NERSC builds of QE
7.3. Sharing the information I suggested above may allow other people to
help.
Omar A. Ashour
UC Berkeley
P.S. Please include your affiliation when posting to the mailing list.
On Jul 29, 2024 at 11:20:07 AM, Shimin ZHANG via users <
users at lists.quantum-espresso.org> wrote:
> Dear QE developers,
>
> I am running a PBE0 scf calculation on NERSC gpu. I found my gpu result
> are different from cpu result. I tested different cpu installation on
> different clusters and it gives Bandgap=3.0945 eV and !! total energy =
> -41479.47524618 Ry . With gpu version I got bandgap=2.9022 and !! total
> energy = -41428.12547634 Ry. I got this result consistently by adjusting
> different cutoff energy and mixing_beta.
>
> Does anyone have similar experience on getting different result with gpu?
>
> Best,
> Shimin
>
> Here is my input:
>
>
> &control
> calculation = 'scf'
> wf_collect = .true.
> verbosity = 'high'
> pseudo_dir=“~/Pseudopotential/pseudo-ONCV-proj"
> etot_conv_thr=1d-6,
> forc_conv_thr=1d-5,
> nstep=1000
> /
>
> &system
> input_dft = "pbe0"
> ibrav = 0
> nat = 192
> ntyp = 2
> ecutwfc = 60
> ecutfock = 120
> nbnd = 1258
> /
>
> &electrons
> conv_thr = 1e-09
> electron_maxstep = 100
> mixing_beta = 0.5
> /
> &ions
> /
> &cell
> /
> ATOMIC_SPECIES
> Zn 0.0 Zn_ONCV_PBE-1.0.upf
> O 0.0 O_ONCV_PBE-1.0.upf
> K_POINTS gamma
>
> CELL_PARAMETERS angstrom
> 12.994354258 0.000000000 0.000000000
> -6.497177129 11.253440893 0.000000000
> 0.000000000 0.000000000 15.612038607
> ATOMIC_POSITIONS crystal
> O 0.333333250 0.916666750 0.793874404
> O 0.583333250 0.666666750 0.127207737
> O 0.666666750 0.583333250 0.293874404
> O 0.583333250 0.416666750 0.793874404
> O 0.666666750 0.333333250 0.960541070
> O 0.583333250 0.416666750 0.460541070
> O 0.666666750 0.333333250 0.627207737
> O 0.583333250 0.416666750 0.127207737
> O 0.666666750 0.333333250 0.293874404
> O 0.583333250 0.166666750 0.793874404
> O 0.666666750 0.083333250 0.960541070
> O 0.583333250 0.166666750 0.460541070
> O 0.666666750 0.083333250 0.627207737
> O 0.583333250 0.166666750 0.127207737
> O 0.666666750 0.583333250 0.627207737
> O 0.666666750 0.083333250 0.293874404
> O 0.416666750 0.833333250 0.960541070
> O 0.333333250 0.916666750 0.460541070
> O 0.416666750 0.833333250 0.627207737
> O 0.333333250 0.916666750 0.127207737
> O 0.416666750 0.833333250 0.293874404
> O 0.333333250 0.666666750 0.793874404
> O 0.416666750 0.583333250 0.960541070
> O 0.333333250 0.666666750 0.460541070
> O 0.416666750 0.583333250 0.627207737
> O 0.333333250 0.666666750 0.127207737
> O 0.416666750 0.583333250 0.293874404
> O 0.333333250 0.416666750 0.793874404
> O 0.416666750 0.333333250 0.960541070
> O 0.916666750 0.833333250 0.960541070
> O 0.333333250 0.416666750 0.460541070
> O 0.583333250 0.666666750 0.460541070
> O 0.583333250 0.666666750 0.793874404
> O 0.833333250 0.916666750 0.460541070
> O 0.916666750 0.833333250 0.627207737
> O 0.833333250 0.916666750 0.127207737
> O 0.916666750 0.833333250 0.293874404
> O 0.833333250 0.666666750 0.793874404
> O 0.916666750 0.583333250 0.960541070
> O 0.833333250 0.666666750 0.460541070
> O 0.916666750 0.583333250 0.627207737
> O 0.833333250 0.666666750 0.127207737
> O 0.916666750 0.583333250 0.293874404
> O 0.833333250 0.416666750 0.793874404
> O 0.916666750 0.333333250 0.960541070
> O 0.833333250 0.416666750 0.460541070
> O 0.666666750 0.583333250 0.960541070
> O 0.916666750 0.333333250 0.627207737
> O 0.916666750 0.333333250 0.293874404
> O 0.833333250 0.166666750 0.793874404
> O 0.916666750 0.083333250 0.960541070
> O 0.833333250 0.166666750 0.460541070
> O 0.916666750 0.083333250 0.627207737
> O 0.833333250 0.166666750 0.127207737
> O 0.916666750 0.083333250 0.293874404
> O 0.583333250 0.916666750 0.793874404
> O 0.666666750 0.833333250 0.960541070
> O 0.583333250 0.916666750 0.460541070
> O 0.666666750 0.833333250 0.627207737
> O 0.583333250 0.916666750 0.127207737
> O 0.666666750 0.833333250 0.293874404
> O 0.833333250 0.416666750 0.127207737
> O 0.416666750 0.333333250 0.627207737
> O 0.833333250 0.916666750 0.793874404
> O 0.083333250 0.666666750 0.460541070
> O 0.166666750 0.083333250 0.960541070
> O 0.083333250 0.166666750 0.793874404
> O 0.083333250 0.916666750 0.793874404
> O 0.166666750 0.833333250 0.960541070
> O 0.166666750 0.333333250 0.293874404
> O 0.083333250 0.916666750 0.460541070
> O 0.083333250 0.416666750 0.127207737
> O 0.166666750 0.833333250 0.627207737
> O 0.083333250 0.916666750 0.127207737
> O 0.166666750 0.333333250 0.627207737
> O 0.166666750 0.833333250 0.293874404
> O 0.083333250 0.416666750 0.460541070
> O 0.083333250 0.666666750 0.793874404
> O 0.166666750 0.583333250 0.960541070
> O 0.166666750 0.333333250 0.960541070
> O 0.083333250 0.416666750 0.793874404
> O 0.333333250 0.416666750 0.127207737
> O 0.166666750 0.583333250 0.627207737
> O 0.166666750 0.583333250 0.293874404
> O 0.416666750 0.083333250 0.293874404
> O 0.333333250 0.166666750 0.127207737
> O 0.083333250 0.666666750 0.127207737
> O 0.416666750 0.083333250 0.960541070
> O 0.083333250 0.166666750 0.460541070
> O 0.416666750 0.333333250 0.293874404
> O 0.416666750 0.083333250 0.627207737
> O 0.333333250 0.166666750 0.793874404
> O 0.166666750 0.083333250 0.627207737
> O 0.083333250 0.166666750 0.127207737
> O 0.333333250 0.166666750 0.460541070
> O 0.166666750 0.083333250 0.293874404
> Zn 0.916666750 0.083333250 0.833358930
> Zn 0.916666750 0.833333250 0.500025596
> Zn 0.166666750 0.333333250 0.833358930
> Zn 0.833333250 0.166666750 0.333358930
> Zn 0.916666750 0.083333250 0.500025596
> Zn 0.083333250 0.416666750 0.666692263
> Zn 0.833333250 0.916666750 0.333358930
> Zn 0.166666750 0.083333250 0.833358930
> Zn 0.083333250 0.166666750 0.000025596
> Zn 0.916666750 0.833333250 0.833358930
> Zn 0.166666750 0.583333250 0.166692263
> Zn 0.583333250 0.916666750 0.666692263
> Zn 0.666666750 0.833333250 0.833358930
> Zn 0.083333250 0.666666750 0.000025596
> Zn 0.833333250 0.916666750 0.666692263
> Zn 0.833333250 0.166666750 0.000025596
> Zn 0.916666750 0.083333250 0.166692263
> Zn 0.166666750 0.083333250 0.500025596
> Zn 0.833333250 0.666666750 0.333358930
> Zn 0.916666750 0.583333250 0.500025596
> Zn 0.083333250 0.166666750 0.666692263
> Zn 0.916666750 0.583333250 0.833358930
> Zn 0.833333250 0.666666750 0.000025596
> Zn 0.916666750 0.583333250 0.166692263
> Zn 0.833333250 0.666666750 0.666692263
> Zn 0.166666750 0.333333250 0.166692263
> Zn 0.833333250 0.416666750 0.666692263
> Zn 0.583333250 0.916666750 0.333358930
> Zn 0.083333250 0.416666750 0.000025596
> Zn 0.833333250 0.416666750 0.333358930
> Zn 0.083333250 0.166666750 0.333358930
> Zn 0.916666750 0.333333250 0.500025596
> Zn 0.916666750 0.833333250 0.166692263
> Zn 0.833333250 0.916666750 0.000025596
> Zn 0.166666750 0.333333250 0.500025596
> Zn 0.833333250 0.416666750 0.000025596
> Zn 0.916666750 0.333333250 0.166692263
> Zn 0.083333250 0.416666750 0.333358930
> Zn 0.833333250 0.166666750 0.666692263
> Zn 0.916666750 0.333333250 0.833358930
> Zn 0.416666750 0.333333250 0.500025596
> Zn 0.166666750 0.583333250 0.500025596
> Zn 0.666666750 0.083333250 0.166692263
> Zn 0.416666750 0.083333250 0.166692263
> Zn 0.333333250 0.916666750 0.666692263
> Zn 0.416666750 0.833333250 0.833358930
> Zn 0.333333250 0.166666750 0.000025596
> Zn 0.333333250 0.916666750 0.333358930
> Zn 0.416666750 0.833333250 0.500025596
> Zn 0.416666750 0.083333250 0.500025596
> Zn 0.333333250 0.916666750 0.000025596
> Zn 0.416666750 0.833333250 0.166692263
> Zn 0.333333250 0.166666750 0.333358930
> Zn 0.583333250 0.166666750 0.000025596
> Zn 0.333333250 0.666666750 0.666692263
> Zn 0.416666750 0.083333250 0.833358930
> Zn 0.333333250 0.666666750 0.333358930
> Zn 0.416666750 0.583333250 0.500025596
> Zn 0.333333250 0.166666750 0.666692263
> Zn 0.333333250 0.666666750 0.000025596
> Zn 0.416666750 0.583333250 0.166692263
> Zn 0.416666750 0.333333250 0.166692263
> Zn 0.333333250 0.416666750 0.666692263
> Zn 0.416666750 0.333333250 0.833358930
> Zn 0.333333250 0.416666750 0.000025596
> Zn 0.333333250 0.416666750 0.333358930
> Zn 0.416666750 0.583333250 0.833358930
> Zn 0.666666750 0.833333250 0.500025596
> Zn 0.083333250 0.916666750 0.666692263
> Zn 0.583333250 0.166666750 0.333358930
> Zn 0.583333250 0.916666750 0.000025596
> Zn 0.666666750 0.833333250 0.166692263
> Zn 0.083333250 0.666666750 0.333358930
> Zn 0.583333250 0.666666750 0.666692263
> Zn 0.666666750 0.583333250 0.833358930
> Zn 0.166666750 0.583333250 0.833358930
> Zn 0.583333250 0.666666750 0.333358930
> Zn 0.666666750 0.583333250 0.500025596
> Zn 0.083333250 0.666666750 0.666692263
> Zn 0.583333250 0.666666750 0.000025596
> Zn 0.666666750 0.583333250 0.166692263
> Zn 0.666666750 0.083333250 0.500025596
> Zn 0.166666750 0.833333250 0.166692263
> Zn 0.666666750 0.333333250 0.833358930
> Zn 0.083333250 0.916666750 0.000025596
> Zn 0.583333250 0.416666750 0.333358930
> Zn 0.666666750 0.333333250 0.500025596
> Zn 0.166666750 0.833333250 0.500025596
> Zn 0.583333250 0.416666750 0.000025596
> Zn 0.666666750 0.333333250 0.166692263
> Zn 0.083333250 0.916666750 0.333358930
> Zn 0.583333250 0.166666750 0.666692263
> Zn 0.666666750 0.083333250 0.833358930
> Zn 0.166666750 0.833333250 0.833358930
> Zn 0.583333250 0.416666750 0.666692263
> Zn 0.166666750 0.083333250 0.166692263
>
> _______________________________________________
> The Quantum ESPRESSO community stands by the Ukrainian
> people and expresses its concerns about the devastating
> effects that the Russian military offensive has on their
> country and on the free and peaceful scientific, cultural,
> and economic cooperation amongst peoples
> _______________________________________________
> Quantum ESPRESSO is supported by MaX (www.max-centre.eu)
> users mailing list users at lists.quantum-espresso.org
> https://lists.quantum-espresso.org/mailman/listinfo/users
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://lists.quantum-espresso.org/pipermail/users/attachments/20240729/7ea1e90c/attachment.html>
More information about the users
mailing list