[QE-users] [SPAM] Re: GPU version gives different result from CPU version
Shimin ZHANG
szhang943 at wisc.edu
Tue Jul 30 00:14:09 CEST 2024
Thank you for the reply,
I use QE7.3. The qe7.0gpu module on NERSC is not working probably due to environment change.
My script compilation script is :
export LC_ALL=C
module load gpu
module load PrgEnv-nvidia
module load nvidia/23.9
module unload cray-libsci
module unload darshan
module load cudatoolkit/12.2
module load craype-accel-nvidia80
module load cray-python/3.11.5
module load cray-fftw
./configure --with-cuda=$CUDA_HOME --with-cuda-runtime=12.2 --with-cuda-cc=80 --with-cuda-mpi=yes
I manually made change to the make.inc as follow, and then make all:
MPIF90 = ftn
F90 = ftn
CC = cc
LD = ftn
BLAS_LIBS = ${CRAY_NVIDIA_PREFIX}/compilers/lib/libblas.so<http://libblas.so/>
LAPACK_LIBS = ${CRAY_NVIDIA_PREFIX}/compilers/lib/liblapack.so<http://liblapack.so/> ${CRAY_NVIDIA_PREFIX}/compilers/lib/libblas.so<http://libblas.so/>
FFT_LIBS = $(FFTW_DIR)/libfftw3.so<http://libfftw3.so/> \
$(FFTW_DIR)/libfftw3_threads.so<http://libfftw3_threads.so/> \
$(FFTW_DIR)/libfftw3_omp.so<http://libfftw3_omp.so/> \
${CUDALIB} -lstdc++
The code could run with no problem, but it gives different result from cpu compilation.
Best,
Shimin Zhang
University of Wisconsin, Madison
On Jul 29, 2024, at 3:13 PM, Shimin Zhang <szhang943 at wisc.edu> wrote:
Thank you for the reply,
I use QE7.3. The qe7.0gpu module on NERSC is not working probably due to environment change.
My script compilation script is :
export LC_ALL=C
module load gpu
module load PrgEnv-nvidia
module load nvidia/23.9
module unload cray-libsci
module unload darshan
module load cudatoolkit/12.2
module load craype-accel-nvidia80
module load cray-python/3.11.5
module load cray-fftw
./configure --with-cuda=$CUDA_HOME --with-cuda-runtime=12.2 --with-cuda-cc=80 --with-cuda-mpi=yes
I manually made change to the make.inc as follow, and then make all:
MPIF90 = ftn
F90 = ftn
CC = cc
LD = ftn
BLAS_LIBS = ${CRAY_NVIDIA_PREFIX}/compilers/lib/libblas.so
LAPACK_LIBS = ${CRAY_NVIDIA_PREFIX}/compilers/lib/liblapack.so ${CRAY_NVIDIA_PREFIX}/compilers/lib/libblas.so
FFT_LIBS = $(FFTW_DIR)/libfftw3.so \
$(FFTW_DIR)/libfftw3_threads.so \
$(FFTW_DIR)/libfftw3_omp.so \
${CUDALIB} -lstdc++
The code could run with no problem, but it gives different result from gpu compilation.
Best,
Shimin Zhang
University of Wisconsin, Madison
On Jul 29, 2024, at 2:00 PM, Omar A. Ashour <ashour at berkeley.edu> wrote:
Hi Shimin,
You did not specify the QE version you are using, how it was compiled, and which libraries you linked to. If you’re using the default modules on NERSC’s Perlmutter (7.0-libxc5.2.2), they are linked to different libraries. I believe the CPU version is compiled with GNU compilers and linked to Cray LibSci and FFTW3, whereas the GPU version is compiled with nvcc/PGI and linked to the NVIDIA implementations (cuBLAS, cuFFTW, etc.). In principle, they should give identical results that are close to numerical precision, but there might be something going on here.
Your calculation is too expensive to try myself with my NERSC builds of QE 7.3. Sharing the information I suggested above may allow other people to help.
Omar A. Ashour
UC Berkeley
P.S. Please include your affiliation when posting to the mailing list.
On Jul 29, 2024 at 11:20:07 AM, Shimin ZHANG via users <users at lists.quantum-espresso.org<mailto:users at lists.quantum-espresso.org>> wrote:
Dear QE developers,
I am running a PBE0 scf calculation on NERSC gpu. I found my gpu result are different from cpu result. I tested different cpu installation on different clusters and it gives Bandgap=3.0945 eV and !! total energy = -41479.47524618 Ry . With gpu version I got bandgap=2.9022 and !! total energy = -41428.12547634 Ry. I got this result consistently by adjusting different cutoff energy and mixing_beta.
Does anyone have similar experience on getting different result with gpu?
Best,
Shimin
Here is my input:
&control
calculation = 'scf'
wf_collect = .true.
verbosity = 'high'
pseudo_dir=“~/Pseudopotential/pseudo-ONCV-proj"
etot_conv_thr=1d-6,
forc_conv_thr=1d-5,
nstep=1000
/
&system
input_dft = "pbe0"
ibrav = 0
nat = 192
ntyp = 2
ecutwfc = 60
ecutfock = 120
nbnd = 1258
/
&electrons
conv_thr = 1e-09
electron_maxstep = 100
mixing_beta = 0.5
/
&ions
/
&cell
/
ATOMIC_SPECIES
Zn 0.0 Zn_ONCV_PBE-1.0.upf
O 0.0 O_ONCV_PBE-1.0.upf
K_POINTS gamma
CELL_PARAMETERS angstrom
12.994354258 0.000000000 0.000000000
-6.497177129 11.253440893 0.000000000
0.000000000 0.000000000 15.612038607
ATOMIC_POSITIONS crystal
O 0.333333250 0.916666750 0.793874404
O 0.583333250 0.666666750 0.127207737
O 0.666666750 0.583333250 0.293874404
O 0.583333250 0.416666750 0.793874404
O 0.666666750 0.333333250 0.960541070
O 0.583333250 0.416666750 0.460541070
O 0.666666750 0.333333250 0.627207737
O 0.583333250 0.416666750 0.127207737
O 0.666666750 0.333333250 0.293874404
O 0.583333250 0.166666750 0.793874404
O 0.666666750 0.083333250 0.960541070
O 0.583333250 0.166666750 0.460541070
O 0.666666750 0.083333250 0.627207737
O 0.583333250 0.166666750 0.127207737
O 0.666666750 0.583333250 0.627207737
O 0.666666750 0.083333250 0.293874404
O 0.416666750 0.833333250 0.960541070
O 0.333333250 0.916666750 0.460541070
O 0.416666750 0.833333250 0.627207737
O 0.333333250 0.916666750 0.127207737
O 0.416666750 0.833333250 0.293874404
O 0.333333250 0.666666750 0.793874404
O 0.416666750 0.583333250 0.960541070
O 0.333333250 0.666666750 0.460541070
O 0.416666750 0.583333250 0.627207737
O 0.333333250 0.666666750 0.127207737
O 0.416666750 0.583333250 0.293874404
O 0.333333250 0.416666750 0.793874404
O 0.416666750 0.333333250 0.960541070
O 0.916666750 0.833333250 0.960541070
O 0.333333250 0.416666750 0.460541070
O 0.583333250 0.666666750 0.460541070
O 0.583333250 0.666666750 0.793874404
O 0.833333250 0.916666750 0.460541070
O 0.916666750 0.833333250 0.627207737
O 0.833333250 0.916666750 0.127207737
O 0.916666750 0.833333250 0.293874404
O 0.833333250 0.666666750 0.793874404
O 0.916666750 0.583333250 0.960541070
O 0.833333250 0.666666750 0.460541070
O 0.916666750 0.583333250 0.627207737
O 0.833333250 0.666666750 0.127207737
O 0.916666750 0.583333250 0.293874404
O 0.833333250 0.416666750 0.793874404
O 0.916666750 0.333333250 0.960541070
O 0.833333250 0.416666750 0.460541070
O 0.666666750 0.583333250 0.960541070
O 0.916666750 0.333333250 0.627207737
O 0.916666750 0.333333250 0.293874404
O 0.833333250 0.166666750 0.793874404
O 0.916666750 0.083333250 0.960541070
O 0.833333250 0.166666750 0.460541070
O 0.916666750 0.083333250 0.627207737
O 0.833333250 0.166666750 0.127207737
O 0.916666750 0.083333250 0.293874404
O 0.583333250 0.916666750 0.793874404
O 0.666666750 0.833333250 0.960541070
O 0.583333250 0.916666750 0.460541070
O 0.666666750 0.833333250 0.627207737
O 0.583333250 0.916666750 0.127207737
O 0.666666750 0.833333250 0.293874404
O 0.833333250 0.416666750 0.127207737
O 0.416666750 0.333333250 0.627207737
O 0.833333250 0.916666750 0.793874404
O 0.083333250 0.666666750 0.460541070
O 0.166666750 0.083333250 0.960541070
O 0.083333250 0.166666750 0.793874404
O 0.083333250 0.916666750 0.793874404
O 0.166666750 0.833333250 0.960541070
O 0.166666750 0.333333250 0.293874404
O 0.083333250 0.916666750 0.460541070
O 0.083333250 0.416666750 0.127207737
O 0.166666750 0.833333250 0.627207737
O 0.083333250 0.916666750 0.127207737
O 0.166666750 0.333333250 0.627207737
O 0.166666750 0.833333250 0.293874404
O 0.083333250 0.416666750 0.460541070
O 0.083333250 0.666666750 0.793874404
O 0.166666750 0.583333250 0.960541070
O 0.166666750 0.333333250 0.960541070
O 0.083333250 0.416666750 0.793874404
O 0.333333250 0.416666750 0.127207737
O 0.166666750 0.583333250 0.627207737
O 0.166666750 0.583333250 0.293874404
O 0.416666750 0.083333250 0.293874404
O 0.333333250 0.166666750 0.127207737
O 0.083333250 0.666666750 0.127207737
O 0.416666750 0.083333250 0.960541070
O 0.083333250 0.166666750 0.460541070
O 0.416666750 0.333333250 0.293874404
O 0.416666750 0.083333250 0.627207737
O 0.333333250 0.166666750 0.793874404
O 0.166666750 0.083333250 0.627207737
O 0.083333250 0.166666750 0.127207737
O 0.333333250 0.166666750 0.460541070
O 0.166666750 0.083333250 0.293874404
Zn 0.916666750 0.083333250 0.833358930
Zn 0.916666750 0.833333250 0.500025596
Zn 0.166666750 0.333333250 0.833358930
Zn 0.833333250 0.166666750 0.333358930
Zn 0.916666750 0.083333250 0.500025596
Zn 0.083333250 0.416666750 0.666692263
Zn 0.833333250 0.916666750 0.333358930
Zn 0.166666750 0.083333250 0.833358930
Zn 0.083333250 0.166666750 0.000025596
Zn 0.916666750 0.833333250 0.833358930
Zn 0.166666750 0.583333250 0.166692263
Zn 0.583333250 0.916666750 0.666692263
Zn 0.666666750 0.833333250 0.833358930
Zn 0.083333250 0.666666750 0.000025596
Zn 0.833333250 0.916666750 0.666692263
Zn 0.833333250 0.166666750 0.000025596
Zn 0.916666750 0.083333250 0.166692263
Zn 0.166666750 0.083333250 0.500025596
Zn 0.833333250 0.666666750 0.333358930
Zn 0.916666750 0.583333250 0.500025596
Zn 0.083333250 0.166666750 0.666692263
Zn 0.916666750 0.583333250 0.833358930
Zn 0.833333250 0.666666750 0.000025596
Zn 0.916666750 0.583333250 0.166692263
Zn 0.833333250 0.666666750 0.666692263
Zn 0.166666750 0.333333250 0.166692263
Zn 0.833333250 0.416666750 0.666692263
Zn 0.583333250 0.916666750 0.333358930
Zn 0.083333250 0.416666750 0.000025596
Zn 0.833333250 0.416666750 0.333358930
Zn 0.083333250 0.166666750 0.333358930
Zn 0.916666750 0.333333250 0.500025596
Zn 0.916666750 0.833333250 0.166692263
Zn 0.833333250 0.916666750 0.000025596
Zn 0.166666750 0.333333250 0.500025596
Zn 0.833333250 0.416666750 0.000025596
Zn 0.916666750 0.333333250 0.166692263
Zn 0.083333250 0.416666750 0.333358930
Zn 0.833333250 0.166666750 0.666692263
Zn 0.916666750 0.333333250 0.833358930
Zn 0.416666750 0.333333250 0.500025596
Zn 0.166666750 0.583333250 0.500025596
Zn 0.666666750 0.083333250 0.166692263
Zn 0.416666750 0.083333250 0.166692263
Zn 0.333333250 0.916666750 0.666692263
Zn 0.416666750 0.833333250 0.833358930
Zn 0.333333250 0.166666750 0.000025596
Zn 0.333333250 0.916666750 0.333358930
Zn 0.416666750 0.833333250 0.500025596
Zn 0.416666750 0.083333250 0.500025596
Zn 0.333333250 0.916666750 0.000025596
Zn 0.416666750 0.833333250 0.166692263
Zn 0.333333250 0.166666750 0.333358930
Zn 0.583333250 0.166666750 0.000025596
Zn 0.333333250 0.666666750 0.666692263
Zn 0.416666750 0.083333250 0.833358930
Zn 0.333333250 0.666666750 0.333358930
Zn 0.416666750 0.583333250 0.500025596
Zn 0.333333250 0.166666750 0.666692263
Zn 0.333333250 0.666666750 0.000025596
Zn 0.416666750 0.583333250 0.166692263
Zn 0.416666750 0.333333250 0.166692263
Zn 0.333333250 0.416666750 0.666692263
Zn 0.416666750 0.333333250 0.833358930
Zn 0.333333250 0.416666750 0.000025596
Zn 0.333333250 0.416666750 0.333358930
Zn 0.416666750 0.583333250 0.833358930
Zn 0.666666750 0.833333250 0.500025596
Zn 0.083333250 0.916666750 0.666692263
Zn 0.583333250 0.166666750 0.333358930
Zn 0.583333250 0.916666750 0.000025596
Zn 0.666666750 0.833333250 0.166692263
Zn 0.083333250 0.666666750 0.333358930
Zn 0.583333250 0.666666750 0.666692263
Zn 0.666666750 0.583333250 0.833358930
Zn 0.166666750 0.583333250 0.833358930
Zn 0.583333250 0.666666750 0.333358930
Zn 0.666666750 0.583333250 0.500025596
Zn 0.083333250 0.666666750 0.666692263
Zn 0.583333250 0.666666750 0.000025596
Zn 0.666666750 0.583333250 0.166692263
Zn 0.666666750 0.083333250 0.500025596
Zn 0.166666750 0.833333250 0.166692263
Zn 0.666666750 0.333333250 0.833358930
Zn 0.083333250 0.916666750 0.000025596
Zn 0.583333250 0.416666750 0.333358930
Zn 0.666666750 0.333333250 0.500025596
Zn 0.166666750 0.833333250 0.500025596
Zn 0.583333250 0.416666750 0.000025596
Zn 0.666666750 0.333333250 0.166692263
Zn 0.083333250 0.916666750 0.333358930
Zn 0.583333250 0.166666750 0.666692263
Zn 0.666666750 0.083333250 0.833358930
Zn 0.166666750 0.833333250 0.833358930
Zn 0.583333250 0.416666750 0.666692263
Zn 0.166666750 0.083333250 0.166692263
_______________________________________________
The Quantum ESPRESSO community stands by the Ukrainian
people and expresses its concerns about the devastating
effects that the Russian military offensive has on their
country and on the free and peaceful scientific, cultural,
and economic cooperation amongst peoples
_______________________________________________
Quantum ESPRESSO is supported by MaX (www.max-centre.eu<https://urldefense.com/v3/__http://www.max-centre.eu__;!!Mak6IKo!JE0FxXeLf_JVmtda3e1vdd3gzzVhRoSNYwoxcpQBJo0_e0vyMEqBRTC5poR0zJSGUMysQLGZVZz_RCYYnPeuiTc$>)
users mailing list users at lists.quantum-espresso.org<mailto:users at lists.quantum-espresso.org>
https://lists.quantum-espresso.org/mailman/listinfo/users<https://urldefense.com/v3/__https://lists.quantum-espresso.org/mailman/listinfo/users__;!!Mak6IKo!JE0FxXeLf_JVmtda3e1vdd3gzzVhRoSNYwoxcpQBJo0_e0vyMEqBRTC5poR0zJSGUMysQLGZVZz_RCYYbSI7Cco$>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://lists.quantum-espresso.org/pipermail/users/attachments/20240729/26465514/attachment.html>
More information about the users
mailing list