<br>Hi, Schmidt, i will try your method to build QE for other <br>machines.  thanks for your sharing.<br>best<br><div class="gmail_quote">On Wed, Nov 26, 2008 at 10:52 PM, JR Schmidt <span dir="ltr"><<a href="mailto:schmidt@chem.wisc.edu">schmidt@chem.wisc.edu</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">I ran into this same issue.  Let me say that (for whatever reason)<br>
setting OMP_NUM_THREADS, or MKL_NUM_THREADS did not seem to fix the<br>
problem.  MKL was still creating many threads per process, though<br>
perhaps only one thread was active at at time.<br>
<br>
I found a better solution, offering increased performance at least for<br>
parallel jobs, was to link with the MKL serial library.  This can be<br>
done by modifying the following lines in make.sys (for MKL 10)<br>
<br>
BLAS_LIBS =  -lmkl_intel_lp64 -lmkl_sequential -lmkl_core<br>
LAPACK_LIBS =  -lmkl_intel_lp64 -lmkl_sequential -lmkl_core<br>
<br>
then doing:<br>
make clean (probably unnecessary)<br>
make<br>
<br>
Although this gives WORSE performance when you are only running a single<br>
job (since it does not thread to take advantage of the other cores), if<br>
you are trying to fully utilize your nodes by running several jobs or<br>
parallel jobs, using the threaded library results in a giant mess.<br>
<div class="Ih2E3d"><br>
> this looks a lot like you are using two different versions<br>
> of MKL for the two compiles and thus are another "victim"<br>
> of the automatic threading of MKL v10. you should not<br>
> have a process with >100% CPU with a regular compile.<br>
> now if you have 8 cores and 8 MPI tasks and each of them<br>
> threads across 8 cores, you have a) a severe overload of<br>
> the scheduler and b) a big mess and all kinds of bad<br>
> performance issues.<br>
><br>
> try setting OMP_NUM_THREADS=1 and check if that<br>
> changes the behavior.<br>
><br>
</div>--<br>
J.R. Schmidt<br>
Assistant Professor of Chemistry<br>
Room 8305D<br>
Department of Chemistry<br>
University of Wisconsin-Madison<br>
1101 University Ave<br>
Madison, WI 53706<br>
<br>
Phone: (608) 262-2996<br>
Fax: (608) 262-9918<br>
E-mail: <a href="mailto:schmidt@chem.wisc.edu">schmidt@chem.wisc.edu</a><br>
<a href="http://www.chem.wisc.edu/people/profiles/schmidt.php" target="_blank">http://www.chem.wisc.edu/people/profiles/schmidt.php</a><br>
<div><div></div><div class="Wj3C7c"><br>
_______________________________________________<br>
Pw_forum mailing list<br>
<a href="mailto:Pw_forum@pwscf.org">Pw_forum@pwscf.org</a><br>
<a href="http://www.democritos.it/mailman/listinfo/pw_forum" target="_blank">http://www.democritos.it/mailman/listinfo/pw_forum</a><br>
</div></div></blockquote></div><br><br clear="all"><br>-- <br>Hai-Ping Lan <br>Department of Electronics ,<br>Peking University , Bejing, 100871<br><a href="mailto:lanhaiping@gmail.com">lanhaiping@gmail.com</a>, <a href="mailto:hplan@pku.edu.cn">hplan@pku.edu.cn</a><br>