David,<br><br>You should really start by making estimates of how much memory your calculation needs. To<br>do that you will really need to understand the algorithm otherwise you will just end up playing with<br>parameters forever.<br>
<br>ntg is for band parallelization. You have 2560 electrons.<br><br>ntg = 32 is probably too large. <br><br>Maybe somebody on this list can make a suggestion? My experience with a real-space code is<br>the more bands per processor the better. You will probably want at least 250-500 bands per processor.<br>
<br><div class="gmail_quote">On Wed, Jan 28, 2009 at 4:20 PM, Nichols A. Romero <span dir="ltr"><<a href="mailto:naromero@gmail.com">naromero@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
David,<br><br>You have the:<br>ortho sub group set to 32*32<br><br>Paolo can correct me if I am wrong. This is the Scalapack blacs grid for the<br>cholesky decomposition. It basically takes the overlap matrix whose dimensions<br>

are (number of states) by (number of states) and divides into 32-by-32 pieces<br>according to a 2D block cyclic algorithm. You are using 32*32=1024 processors<br>to do the cholesky decomposition of a 2560-by-2560.<br><br>

I would recommend using something like 8*8. <br><div><div></div><div class="Wj3C7c"><br><div class="gmail_quote">On Wed, Jan 28, 2009 at 4:08 PM,  <span dir="ltr"><<a href="mailto:giannozz@democritos.it" target="_blank">giannozz@democritos.it</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
<div>Quoting David Farrell <<a href="mailto:davidfarrell2008@u.northwestern.edu" target="_blank">davidfarrell2008@u.northwestern.edu</a>>:<br>
<br>
> I am trying to run a 1152 atom, 2560 electron pw MD system on a BG/P,<br>
>  and I believe I am running up against memory issues<br>
<br>
</div>set nbnd, diago_david_ndim, mixing_ndim to the smallest possible<br>
values to save memory. Use the CVS version and try to compile scalapack<br>
(instructions in the wiki) if you have trouble with subspace<br>
diagonalization, or else use a smaller set of processors in the "ortho<br>
group": 1024 seems to me a lot for a system with O(1000) states.<br>
<br>
Paolo<br>
<br>
----------------------------------------------------------------<br>
This message was sent using IMP, the Internet Messaging Program.<br>
<div><div></div><div><br>
_______________________________________________<br>
Pw_forum mailing list<br>
<a href="mailto:Pw_forum@pwscf.org" target="_blank">Pw_forum@pwscf.org</a><br>
<a href="http://www.democritos.it/mailman/listinfo/pw_forum" target="_blank">http://www.democritos.it/mailman/listinfo/pw_forum</a><br>
</div></div></blockquote></div><br><br clear="all"><br></div></div><div><div></div><div class="Wj3C7c">-- <br>Nichols A. Romero, Ph.D.<br>Argonne Leadership Computing Facility<br>Argonne, IL 60490<br>(630) 252-3441 (O)<br>
(630) 470-0462 (C)<br><br>
</div></div></blockquote></div><br><br clear="all"><br>-- <br>Nichols A. Romero, Ph.D.<br>Argonne Leadership Computing Facility<br>Argonne, IL 60490<br>(630) 252-3441 (O)<br>(630) 470-0462 (C)<br><br>