Вопрос по програмному обеспечению

[Гесс]

Двое товарищей из Мичиганского государственного университета очень любят NWChem, и есть за что - функционал сказочно огромный, но пользоваться так себе удобно. Просто собирается, достаточно написать несложный скриптик в баше.
Планируется в скором времени попробовать MRCC и CFOUR.

Огромен функционал у QChema, а что крутого у НВКема? Я его ниразу так полюдски и не посмотрел, лишь слышал отзывы сводящиеся к тому что программа отыгрывает за счет параллельности на тысячи ядер свою тормознутость на каждом ядре отдельно.

Upd от апреля 2018: было встречено обратное утверждение, что в пересчете на ядро НВКем не тормознутее Гауссиана.

CFOUR прога хорошая. Имеет большую часть ACESII функционала, но в отличие от него ставится и даже паралелится.

MRCC - Который Каллая? Поставил пару лет назад но тоже руки не дошли. И недавно кто-то говорил что "есть и получше".

[Nickalaich]

Приятно кого-то порадовать.
Лично я бы не назвал титаны бюджетными. Все-таки, они как профессиональные позиционировались, скорее. Что-то между GTX xxx и Quadro.

Цпу - i5 6600K. Да, это домашний пылесос.

%CPU=0-3
%GPUCPU=0=0

Тут все очень прозрачно, по-моему.

Гесс, да, я про этот MRCC. Мне интересно попробовать Density Fitting фичи. Ещё, разработчики говорят - наша прога быстрая. И я на это склонен вестись.

[iChem]

Поначалу я тоже так думал. У меня в любом случае было, чем видюху нагрузить. Но на деле, GTX Titan Black использует тот же процессор, что и Tesla, для которых гауссиан и был допилен. Может поэтому и работает, как полагается?
К сожалению, у меня нет возможности проверить, как бы он работал с бюджетными моделями, но в этом и смысла нет. Они слишком слабы для наших задач. Только GTX TItan и черный подойдут.
Чтобы не быть голословным, приложу лог-файл.

Spp2_trans_opt_TPSSh.log.zip

С гпу сильно быстрее получается по сравнению с обычным процессором?

[Nickalaich]

iChem, с 200 гфлопс на цпу и где-то 1800 гфлопс на гпу прирост раз в 6-8, на глаз.

[Tonnie Fox]

Приятно кого-то порадовать.

Даже не представляете насколько. Моя любимая кафедра - островок СССР, который по непонятным причинам еще не рассосался в пучине 21го века, 1 проектор и 2 ноутбука на 20 человек, а некоторые до сих пор боятся, что ноутбук украдет их славянскую душу. Но все хотят "калькуляцию" на современном уровне.

[Nickalaich]

Tonnie Fox, нет, представляю. Вопрос производительности - дело первостепенное. Кому надо неделями машину гонять ради одной задачки? Моя кафедра тоже средне продвинута. Для них MP2 - уже что-то нереально сложное, поэтому лелеют DFT, обходя все остальное стороной.

Кстати, попробуйте эти 9xx видеокарты в nvidia-smi завести в Compute режиме. Я не уверен, получится или нет, потому что, насколько я помню, в этом режиме могут работать только Tesla. Я не уверен, но попытка - не пытка.

Для современного уровня нам бы Xeon Phi KNL, тогда заживем. Но на барахолках они ещё лет 5 не появятся по приемлемым ценам.

[Гесс]

Для современного уровня нам бы Xeon Phi KNL, тогда заживем. Но на барахолках они ещё лет 5 не появятся по приемлемым ценам.

А что можно считать на ксеон фаях? Мне недавно ктото задавал этот вопрос и я выгуглил исключительно триплсы каплдкластеров в нвкеме.

[Nickalaich]

Гесс, я не про Knights Corner, которые втыкаются в PCI-E в виде сопроцессора. Я про самостоятельные цпу. Большое количество ядер на одном кристалле для нас же дело хорошее, верно?

[Tonnie Fox]

под них еще года 4 назад начали делать 2х и 4х слотовые/процессорные материнки стандартного формфактора с вполне приемлемой ценой около 1100-2000$
если предположить, что и под 60ти ядерный проц такие есть или будут, то 120-240 ядер с относительно доступной ценой - это здорово. Правда у ксеонов с тактовой частотой при увеличении количества ядер проблема - она уменьшается, да и кэша как-то мало. Тот же 18ти ядерный ксеон по производительности не превосходит 8ти ядерный i7 5960к.

[Гесс]

А, по настоящим процам я не в курсе. Наверное хорошее. Просто по сопроцессорам я химического применения не нашел, хотя местами из них кластеры пилят:
https://www.lrz.de/services/compute/supermuc/supermic/

[mizuchi]

Г'16 довольно плохо работает на ГПУ, по сравнению с тем же TeraChem.
Titan Black отлично подходит для научных расчетов, суть его - Tesla K40, в некоторых тестах даже мощнее ее. Единственная карта GeForce, на которой включается двойная точность, что для кв. химии критично.
Те Xeon Phi, что видел, - бесполезные куски дерьма. Новые, думаю, лучше не будут, частоты маленькие. Xeon E5-2686v3 QS с ebay - лучший выбор на настоящий момент.

[Tonnie Fox]

А Titan Black это же 900я серия? Которая выходила еще года 2-3 назад? Что-то я цен не нахожу на нее, есть только анонсы новой Titan X с ценой от 70ти к рублей

[Nickalaich]

Частоты у этих фи может и небольшие, зато ядер завались.

На самом деле у любого гпу есть возможность вычислений с двойной точностью. Я не вникал, как это у AMD работает, но у зеленых есть ядра, способные на такие вычисления, и есть те, которые могут только в одинарную точность. У титана и черного титана треть всех ядер могут в двойную точность. Вот, такие дела. Больше таких карт не выпускалось.

Tonnie Fox, смотрите на авито. Я там за 13к урвал когда-то.

[mizuchi]

На авито, кстати, есть предложение за 15к. Может, успеет кто.

[eFo]

KNL (Knight's Landing) и KNH (Knight's Hill) совсем не дерьмо, хотя если вы говорите Knight's Corner - то те, да, были дерьмо. Все нац. лабы их сейчас закупают, даже мы купили себе 8 нодов с ними. 64+ ядра на одном проце означает высокую скорость коммуникации, а если в придачу ваш код юзает только 16 Gb памяти, то можно использовать только MCDRAM и это будет 10-20% прирост в скорости. Мы в основном используем их для CP2K, особенно хорошо для hybrid functionals, ибо параллелится очень легко. По ходу они заменят Blue Gene от IBM в скором будущем

[eFo]

Но из моего опыта, для DFT расчетов ничего лучше не бывает (в плане скорости) обычных интеловских Xeon v4. Все эти GPU и мультиядерные архитекутры хороши для MD или CFD или QMC.

[Nickalaich]

Что такое CFD?

[eFo]

Что такое CFD?

Computational Fluid Dynamics - различные коды с мешами

[kbob]

Но из моего опыта, для DFT расчетов ничего лучше не бывает (в плане скорости) обычных интеловских Xeon v4. Все эти GPU и мультиядерные архитекутры хороши для MD или CFD или QMC.

Люди которые всерьез занимаются QMC, тоже не в восторге от GPU.
http://www.tcm.phy.cam.ac.uk/~mdt26/tti ... ti2012.pdf

Basically it took a good couple of months to get anything much from the GPUs. The main lessons were:

1. Minimise memory transfers from the CPU to GPU and back - in other words do as much as possible on the GPU

2. Don’t bother with GPUs for any non-square matrix work (the performance tails off dramatically as nrows diverges from ncols)

When you’ve done the above and everything else as well as you can, you basically end up with a speed-up of about 5. This speed-up comes from the improved memory bandwidth of the GDDR5 on the video card, you get nothing from the parallelism. At this point I decided I would never port CASTEP to GPUs, I’d just wait for CPUs to move to DDR5.
People who have extremely parallelisable, low memory operations (which I guess might include CASINO) may be able to get another factor or 2 to 4 from the card’s GPUs for a grand total of 20, but the speed-ups quoted on NVidia’s webspage are largely fictitious (not just my view, this is NVidia’s official position).
The other serious problem from a CASTEP point of view is that NVidia told us they plan to completely change the card architectures every 3 years, in such a way that any existing optimisation will have to be totally redone.

[mizuchi]

Мы в основном используем их для CP2K

Но из моего опыта, для DFT расчетов ничего лучше не бывает (в плане скорости) обычных интеловских Xeon v4. Все эти GPU и мультиядерные архитекутры хороши для MD или CFD или QMC.

Посмотрите скорость работы VASP5.4.4 на GPU. Удивитесь. CP2K там близко не валялся.