Природа

[Лечащий Врач]

Если задача "выливается" из памяти на диск, то имхо использование Природы перестает быть оправданным - но это мое имхо. Автор считает, что к производительности диска очень требовательна. Зато к памяти не прожорлива, среднего размера органика в 8 гигов влезает легко, и параллелизация объем требуемой памяти почти не увеличивает

[ Post made via iPhone ]

[Metalian]

Если задача "выливается" из памяти на диск, то имхо использование Природы перестает быть оправданным - но это мое имхо. Автор считает, что к производительности диска очень требовательна. Зато к памяти не прожорлива, среднего размера органика в 8 гигов влезает легко, и параллелизация объем требуемой памяти почти не увеличивает

А сколько вообще памяти умеет использовать программа? И если она требовательна к скорости жесткого диска, то какие там размеры временных файлов? Нет, конечно можно взять систему всего с 8 гигами оперативы, зато с шустрым SSD на отдельном PCI-E-контроллере, но боюсь, что придется экономить на камне тоже, чтобы уложиться в выделенную сумму.
На сколько ядер эффективно распараллеливается Природа? И хватит ли скорости, если взять один PCI-E SATA-контроллер с двумя SSD-накопителями для 8-ядерного процессора (скажем, с запуском параллельно 2 процессов, каждого из них на 4 ядрах)?

[Лечащий Врач]

В природе можно в явном виде указать "писать все в память", тогда скорость диска утрачивает всякое значение. На 8-ядерной машине параллелится практически оптимально, не лезущие в память (8 гигов) задачи - это уже что-то с несколькими тысячами базисных функций. На системах в 30-50 неводородных атомов потребление не пробивает планку в несколько гигабайт. В отношении параллелизации надо отметить, правда, что я считаю на двухпроцессорной системе с двумя ксеонами по 4 ядра - зато уже относительно старой. Использую природу 11. Системы типа молекула-растворитель, не влезающие в указанные ограничения, имхо нужно считать уже не в лоб. А через ONIOM, напр. И не в Природе. Потому что даже если бы они влезли в память, это расчет на неделю.

[ Post made via iPhone ]

[Metalian]

У меня пока система совсем простая Pt₄Al₂ + молекулы типа этанола, этилена, ацетальдегида в количестве 1-2 штук. Но будет кластер побольше, скажем, Pt₁₂Al₆(OH)₄, и молекулы до C6 где-нибудь.
Может, взять 32 гига оперативы к 8-ядерному камню от AMD, и дело с концом? Или неиспользование HDD/SSD даже на такой конфигурации будет снижать производительность?

[EvgeniX]

1) AMD ни в коем случае брать нельзя! Это ж дикий тормоз!
2) В ПРИРОДе реализован direct SCF (группа $integral). Сэкономите память в 3 раза, зато считаться в 10 раз дольше будет.
3) Потребление по диску не больше, чем у других программ
4) При распараллеливании объём потребляемой ОЗУ не меняется. При распараллеливании гессиана весь диск жрёт преимущественно 1-й процесс

PS: И сдаётся мне, что на таких больших системах, да ещё металлических, будут проблемы со сходимостью волновой функции.

[Droog_Andrey]

1) AMD ни в коем случае брать нельзя! Это ж дикий тормоз!

Не нужно этих глупых утверждений, провоцирующих холивары. Мой старенький амд почти трёхлетней давности почему-то не спешит быть обогнанным современными интелами.

[Metalian]

1) AMD ни в коем случае брать нельзя! Это ж дикий тормоз!

Т.е. 1 комп с 6-ядерным Xeon'ом (на 8-ядерный не хватит денег точно) будет быстрее 2 компов с 8-ядерными AMD FX? При условии разумного использования ядер, то есть на каждом компе своя задача, а то и 2 параллельно. Не поверю!

2) В ПРИРОДе реализован direct SCF (группа $integral). Сэкономите память в 3 раза, зато считаться в 10 раз дольше будет.
3) Потребление по диску не больше, чем у других программ
4) При распараллеливании объём потребляемой ОЗУ не меняется. При распараллеливании гессиана весь диск жрёт преимущественно 1-й процесс

В Firefly я использую только direct SCF. То ли потому, что сам автор сторонник direct SCF, то ли потому, что мне лень тесты провести... Ибо думаю, что соотношение времени расчета между direct и conventional будет сильно различаться от задачи к задаче. Хотя общую тенденцию, наверное, можно уловить. Просто нет лишнего машинного времени...

Хорошо. Поставим вопрос так: одного шустрого SSD на 240 или 256 гиг на 8 ядер хватит так, чтобы при conventional scf либо скорость лимитировалась не скоростью чтения-записи, либо хотя бы (если все же будет эта скорость лимитировать), чтобы использование процессора было хотя бы процентов 80%?

PS: И сдаётся мне, что на таких больших системах, да ещё металлических, будут проблемы со сходимостью волновой функции.

Ну в Firefly не все так просто, но обычно сходится. DAMP=.t., SHIFT=.t., SOSCF=.t. Иногда приходится то включать, то отключать одну из опций. Расчет показал, что для системы Pt₄Al₂ триплет лежит ниже синглета, а также квинтуплета и иже с ним, а по ходу реакции мультиплетность вряд ли будет меняться, так что не все так страшно. С системой большего размера будет сложнее, понимаю. Читал уже статью по кластерам Pt и Pd, где встречал даже нонет в качестве основного состояния кластера с количеством атомов не сильно далеким от 10 (забыл уже, но не суть важно). Сорри за оффтоп.

[EvgeniX]

1) AMD ни в коем случае брать нельзя! Это ж дикий тормоз!

Не нужно этих глупых утверждений, провоцирующих холивары. Мой старенький амд почти трёхлетней давности почему-то не спешит быть обогнанным современными интелами.

Да какие глупые холивары. Даже Грановский бульдозеры или как там их зовут ругал. Тут даже обсуждать нечего. Так что ещё вопрос, у кого глупое утверждение и кто холиварит.

Да и ещё вопрос, под что оптимизированы программы, которые вы используете. Конечно, если под AMD, то его Intel не обгонит.

[Лечащий Врач]

Боюсь огорчить защитников AMD, но в процессорах AMD FX (Bulldozer) на 8 ядер для целочисленных вычислений приходятся только 4 сопроцессора для вычислений с плавающей точкой. Квантовая химия = вычисления с плавающей точкой, то есть бульдозер для расчетной машины немногим лучше, чем hyper-threading. Это не секрет, это официальные данные AMD. Поэтому так и ругался Грановский на бульдозер, и поэтому покупка этих процессоров будет большой и очень неприятный ошибкой. Уж лучше Phenom X6.

Metalian, и одна мощная машина лучше двух слабых потому, что стабильно загрузить две слабые машины можно только в том случае, если результаты расчетов совершенно независимы, а задание их рутинно. Это не так, вы за сведение scf в каждой из систем будете натурально биться. На практике у вас и одна большая будет простаивать иногда, если, конечно, за вашим ником не скрывается научная группа из 5-7 человек.

Кстати, а зачем вам SSD на 256 Гб?! Система, программы, файлы заданий и пр должны жить на HDD raid (mirror), а маленький (64-128 Гб) SSD с хорошими результатами тестов много поточной загрузки на запись (читайте обзоры) должен использоваться только под scratch. Системы, требующие для хранения больше 32 Гб, все равно будут считаться на таком железе больше недели, рост-то нелинейный.

И памяти, памяти нужно побольше, это сильнее влияет на скорость, чем SSD.

[ Post made via iPhone ]

[Metalian]

Боюсь огорчить защитников AMD, но в процессорах AMD FX (Bulldozer) на 8 ядер для целочисленных вычислений приходятся только 4 сопроцессора для вычислений с плавающей точкой. Квантовая химия = вычисления с плавающей точкой, то есть бульдозер для расчетной машины немногим лучше, чем hyper-threading. Это не секрет, это официальные данные AMD. Поэтому так и ругался Грановский на бульдозер, и поэтому покупка этих процессоров будет большой и очень неприятный ошибкой. Уж лучше Phenom X6.

А вот это уже очень дельное замечание! Спасибо!
Phenom II X6 в продаже не вижу что-то, только X4...

Metalian, и одна мощная машина лучше двух слабых потому, что стабильно загрузить две слабые машины можно только в том случае, если результаты расчетов совершенно независимы, а задание их рутинно. Это не так, вы за сведение scf в каждой из систем будете натурально биться.

Пока система маленькая, с scf как-то получается (но то, что в Природе будет не так с ним просто, знаю). Но элементы, так сказать, химической комбинаторики имеются: разные варианты кластера: Pt4, Pt4Al2, дальше будет Pt4Al2(OH) и т.д., а есть и другие системы, одним лишь интерметаллидом на подложке из гамма-окиси алюминия дело не ограничится, да и с молекулами свистопляска будет еще та, ибо реакций гидратации-дегидратации, гидрирования-дегидрирования, олигомеризации, крекинга и прочих там явно будет немало.

На практике у вас и одна большая будет простаивать иногда, если, конечно, за вашим ником не скрывается научная группа из 5-7 человек.

Природа так быстро считать будет, что поставленные перед сном несколько IRC мне рассчитает к утру? Разумеется, никакой группы нет. В нашей лаборатории я единственный, кто квантовой химией занимается.

Кстати, а зачем вам SSD на 256 Гб?! Система, программы, файлы заданий и пр должны жить на HDD raid (mirror), а маленький (64-128 Гб) SSD с хорошими результатами тестов много поточной загрузки на запись (читайте обзоры) должен использоваться только под scratch. Системы, требующие для хранения больше 32 Гб, все равно будут считаться на таком железе больше недели, рост-то нелинейный.

То, что SSD только для scratch'а - знаю. Да и системе mirror не особо нужен, имхо - файлы все хранятся на отдельной машине (непригодной для расчетов) и бекапятся на NAS. А размер... Кто-то где-то писал, что scratch'и могут достигать десятков гигов. Была еще шальная мысль выделить каждому scratch'у отдельную fs на SSD, но думаю, что в этом смысла нет абсолютно никакого. Что же, идея хорошая, берем 128, немного сэкономим. Теперь бы в интеловских камнях разобраться...

И памяти, памяти нужно побольше, это сильнее влияет на скорость, чем SSD. [/quote]

[Droog_Andrey]

Пофиг, кто там и кого ругал. Предпочитаю прямое сравнение машин на практике. И всем то же рекомендую.

[amge]

1) AMD ни в коем случае брать нельзя! Это ж дикий тормоз!

Ну, не так однозначно, если принимать во внимание соотношение цена/производительность. Несколько лет назад мы купили Intel i5, а коллеги за те же деньги 6-ядерный AMD. На AMD Природа считала в 2 с лишним раза быстрее... Рассказывали про сравнение 4-яденого интела с более дешевым 8-ядерным AMD. Тоже в пользу AMD.

2) В ПРИРОДе реализован direct SCF (группа $integral). Сэкономите память в 3 раза, зато считаться в 10 раз дольше будет.

Недавно коллега считал довольно большую систему в riMP2 Природой. За ночь - 2 шага оптимизации, задачку с трудом удалось снять, компьютер был настолько занят дисковыми операциями, что был скорее мертв, чем жив. Повторили с direct SCF (группа $integral). За ночь 20 шагов. Т.е. всяко бывает, зависит от задачки и конфигурации машины.

[Metalian]

Пофиг, кто там и кого ругал. Предпочитаю прямое сравнение машин на практике. И всем то же рекомендую.

Если бы такая возможность была... Ладно, посмотрим, что получится... Может, и удастся взять одну машину на AMD, а другую на Intel... Если хватит денег...

1) AMD ни в коем случае брать нельзя! Это ж дикий тормоз!

Ну, не так однозначно, если принимать во внимание соотношение цена/производительность. Несколько лет назад мы купили Intel i5, а коллеги за те же деньги 6-ядерный AMD. На AMD Природа считала в 2 с лишним раза быстрее... Рассказывали про сравнение 4-яденого интела с более дешевым 8-ядерным AMD. Тоже в пользу AMD.

Загрузка всех ядер была больше 95% или как получится?

2) В ПРИРОДе реализован direct SCF (группа $integral). Сэкономите память в 3 раза, зато считаться в 10 раз дольше будет.

Недавно коллега считал довольно большую систему в riMP2 Природой. За ночь - 2 шага оптимизации, задачку с трудом удалось снять, компьютер был настолько занят дисковыми операциями, что был скорее мертв, чем жив. Повторили с direct SCF (группа $integral). За ночь 20 шагов. Т.е. всяко бывает, зависит от задачки и конфигурации машины.

Логично... В общем, придется, видимо, еще для каждой конкретной группы задач сравнивать direct и conventional SCF...

[EvgeniX]

Ну, не так однозначно, если принимать во внимание соотношение цена/производительность. Несколько лет назад мы купили Intel i5, а коллеги за те же деньги 6-ядерный AMD. На AMD Природа считала в 2 с лишним раза быстрее... Рассказывали про сравнение 4-яденого интела с более дешевым 8-ядерным AMD. Тоже в пользу AMD.

Всё же, если сравнивать топовые или около-топовые модели, то думаю, что Intel лидирует.

Недавно коллега считал довольно большую систему в riMP2 Природой. За ночь - 2 шага оптимизации, задачку с трудом удалось снять, компьютер был настолько занят дисковыми операциями, что был скорее мертв, чем жив. Повторили с direct SCF (группа $integral). За ночь 20 шагов. Т.е. всяко бывает, зависит от задачки и конфигурации машины.

Я имел в виду чистое процессорное время. Если работу программы лимитирует диск - т.е. напрямую подошли к возможностям компьютера, то конечно, нужно включать Direct SCF, и результирующая скорость расчёта будет выше и можно будет увеличить размер задачи.

но то, что в Природе будет не так с ним просто, знаю

Вряд ли проблемы с SCF будут, в ПРИРОДе SCF сходится значительно лучше, чем во многих других квантово-химических пакетах. Вот оптимизация структуры хуже, чем например, в Gaussian'е.

В основном проблемы со сходимость будут для металлов в низких степенях окисления. В тех случаях, когда начинает проявлятся некоторый многоконфигурационный характер. Или при использовании очень гигантских базисов.. Если рассчитывать металлы в высших степенях окисления, то проблем, как правило никогда не бывает.

Природа так быстро считать будет, что поставленные перед сном несколько IRC мне рассчитает к утру? Разумеется, никакой группы нет. В нашей лаборатории я единственный, кто квантовой химией занимается.

Вряд-ли, это всё-таки IRC, где по-хорошему шагов много. Попробуйте у кого-нибудь провести такой расчёт. Вообще, зависит также от систем. Для ярко выраженных максимумов и IRC лучше считается.

То, что SSD только для scratch'а - знаю.

Раньше были проблемы со временем работы SSD. Не боитесь, что под нагрузкой SSD быстро сгорит? Хотя у нас человек купил такой диск для своего ноутбука, вроде месяца 3 уже работает, но он на ноутбуке и не считает.

И оперативной памяти действительно нужно ставить по-максимуму. Тем более, что она теперь стоит копейки.

[Metalian]

Ну, не так однозначно, если принимать во внимание соотношение цена/производительность. Несколько лет назад мы купили Intel i5, а коллеги за те же деньги 6-ядерный AMD. На AMD Природа считала в 2 с лишним раза быстрее... Рассказывали про сравнение 4-яденого интела с более дешевым 8-ядерным AMD. Тоже в пользу AMD.

Всё же, если сравнивать топовые или около-топовые модели, то думаю, что Intel лидирует.

Из AMD я в продаже ничего круче AMD FX-8150 не вижу. Xeon'ы совсем в иной ценовой категории. Поэтому если сравнивать, то, скажем, с Core i7-3770 (или Core i5-3570, насколько он проигрывает в производительности?)

Я имел в виду чистое процессорное время. Если работу программы лимитирует диск - т.е. напрямую подошли к возможностям компьютера, то конечно, нужно включать Direct SCF, и результирующая скорость расчёта будет выше и можно будет увеличить размер задачи.

Будет ли выше - это еще вопрос. Хотя, наверное, если при conventional SCF получается CPU usage порядка 20%, то будет.

В основном проблемы со сходимость будут для металлов в низких степенях окисления. В тех случаях, когда начинает проявлятся некоторый многоконфигурационный характер. Или при использовании очень гигантских базисов.. Если рассчитывать металлы в высших степенях окисления, то проблем, как правило никогда не бывает.

Ну в моем случае для платины степень окисления либо 0 (в интерметаллиде), либо немного выше (когда что-нибудь на нее садится), высокими не пахнет...

То, что SSD только для scratch'а - знаю.

Раньше были проблемы со временем работы SSD. Не боитесь, что под нагрузкой SSD быстро сгорит? Хотя у нас человек купил такой диск для своего ноутбука, вроде месяца 3 уже работает, но он на ноутбуке и не считает.

Ну вроде у современных SSD бывают MTBF до 2 миллионов часов. Да и гарантия вроде как. Или там счетчик какой-то стоит, и при превышении значения гарантия обнуляется?

И оперативной памяти действительно нужно ставить по-максимуму. Тем более, что она теперь стоит копейки. Я обновил свой домашний компьютер, его я также использую для расчётов, и поставил Core i7 3770 и 32 ГБ ОЗУ. Так память обошлась значительно дешевле 10 тыс.руб.

Это я уже видел, поэтому и думаю о таком объеме памяти.
А если на то пошло, может, из этих 32 гиг выделить, скажем, половину на виртуальный диск, и его использовать для скретча?

[EvgeniX]

А если на то пошло, может, из этих 32 гиг выделить, скажем, половину на виртуальный диск, и его использовать для скретча?

Вот пример для текущей задачи ПРИРОДы расчёта гессиана для запуска на 2 ядрах процессорах:
$system memory=1024 disk=-2048 path=/tmp $end

Оперативной памяти может использоваться до 2*1024 МБ, scratch (файлы, которые обычно создаются на жёстком диске) создаются в оперативной памяти ("-" перед числом указывает на то, чтобы использовать для scratch оперативную память и что единицы измерения МБ) и может быть выделено 2*2048 МБ (хотя реально при расчёте гессиана максимальное потребление будет только у первого процесса, т.е. реальный лимит будет 2048 МБ).

[Metalian]

А если на то пошло, может, из этих 32 гиг выделить, скажем, половину на виртуальный диск, и его использовать для скретча?

Вот пример для текущей задачи ПРИРОДы расчёта гессиана для запуска на 2 ядрах процессорах:
$system memory=1024 disk=-2048 path=/tmp $end

Оперативной памяти может использоваться до 2*1024 МБ, scratch (файлы, которые обычно создаются на жёстком диске) создаются в оперативной памяти ("-" перед числом указывает на то, чтобы использовать для scratch оперативную память и что единицы измерения МБ) и может быть выделено 2*2048 МБ (хотя реально при расчёте гессиана максимальное потребление будет только у первого процесса, т.е. реальный лимит будет 2048 МБ).

Так, вот здесь интереснее: а как вообще работает Природа, если выделенной памяти и/или выделенного скретча меньше, чем, скажем так, хотелось бы для расчета? В Firefly я не парюсь с памятью - выделяю, исходя из той, что есть в системе, но, с учетом меньших базисов, редко когда хотя бы на один процесс больше 500Мб уходит. HDD там не лимитируется, опять же, в direct SCF почти ничего и не надо, в conventional - до нескольких гиг, но именно что не лимитируется. Но в Природе размер системы будет больше, природный SBK-базис тоже несопоставимо больше того SBKJC, что в Firefly, и уже не совсем понятно, сколько может быть реально нужно для скретча в conventional SCF. А с памятью надо осторожнее. И, вероятно, отключить в системе своп - иначе есть риск, что начнет использоваться своп, а если он будет на обычном диске, не SSD, то скорость упадет ниже плинтуса... Да и если на том же SSD, где и скретч, то тоже радостно не будет...

[Shorku]

Раньше были проблемы со временем работы SSD. Не боитесь, что под нагрузкой SSD быстро сгорит? Хотя у нас человек купил такой диск для своего ноутбука, вроде месяца 3 уже работает, но он на ноутбуке и не считает.

10000 циклов перезаписи примерно. Все это усредняется по всему диску. Т.е. если scratch 1Гб, записывается n раз за день, объем SSD 128 Гб, то следует ожидать его выхода из строя через 128*10000/n дней. Впрочем писали, что на высокопроизводительных серверах может сгореть и за год.

[EvgeniX]

Так, вот здесь интереснее: а как вообще работает Природа, если выделенной памяти и/или выделенного скретча меньше, чем, скажем так, хотелось бы для расчета?

Расчёт вылетит с соответствующей ошибкой и всё.

[Droog_Andrey]

Всё же, если сравнивать топовые или около-топовые модели

Совершенно бессмысленное сравнение. Нужно сравнивать модели, которые рассматриваются как кандидаты на приобретение.