DFT-код Chemigor-a

[kbob]

История самопально написанного Хартри-Фока восходит к моему диссеру, который я на днях таки наконец-то по многочисленным просьбам частично перевел на английский и выложил на https://arxiv.org/abs/2306.15468

А можно по-подробнее, тема интересная но до конца понятная.
Эта программа где-то существует? Она умеет генерировать орбитали в виде файла? Непериодические структуры она считает или нужно периодическую решетку из молекул делать? Jastrow factor можно к такой орбитали добавить? Ядерный cusp condition выполняется? Мультиконфигурационная волновая функция описывается этим методом?

Moritz Braun из южной Африки использовал тот же подход https://www.sciencedirect.com/science/a ... 0#br000020 ?

https://michael-herbst.com/talks/2015.0 ... ng_FEM.pdf - этот подход отличается от вашего?

[chemigor]

Эта программа где-то существует?

да, у меня в моей немецкой фирме. Так как превращение ее в открытый или закрытый софт потребует довольно больших усилий, и у меня нет ни малейшей доли сомнения, что никто это не оплатит, я против этот момент обсуждать.

Она умеет генерировать орбитали в виде файла?

да, каждая орбиталь в тензорном формате (обычно меньше сотни килобайт), в принципе такую орбиталь можно в обычный 3Д конечноэлементный формат сконвертить, тогда получится муллионы и муллиарды точек на орбиталь.

Непериодические структуры она считает или нужно периодическую решетку из молекул делать?

да, и периодические, и не периодические с нулем на бесконечности. Можно по одной размерности - периодичность, а по другим - непериодичность, и наоборот, правда я так ни разу не считал.

Jastrow factor можно к такой орбитали добавить? Ядерный cusp condition выполняется?

простите, пожалуйста, я быстро не нагуглил, вдруг Вы знаете, где понятно об этом написано или сможете просто объяснить, тогда я отвечу.

Мультиконфигурационная волновая функция описывается этим методом?

правильно ли я понимаю, что это - вариант с несколькими слейтеровскими детерминантами в качестве решения? Если да, то да, это можно делать, но там я в свое время поленился довыводить формулы, а в лоб очень не эффективно с точки зрения производительности получилось. В свете вышесказанного - реально кусаю локти, но, боюсь, быстро не осилю хорошую модификацию.

Moritz Braun из южной Африки использовал тот же подход https://www.sciencedirect.com/science/a ... 0#br000020 ?

https://michael-herbst.com/talks/2015.0 ... ng_FEM.pdf - этот подход отличается от вашего?

статью не смог скачать, на сци-хабе ее почему-то нет.

Доклад скачал. Ну что тут сказать. Ну очень не похожи.

У меня тензорная сетка с небольшими сгущениями в атомах, и сильным разрежением в дальней зоне на нулевых граничных условиях, у них - иерархическая сетка.

У меня - рабтающий на компьютерах еще 1997 года решатель (32 мб оперативки), а у них теория, которая даже на топовом современном суперкомпьютере загнется на каком-нибудь толуоле, так как там ни слова не сказано как представить электрон-электрон потенциал для базиса на 10^7 конечных элементов, не говоря уж о том, как решать задачи с такой матрицей (она плотная в общем виде), и сожрет 10^15 байт оперативки.

[kbob]

Про существующую программу я в другом смысле спросил, она в железе существует - да существует. У меня есть два проекта, один платный, второй бесплатный, лично мой. Чужой проект это темный лес, вам самому придется его развивать.

Jastrow factor можно к такой орбитали добавить? Ядерный cusp condition выполняется?

простите, пожалуйста, я быстро не нагуглил, вдруг Вы знаете, где понятно об этом написано или сможете просто объяснить, тогда я отвечу.

Если в многоэлектронной WFN рассмотреть случай, когда два заряда (ядро-электрон, два электрона) находятся на бесконечно малом расстоянии друг от друга, то можно свести к задачи 2-х тел и вычислить дополнительные ограничения на волновую функцию, которые называются cusp condition (СС)

Screenshot_20230825_100104.png

nucleus–electron (n–e) CC для гаусовских базисов очевидно не выполняется никогда, для слейтеровских может выполнятся если этого потребовать в расчетах (насколько мне известно в программе ADF такого нет), но n–e CC можно наложить изменив (пересчитав) WFN вблизи ядра.

electron–electron (e–e) CC можно выполнить если умножить слейтеровский детерминант на множитель зависящий от расстояния между электронами определенной формы, который называется Jastrow factor, он симметричен относительно перестановки электронных координат.


Статья в открытом доступе, скачивается по ссылке https://www.sciencedirect.com/science/a ... 0#br000020
кнопка "view PDF"... скачать...

Мой основной вопрос, возможно я его плохо сформулировал, заключается в том, а как идти дальше и учитывать электронные корреляции, ведь HF это очень плохое приближение, я в DFT не силен, поэтому не спрашиваю можно ли в вашем случае реализовать его.

PS: если есть люди которую соображают в DFT у меня есть тема которую хочется обсудить

[chemigor]

Спасибо kbob, за комментарий!

Позвольте, пожалуйста, ответить на часть вопросов, оставив остальное на вечер или завтра.

Статья в открытом доступе, скачивается по ссылке https://www.sciencedirect.com/science/a ... 0#br000020
кнопка "view PDF"... скачать...

да, проморгал, спасибо, что указали, скачал, прочитал.

В статье существенно интереснее, чем по ссылке, конечно-элементная сетка гораздо более похожа (на фиг. 1) на мою.

Про решение очень не прозрачно написано, и

The finite element calculations required CPU times of the order of 24 h while
the NWCHEM calculations typically took less than a second.

подтверждает тот факт, что решают в лоб без использования тензорных структур в представлении решения.

То есть:

классика жанра: мы примерно все пространство описываем конечными элементами и нам надо скажем 500 точек по каждому направлению и 500*500*500 неизвестных на каждую орбиталь, что приводит к непрозрачной аппроксимации злектрон-электронного члена (иначе он дает плотную матрицу размера 10^7 * 10^7) да и просто решать задачу с миллионами неизвестных даже без этого члена очень не комфортно.

Мой случай: решение вписывается в сумму одномерного произведения такой дискретизации по каждому направлению, длина такой суммы - неизвестный параметр, и в общем случае, может быть большим, но так как любая базисная функция, и скажем большой набор решений хорошо вписываются в такую аппроксимацию, все можно с небольшой суммой аппроксимировать.

Основное достоинство - не надо угадывать базис. он всегда просто гарантирует решение, а точность определяется размером суммы.

Мой основной вопрос, возможно я его плохо сформулировал, заключается в том, а как идти дальше и учитывать электронные корреляции, ведь HF это очень плохое приближение, я в DFT не силен, поэтому не спрашиваю можно ли в вашем случае реализовать его.

PS: если есть люди которую соображают в DFT у меня есть тема которую хочется обсудить

у меня есть желание сконвертировать это в DFT, но DFT составляющую вытаскивать из машинного обучения, но руки не дошли и когда это произойдет - не известно.

Сам по себе подход по вычислительной скорости схож с классикой на орбитальных базисах, но имеет кучу удобных плюшек в виде гарантированной точности аппроксимации, которые позволяют без оглядки применить это для машинного обучения.

PS: Я похоже инициировал свою тему в ТС теме, скажите, пожалуйста, может тему про мои решатели и базу как-то отцепить от того, что спрашивал ТС, а то как-то получается два разных обсуждения и, наверное, это не совсем правильно.

...

Уважаемый Гесс, как вы на это смотрите?

[chemigor]

Спасибо большое Гесс, что выделили в отдельную тему!

Jastrow factor, а также e-e и e-n cusp condition базисами на конечных элементах покрываются, но понятно, что специально в решалке нет ограничений, чтобы они выполнялись тождественно.

Постораюсь, как дойдут руки, посмотреть на каких-нибудь примерах как точно эти условия численно в моей решалке получаются в зависимости от размера сетки. На вскидку, хотя бы линейная сходимость должна наблюдаться, но если это по физике должно быть, то, скорей всего будет квадратичная (это когда сетку в два раза помельчил, а точность в 4 раза возросла).

Я как раз в свое время базис на конечных элементах сильно продвигал, зная, что решение даже простых задач не всегда можно описать легко вычисляемыми базисами. А на конечных элементах, если сетку помельчил, точности больше, и все в порядке. То есть базис на конечных элементах - он полный в смысле решения уравнения Шредингера или его урезанной версии с одним детерминантом ХФ.

[kbob]

Спасибо большое Гесс, что выделили в отдельную тему!

Jastrow factor, а также e-e и e-n cusp condition базисами на конечных элементах покрываются, но понятно, что специально в решалке нет ограничений, чтобы они выполнялись тождественно.

Меня этот базис интересует с другой точки зрения, кратко есть такой метод расчета в квантовой химии Variational Monte Carlo, он выполняет численное интегрирование поэтому вид волновой функции ему не важен, ему важно чтобы многочастичная волновая функция в точке и энергия вычислялась быстро. В вашем случае, оптимизированная волновая функция должна вычисляться быстро, энергия вроде тоже.

Если e-n cusp condition не выполняется, то на ядре полная энергия электрона минус бесконечность, а если не выполняется e-e cusp condition, то при встрече двух электронов полная энергия электрона плюс бесконечность, это увеличивает ошибку численного интегрирования поэтому такие условия лучше учесть.

Потом есть метод Diffusion Monte Carlo он позволяет спроектировать суперпозицию собственных волновых функцию на низшее энергетическое состояние. Метод является численно точным, что означает, что он может найти точную энергию основного состояния в пределах заданной ошибки для любой квантовой системы. Фактической только для бозонов алгоритм масштабируется полиномиально в зависимости от размера системы. Для фермионов дело обстоит намного хуже из-за того, что оператор проецирования в координатном пространстве неточен и антисимметрия волновой функции не сохраняется, это называется The fermion sign problem.
Проблему можно обойти если в процессе проецирования зафиксировать поверхность которая отделяет области волновой функции различных знаков и называется нодальной (nodal surface) это называется fixed-node approximation. Фактически мы ищем бозонное состояние системы в полупространстве, в буквальном смысле, поскольку для невырожденного состояния волновая функция должна состоять всего из 2-х симметричных и связанных областей разного знака the tiling theorem. Поскольку, если бы в молекуле в месте где точная волновая функция равна нулю мы бы поместили стену из бесконечного потенциала, то это бы не изменило решение!

Дальнейшая оптимизация возможна с помощью непрерывного преобразования координат электронов перед вычислением волновой функции для деформации начальной нодальной поверхность и приближения ее к точной (для расчета этого требует вычисление 2-й частных производных волновой функции по координатам электронов, а для оптимизации параметров непрерывного преобразования 3-х).
Отсюда вопрос насколько быстро такие производные вычисляются в вашем случае?

К сожалению HF-нодальная поверхность топологически не эквивалента точной, поскольку является произведение 2-х детерминантов Слейтера, поэтому без мультидетерминантной функции не обойтись и на эту тему есть несколько еще более модных методов self-healing DMC, auxiliary-field quantum Monte Carlo в последнем случае случайное блуждание осуществляется в пространстве детерминантов Слейтера того же знака, что и начальный (эти типа как параллельно запущено много бесконечных SCF-итерации, и "самосогласованное поле" вычисляется от всех детерминантов сразу, а если знак детерминанта в какой-то момент меняется.. то его убивают.... боже какой бред я тут пишу).

Если писать такую длинную программу, мне нужно оценить насколько высок будет выигрыш в скорости, вашего базиса по сравнению с гаусовским базисом при вычислении волновой функции, ее градиента, лапласиана, гессиана, и.т.д.

[chemigor]

Если e-n cusp condition не выполняется, то на ядре полная энергия электрона минус бесконечность, а если не выполняется e-e cusp condition, то при встрече двух электронов полная энергия электрона плюс бесконечность, это увеличивает ошибку численного интегрирования поэтому такие условия лучше учесть.

априорно эти условия потребовать в классическом ХФ вроде сложно. Можно строить базис, в котором все гарантированно будет выполняться, а можно строить полный базис (как у меня), который будет, с на перед заданной точностью, аппроксимировать решение.

Если таки эти условия приводят к тому, что Вы сказали, а базис у меня полный и в этом базисе (кстати в диссере) и доказывалось, что полная энергия электронов ограничена снизу и сверху, то можно утверждать, что такие условия не надо учитывать, они опосредованно выполняются.

Скорей всего это даже можно как-то более элегантно доказать, но мне немного лениво.

[chemigor]

Если писать такую длинную программу, мне нужно оценить насколько высок будет выигрыш в скорости, вашего базиса по сравнению с гаусовским базисом при вычислении волновой функции, ее градиента, лапласиана, гессиана, и.т.д.

на первый взгляд, базис на конечных элементах выглядит просто. Но это - далеко не так. Пока Вы не попользуете всю красоту тензорных аппроксимаций матриц, промежуточных решений волновых функций и даже не напишите своего Давидсона в таком кривом подпространстве, Вы не получите хорошей скорости вычисления и будете каждый раз думать - вот-вот, я сейчас это запрограммирую, и полетит... Нет, не полетит, там реально много подводных камней.

Если бы на момент поступления в аспирантуру я знал бы всю историю развития этого метода, я точно выбрал бы какую-нибудь тему по-проще.

С другой стороны, если реально решитесь, заложите хотя бы года три на отладку, а за это время я не спеша Вам буду советовать, надеюсь, тогда что-то да получится.

Я реально не стибусь, я понимаю, почему никто с 1999 не повторил до сих пор - другие методы реально проще, а выигрыш в скорости не всегда имеет место быть, пока все не подкрутишь.

[Гесс]

Потом есть метод Diffusion Monte Carlo он позволяет спроектировать суперпозицию собственных волновых функцию на низшее энергетическое состояние. Метод является численно точным, что означает, что он может найти точную энергию основного состояния в пределах заданной ошибки для любой квантовой системы. Фактической только для бозонов алгоритм масштабируется полиномиально в зависимости от размера системы. Для фермионов дело обстоит намного хуже из-за того, что оператор проецирования в координатном пространстве неточен и антисимметрия волновой функции не сохраняется, это называется The fermion sign problem.
Проблему можно обойти если в процессе проецирования зафиксировать поверхность которая отделяет области волновой функции различных знаков и называется нодальной (nodal surface) это называется fixed-node approximation. Фактически мы ищем бозонное состояние системы в полупространстве, в буквальном смысле, поскольку для невырожденного состояния волновая функция должна состоять всего из 2-х симметричных и связанных областей разного знака the tiling theorem. Поскольку, если бы в молекуле в месте где точная волновая функция равна нулю мы бы поместили стену из бесконечного потенциала, то это бы не изменило решение!

я интересовался темой FN-DMC, было интересное выступление Хобзы. Там получается что за счет линейного скейлинга в какой то момент FN-DMC должно начать выигрывать у чего угодно включая CCSD которого оно может быть и точнее. Но стоимость его для малых систем уже настолько заоблачна что каких то имплементаций - полторы калеки. Была статья французов, viewtopic.php?t=115707 ну и Хобза, потом я и не отслеживал.

[kbob]

Там получается что за счет линейного скейлинга в какой то момент FN-DMC должно начать выигрывать у чего угодно включая CCSD которого оно может быть и точнее.

Я считал FN-DMC на дадасете W4-11. Но линейный скелинг получается всегда только для больших систем как в DLPNO-CCSD(T), за счет использования локализованных орбиталей (особенной в линейных молекулах), и в FN-DMC можно взять те же орбитали. Более того FN-DMC хорошо параллелится https://casinoqmc.net/talks/towler_parallel_scaling.pdf (в 2012г на 124416 ядрах считали, при том что самый мощный компьютер тогда был в четыре раза мощнее).

fixed node вносит ошибку (уровня CCSD/cc-pVTZ), которую трудно улучшить, но можно отказаться от fixed node и получать приближенное решение уравнение Щредингера за полиномиальное время. Вопрос в том насколько приближенное. Когда вы проецируете пробную фермионную волновую функцию в основное состояние, неточным проектором с конечным шагом итерации, то у вас всегда появляется примесь бозонного состояния, вклад которого экспоненциально растет, а вклады возбужденных фермионных состояний экспоненциально падают, в какой-то момент оба этих вклада становятся равны и если их сумма меньше химической точности, то БИНГО!

Вопрос в том, чтобы найти правильный проектор и базис для химических систем которые нас интересуют. Говорят, что точный проектор можно получит только на квантовом компьютере, не знаю, может быть.

[kbob]

С другой стороны, если реально решитесь, заложите хотя бы года три на отладку, а за это время я не спеша Вам буду советовать, надеюсь, тогда что-то да получится.

Я реально не стибусь, я понимаю, почему никто с 1999 не повторил до сих пор - другие методы реально проще, а выигрыш в скорости не всегда имеет место быть, пока все не подкрутишь.

Мне даже из Кембриджа советуют, страна советов прям, тоже не стебусь. Самый лучший совет это научная статья, мне даже давали код на FORTRAN, но это довольно специфично. В коммерческих программах такое внутри, написанное на ломаном индийском - глаза болят!

Пока Вы не попользуете всю красоту тензорных аппроксимаций матриц, промежуточных решений волновых функций и даже не напишите своего Давидсона в таком кривом подпространстве,

Если вы имеете ввиду метод Дэвидсона для вычисления нескольких собственных пар значение собственная функция для больших разреженных симметричных матриц, то он уже написан https://docs.scipy.org/doc/scipy/refere ... .eigs.html по псевдонимом Restarted Arnoldi Method и я им пользуюсь - нормально работает.

Попробуйте статью допилить все таки, а если у вас метод Девидсона какой-то модный, то в отдельную статью его и в библиотеку закодить и чтобы он без параметров вызывался, сам внутри все делал, я скачаю ее и все . Я все таки химик по образованию, мне что Девидсоны, что ...соны, кто все эти люди?

[kbob]

Очень сложно написать код без подробного описания алгоритма, даже для модельной системы He, Be - атомы, а в вашем случае даже без декомпозиции тензоров, что конечно замедлит выполнение программы, но на первой итерации пойдет.
Поэтому я пока в фоновом режиме думаю, а занимаюсь реализацией других плановых задач.

[chemigor]

Если вы имеете ввиду метод Дэвидсона для вычисления нескольких собственных пар значение собственная функция для больших разреженных симметричных матриц, то он уже написан https://docs.scipy.org/doc/scipy/refere ... .eigs.html по псевдонимом Restarted Arnoldi Method и я им пользуюсь - нормально работает.

конечно это надо знать, без этого никак, а теперь представьте, что матрица структурированная, предобуславливатель - тоже, и решение - тоже. То есть даже операция умножения матрицы или предобуславливателя на вектор - это уже Kunst (искусство). Само Крыловсо-Давидсоновское подпространство, которое содержит 3Д вектора надо представить в виде суммы одномерных произведений и не забывать про то, как там все ортогонализуется, как скалярное произведение на больших векторах по точности не устойчиво. И просто рестарты как в Арнольди - не катят, так как сходимости совсем не будет, надо постоянно поддерживать пространство в тонусе, и не рестартить, а выбрасывать лишние вектора по одному и идти дальше, примерно как в методе rank-revealing.

Вон, тот же профессор Осцеледец, который, когда свой докторский диссер под руководством академика Тыртышникова по образу и подобию моего кандидатского диссера писал, и то не смог это все аккуратно запрограммировать, да и не надо было ему, он и его шеф свои титулы получили, хотя, как математики, они пропан от будана отличить не могут.

Ой, заболтался я и о политике и о математике, это же химический форум, этож голимый офф-топик.

Очень сложно написать код без подробного описания алгоритма, даже для модельной системы He, Be - атомы, а в вашем случае даже без декомпозиции тензоров, что конечно замедлит выполнение программы, но на первой итерации пойдет.

Все в статьях и патентах написано, и формулы, и даже куски кода, бери и делай. Ну а классику numerische Mathematik II все-таки надо перед этим пройти, чтобы хотя бы понимать о чем тут речь.

То есть не стесняйтесь, спрашивайте. Если бы у меня было бы время и это время хорошо оплачивалось бы, я бы решил Вашу задачу, а так, увы, ноль шансов, ибо сама база на основе GNN - это на порядок клевее идея, и ее просто надо вот чуть-чуть доделать, и тогда возможно и решатели на подобии моего больше не нужны будут.

[kbob]

Развитие новых методов в химии сейчас идет в других направлениях, например широко используются новые языки программирования: Julia и Python - https://pubs.acs.org/doi/10.1021/acs.jctc.2c00934

такой код работает зачастую так же быстро как Fortran и C++, а пишется еще быстрее, о чем свидетельствуют авторы статьи сравнивая скорость своей программы https://github.com/JoonhoLee-Group/ipie c QMCPACK на FIG2 - 5.
Несмотря на то что в разработчиках один индус из Бомбея и в коде присутствует (кхем... как бы так по мягче сказать, индийские национальные особенности).
https://github.com/JoonhoLee-Group/ipie ... rs.py#L114 - это вообще что за ад? Для инициализации единичных массивов служит метод numpy.ones, а нулевых numpy.zeros, которые работают намного быстрее.

Основная тенденция сегодняшнего дня это из "мха и палок" с привлечением индусов, быстро написать работающий код и проверить идею, вместо того чтобы 3 года отшлифивывать, чтобы потом убедится, что идея не перспективена.

Перспективность как-то еще более круто посчитать HF в сегодняшних реалиях я не вижу. Перспективность использовать ваш базис там где использовались гауссовы и слетеровские базисы возможно есть, но пока для меня непонятна, причем безотносительно буду ли я знать метод Давидсона в пространстве Крылова или возьму готовую библиотеку разработчик которой знал (надеюсь хорошо, но ХЗ), например https://docs.scipy.org/doc/scipy/refere ... rustkrylov

Все в статьях и патентах написано, и формулы, и даже куски кода, бери и делай.

Можете дать конкретные ссылки, я не понимаю о чем речь.

ибо сама база на основе GNN - это на порядок клевее идея

Нейронные сети этот так модно, как когда-то джинсы. Факел PyTorch вам в руки. Все уже придумано до нас.

они пропан от будана отличить не могут.

Бутан назван в честь великого русского химика Бутлерова, ай-ай-ай!

Если бы у меня было бы время и это время хорошо оплачивалось бы, я бы решил Вашу задачу

Меняем чай на латте, а бутер на чиабатту! Светлаков ( С ) Знаете, что оплачивается хорошо?! Ваше резюме, собеседование, испытательный срок и работа по ТЗ заказчика. Так что лучше не начинайте...в качестве вашего заказчика буду я очень требовательным и мало платить.

[Гесс]

они пропан от будана отличить не могут.

Бутан назван в честь великого русского химика Бутлерова, ай-ай-ай!

Butane => butanoic acid (масляная кислота) => butter

[chemigor]

Ой, ладно, мобильник подставил, а я прошляпил, это я про бутан/будан.

А по сути тема скатилась в измерение пиписек, я такой подход поддерживать не буду.

[kbob]

Ой, ладно, мобильник подставил, а я прошляпил, это я про бутан/будан.

А по сути тема скатилась в измерение пиписек, я такой подход поддерживать не буду.

Я вроде задал конкретный вопрос который вы проигнорировали или нечего было ответить?

Все в статьях и патентах написано, и формулы, и даже куски кода, бери и делай.

Можете дать конкретные ссылки, я не понимаю о чем речь.

Если нечего ответить, то я тоже настаивать не буду.

[chemigor]

Ой, ладно, мобильник подставил, а я прошляпил, это я про бутан/будан.

А по сути тема скатилась в измерение пиписек, я такой подход поддерживать не буду.

Я вроде задал конкретный вопрос который вы проигнорировали или нечего было ответить?

Все в статьях и патентах написано, и формулы, и даже куски кода, бери и делай.

Можете дать конкретные ссылки, я не понимаю о чем речь.

Если нечего ответить, то я тоже настаивать не буду.

в первом сообщении этой темы, а также в вашем сообщении на второй странице в самом верху снова фигурирует ссылка с бесплатно скачиваемым текстом.

Я с радостью отвечу, например, на вопрос, "а почему из такой-то формулы получается такая" но таких вопросов у вас нет, но у вас есть пафос типа

Основная тенденция сегодняшнего дня это из "мха и палок" с привлечением индусов, быстро написать работающий код и проверить идею, вместо того чтобы 3 года отшлифивывать,

и одновременно полный игнор моих ответов, что пространство Крылова в Давидсоне не линейное, а такого решателя в вами упомянутых питоновских модулях просто нет.

И что вы мне прикажете, расстелиться перед вами, послать вам мое резюме, и за хлеб и воду умолять вас все-таки понять, что написано в ссылке стоя на коленках и программируя для вас всякую одному вам нужную чепуху, или послать вас нахер? Я выбираю второе.