Покритикуйте, пожалуйста, нашу бесплатную базу на 1.7 миллиарда конформеров

[chemigor]

Добрый день,

предлагаю Вашему вниманию релиз базы данных химических веществ с поиском по функциональным группам, на данный момент в ней 102 миллиона молекул и около 1700 миллионов конформеров, графы молекул взяты из PubChem, геометрии конформеров насчитаны молекулярной механикой, а в дальнейшем там будет DFT и ab initio. То, что посчитано, частично сравнено с открытыми данными в сети, и дает хорошее совпадение.

База доступна по адресу: https://www.multi-d.com/HugeMDB.html
идентичный русскоязычный вариант: https://www.elegant-nmr.com/rmdb.html?rm

Мы планируем эту базу всегда поддерживать бесплатно у нас на сайте.

С радостью выслушаю критику, замечания, отзывы, советы.

Спасибо!

С уважением и с наступающими Новогодними праздниками!

EDIT (7.10.2021): отредактировал, поправив актуальную информацию и ссылки

[Гесс]

Прикольно, но несовсем понятно нафига.
1) не отображается число найденных результатов.
Ввел C11 H14 - получил 2250+ результатов. Кто будет отсматривать такое богатство?
2) дикие структуры
Ввел C6 H2 - из 16 структур - 4 нормальных (гептатриин и три его изотопозамещенных), все остальное - структуры из категории фантастики.

Нужна какая то сортировка, но какая я пока сформулировать неготов.

[chemigor]

Спасибо большое за отзыв!

Да, в базе есть "не от мира сего" структуры, ибо основана на PubChem. Обычно если нет 3Д структуры, а набор атомов из обычной органики - это практически сразу - гарантия структуры "не от мира сего".

Чтобы ограничить поиск надо пользовать поиск по функциональным группам.

Рассмотрим, например, Ваш пример, C11 H14, но, например, мы ищем то, что содержит бензольное кольцо и C3H7 группу.

В этом случае вначале в дополнительном поиске (auxilary search) ищем бензол и C3H7 и втыкаем в основной поиск. Получается уже только 45 структур, правда больше половины - все еще не реальных, но всяко, можно все хорошо ограничить.

Попытаюсь в хелпе понятнее про эту сортировку написать, спасибо за наводку!

Прикольно, но несовсем понятно нафига.

для удобного поиска известных молекул и их конформеров на основе составных функциональных групп. Грубо говоря, вот например, я знаю, что хочу найти молекулу с COOH, CH3 и нафталиновым кольцом, и еще чтоб какой-нибудь галоген был, при использовании вспомогательного поиска как раз такой поиск очень легко совершается. У нас эта база как побочный продукт получилась, поэтому готовы давать такой поиск за так, но и хочется чтобы всем удобной была.

1) не отображается число найденных результатов.

в общем виде это довольно сложно, ибо можно написать очень обширный запрос для поиска и тогда в качестве результатов будет под 100+ миллионов ответов, а для этого надо загрузить сервер на пару минут. Буду думать как оповестить пользователя, что поиск может дать огромное число ответов.

[Гесс]

Согласен, auxilary search хорошая штука.
1) Я несколько раз наблюдаю как после выбора фрагмента из аукксиларного поиска - кнопка основного поиска неактивна. Благо можно скопировать CID-коды в новое окно.
С бензолом хороший пример, возможно стоит сделать одноминутное обучающее видео и дать на него ссылку где то на видном месте.
Я решил попробовать найти https://pubchem.ncbi.nlm.nih.gov/compound/15584856
У него нет таких конкретных функциональных групп, я решил искать в ауксиларном поиске норборнадиен C7H8.
Это довольно трудоемко: даже при Range of atoms >15 и <15 (вы б там поставили "больше или равно" и "меньше или равно", а то чисел удовлетворяющих условию 15>X>15 ИМХО мало) надо проскипать 8 страниц. После обретения волшебного кода 8473B жизнь конечно становится веселее, но всеравно но ближайшего дубля https://pubchem.ncbi.nlm.nih.gov/compound/101371782 надо полистать.
Возможно (неуверен) стоит где то дать таблицу типовых CID-кодов, типа бензольного кольца, метильной, карбоксильной, карбонильной группы. (Это не поможет в конкретном случае но возможно вцелом). И если код поддерживает - количество таких функциональных групп. Чтобы например имея в брутто формуле помимо прочего O4 и из аксилиарного поиска код карбоксигруппы - можно было сказать что интересуют структуры с двумя карбоксилатами (дикислоты, диэстеры, и т.п).

[chemigor]

Спасибо большое, Гесс за классные советы!

1) Я несколько раз наблюдаю как после выбора фрагмента из аукксиларного поиска - кнопка основного поиска неактивна. Благо можно скопировать CID-коды в новое окно.

Спасибо! Баг подтверждаю, слишком заумно указал условия и в них сам запутался.

Возможно (неуверен) стоит где то дать таблицу типовых CID-кодов, типа бензольного кольца, метильной, карбоксильной, карбонильной группы.

Просто не успел, даже в сорсах веб интерфейса это уже есть, но просто не успел набить базу типовых групп.

Я решил попробовать найти https://pubchem.ncbi.nlm.nih.gov/compound/15584856

верно, как писатель этого поиска я поступил по-другому

Во вспомогательном поиске я ввел C5 H10 и импортировал первый попавшийся циклопентан с опцией игнорировать водороды.
Дальне также поступил с циклогексаном.
Вот с С8 H16 мне стало лениво листать много страниц, поэтому я ввел С8 и на первой же странице и импортировал непонятно откуда взявшуюся циклическую молекулу С8 но без учета типов связей. После этого искомая структура нашлось уже на 4-ой странице.

Согласен, что поиск надо упрощать, буду думать...

Ключевое, что есть - это сравнение структур молекул и поиск по такому сравнению, вот только как указать удобно все необходимые функциональные группы пока не додумался, а графический редактор делать не хотелось бы.

EDIT (23.12.2020): диапазон - число атомов с меньше/больше на меньше или равно/больше или равно исправил. Кнопка поиска не должна исчезать кроме случаев не правильного диапазона в вводе. Остальные замеченные баги тоже исправил. Также теперь можно вводить все слитно и писать в том числе COOH, она должна распознать все как надо. Отключил временно совсем не от мира сего молекулы.

[chemigor]

EDIT (26.12.2020):

CAS прикрутили, теперь можно искать по PubChem CID и по CAS. Не всегда есть 100% соответствие, так как эту информацию брали из PubChem substances, а там иногда указывают CAS схожих веществ.

EDIT (05.01.2021):

Встроили отображение расстояний между атомами, обычные и торсионные углы. Также добавили набор радикалов (предварительный).

EDIT (12.05.2021):

сильно переделали все, теперь все молекулы с одинаковым графом объединены в один блок, в котором можно и конформеры поискать, и стерео-, диа-стерео-, изотопные изомеры.

Появилась возможность у выбранного варианта конформера сохранить его в MOL файл, а результат поиска сохранить в статический html вместе с визуализатором, чтобы потом не зависимо от базы его просматривать.

База переехала на https://www.multi-d.com/HugeMDB.html
русскоязычная версия переехала на https://www.elegant-nmr.com/rmdb.html?rm

[chemigor]

Скажите, пожалуйста, на сколько будет интересно пользователям, если мы прикрутим к каждому из 1.7 миллиардов конформеров результат DFT расчета, хотя бы в вакууме?

Мне оно самому нужно, но я пока их вычисляю и только у себя складирую, а вот на сколько это будет востребованно и как люди бы хотели это видеть (я могу 3Д контур плотом отрисовывать, или еще как). Или это вообще никому не будет нужно?

[Гесс]

Найдите людей которые делают машинлернинг. На этом наверное можно научить чтото типа ANI.

[amge]

Скажите, пожалуйста, на сколько будет интересно пользователям, если мы прикрутим к каждому из 1.7 миллиардов конформеров результат DFT расчета, хотя бы в вакууме?

По моему, если уж есть конформеры, то нужно их ранжирование по энергии, иначе непонятно, зачем они. И DFT здесь не обязательно, достаточно хорошего силового поля общего назначения (но только хорошего, типа MMFF94, простые вроде UFF или Дрейдинга сколь-либо адекватных конформационных энергий не дают).

как люди бы хотели это видеть (я могу 3Д контур плотом отрисовывать, или еще как). Или это вообще никому не будет нужно?

Мне кажется, что если будут 3D-структуры, то прежде всего нужно иметь возможность скачать файл (например, sdf). Можно прикрутить 3D-вьювер (eg JSMol).

[chemigor]

Спасибо большое, за ответ!

По моему, если уж есть конформеры, то нужно их ранжирование по энергии, иначе непонятно, зачем они.

это уже есть, слева в ответах поиска - энергия конформера - кликнув на нее - выбирается соответсвующий конформер.

И DFT здесь не обязательно, достаточно хорошего силового поля общего назначения (но только хорошего, типа MMFF94

да, именно MMFF94 и используется. Поверх считаю DFT, только результаты пока никуда еще не прикручивал - просто складирую. DFT нужно для своих целей, связанных с ЯМР спектрами. Результатами расчетов DFT готов делиться, но не знаю надо ли, собственно в этом-то и был весь вопрос.

Мне кажется, что если будут 3D-структуры, то прежде всего нужно иметь возможность скачать файл (например, sdf). Можно прикрутить 3D-вьювер (eg JSMol).

это все есть - экспорт в мол файл, и 3Д вьювер, также можно вытащить результат в отдельный файл, чтобы сохранить локально.

[Droog_Andrey]

Трибутиламин по брутто-формуле не нашёл, но нашёл по CAS. Нашлись три конформера, что приятно.

Наиболее низкий по энергии на самом деле второй конформер, но это огрехи DFT.

[chemigor]

Спасибо большое, Droog_Andrey, за отзыв и классный пример!

Действительно по брутто формуле C12H27N у нас почти 7000 соединений в базе, в каждом таком соединении еще и стерео и диастереоизомеров много может быть.

Но у нас есть несколько способов как быстро сузить результаты поиска.

Во-первых, мы заметим, что в трибутиламине нет двойных и тройных связей и не забудем, что кроме C12H27N нет ничего, то есть в поле Include Other Elements: надо выбрать No.

Но, этого, к сожалению, не достаточно, все равно будет почти 2000 результатов.

Но мы вспомним, что в молекуле нет СС(С)C и NC(C)C структур, это которых когда один углерод соединен с тремя и более углеродами, или когда один углерод соединен с азотом и двумя и более углеродами.

Надо поискать на такие структуры и их исключить.

Это делается так: ищем C4H10 и находим третбутил, его используем как углеродный остов, нажав Refine и выключив водороды, тогда в области Radicals у нас появляется кнопка 6360H, кликаем на нее, чтобы она стала со знаком красного запрета. То же самое делаем с C3NH9, и там получается еще 6363H, который тоже надо сделать со знаком красного запрета.

Теперь нажимаем поиск и в результатах имеется только 20 молекул, на 4-том месте как раз искомый трибутиламин.

Наиболее низкий по энергии на самом деле второй конформер, но это огрехи DFT.

Не, там первый конформер дейтерированному варианту соответсвует, просто сортировка этих конформеров еще не устаканилась. Попробуйте, пожалуйста, перщелкнуть зеленый слайдер под молекулой вправо и выбрать именно трибутиламин, и тогда самый низкий по энергии конформер будет тот, что надо.

PS: в названии иногда в конце добавляется лишняя буква, баг известный, но я его уже как три месяца собираюсь исправить, но так и не сделал.

[chemigor]

PPS: редактор фрагментов молекулярных структур для более простого поиска тоже скоро будет, но все никак руки не дошли.

[Droog_Andrey]

Не, я смотрел именно не дейтерированный. Два наиболее низких - с развёрнутыми бутилами и с закрученными к азоту. Второй по энергии ниже за счёт ориентационного ван-дер-Ваальса.

[chemigor]

Спасибо большое, Droog_Andrey!

Честно говоря - это первый отзыв по результатам расчетов, которые я получил. СПАСИБО!!!

Простите, пожалуйста, что переспрашиваю.

Нашлись три конформера, что приятно.

у меня не изотопных в базе 14 конформеров. Это те, что можно под 3Д структурой внизу слева выбрать. Первые четыре аттачу.

Второй по энергии ниже за счёт ориентационного ван-дер-Ваальса.

то есть правильно ли я понимаю, что тот, который 6.5575 должен быть ниже, чем 6.1761? Попытаюсь понять почему, хотя бы для них сравню чистую молекулярную механику, мой DFT и Хартри-Фок. А ведь может и из-за параллельных вычислений где-то не то получаться.

[Droog_Andrey]

Не, я смотрел именно не дейтерированный.

Похоже, тут я ошибся, они там все вперемежку. Речь о конформерах 5.0987 и 1.0604. Первый реально ниже (независимо от дейтерированности).

[chemigor]

Спасибо большое, Droog_Andrey за очень важную информацию!!!

Речь о конформерах 5.0987 и 1.0604. Первый реально ниже (независимо от дейтерированности).

Я почти уверен, что уже нашел причину, похоже в дейтерированных (а также и в других изотопных решениях) я не правильно энергию считаю. А потом сравниваю порстранственную структуру с неизотопным случаем, и, как я понимаю, не то что надо подставляю. Надеюсь в ближайшее время поправить и вынести исправленный вариант на обсуждение. Правда даже пересчет энергии на всей базе с 1.7 миилиардами конформеров - это почти три месяца счета на наших мощностях.

СПАСИБО!!!

[Droog_Andrey]

Рад, что моё наблюдение пригодилось

[amge]

Попробовал поискать 18-краун-6 по такому запросу:

Screenshot_2021-10-18_10-59-23.png

Во-первых, почему Found 50 molecules, когда их 145, а 50 - это только на 1-й странице?
Во-вторых, искомое соединение обнаружилось, но только на предпоследнем месте. А сначала шли откровенно мусорные, которые, 99+ %, никому не будут интересны. В связи с этим, предлагаю рассмотреть введение сортировки "по степени важности", например, по числу записей в поле Information Sources на pubchem (получение этого параметра легко скриптуется). Тогда самые ходовые структуры будут вначале, а за ними - по крайней мере осмысленные, которые упоминаются не только в pubchem. Дополнительно, может, стоит ввести поиск по названию?
В-третьих, у вас 11 конформеров 18-краун-6 в диапазоне 8 кккал/моль. Я делал тщательный конформационный поиск для этой молекулы, их там в этом диапазоне 3000+, причем самый стабильный не тот. Это я к тому, что есть куда совершенствовать ваш генератор конформеров

А вообще, хорошо и, думаю, что будет полезно многим.

[chemigor]

Спасибо большое, amge за развернутый отзыв!!!

Попробовал поискать 18-краун-6 по такому запросу:Screenshot_2021-10-18_10-59-23.png
Во-первых, почему Found 50 molecules, когда их 145, а 50 - это только на 1-й странице?

да, верно, путаница получается, я обрываю поиск на 50 и не считаю сколько там реально можно найти. Вызвано это тем, что если ввести в брутто формулу C1-100 и поискать, то найдется примерно 60 миллионов, но в этом случае мой поиск "зависнит" на минуту, что бы и не хотелось.

Планирую в неоднозначных случаях показывать сообщение "Found at least 100 molecules, first 50 molecules are displayed:"

Во-вторых, искомое соединение обнаружилось, но только на предпоследнем месте. А сначала шли откровенно мусорные, которые, 99+ %, никому не будут интересны. В связи с этим, предлагаю рассмотреть введение сортировки "по степени важности", например, по числу записей в поле Information Sources на pubchem (получение этого параметра легко скриптуется). Тогда самые ходовые структуры будут вначале, а за ними - по крайней мере осмысленные, которые упоминаются не только в pubchem.

Спасибо за идею! Сделаю обязатенльо!

Дополнительно, может, стоит ввести поиск по названию?

долго не решался это сделать, но, кажется придумал как это сделать - надо искать по названию и по фрагментам названия. Единственно, пока в обозримом времени будет только поддержка английских названий.

В-третьих, у вас 11 конформеров 18-краун-6 в диапазоне 8 кккал/моль. Я делал тщательный конформационный поиск для этой молекулы, их там в этом диапазоне 3000+, причем самый стабильный не тот. Это я к тому, что есть куда совершенствовать ваш генератор конформеров

Здорово, спасибо большое за важную информацию.

База строится по фрагментам, то есть я для каждого фрагмента нахожу одну или несколько конформаций, и далее, когда их объединяю, ищу результирующие минимумы уже с учетом таких начальных решений. То, что вместо огромного числа конформеров для 18-краун-6 найдено только 11, говорит только то, что я многие минимумы отбросил, как, неважные (не глубокий и не широкий). Также возможно, что при построении начальных решений я что-то да прошляпил, и оно не стало сходиться туда, куда надо - то есть фактически потерял такой минимум.

Эх, так бы хотелось бы побольше таких примеров, мне тогда будет проще понять, где искать причину и как улучшать.

Так бы было бы здорово, если бы все кто мог бы с нашего формуа попробовали бы еще набросать мне таких же примеров, когда решение получается не ахти, а я бы тогда быстрее смог поправить решалку!

С радостью добавлю в список поддержавших тех, кто будет такими советами помогать.

Спасибо!