The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Компьютер для моделирования (биоинформатика)."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на рабочей станции (Математика и наука / Linux)
Изначальное сообщение [ Отслеживать ]

"Компьютер для моделирования (биоинформатика)."  +/
Сообщение от Isothiocyanate (ok), 10-Янв-19, 11:16 
Добрый день, уважаемые форумчане!

Пол года назад на специализированном форуме по молекулярной биологии в ветке биофизика/матметоды решил обсудить конфигурацию ПК для моделирования структуры и динамики белка (GROMACS 4.5, на CUDA), а так же докинга (AutoDoc)низкомолекулярных соединений к белку.

Но вместо обсуждения получился монолог.

Очень прошу прокомментировать и обсудить, так как возможно для этой цели буду брать/собирать БУ сервер с необходимыми видеокартами. Об этом ниже.

******

GROMACS 4.5 и выше на CUDA

Для вычеслений необходимо, чтобы видеокарта обладала широкой шиной данных ( от 380 бит и больше), большим количеством шейдеров (от 512), высокой тактовой частотой памяти и ядра, большим объемом памяти с высокой частотой, но меньшим, чем для графики. Геймерские карты не подходят - у них 128 битные шины, это слишком узко. А у предназначенных для дизайна и графики - много памяти, но слабая вычислительная мощность. Видеокарты такого типа должны хорошо справляться с рассчетами преобразований Фурье, целочисленными операциями и вычислениями с плавающей запятой. Этим требованиям удовлетворяет EVGA GTX 580 (40nm) , архитектура Ферми или Коперник. Данный агрегат потребляет мощность в 600 Вт и требует установки дополнительного блока питания только для видеокарты, а так же надежной системы охлаждения, возможно водяной.

Работать она будет хорошо в архитектуре Intel Потребуется процессор Core i7, материнская плата Gigabyte, 8-16 Гб ОЗУ с частотой 2400 Мгц, блок питания для компьютера от 650 Вт, жесткий диск или SSD, дисковод и переферия - по усмотрению. ОС Linux Debian 9.4 x64.

Такая видеокарта, б.у. на eBay стоит вот столько - EVGA GTX 580 (590 USD - 740 USD - разные модификации новых карт с сайта производителя)
https://www.ebay.com/bhp/gtx-580

А вот ее модификации, с водяным охлаждением и увеличенным объемом памяти - https://3dnews.ru/610882

Тесты в GROMACS: http://www.gromacs.org/Downloads/Installation_Instructions/G...

Картинка http://www.gromacs.org/@api/deki/files/146/=gmx-4.5_DHF...

Как видим по тестам она превосходит более дорогую и новую Tesla, что связано с шириной шины, и уж подавно - вычисления на ЦП. Жалко, что GROMACS не поддерживает параллельные вычисления на двух видеокартах, или я ошибаюсь?

Цена такого проекта от 1500 USD до 2000 USD, это не дешево, но толька такая система способна тягаться с кластером и выдавать от 160 до 170 наносекунд динамики в GROMACS за 24 часа работы.

Экономически по цене и потребляемой электроэнергии это выгоднее, чем кластер из б.у. копьютеров.

Можно ли заниматься по тому же механизму докингом? Что для этого нужно? Какие еще программы можно выполнять в такой системе?

У кого какие мнения или советы по данной конфигурации и ПО?

Важный вопрос: Можно ли использовать не одну EVGA GTX580, а 2, в паре? Или ферму из четырех?
"понимает" ли это GROMACS - в поисковиках ответа не нашел...


***

Что касается наносекунд за 24 часа, то в рассмотренном примере 160 наносекунд были получены для белка с 2489 атомами в воде, общее количество атомов в системе 23569. В более простых задачах можно получить и 900 наносекунд за 24 часа.

А теперь что касается рассчетов на ЦП и объема оперативной памяти. Для физических расчетов использовали многоядерные процессоры и ОЗУ с большой частотой объемом 64 Гб. Оказалось, что не столько количество ядер, сколько частота ядер и памяти а так же ее объем оказались главным фактором, определяющим производительность системы. Т.е. вся задача должна быть в ОЗУ. На производительность влияют в таком порядке следующие факторы :

1. Maximum clock frequency
2. Maximum memory bandwidth/core
3. number of cores

Т.е. количество ядер конечно влияет, но не на первом месте.

Детальнее об этом по ссылке
https://www.comsol.ru/forum/thread/127801/cpu-comparison-for...

В принципе, в данных задачах использовался объем ОЗУ 10 Гб из 64 Гб. Исходя из этого лучше брать многоядерный Xeon чем Core i7. Это так же подтверждается тестом на GROMACS.

http://www.gromacs.org/@api/deki/files/146/=gmx-4.5_DHF...


*****

Подобрал такие конфигурации.
1. Масштабируемый мощный вариант.
Процессор - Intel Xeon E5-2630v2 x 1шт.
Материнская плата - Intel S2600CP
Охлаждение - Охлаждение - Башенное Performa + 3 корпусных вентилятора 120 мм
Оперативная память - 32Gb DDR3 ECC
Сеть - 2*1 Gbe LAN port
Управление - IPMI
Видеокарта - встроенная (возможно установить любую)
Жесткий диск - 1*2Tb
Блок питания - 1200W
Корпус - Vinga Titan
950 - 1000 USD без EVGA GTX 580
Память можно поставить максимум 1600 Gb, выше нет смысла процессор не понимает. Еще можно установить 1 дополнительный многоядерный многопоточный процессор Intel Xeon E5-2630v2 и дополнительные жесткие диски. Итого 1600 USD с EVGA GTX 580. Корпус компьютера позволяет организовать хорошее охлаждение и процессора и видеокарты.

2. Бюджетный вариант.
Socket 1151
1. Процессор Intel Core i3-7100 (BX80677I37100)
2. Мат плата Gigabyte GA-B250M-D3H
3. оперативная память TEAM 8 GB DDR4 2400 MHz (TPRD48G2400HC1601)
или Kingston DDR4-3000 8192MB PC4-24000 HyperX Predator Black (HX430C15PB3/8)
4. SSD/HDD Western Digital Red 1TB 5400rpm 64MB WD10EFRX 3.5 SATA III или
Kingston SSDNow A400 120 GB (SA400S37/120G)
5. БП Raidmax Cobra 1200W (RX-1200AE-B)
6. Корпус Vinga Titan или Zalman Z3 Black
7 кулер под процессор Deepcool Iceedge Mini FS V2.0 и еще несколько корпусных вентилятора 120 мм
Итого 480 USD без EVGA GTX 580, или 1100 USD с EVGA GTX 580.

У кого какие предложения, замечания , пожелания?

********

Кстати, вот сравнение видеокарт, где Radeon RX Vega 64 демонстирует лучшие характеристики по сравнению с EVGA GTX 580. (шина 2048 бит и 4096 унифицированных шейдерных блока).

https://www.overclockers.ua/video/gpu/compare/452-280-353-28.../

********
Для проведения докинга низкомолекулярных соединений (ингибиторов к ферментам, например), используют программу Autodock.
Ее последняя модификация Vina:   http://vina.scripps.edu/

Сравнение Autodock 4 vs Vina:
https://www.researchgate.net/post/What_is_the_major_differen...
https://www.researchgate.net/post/Is_the_AutoDock_Vina_the_b...

Сравнение на примере ингибитора фермента протеазы ВИЧ:
https://journals.plos.org/plosone/article?id=10.1371/journal...

Технические требования к ПК/кластеру:
http://vina.scripps.edu/manual.html
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4801993/
Автоконфигурируемая система MOLA:
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2987878/

Я так понял, мне хватит 4-8 ядерного Xeon желательно с гипертрейдингом?
Или серверной материнки с двумя ксеонами?

Стоит ли брать отдельно ПК для структуры и динамики на CUDA, отдельно для докинга? Или можно совместить?

Докинг можно выполнять только на ЦП, на двух ЦП, на кластере, а на видеокарте через CUDA нельзя?


*********

Извиняюсь за ДЛИННОПОСТ и МНОГОБУКФ, но вопрос стоит остро и требует компетентного обсуждения...
Буду признателен за любую помощь.

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "Компьютер для моделирования (биоинформатика)."  +/
Сообщение от _RedD_ (?), 11-Янв-19, 08:44 
Слишком сложно для среднестатистического линуксоида...

Бери viking d16

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Компьютер для моделирования (биоинформатика)."  +/
Сообщение от _RedD_ (?), 11-Янв-19, 08:56 
https://www.opennet.dev/opennews/art.shtml?num=46145
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Компьютер для моделирования (биоинформатика)."  +/
Сообщение от Isothiocyanate (ok), 11-Янв-19, 09:36 
> https://www.opennet.dev/opennews/art.shtml?num=46145

http://cpuboss.com/cpus/Intel-Xeon-X5550-vs-AMD-FX-8150

Под "бульдозер"?  Не знаю как он покажет себя в молекулярной динамике, по тестам он близок к ксеону, но больше ядер и энергопотребление, а выхлоп почти одинаковый.

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

4. "Компьютер для моделирования (биоинформатика)."  +/
Сообщение от Andrey Mitrofanov (?), 11-Янв-19, 09:51 
> https://www.opennet.dev/opennews/art.shtml?num=46145

#>>сертификат "Respect Your Freedom"
#>>Vikings D16 (ASUS KGPE-D16)

Пару лет тому один хакерский проект GNU
  https://www.gnu.org/software/guix/blog/2016/growing-our-buil.../
купил (или получил в дар?) себе этой самой D16 для "нового сервера".

libreboot, linux-libre, что-то не срослось последнее, что я слышал про эту плату/сервер, что "проект получил ценные уроки в процессе попыток оно запустить" (ссылки не нашёл сейчас).  То ли зависания, то ли краши (может, память "не совместимая" (хотя мемтесты они гоняли, кажется, без проблем), может, ещё чего не так проиничено, мож, корпус кривой -- как знать).

Так и нет у них "нового сервера".  :/

Понятно, что не все упираются рогом в linux-libre и скрижали-вериги им.тов.Столмана -- вот чтоб именно так и прямо на себе.  Может, оно с федорой/дебианом и просто coreboot-ом (биосом не дай бг) будет жить долго и счастливо.  Может, память (или что?) взлетит и заведётся без проблем.

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

5. "Компьютер для моделирования (биоинформатика)."  +/
Сообщение от Isothiocyanate (ok), 14-Янв-19, 11:37 
1. Самый распространенный софт для биоинформатики:
https://www.bioinformatics.org/wiki/Software
https://en.wikipedia.org/wiki/List_of_sequence_alignment_sof...

(забыли еще вьюверы типа Chimera, PyMOL, программы для генной инженерии Vector NTI, UNIGEN, эволюционный софт типа MEGA, Clustal W, PerlPrimer, статистику R (GUI - RStudio), математику Maxima...)

Из этого конкретно в данной теме интересуют AutoDock и GROMACS.

2. Что используют (в плане дистрибутивов) люди для биоинформатики:
https://www.researchgate.net/post/Which_Linux_distro_do_you_...
https://www.biostars.org/p/16778/
http://seqanswers.com/forums/showthread.php?t=4912

(Debian совместим с BioLinux, можно просто добавить репозиторий)

3. Что используют для построения вычислительного кластера (ОС и железо):
https://www.linuxjournal.com/article/7936
https://github.com/WGLab/biocluster
http://www.ks.uiuc.edu/Training/SumSchool/materials/lectures...
https://www.reddit.com/r/bioinformatics/comments/60o9fj/serv.../


Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

6. "Компьютер для моделирования (биоинформатика)."  +/
Сообщение от _RedD_ (?), 15-Янв-19, 13:12 
А что лучше сервер с 32 ядрами или кластер из 32 одноядерных машин ?
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

7. "Компьютер для моделирования (биоинформатика)."  +/
Сообщение от Isothiocyanate (ok), 15-Янв-19, 14:11 
> А что лучше сервер с 32 ядрами или кластер из 32 одноядерных
> машин ?

По идее, у AMD есть не только 32 ядерный процессор, но и 64 ядерный (AMD Epyc Rome), который делает два 28 ядерных ксеона (Xeon Platinum 8180M) в тесте C-Ray (AMD 28,1 с, а система Intel — 30,2 с.)
https://www.ixbt.com/news/2018/11/07/64-cpu-amd-epyc-c-ray-i...

Кластер из б.у. компьютеров уровня Атлон 2007-2009 года может и обойдется дешевле, но сложность инфраструктуры и потребление энергии, шум и квадратные метры для размещения делают его менее привлекательным.

Поэтому я и обратил внимание на конфигурацию сервера с двумя 4-8 ядерными процессорами с гипертрейдингом и 1-2 GTX580 для специализированных вычислений.

Даже не знаю, что ответить.

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

8. "Компьютер для моделирования (биоинформатика)."  +1 +/
Сообщение от Isothiocyanate (ok), 15-Янв-19, 14:15 
> 2. Что используют (в плане дистрибутивов) люди для биоинформатики:

Интересно, почему Scientific Linux , основаный на RHEL, особо не популярен у биологов:
https://ru.wikipedia.org/wiki/Scientific_Linux
https://www.scientificlinux.org/

Это же как причесанный для десктопа CentOS, с драйверами и кодеками на борту, только в отличие от BioLinux, все научные пакеты ты должен собирать по всему простору интернета сам.

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

9. "Компьютер для моделирования (биоинформатика)."  +/
Сообщение от Luchs (ok), 19-Фев-19, 22:08 
>> 2. Что используют (в плане дистрибутивов) люди для биоинформатики:
> Интересно, почему Scientific Linux , основаный на RHEL, особо не популярен у
> биологов:
> https://ru.wikipedia.org/wiki/Scientific_Linux
> https://www.scientificlinux.org/
> Это же как причесанный для десктопа CentOS, с драйверами и кодеками на
> борту, только в отличие от BioLinux, все научные пакеты ты должен
> собирать по всему простору интернета сам.

ну как, собрался кластер? могу предложить готовое решение. давайте координаты для связи.

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

10. "Компьютер для моделирования (биоинформатика)."  +/
Сообщение от Isothiocyanate (ok), 07-Сен-19, 12:44 
Для моделирования приобрели б.у. сервер HPE ProLiant DL560 Gen8
https://hwf.com.ua/

4 процессора E5-4657L v2 2.4 - 2.9 GHz, 12 core +HT, 30
MB, 115 Watt;  С гипертрейдингом.

32 Гб ОЗУ (2x16GB) DDR3 1600 MHz;

- Сетевой адаптер: FlexibleLOM Adapters;
- Сетевой адаптер [ установлено ]: HPE Ethernet 1Gb 4-port 331FLR
Adapter;
- Контроллер дисковой подсистемы: HPE Smart Array P420i ( до 60
6Gbps SAS / 6Gbps SATA ; RAID 0, 1, 10 );
- Дополнительно: (x1) Корзинки для 2.5" HDD / SSD [ HPE gen8 / gen9 ];
- Удаленное управление и мониторинг: iLO4 IPMI 2.0 [ Advanced Pack
License ]:
- Блок питания: (x2) HP 750W Common Slot Platinum Plus Hot Plug Power
Supply Kit.

ИБП (UPS) линейно-интерактивный APC Smart-UPS
3000VA,
- Новые аккумуляторы для ИПБ CSB Battery 12 B, 17 Ач,

Монитор Samsung, набор клавиатура+мышь Logitech, шнуры и т.д.

Посмотрим как он себя зарекомендует...

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

11. "Компьютер для моделирования (биоинформатика)."  +/
Сообщение от Luchs (ok), 20-Сен-19, 22:36 
>[оверквотинг удален]
> - Удаленное управление и мониторинг: iLO4 IPMI 2.0 [ Advanced Pack
> License ]:
> - Блок питания: (x2) HP 750W Common Slot Platinum Plus Hot Plug
> Power
> Supply Kit.
> ИБП (UPS) линейно-интерактивный APC Smart-UPS
> 3000VA,
> - Новые аккумуляторы для ИПБ CSB Battery 12 B, 17 Ач,
> Монитор Samsung, набор клавиатура+мышь Logitech, шнуры и т.д.
> Посмотрим как он себя зарекомендует...

сер, я не про железо, я про ресурсы. на шару. давайте координаты для связи. могу лично в институт заглянуть.

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру