| 1.1, Аноним (1), 09:44, 09/12/2019 [ответить] [﹢﹢﹢] [ · · · ]
| –5 +/– |
у меня есть кластер из стационарного компютера и ноутбука. Как задействоват lustre FS
| | |
| |
| 2.36, Michael Shigorin (ok), 20:15, 09/12/2019 [^] [^^] [^^^] [ответить]
| +4 +/– |
 Сперва придётся купить infiniband-карты на оба узла и раз уж пошла такая пьянка -- очевидно, infiniband-коммутатор тоже понадобится. </>
| | |
|
| 1.2, Ю.Т. (?), 10:00, 09/12/2019 [ответить] [﹢﹢﹢] [ · · · ]
| +1 +/– |
 Сводки Top500.org не содержат указаний на типы используемых файловых систем. Ссылка на этот ресурс неуместна.
| | |
| |
| 2.5, Аноним (4), 10:06, 09/12/2019 [^] [^^] [^^^] [ответить]
| +/– |
Поддерживаю. Модераторы, плз, отредактируйте новость, так как ссылка на Top500.org вставлена произвольно и без всяких оснований.
| | |
| |
| 3.10, Штунц (?), 11:17, 09/12/2019 [^] [^^] [^^^] [ответить]
| +/– |
А если бы не было ссылки, что бы спросил? Типа, о каких таких "крупнейших Linux-кластерах" идет речь и почему нет ссылки.
| | |
| |
| 4.16, Аноним (16), 11:30, 09/12/2019 [^] [^^] [^^^] [ответить]
| +6 +/– |
Всё ттх относящееся к Lustre, находится на сайте Lustre - оттуда и надо брать соответствующую информацию. А бубнёж и левую дезинформацию следует из новости удалить, так как она отношения к топику никакого не имеет. На топ500 не детализируют фс, а значит в новости написана произвольная отсебятна. Всё это довольно очевидно, но, видимо, господин Штунц встал сегодня не с той ноги или решил заняться демагогией и поводить вилами по воде.
| | |
|
|
| 2.6, пох. (?), 10:09, 09/12/2019 [^] [^^] [^^^] [ответить]
| –2 +/– | |
к тому же это _вычислительные_ кластеры, а люстра совершенно не для них придумана
| | |
| |
| 3.9, Ю.Т. (?), 10:32, 09/12/2019 [^] [^^] [^^^] [ответить]
| –1 +/– |
> к тому же это _вычислительные_ кластеры, а люстра совершенно не для них
> придумана
Интегрированная ФС и вычислительному кластеру не помешала бы. А то туда прогресс, сюда прогресс, а на узлах-то NFS.
| | |
| |
| 4.14, Аноним (22), 11:23, 09/12/2019 [^] [^^] [^^^] [ответить]
| –1 +/– |
у вас какой-то допопотопный кластер. вот Cray XC поставляется с Lustre, IBM - с GPFS.. а что бы с NFS.. можно - но типа Васяна на коленки из 20 узлов. Или как вот с железкой которую разработали под новосибом.
| | |
| |
| 5.18, Ю.Т. (?), 11:59, 09/12/2019 [^] [^^] [^^^] [ответить]
| –1 +/– |
> у вас какой-то допопотопный кластер. вот Cray XC поставляется с Lustre, IBM
> - с GPFS.. а что бы с NFS.. можно - но
> типа Васяна на коленки из 20 узлов. Или как вот с
> железкой которую разработали под новосибом.
Да мы вообще лохи, фули. И выделенной электростанции, что питать Cray или IBM, у нас тоже нет.
Ну, и как сбрасывать большие файлы с модулей?
| | |
|
| 4.17, пох. (?), 11:33, 09/12/2019 [^] [^^] [^^^] [ответить]
| –1 +/– | |
просто вычислительному кластеру - совсем необязательно нужна такая большая, даже если он из top500.
хотя, конечно, nfs там окажется - навряд ли.
| | |
| |
| |
| |
| 7.50, Michael Shigorin (ok), 18:32, 11/12/2019 [^] [^^] [^^^] [ответить]
| +/– | |
> Как мало ты Миша видел...
Так я и не претендую :-) Бимерская установка в соседнем зале стояла (поди, там же и стоит), но её и видеть особо не хотелось.
Кстати, да -- там в трёх соседних машзалах три разные кластерные файловые системы применялись, получается.
PS: хотя вряд ли здесь так уж много тех, кто видал *исходники* panfs.
| | |
|
|
|
|
|
| 2.11, Аноним (22), 11:19, 09/12/2019 [^] [^^] [^^^] [ответить]
| +3 +/– | |
везде где есть слово Cray, можете читать Lustre.
IBM толкает свою GPFS. остальное - где что, Dell / EMC - это Lustre
| | |
|
| |
| 2.7, пох. (?), 10:10, 09/12/2019 [^] [^^] [^^^] [ответить]
| –4 +/– | |
если не путать системы с петабайтными хламохранилищами с top500 выислительных -то, наверное, правильно - "а что, еще кто-то есть?"
И принадлежат все эти системы - гуглю, гуглю, и, еще вот - гуглю, например.
| | |
| |
| 3.8, Ю.Т. (?), 10:30, 09/12/2019 [^] [^^] [^^^] [ответить]
| –1 +/– |
> если не путать системы с петабайтными хламохранилищами с top500 выислительных -то, наверное,
> правильно - "а что, еще кто-то есть?"
> И принадлежат все эти системы - гуглю, гуглю, и, еще вот
> - гуглю, например.
Так ведь, кажется, у гугля свой внук^W googleFS есть?
| | |
| 3.13, Аноним (22), 11:22, 09/12/2019 [^] [^^] [^^^] [ответить]
| +1 +/– |
у гугла поменьше чем в каком нить ORNL..
ну и по факту эти Top500 это смесь люстры + GPFS и всяких object storage - где-то HDF5 - где-то NVMe over fabric..
| | |
| 3.27, Аноним (27), 15:47, 09/12/2019 [^] [^^] [^^^] [ответить]
| +/– |
>>если не путать системы с петабайтными хламохранилищами с top500 выислительных -то, наверное, правильно - "а что, еще кто-то есть?"
>И принадлежат все эти системы - гуглю, гуглю, и, еще вот - гуглю, например.
Вы говорите, говорите ... (c)
| | |
|
| 2.12, Аноним (22), 11:20, 09/12/2019 [^] [^^] [^^^] [ответить]
| +2 +/– | |
от тех кто эти системы из Top500 руками шупает и cапортит.
Видим слова Cray, DDN, Dell, HPe, EMC - читаем слово Lustre.
видим слова IBM - читаем GPFS.
| | |
| |
| |
| 4.31, Аноним (22), 18:38, 09/12/2019 [^] [^^] [^^^] [ответить]
| +1 +/– |
вот сколько щупал грязными лапами машины из Top500 - не на одной не видел GlusterFS.
Даже у крупных ентерпрайс клиентов - glusterFS не пахнет.
Им пахнет только там где пытались играть в виртуалочки.. и все.
| | |
| |
| 5.35, Pofigis (?), 20:10, 09/12/2019 [^] [^^] [^^^] [ответить]
| +/– |
Top500 - ни разу не enterprise. Это штучные, заказные изделия, а типичный enterprise это типовое, стандартное решение. Крупный enterprise, типа РЖД, ну или хотя бы гугля - это тоже заказные решения и свои даже не отделы, а целые департаменты разработчиков, там ИТ-отдел по кол-ву сотрудников не влезает в целую фирма из "среднего" бизнеса. :)
glusterFS, OpenFlow и прочие SDN это да - там где "играются в виртуалочки". с количеством нод в несколько сотен минимум, парой дестяков СХД и геозащитой.
| | |
| |
| 6.42, Аноним (22), 07:15, 10/12/2019 [^] [^^] [^^^] [ответить]
| +/– |
Top500 это нефига не штучные изделия.
Это обычная линейка NetAPP, DDN, Seagate (теперь Cray) - которая может использоваться и там и там..
Эти же хранилки стоят в куче контор поменьше.. сильно меньше.
| | |
| |
| 7.44, Pofigis (?), 07:47, 10/12/2019 [^] [^^] [^^^] [ответить]
| +/– |
То что изделие собранно из стандартных кирпичиков не отменяет его штучности.
| | |
| |
| 8.46, Аноним (22), 16:35, 10/12/2019 [^] [^^] [^^^] [ответить] | +/– | ох поверке тому кто эту колбасу видит постоянно Нету там штучности особенно в... текст свёрнут, показать | | |
|
|
|
| 5.40, пох. (?), 21:53, 09/12/2019 [^] [^^] [^^^] [ответить]
| +/– | |
> вот сколько щупал грязными лапами машины из Top500
он же вам про энтерпрайз - которые ип...ся за деньги, а не устраивают шоу "сегодня трахнул слона, завтра кита, послезавтра иду трахать Левиафана"
> Даже у крупных ентерпрайс клиентов - glusterFS не пахнет.
> Им пахнет только там где пытались играть в виртуалочки.. и все.
с какого боку он к виртуалочкам? Он для них совершенно непригоден, поскольку все варианты "distributed" в современных версиях имеют пометочку "MapReduce usage only", а в несовременных - "осторожно, мины!"
но ссыкотно, да. Я локации тех ентер-прайс клиентов, которые купили RHGS (а пуще того тех которые не купили, а схватили 6ешплатное) как раз и пытаюсь осторожно выяснить, дабы обходить десятой дорогой.
| | |
| |
| 6.43, Аноним (22), 07:43, 10/12/2019 [^] [^^] [^^^] [ответить] | +/– | Да хоть про какой Весь этот top500 сделан из типовых решений, которые тупо машт... большой текст свёрнут, показать | | |
| |
| 7.52, Michael Shigorin (ok), 15:18, 11/01/2021 [^] [^^] [^^^] [ответить]
| +/– |
 > Весь этот top500 сделан из типовых решений, которые тупо маштабируются количеством.
Мне кажется, скорее "из типовых решений двух-трёхлетней перспективы для ДЦ". Т.е. обкатка как раз на HPC, затем "сползает" в ынтерпрайзъ.
| | |
|
|
|
|
| 3.51, Michael Shigorin (ok), 14:24, 11/01/2021 [^] [^^] [^^^] [ответить]
| +/– |
> от тех кто эти системы из Top500 руками шупает и cапортит.
> Видим слова Cray, DDN, Dell, HPe, EMC - читаем слово Lustre.
Тут, кстати, одни знакомые интересовались люстроводами -- если вдруг Вы прочтёте это письмо и интересно, маякните мне на mike@altlinux.org, пожалуйста.
| | |
|
|
| |
| 2.25, Всем Анонимам Аноним (?), 14:28, 09/12/2019 [^] [^^] [^^^] [ответить]
| –1 +/– |
Честно скажу, Lustre не щупал, чисто по архитектуре.
Lustre нужно тем, у кого очень много storage я так понимаю и у кого много денег. Там куча компонент и каждая не дай бог чтобы упала, должно быть все 10 раз зарезервировано.
Ceph работает немного по-другому, там изначально object storage, желательно полностью дисками управлять. И дизайн такой, что не важно качество железа, не нужно чтобы можно было процы заменять вживую и т.п. Все распределено и падающий сервер - это не исключительная ситуация. Естественно, будут небольшие проседания если что-то отвалится, но в общем все живучее.
Т.е. архитектура ceph не требует гиперживучести от железа, так и дает возможность легко делать upgrade-ы и проводить работы. Да и компонентов не много, можно совмещать все на тех же серверах, где хранение идет. Меньше исключений - проще и дешевле обслуживание.
| | |
| |
| 3.26, Аноним (22), 15:42, 09/12/2019 [^] [^^] [^^^] [ответить]
| +3 +/– | |
Не надо вводить в заблуждение.
> Там куча компонент и каждая не дай бог чтобы упала, должно быть все 10 раз зарезервировано.
там 2 компоненты - MDT / OST. На первом - метаданные - втором данные. для резервирования достаточно простой корзины с jbod - которая доступна с двух контролеров. Совмещать из можно даже на одном сервере.
Основная разница это в хранении.
Если у вас очень много денег - вы можете поставить несколько сторожей с однаковым объемом для зеркалирования в ceph - то у вас будет защита данных.
Так как в lustre mirror - это вещь очень опциональная - за защиту данных отвечает локальный рейд + сетевое recovery.
При этом по прозводительности ceph по меньше.. по меньше..
| | |
| |
| 4.30, пох. (?), 18:21, 09/12/2019 [^] [^^] [^^^] [ответить]
| –1 +/– | |
> там 2 компоненты - MDT / OST
А на картинке в статейке - четыре (роутер, внезапно, тоже компонент, и тоже нужно резервировать) не считая собственно OST (в роли какового вроде бы по сей день обычные hw raid, да?). Мне кажется, кто-то хочет нас обмануть?
| | |
| |
| 5.33, Аноним (22), 18:41, 09/12/2019 [^] [^^] [^^^] [ответить]
| +2 +/– | |
вы старые картинки не смотрите..
роутер нужен для конвертации интерфейсов - если у вас один тип сети - то вам это не надо.
MSG + MDT - в одной компоненте - это штатный сетап.. вот и получается что у вас 2 типа компонент.
>по сей день обычные hw raid,
какой рейд - вы чего? JBOD за уши хватает.
| | |
| |
| 6.34, пох. (?), 19:57, 09/12/2019 [^] [^^] [^^^] [ответить]
| –1 +/– | |
> какой рейд - вы чего? JBOD за уши хватает.
а резервирование данных-то в этом случае кто делать будет? Нам же сказали что люстриный mirror - неправильно, мы и поверили.
Попробовать собрать, что-ли, пока есть на чем... хотя толку от линукс-онли хранилища...
| | |
| |
| 7.39, Аноним (22), 21:05, 09/12/2019 [^] [^^] [^^^] [ответить]
| +2 +/– | |
dm :) или md в ядре. Один фик это быстрее чем нынче аппаратные рейды.
PS. если кто-то сильно хочет - может поискать старую версию Lustre работающую через FUSE. работало даже на маке.
| | |
|
|
|
|
|
|
| 1.41, _dz (?), 02:59, 10/12/2019 [ответить] [﹢﹢﹢] [ · · · ]
| +3 +/– |
Интересно, как там POHMELFS/elliptics поживает?.. Когда-то автор целился в конкуренты люстре.
| | |
| |
| 2.47, Аноним (22), 16:38, 10/12/2019 [^] [^^] [^^^] [ответить]
| +/– |
> Интересно, как там POHMELFS/elliptics поживает?.. Когда-то автор целился в конкуренты
> люстре.
А никак. он в конкуренты не целился абсолютно. хотя бы тем что i_mutex у него глобальный - а значит запись с двух клиентов в один файл не возможна в принципе. Он сам об этом говорил и сказал что менять эту логику не собирается.
| | |
|
|
