1.1, Аноним (-), 11:32, 19/05/2015 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
Кто нибудь использует в продакшене сие? Как будет работать на медленных каналах? И кстати как решаются конфликты: например два пользователя с небольшой задержкой изменяют файлы на двух распределенных серверах...
| |
|
2.11, Vee Nee (?), 13:51, 19/05/2015 [^] [^^] [^^^] [ответить]
| +/– |
Пытались использовать в связке с qemu-kvm для хранения томов ВМ. В качестве транспорта был использован rdma (InfiniBand). Как только начиналась нагрузка - начинали сыпаться ошибки IO. Причем нестабильно, иногда были иногда нет. По ethernet 1gb года 2-3 уже исошники инсталляционные синхронизирует между кучкой машин без проблем, но там редко что-то менается. Так что выходит что-то там работает, что-то нет :) Все надо щупать самому.
| |
2.12, Demo (??), 14:21, 19/05/2015 [^] [^^] [^^^] [ответить]
| +/– |
Используем в продакшене несколько хранилищ на Gluster (сотни терабайт).
Если ничего не трогать в ФС бриков и не добавлять или удалять брики — работает на приём и на отдачу хорошо. Не дай бог, если что-то произошло с FS или отвалился брик, а в это время юзер что-то записал на оставшеся — всё, начинаются проблемы. Кошмаром для админов будет состояние split brain.
> Как будет работать на медленных каналах?
Огромной проблемой является листинг каталогов (DHT феерически тормозит). Листинг каталога в несколько тысяч файлов через WAN превратится для ваших пользователей в мучительный процесс с неизвестным исходом. Оно то и через LAN тормозит не меньше.
Хочется перейти на что-то более вменяемое. Но вот буквально сегодня тестировал Ceph Hammer в 3-хнодовой конфигурации. По питанию рубанул два узла. Один OSD (хранилище) не поднялся по причине порчи журнального файла. И пока вручную не скажешь, что отсутствие одного OSD — это нормально, ввод-вывод на всё хранилище замораживается. По поводу восстановления журнального файла разработчики предлагают с помощью какой-то утилитки из бета-версии (testing) вручную вытягивать сотни Placement Groups. Затем убивать хранилище, создавать новое, с новым журналом, и заполнять его сохранёнными Placement Group-ами на свой страх и риск. — Ну, это не на много лучше ада с gfid-ами в Gluster.
| |
|
3.15, Аноним (-), 16:19, 19/05/2015 [^] [^^] [^^^] [ответить]
| +/– |
Ceph можно изначально сконфигурировать (или потом) на предмет работы в degraded-состоянии.
И, да, три узла - это ни о чём. Ну и отсутствие бесперебойника может "Убить" любую FS при определённом стечении обстоятельств. А при чётном количестве мониторов и у Ceph может случиться раздвоение личности...
| |
|
4.18, Demo (??), 19:25, 19/05/2015 [^] [^^] [^^^] [ответить]
| +/– |
> Ceph можно изначально сконфигурировать (или потом) на
> предмет работы в degraded-состоянии.
Указано было в конфиге:
osd pool default min size = 1
> три узла - это ни о чём
Для тестирования достаточно.
> отсутствие бесперебойника может "Убить" любую FS при определённом стечении обстоятельств
С FS всё нормально. Накрылся журнальный файл OSD во время самовосстановления. OSD вываливается по Assertion failure через некоторое время после запуска.
| |
|
5.19, тот же самый (?), 21:00, 19/05/2015 [^] [^^] [^^^] [ответить]
| +/– |
Хм, видимо сыроват, гонял 0.87 - на подобное не нарывался. А какой дистр использовался и откуда ставился ceph?
| |
|
6.27, Demo (??), 11:48, 21/05/2015 [^] [^^] [^^^] [ответить]
| +/– |
А какой дистр использовался и откуда ставился ceph?
CentOS 7.1.1503.
Ceph Hammer устанавливался по документации из репозитария ceph.com.
| |
|
|
|
3.24, mrd (??), 23:39, 19/05/2015 [^] [^^] [^^^] [ответить]
| +/– |
У нас уже года 2 кластер ceph где-то 150 терабайт по-моему. Точно не помню. Нужно делить на 4 потому что 4 копии хранятся (по 2 на датацентр).
Вроде ничего. Проблемы только когда IO/s от клиентов превышают возможность кластера (чего нужно избегать и расширять или улучшать кэширующий слой преждевременно).
Ceph FS еще не готов, хотя в ограниченом виде мы его используем тоже. В принципе, года через 1.5 возможно можно будет использовать. Но, опять же, это для ленивых или Windows по сути. Программно без файловой системы через S3 например вполне все хорошо работает.
| |
|
4.25, mrd (??), 23:40, 19/05/2015 [^] [^^] [^^^] [ответить]
| +/– |
> У нас уже года 2 кластер ceph где-то 150 терабайт по-моему. Точно
> не помню. Нужно делить на 4 потому что 4 копии хранятся
> (по 2 на датацентр).
> Вроде ничего. Проблемы только когда IO/s от клиентов превышают возможность кластера (чего
> нужно избегать и расширять или улучшать кэширующий слой преждевременно).
> Ceph FS еще не готов, хотя в ограниченом виде мы его используем
> тоже. В принципе, года через 1.5 возможно можно будет использовать. Но,
> опять же, это для ленивых или Windows по сути. Программно без
> файловой системы через S3 например вполне все хорошо работает.
Я имел ввиду ceph с самого начала.
| |
|
|
2.16, Аноним (-), 17:59, 19/05/2015 [^] [^^] [^^^] [ответить]
| +/– |
> Кто нибудь использует в продакшене сие? Как будет работать на медленных каналах?
> И кстати как решаются конфликты: например два пользователя с небольшой задержкой
> изменяют файлы на двух распределенных серверах...
На гигабите живёт на грани приемлемого, потому лучше бы поиметь десяточку или воспользоваться пондингом, в интернетах пишут, что отличается от ceph и hdfs способностью отдать по сети 100гигабит в секунду, тормоза возникают только при доступе к метаданным фс. Медленнные каналы — не для распределённой фс, но по ним кое-как можно заставить работать гео-репликацию. Конфликты решаются блокировками, как и везде.
| |
2.20, AlexAT (ok), 21:09, 19/05/2015 [^] [^^] [^^^] [ответить]
| +/– |
Вообще 3.4 работала очень неплохо. 3.7 обещает быть очень вкусной, надо тестить. Конфликты не решаются никак - синхронное хранилище, соответственно на медленных каналах будет задница.
| |
2.22, Xasd (ok), 21:25, 19/05/2015 [^] [^^] [^^^] [ответить]
| –1 +/– |
> И кстати как решаются конфликты: например два пользователя с небольшой задержкой изменяют файлы на двух распределенных серверах
а если бы этот файл хранился бы на локальной файловой системе (ext4 например) -- и два пользователя бы примерно-одновременно его меняли бы его -- то как разрешился бы этот конфликт? :-)
| |
|
1.3, Shodan (ok), 12:36, 19/05/2015 [ответить] [﹢﹢﹢] [ · · · ]
| –1 +/– |
> Кто нибудь использует в продакшене сие? Как будет работать на медленных каналах?
Я думаю таких чудаков в продакшене нет.
Последний раз когда тестировал гластер, скорость была ужасающе низкой.
Но тема очень перспективная.
| |
|
2.4, svr (?), 12:48, 19/05/2015 [^] [^^] [^^^] [ответить]
| +/– |
У нас на glasterfs живут/жили в продакшене данные нескольких puppet мастеров и была организована копия мастер-ноды хадупа. Проблем не было
| |
|
3.5, Shodan (ok), 12:53, 19/05/2015 [^] [^^] [^^^] [ответить]
| +2 +/– |
> У нас на glasterfs живут/жили в продакшене данные нескольких puppet мастеров и
> была организована копия мастер-ноды хадупа. Проблем не было
"По сравнению с прошлым выпуском в GlusterFS 3.7 закрыто более 600 отчётов об ошибках"
| |
|
4.7, Fomalhaut (?), 13:15, 19/05/2015 [^] [^^] [^^^] [ответить]
| +1 +/– |
>> У нас на glasterfs живут/жили в продакшене данные нескольких puppet мастеров и
>> была организована копия мастер-ноды хадупа. Проблем не было
> "По сравнению с прошлым выпуском в GlusterFS 3.7 закрыто более 600 отчётов
> об ошибках"
Ошибка ошибке рознь (С)
| |
|
|
2.21, AlexAT (ok), 21:10, 19/05/2015 [^] [^^] [^^^] [ответить]
| +/– |
> Я думаю таких чудаков в продакшене нет.
> Последний раз когда тестировал гластер, скорость была ужасающе низкой.
Да ладно, я его под большой кластер вебморды личного кабинета юзерам и под хранилку конфигов+записей разговоров юзал - причём через fuse заметно шустрее NFS на мелочи.
Единственный нюанс - сырое слегонца. Особенно в части блокировок. Сессии и почту на нём лучше не хранить.
| |
|
1.23, Аноним (-), 21:52, 19/05/2015 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
Работает и в продакшн варианте, в одной сети живут 5 инсталляций. 45 терабайт видео и картинок вполне себе существуют уже 3 год как. Да, медленно листаются каталоги и поиск медленно происходит, но если знаешь полный путь то все работает на ура. С восстановлением в случае сбоев танцевать приходится, но в остальном все хорошо, легко и дёшево!
| |
|
2.26, Аноним (-), 15:05, 20/05/2015 [^] [^^] [^^^] [ответить]
| +/– |
> 45 терабайт видео и картинок
Распределенный архив порнухи студенческого кампуса? Круто!!!
| |
|
|