Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерной ФС"	+/–
Сообщение от opennews (??), 23-Мрт-24, 23:03
Опубликован выпуск 1.5.0 программной системы хранения данных Vitastor с поддержкой кластерной файловой системы (VitastorFS). Vitastor - распределённая блочная программная система хранения данных, то есть, хранилище образов виртуальных машин или дисков контейнеров, развиваемая автором с 2019 года. Начиная с выпуска 1.5.0, это также и кластерная файловая система. VitastorFS монтируется по протоколу NFS 3.0 с локально или удалённо запускаемого сервера/серверов... Подробнее: https://www.opennet.dev/opennews/art.shtml?num=60835
Ответить | Правка | Cообщить модератору

Сообщения

[Сортировка по времени | RSS]

1. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+7 +/–
Сообщение от Аноним (1), 23-Мрт-24, 23:03
Не могу понять как файловая система может называться кластерной если "File locking is not supported". Расходимся.
Ответить | Правка | Наверх | Cообщить модератору

	4. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Карлос Сношайтилис (ok), 24-Мрт-24, 00:54
	С локами был бы дольше доступ
	Ответить | Правка | Наверх | Cообщить модератору

	5. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+1 +/–
	Сообщение от Аноним (5), 24-Мрт-24, 01:02
	Жиденькое оправдание. У NFS сетевой лок отключается опцией монтирования.
	Ответить | Правка | Наверх | Cообщить модератору

	34. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+1 +/–
	Сообщение от Всем Анонимам Аноним (?), 24-Мрт-24, 15:31
	Что интересно, это что как раз автор и сказал, что существующие проекты не подошли ему тем, что не по настоящему FS у них были
	Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

	39. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Всем Анонимам Аноним (?), 24-Мрт-24, 17:03
	Если вчитаться, то там много файлов тоже нельзя хранить пока. Оно сделано в основном чтобы подключить VMWare с большими image файлами
	Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

	40. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+1 +/–
	Сообщение от Antilles (?), 24-Мрт-24, 17:59
	Ну вот с этой версии как раз можно не только к VMware подключать, но и просто к хостам как CephFS
	Ответить | Правка | Наверх | Cообщить модератору

	53. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от нах. (?), 25-Мрт-24, 16:53
	но... э.. у вмвари собственная sds. И - что характерно - не экспериментальная и работает.
	Ответить | Правка | К родителю #39 | Наверх | Cообщить модератору

	69. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от vitalif (ok), 25-Мрт-24, 23:38
	> но... э.. у вмвари собственная sds. И - что характерно - не > экспериментальная и работает. и стоит мешок бабла
	Ответить | Правка | Наверх | Cообщить модератору

	83. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от нах. (?), 26-Мрт-24, 01:43
	Те кто купили вмварь с extended support - даже и не заметят этот "мешок" (к тому же на фоне железа опять же - ни о чем) А покупка непонятного нечта от непонятных васянов всегда оборачивается в десятки раз дороже.
	Ответить | Правка | Наверх | Cообщить модератору

2. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+4 +/–
Сообщение от Васян из васяна (?), 23-Мрт-24, 23:26
"Basically, you can't use the software in a proprietary environment to provide its functionality to users without opensourcing all intermediary components standing between the user and Vitastor or purchasing a commercial license from the author 😀."
Ответить | Правка | Наверх | Cообщить модератору

	3. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+5 +/–
	Сообщение от Аноним (5), 23-Мрт-24, 23:45
	Зачот. Все бы так делали.
	Ответить | Правка | Наверх | Cообщить модератору

	7. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	–1 +/–
	Сообщение от нах. (?), 24-Мрт-24, 01:24
	Basically, you can't use the software in a proprietary environment. Вот тут надо было и остановиться. Суть не изменилась, и меньше писанины.
	Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

	9. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+2 +/–
	Сообщение от Аноним (5), 24-Мрт-24, 01:32
	То есть вариант purchasing a commercial license from the author товарищЪ Н.И. Щук принципиально не рассматривает? Ну да, куда ж ему.
	Ответить | Правка | Наверх | Cообщить модератору

	10. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от нах. (?), 24-Мрт-24, 01:37
	Конечно нет - кому нужна коммерческая лицензия на неведомое г-но, используемое непонятными дол..е..ми? Ну ждите, ждите, к вам бегом в очередь побегут с мешками денег. (нет)
	Ответить | Правка | Наверх | Cообщить модератору

	14. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+3 +/–
	Сообщение от Аноним (5), 24-Мрт-24, 02:57
	> Конечно нет - кому нужна коммерческая лицензия на неведомое г-но, используемое непонятными дол..е..ми? История продаж компании Microsoft говорит, что много кому.
	Ответить | Правка | Наверх | Cообщить модератору

	17. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Аноним (17), 24-Мрт-24, 05:16
	> История продаж Именно что история. Как у этого продукта с историей? Есть чем похвастаться? Может быть, какие-то клиенты большие есть? Большие деплои? Нет? Ну тогда за свои деньги я лучше у Майкрософта куплю.
	Ответить | Правка | Наверх | Cообщить модератору

	36. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	–1 +/–
	Сообщение от Аноним (5), 24-Мрт-24, 16:16
	> Как у этого продукта с историей? Есть чем похвастаться? Может быть, какие-то клиенты большие есть? Большие деплои? У мелкософта всё это есть, но стали ли от этого его продукты менее г? То-то и оно.
	Ответить | Правка | Наверх | Cообщить модератору

	49. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Аноним (49), 25-Мрт-24, 11:58
	>> История продаж > Именно что история. А если это не для продаж, а для личного развития.
	Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

	56. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Аноним (17), 25-Мрт-24, 20:46
	Ты действительно думаешь, что кому-то кроме тебя интересен твой локалхост? Тут у каждого дюжина своих имеется. Но локалхост на то и локал, что на нём любая дичь сносно работает. Ребятки себя, вижу, позиционируют как нефигово энтерпрайзный опенсорс (с типичным МГИМО ФИНИШЕД в лицензии). Ну вот пусть и рассказывают, чем они лучше того же Майкрософта.
	Ответить | Правка | Наверх | Cообщить модератору

	64. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Аноним (64), 25-Мрт-24, 22:36
	Достаточно много внедрений. Просто СХД — самая консервативная область в ИТ инфраструктуре, там не меняют архитектуру хранилища только потому, что у менеджера левая пятка зачесалась. Поэтому никому в голову не приходит бодро рапортовать.
	Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

13. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+3 +/–
Сообщение от Аноним (13), 24-Мрт-24, 02:40
Гениально. Вот бы Линус Торвальдс так запретил использовать ядро Linux в свое время...
Ответить | Правка | Наверх | Cообщить модератору

	18. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+1 +/–
	Сообщение от penetrator (?), 24-Мрт-24, 08:50
	возможно тогда я бы сейчас не писал с нота под линухой, а жрал бы какую-нибудь вендузятину
	Ответить | Правка | Наверх | Cообщить модератору

	20. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от нах. (?), 24-Мрт-24, 10:13
	Не, ну ноут-то с 6ешплатное-взять-взять ты бы мог использовать (насчет стабильности работы правда... ну вон некоторые пользуются даже openbsd, как-то оно работает) А я вот точно админил бы винду и винду. Ну может реееедко какой солярис или даже может быть выжила бы SCO. Но там желающих было бы в сто раз больше чем вакансий (как оно и было в 90е) да и тем бы приходилось периодически ковыряться в IIS.
	Ответить | Правка | Наверх | Cообщить модератору

	19. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от kvaps (ok), 24-Мрт-24, 09:02
	> Вот бы Линус Торвальдс так запретил использовать ядро Linux в свое время... Он ярый противник GPL3 и предпочитает GPL2
	Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

	26. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+1 +/–
	Сообщение от Аноним (-), 24-Мрт-24, 12:13
	Не надо перевирать. Линукс не ярый противник GPL3. Ему говорили: "Переведи ядро на GPL3". Он отвечал типа, "Отстань, замолкни, остановись. Да, есть проблема тивоизации, но всё же нет ничего лучше GPL2". Его слова свидетельствуют. что он не ярый противник, просто он хочет чтобы его не доставали с вопросами о лицензии.
	Ответить | Правка | Наверх | Cообщить модератору

	38. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Аноним (38), 24-Мрт-24, 16:20
	Самая главная проблема там, это то, что ядро под GPLv2 без плюса. А это значит, что обязаны получить согласие ото всех, чьи патчи когда-либо были приняты в ядро. Что, по понятным причинам, нереально.
	Ответить | Правка | Наверх | Cообщить модератору

	44. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	–1 +/–
	Сообщение от _ (??), 25-Мрт-24, 00:45
	>Самая главная проблема там, это то, что ядро под GPLv2 без плюса. И без передачи прав дяде. И  это единственное почему толстячки ваш линукс никак не могут выкупить, но вон анонишка от этого имеет анальную боль. А CPL c плюсом ... уже забыли как мозолееда выпнули на роль вахтера с его же фонда? :) А потом ВНЕЗАПНА!(C) GPL4 окажется буква в букву равна MS EULA ... что скажете фантастика? А вы посмотрите чего делалось за последние лет 20 -  и не такое оказалось вполне себе возможным. За 100% прибыли нет такого преступления (С)
	Ответить | Правка | Наверх | Cообщить модератору

	41. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Минона (ok), 24-Мрт-24, 22:18
	Просто он понимает, что не надо пилить сук на котором сидишь.
	Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору

	45. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от _ (??), 25-Мрт-24, 00:46
	Он просто занет что с ними делать (С) Порудчик
	Ответить | Правка | Наверх | Cообщить модератору

21. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+1 +/–
Сообщение от Аноним (21), 24-Мрт-24, 10:45
есть примеры продуктива?
Ответить | Правка | Наверх | Cообщить модератору

	22. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	–1 +/–
	Сообщение от Аноним (22), 24-Мрт-24, 11:12
	Облако МТС =)
	Ответить | Правка | Наверх | Cообщить модератору

	30. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от vitalif (ok), 24-Мрт-24, 13:03
	Там была варя :-). А вот если бы был витастор!..
	Ответить | Правка | Наверх | Cообщить модератору

	87. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Аноним (87), 26-Мрт-24, 09:16
	таки пример продуктива то есть?
	Ответить | Правка | Наверх | Cообщить модератору

	29. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от vitalif (ok), 24-Мрт-24, 13:03
	есть, как раз у автора оператора например :)
	Ответить | Правка | К родителю #21 | Наверх | Cообщить модератору

	37. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+1 +/–
	Сообщение от Аноним (5), 24-Мрт-24, 16:17
	Указанный в статье оператор с прошлого лета не подаёт признаков жизни.
	Ответить | Правка | Наверх | Cообщить модератору

	43. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+1 +/–
	Сообщение от vitalif (ok), 24-Мрт-24, 23:54
	ответить на скрытый коммент не могу. в общем, оператор используется в проде, возможно код на гитхабе не обновлён, но он используется. по поводу оператора залетайте в тг чатик @vitastor и тыкайте @antillles-а, он и обновит
	Ответить | Правка | К родителю #29 | Наверх | Cообщить модератору

	88. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Аноним (87), 26-Мрт-24, 09:17
	автора оператора ничо  не понял
	Ответить | Правка | К родителю #29 | Наверх | Cообщить модератору

	93. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от vitalif (ok), 26-Мрт-24, 11:24
	автор k8s-оператора (Antilles который)
	Ответить | Правка | Наверх | Cообщить модератору

27. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	–1 +/–
Сообщение от YetAnotherOnanym (ok), 24-Мрт-24, 12:25
> Идея VNPL - расширение действия копилефта не только на модули, явным образом связываемые с кодом, а также на взаимодействующие с Vitastor по сети сервисы, специально созданные для него В переводе на общепонятный: если ты - маленький стартап, вся ценность которого в оригинальном коде, то ты должен бесплатно отдать его корпам.
Ответить | Правка | Наверх | Cообщить модератору

	28. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от vitalif (ok), 24-Мрт-24, 13:02
	Есть и вторая опция :-)
	Ответить | Правка | Наверх | Cообщить модератору

	31. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	–2 +/–
	Сообщение от нах. (?), 24-Мрт-24, 13:58
	нету. Очередь желающих занести вам мешок денег за вторую опцию уже выстроилась? Вот и не ждите. Мелкий стартап выберет ceph просто потому что там не надо никому заносить мешками. К тому же это давно и хорошо известная технология и на рынке не то чтобы легко, но можно найти специалистов, хорошо понимающих что там можно а что нельзя. А у вас полный пролет по всем направлениям - неведомая нёх, специалистов нет, разработчик - неведомые васяны, качество его поддержки будет довольно предсказуемо, и нет ни малейшей гарантии что через неделю не присядут за госизмену всем подвалом из трех человек или не сбегут в парагвай с твоими деньгами. А вторым ceph вы не станете вот именно из-за лицензии, как бы ни было все хорошо и замечательно технически. Сами себе отстрелили яйца, чтоб не дай б-г не размножиться. Поражаюсь идиoтизму.
	Ответить | Правка | Наверх | Cообщить модератору

	42. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от vitalif (ok), 24-Мрт-24, 23:08
	Ну выберут и выберут, можно подумать с GPL встали бы в очередь) Завоевать популярность в любом случае дело небыстрое, зато не придется потом, как Redis, лицензию менять, провоцируя негатив и форки
	Ответить | Правка | Наверх | Cообщить модератору

	47. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от нах. (?), 25-Мрт-24, 09:54
	В очередь нет, на покрутить-поиграться - взяли бы, наверное (черная метка "русские делали" никуда не пропадет). Потом бы все равно поставили ceph, но так, глядишь, потихоньку сдвинулось бы с нулевой точки. > зато не придется потом, как Redis, лицензию менять, провоцируя негатив и форки нет ножек, нет варенья. Теперь точно не придется. Паре госзаказчиков может и удастся впихнуть в рамках "импортозамещения", но они и так бы купили - из-за поддержки и необходимости страховать свои риски. редис поменял лицензию потому что полез не в свое поле деятельности - сам решил поторговать услугой а не поддержкой (которая нахрен никому в их случае была не нужна, а для кластерной фс это маловероятно следующие лет десять минимум) и проиграл (потому что и как услуга нахрен никому не нужны отдельно от амазона) Ну может теперь на перепродаже фантиков заработает, у монги же получилось. А тут - сплошные минусы. Денег именно из-за лицензии этот проект получит ровно ноль. Те кто заплатят - не будут помогать писать код, они уже купили, программировывай! Зачем было вообще его публиковать таким образом - загадка природы. И да, опыт поляков видимо никого ничему не научил.
	Ответить | Правка | Наверх | Cообщить модератору

	89. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Аноним (87), 26-Мрт-24, 09:19
	разработчик - неведомые васяны не васяны, а виталики :-)
	Ответить | Правка | К родителю #31 | Наверх | Cообщить модератору

	32. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от нах. (?), 24-Мрт-24, 14:01
	ценности этот пучок скриптов для корпов не представляет никакой. Но он ценность для хакеров, желающих тебя поломать, и для конкурентов, потому что из этих скриптов легко извлекается понимание, какие юз-паттерны успешны, как устроена твоя внутренняя инфра и много чего еще. Короче, пользователей на этих условиях будет вот ровно ноль.
	Ответить | Правка | К родителю #27 | Наверх | Cообщить модератору

35. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
Сообщение от Аноним (38), 24-Мрт-24, 16:14
Написано на C++, уважуха.
Ответить | Правка | Наверх | Cообщить модератору

46. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+1 +/–
Сообщение от Tron is Whistling (?), 25-Мрт-24, 08:37
Если нет поддержки блокировок - это всё. Для реального кластера - OCFS2, других вариантов не особо. В пределах одной стойки ещё GFS2 можно пробовать.
Ответить | Правка | Наверх | Cообщить модератору

	48. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от нах. (?), 25-Мрт-24, 09:58
	> Если нет поддержки блокировок - это всё. это еще не все, напоминаю - https://lizardfs.com/wp-content/uploads/Cases/Tinkoff_case_s... - как думаешь, им нужны блокировки? И ниче, купили. (но не ту поделку) Правда, им и на latency наплевать. Поделка сразу после покупки, кстати, склеила ласты. Видимо парни неплохо отоварились деньгами тогда еще не внесенного в SDN банчка, и разбежались кто куда. И да, заметь - они - gpl. (но не совсем) Много форков видишь?
	Ответить | Правка | Наверх | Cообщить модератору

	50. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	–1 +/–
	Сообщение от Аноним (49), 25-Мрт-24, 12:02
	> Если нет поддержки блокировок - это всё. Вернее: если не предусмотрено место, в которое можно добавить код нужной функциональности. (Сырцы не читал, не знаю.)
	Ответить | Правка | К родителю #46 | Наверх | Cообщить модератору

	51. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от нах. (?), 25-Мрт-24, 13:06
	извините, пройдите на-й никто за авторов не будет ничего добавлять.  Потому что есть-то за себя они собираются - сами.
	Ответить | Правка | Наверх | Cообщить модератору

	61. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Tron is Whistling (?), 25-Мрт-24, 22:10
	Тут всё гораздо хуже: если нет блокировок, значит необходимая для них синхронизация отсутствует. Естественно при этом latency никакая, но и синхронизироваться нечем, и кеш не когерентный, и вообще смысла нет, потому что в т.н. "кластерной" FS в файл можно при этом можно писать только с одной ноды, причём очень аккуратно - чтобы никто ещё в этот момент не читал и не писал. По сути в такой конфигурации с каждым отдельным файлом можно либо "только на чтение" со всех нод, либо только "всё с одной", и такой кластер - мертворождённый труп. Чтобы её нагородить - надо очень сильно об угол стукнуться, в общем случае придётся делать свой DLM или интегрироваться в существующий кластерный стек. Первое - очень непросто, второе ставит крест на latency и простоте использования, ещё и STONITH понадобится.
	Ответить | Правка | К родителю #50 | Наверх | Cообщить модератору

	65. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Tron is Whistling (?), 25-Мрт-24, 22:36
	Там смотрю оно через NFS вывернуто. То есть в качестве обеспечения когерентности выбран сброс кеша при открытии и проверку атрибутов? Если так - то даже блокировки уже не помогут.
	Ответить | Правка | Наверх | Cообщить модератору

	68. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от vitalif (ok), 25-Мрт-24, 23:34
	Хм, ну да, единственный трабл это page cache конечно. Ну типа если писать-читать из NFS с O_DIRECT, то когерентность будет. А там случайно нет в линуксовом NFS опции чтобы принудительно всем direct включить?.. :-)
	Ответить | Правка | Наверх | Cообщить модератору

	70. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Tron is Whistling (?), 25-Мрт-24, 23:41
	И даже с O_DIRECT может не быть когерентности, потому что кто-то решил почитать после записи с другой ноды, но запись ещё не долетела и другие ноды о записи не проинформированы. Будет stale read. Всё это придётся синхронизировать, в т.ч. информировать ноды о записи.
	Ответить | Правка | Наверх | Cообщить модератору

	71. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Tron is Whistling (?), 25-Мрт-24, 23:42
	- Нода A прочитала блок, он попал в кеш - Нода Б отправила блок на запись, он попал в буфер и ждёт пока его реально пропишут в сторейдж - Нода A снова читает блок - УПС
	Ответить | Правка | Наверх | Cообщить модератору

	72. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от vitalif (ok), 25-Мрт-24, 23:42
	Не, если пишут и читают с O_DIRECT, то всё железобетонно синхронно будет, по крайней мере если кэш дисков отключён (immediate_commit=all). Т.к. любая завершённая запись уже точно будет на всех OSD, и любое последующее чтение пойдёт на эти же OSD и оттуда данные прочитает "попала в буфер" - что за буфер, у меня нет никакого такого буфера. А на дисках предполагается по дефолту отрубать кэш и юзать ssd с конденсаторами
	Ответить | Правка | К родителю #70 | Наверх | Cообщить модератору

	73. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Tron is Whistling (?), 25-Мрт-24, 23:44
	С O_DIRECT блок в теории должен уйти сразу в сторейдж, но тут будут нюансы с задержками для пересылки на OSD, если в этот момент кто-то решит почитать - он с OSD получит всё такой же старый лежалый блок. Т.е. синхронизировать ноды надо в момент появления записи.
	Ответить | Правка | К родителю #70 | Наверх | Cообщить модератору

	74. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от vitalif (ok), 25-Мрт-24, 23:44
	> он с OSD получит всё такой же старый лежалый блок. Не получит. У меня синхронная репликация абсолютно всегда.
	Ответить | Правка | Наверх | Cообщить модератору

	76. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Tron is Whistling (?), 25-Мрт-24, 23:57
	До неё ещё даже дело не дойдёт. Ну и да, я вот тут расписал немножко - оно может из собственного кеша получить. Тогда надо O_DIRECT брать и тем, кто читает - да, решение, но блин O_DIRECT на чтение? Системный кеш мимо?
	Ответить | Правка | Наверх | Cообщить модератору

	77. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Tron is Whistling (?), 25-Мрт-24, 23:58
	Если так сделать - то при рандомных мелких чтениях будет полный трындец.
	Ответить | Правка | Наверх | Cообщить модератору

	81. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от vitalif (ok), 26-Мрт-24, 00:18
	> Если так сделать - то при рандомных мелких чтениях будет полный трындец. Да нормально всё будет, у меня же везде оптимизация под задержку, на чистой блочке даже в один поток задержка чтения на нормальном кластере ~0.1 мс. Т.е. сравнимо со скоростью локального ссд. Ну с NFS добавится ещё один раундтрип до NFS сервера (т.е. клиент -> vitastor-nfs -> OSD). Но если vitastor-nfs запущен локально, то этот раундтрип будет через локальный loopback, т.е. добавит какие-нибудь 20 микросекунд. Ну будет в конце концов 0.15 мс скажем, нормально. Собственно а как ещё-то делать, если у тебя сетевая ФС и тебе нужна когерентность? Если ты юзаешь кэш клиента, понятно что из него могут данные отдаться. Если нужна когерентность только и остаётся на сервер ходить. Теоретически если бы был собственный модуль ядра с реализацией ФС, можно было бы наверное сделать оптимальнее, либо какие-то уведомления от сервера, либо как у меня в vitastor-kv перепроверки номера версии, но это же пипец, модуль ядра свой пилить)
	Ответить | Правка | Наверх | Cообщить модератору

	86. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Tron is Whistling (?), 26-Мрт-24, 08:13
	NFS-серверов сколько может быть? Их тоже придётся синхронизировать. Если один, единый SPOF - это очень плохо. > Собственно а как ещё-то делать, если у тебя сетевая ФС и тебе нужна когерентность? В OCFS2 сделано очень хитро и более-менее правильно, можно посмотреть.
	Ответить | Правка | Наверх | Cообщить модератору

	90. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от vitalif (ok), 26-Мрт-24, 09:56
	Можно сколько угодно делать, они стейтлесс, их синхронизировать не надо Можно вообще NFS сервер запускать локально, как FUSE, там даже есть команда vitastor-nfs mount - сразу запускает и монтирует сервер на локалхосте на случайном порту
	Ответить | Правка | Наверх | Cообщить модератору

	91. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Tron is Whistling (?), 26-Мрт-24, 10:24
	Случайно запускает и случайно монтирует, понятное дело. Проблема в том, что в случае множественного монтирования без блокировок не выжить. Даже если вы и найдёте юзкейс, при котором можно, и далеко их не один - всё равно это уже не ФС общего назначения, и подойдёт только под такие вот неслучайные юзкейсы.
	Ответить | Правка | К родителю #90 | Наверх | Cообщить модератору

	92. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от vitalif (ok), 26-Мрт-24, 11:15
	Да чо ты троллишь :-) там специально сделано так что всё стейтлесс. Я даже БД специальную накурил на основе оптимистичного Б-дерева, допускающую параллельный доступ с разных нод. :-) на основе CAS-"транзакций". Без блокировок вполне можно выжить, выше же обсудили про O_DIRECT, а вообще и проще, простой close-to-open сработает всегда, даже с пейдж кэшем
	Ответить | Правка | К родителю #91 | Наверх | Cообщить модератору

	75. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Tron is Whistling (?), 25-Мрт-24, 23:56
	Ну и да, какой ещё O_DIRECT в NFS? Синхронизация "в лоб" выглядит следующим образом (есть более хитрые способы): - Все ноды обмениваются информацие об открытиях файлов - Видим запись на одной из нод, видим, что файл открыт ещё где-то - Информируем все остальные ноды, открывшие файл (если первый пункт пропустить - вообще все ноды, а это тормоза), о том, что блок X файла Y взят на запись нодой N - В этот момент - кто не спрятался, я не виноват, ноды могут ещё прочесть старое, разрешено, стрижка только начата - вот тут как раз и нужны блокировки - Все проинформированные ноды при прочих попытках чтения этого блока встают колом и ждут продолжения банкета - Новые ноды, открывающие файлы, принимаются, но информируются об in-flight записи блока - Производим запись - Уведомляем писавшего об успехе - Информируем все участвовавшие в трындеце ноды и новые появившиеся о том, что запись блока завершена - Проинформированные ноды сбрасывают кеш блока, те, что пытались его читать - выдыхают, и начинают читать Как быть с блокировками, и чем они страшны - Если взята эксклюзивная блокировка файла на запись, к счастью, никто читать блок не попытается, но механизм выше всё равно должен быть, так как блокировки банально нестрогие, и у нас могут быть ноды, которые всё равно попытаются читать. Но наличие таких можно отследить по запросам на блокировку - те, что встали колом на попытке взять прочую блокировку - можно проинформировать только о конце записи, чтобы кеш сбросили, можно даже оптом по всем блокам после снятия эксклюзива - тут как раз целое поле непаханое для оптимизации
	Ответить | Правка | К родителю #68 | Наверх | Cообщить модератору

	82. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от vitalif (ok), 26-Мрт-24, 00:21
	O_DIRECT с NFS пашет, я проверял. Причём что забавно - даже с невыровненными блоками :-). А с блокировками - насколько я понял из man 5 nfs, там сам NFS-клиент кэш сбросит за тебя, если ты блокировки юзаешь. Но там же и написано про O_DIRECT: If absolute cache coherence among clients is required, applications should use file locking. Alternatively, applications can also open their files with the O_DIRECT flag to disable data caching entirely.
	Ответить | Правка | Наверх | Cообщить модератору

	85. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Tron is Whistling (?), 26-Мрт-24, 07:51
	> If absolute cache coherence among clients is required, applications should use file locking. Именно так оно в идеальном случае и работает, ну, вот потому, о чём я писал. Возможность отхватить stale read без блокировок есть - в NFS не стали заморачиваться. Поэтому на кластерах, увы и ах :), только OCFS2/GFS2.
	Ответить | Правка | Наверх | Cообщить модератору

	52. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от vitalif (ok), 25-Мрт-24, 15:57
	Да запилю я эти блокировки, фиг ли там делать :) - etcd же есть под рукой Просто мне не казалось что это первый приоритет честно говоря
	Ответить | Правка | К родителю #46 | Наверх | Cообщить модератору

	59. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Tron is Whistling (?), 25-Мрт-24, 22:04
	В кластерной FS блокировки не приоритет? Офигенный кластер, синхронизироваться-то как? С навесу? Вот когда все блокировки добавятся - вот тогда можно и latency померить. Особенно на те самые блокировки.
	Ответить | Правка | Наверх | Cообщить модератору

	66. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+1 +/–
	Сообщение от vitalif (ok), 25-Мрт-24, 23:20
	Что ты собрался синхронизировать локами? Назови практическое применение. Что это за приложение? Мне из практики только dovecot maildir в голову приходит. Типичному HPC софту, например, нужна ReadWriteMany ФС, но синхронизация там в 99% случаев своя, через какую-то стороннюю БД. Что там реально нужно от ФС - это чтобы изменения, внесённые в файл одной нодой, СРАЗУ после этого были видны другой ноде. Т.е. strong consistency при монтировании на нескольких нодах. Это у меня есть. *единственно прочитал коммент выше про когерентность кэша в NFS - да, наверное, на файлах, открытых без O_DIRECT, она будет только через перепроверку mtime/сtime, т.е. на уровне порядка 1 секундной задержки при изменении.
	Ответить | Правка | Наверх | Cообщить модератору

	78. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Tron is Whistling (?), 26-Мрт-24, 00:00
	Когерентность без локов оптимизировать очень сложно. Это надо либо всем слать всё чтение и запись в обход кеша, либо придётся вообще все ноды информировать при каждой записи, даже те, что вообще файл читать не собираются. Либо держать и синхронизировать список открывших, но и там возможны нюансы. Вот хочет нода читать и ждёт shared, а писатель взял exclusive. Сразу понятно, кому и что вещать насчёт сброса кеша.
	Ответить | Правка | Наверх | Cообщить модератору

	79. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Tron is Whistling (?), 26-Мрт-24, 00:03
	dovecot - это одно из самых страшных применений блокировок кстати, малейший продолб при параллелизме, и всё, его сторейдж будет так или иначе порушен, что maildir, что mdbox
	Ответить | Правка | К родителю #66 | Наверх | Cообщить модератору

	80. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Tron is Whistling (?), 26-Мрт-24, 00:04
	То же самое с когерентностью, оно очень любит писать в индексы.
	Ответить | Правка | Наверх | Cообщить модератору

	62. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Tron is Whistling (?), 25-Мрт-24, 22:11
	Вообще в любом нормальном кластере приоритет - именно сихронизация. Но раз не первый, так не первый, лучше не трогать.
	Ответить | Правка | К родителю #52 | Наверх | Cообщить модератору

54. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
Сообщение от Golangdev (?), 25-Мрт-24, 17:02
> VNPL - "сетевой копилефт", собственная свободная копилефт-лицензия Vitastor Network Public License 1.1, основанная на GNU GPL 3.0 с дополнительным условием "Сетевого взаимодействия", требующим распространять все программы, специально разработанные для использования вместе с Vitastor и взаимодействующие с ним по сети, под лицензией VNPL или под любой другой свободной лицензией. При всём уважении к автору, это "не айс" - точно не поспособствует развитию экосистемы. Открою ужасную правду, - когда не хочется сдавать(ся) хранилище в облако, используют Minio. Тут такое API есть ?
Ответить | Правка | Наверх | Cообщить модератору

	55. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от vitalif (ok), 25-Мрт-24, 18:14
	> Открою ужасную правду, - когда не хочется сдавать(ся) хранилище в облако, используют Minio. Тут такое API есть ? Вы только Minio из S3-совместимых хранилок знаете? :-) так-то это самая слабая реализация из всех доступных
	Ответить | Правка | Наверх | Cообщить модератору

	58. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Аноним (17), 25-Мрт-24, 20:49
	Ну расскажи тогда про самую сильную.
	Ответить | Правка | Наверх | Cообщить модератору

	63. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Golangdev (?), 25-Мрт-24, 22:24
	Я бы сказал, в тезх компаниях где я работал/работаю - используется S3-совместимое Minio, когда нужно похранить файлы. Другие решения, не смотря на то, что они существуют в природе - не используются.
	Ответить | Правка | К родителю #55 | Наверх | Cообщить модератору

	67. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от vitalif (ok), 25-Мрт-24, 23:25
	На самом деле я не делал S3 в начале тоже ровно потому, что нормальные S3-хранилки есть и без меня. Ceph, SeaweedFS как минимум, а кому-то и Minio действительно достаточно. А вот хороших БЛОЧНЫХ хранилок не было. У всех латенси на уровне 1-2 мс т.е. при записи с глубиной очереди 1 (например при записи WAL СУБД) это всего 500-1000 операций в секунду. Поэтому в первую очередь на блочке и сосредоточился. В качестве второго приоритета взял ФС, т.к. кластерных ФС нормальных тоже считай нет. Самое лучшее что было это пожалуй CephFS, но и у неё много проблем, начиная с очень большого оверхеда и отсутствия горизонтального масштабирования MDS. Ну и в HPC популярна люстра, но с ней задолбаешься и отказоустойчивость там специфическая я так понимаю.
	Ответить | Правка | Наверх | Cообщить модератору

	60. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Tron is Whistling (?), 25-Мрт-24, 22:06
	Это офигенная идея, которая тоже всё. Равно как и отсутствие блокировок. Поделка ради поделки.
	Ответить | Правка | К родителю #54 | Наверх | Cообщить модератору

84. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+2 +/–
Сообщение от Фняк (?), 26-Мрт-24, 01:58
Виталий, успехов в этом непростом деле
Ответить | Правка | Наверх | Cообщить модератору

	96. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от vitalif (ok), 27-Мрт-24, 12:13
	> Виталий, успехов в этом непростом деле Спасибо :-)
	Ответить | Правка | Наверх | Cообщить модератору

94. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
Сообщение от igsbox (??), 26-Мрт-24, 12:11
А что все так сагрились на отсутствие блокировок? ФС явно предназначена для замены iSCSI в тех конфигурациях, когда среда виртуализации не имеет коннектора к хранилке для создания/удаления/снапшота lun-ов и view. Упростит ли она жизнь в таком варианте? Безусловно. Насколько реально оправдано существование подобного комбайна? Ну а вдруг оно кому-то надо ;) То, что автор явно поторопился назвать свежий релиз полноценной кластерной ФС - ну так может ему контракт какой подписать надо. Добрее надо быть к людям )
Ответить | Правка | Наверх | Cообщить модератору

	95. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от vitalif (ok), 26-Мрт-24, 22:15
	Не, там 2 фс, одна псевдо, реально замена айсказей, вторая нормальная, в которую можно файлопомойку пихать
	Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема