форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форум Открытые системы на сервере (Система. проблемы, диагностика / Linux)
Изначальное сообщение		[ Отслеживать ]

"Репликация больших объёмов на кучу серверов"	+/–
Сообщение от Sloc on 22-Окт-15, 16:59
привет! Хотелось узнать мнение по решению следующей задачи. На данный момент есть 3 сервера, воткнутых в 24-х портовый гигабитный коммутатор. Сервер1 - источник данных (на нём создаются файлы размером до 1 Гб) Сервер2 и 3 - зеркала для сервера1. Есть ПО, которое лезет на сервера 2 и 3 и скачивает эти файлы. Сейчас синхронизация файлов выполняется просто запуском rsync на сервере1, которое обновляет каталоги на серверах 2 и 3. В дальнейшем планируется увеличить количество серверов-зеркал до 20 (производительность коммутатора можно не учитывать. Если её не будет хватать, то будет замена на более производительный). Какие есть подходящие замены для rsync? Есть ли что-то более удобное для синхронизации больших объёмов на множество серверов?
Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "Репликация больших объёмов на кучу серверов"	+/–
Сообщение от DeerFriend on 22-Окт-15, 21:32
для разливания на много серверов одновременно можно подумать о мультикасте.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	2. "Репликация больших объёмов на кучу серверов"	+/–
	Сообщение от Sloc on 22-Окт-15, 22:55
	> для разливания на много серверов одновременно можно подумать о мультикасте. не понял вашу мысль. сейчас rsync и так одновременно разливает на все сервера. просто запускается столько rsync - сколько серверов.
	Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

	3. "Репликация больших объёмов на кучу серверов"	+/–
	Сообщение от DeerFriend on 22-Окт-15, 23:46
	rsync запускает столько потоков, сколько серверов, трафик тоже умножаем на количество серверов. мультикаст будет вещать в один поток независимо от количества получателей. И трафик будет соответствующий. Вот только непонятно, зачем вам больше 2-3 копий инфы.
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	5. "Репликация больших объёмов на кучу серверов"	+/–
	Сообщение от xai on 23-Окт-15, 07:11
	> Вот только непонятно, зачем вам больше 2-3 копий инфы. Вероятно для распределния нагрузки.
	Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

4. "Репликация больших объёмов на кучу серверов"	+/–
Сообщение от xai on 23-Окт-15, 07:11
> Какие есть подходящие замены для rsync? Есть ли что-то более удобное для > синхронизации больших объёмов на множество серверов? Можно попробовать что-нибудь вроде clsync+uftp. Буду рад помочь с отладкой.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	6. "Репликация больших объёмов на кучу серверов"	+/–
	Сообщение от Sloc on 23-Окт-15, 10:01
	>> Какие есть подходящие замены для rsync? Есть ли что-то более удобное для >> синхронизации больших объёмов на множество серверов? > Можно попробовать что-нибудь вроде clsync+uftp. Буду рад помочь с отладкой. > Вероятно для распределния нагрузки. Да, совершенно верно - всё это для распределения нагрузки. Я правильно понял, что совет про : > для разливания на много серверов одновременно можно подумать о мультикасте. это и есть использование что-то вроде clsync, uftp ? я почитал про эти утилиты (спасибо за наводку, раньше про них не слышал). Сразу вопрос - почему вы написали их как связку clsync+uftp, хотя (как я понял) они обе выполняют одну и ту же функцию передачи данных через мультикаст. Я не прав?
	Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

	7. "Репликация больших объёмов на кучу серверов"	+/–
	Сообщение от fantom (??) on 26-Окт-15, 18:44
	>[оверквотинг удален] >> Вероятно для распределния нагрузки. > Да, совершенно верно - всё это для распределения нагрузки. > Я правильно понял, что совет про : >> для разливания на много серверов одновременно можно подумать о мультикасте. > это и есть использование что-то вроде clsync, uftp ? > я почитал про эти утилиты (спасибо за наводку, раньше про них не > слышал). > Сразу вопрос - почему вы написали их как связку clsync+uftp, хотя (как > я понял) они обе выполняют одну и ту же функцию передачи > данных через мультикаст. Я не прав? А может идеологически пересмотреть проблему??? http://habrahabr.ru/company/performix/blog/218065/ Чем не вариант??
	Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

	8. "Репликация больших объёмов на кучу серверов"	+/–
	Сообщение от Sloc on 27-Окт-15, 21:36
	>[оверквотинг удален] >>> для разливания на много серверов одновременно можно подумать о мультикасте. >> это и есть использование что-то вроде clsync, uftp ? >> я почитал про эти утилиты (спасибо за наводку, раньше про них не >> слышал). >> Сразу вопрос - почему вы написали их как связку clsync+uftp, хотя (как >> я понял) они обе выполняют одну и ту же функцию передачи >> данных через мультикаст. Я не прав? > А может идеологически пересмотреть проблему??? > http://habrahabr.ru/company/performix/blog/218065/ > Чем не вариант?? не вариант, потому что это надо изучать, тестировать и готовить к внедрению. Ceph - это несколько сложнее обычного rsync и всяко-разных uftp
	Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

	9. "Репликация больших объёмов на кучу серверов"	+/–
	Сообщение от fantom (ok) on 28-Окт-15, 10:56
	>[оверквотинг удален] >>> я почитал про эти утилиты (спасибо за наводку, раньше про них не >>> слышал). >>> Сразу вопрос - почему вы написали их как связку clsync+uftp, хотя (как >>> я понял) они обе выполняют одну и ту же функцию передачи >>> данных через мультикаст. Я не прав? >> А можът идеологически пересмотреть проблему??? >> http://habrahabr.ru/company/performix/blog/218065/ >> Чем не вариант?? > не вариант, потому что это надо изучать, тестировать и готовить к внедрению. > Ceph - это несколько сложнее обычного rsync и всяко-разных uftp Управлять автомобилем всяко сложнее, чем ходить пешком, но почему-то на улицах машин довольно много... Но это так, лирика ;) При "разливке" в мультикаст у вас встает горка проблем следующего характера: 1. Вам неведомо количество узлов, которые на данный момент слушают мультикаст. 2. Вам неизвестно, все ли узлы корректно приняли ВЕСЬ поток, (tcp если мне память не изменяет по мультикасту не работает). 3. Как следствие первых 2-х - вам необходимо изучать, тестировать и готовить к внедрению механизмы контроля целостности данных и актуальности копий на разных серверах.... Очень может быть что весь этот набор вопросов частично или полностью решен в упомянутых утилитах,но всетаки попробуйте рассмотреть проблему под разными углами. Как еще один вариант https://www.opennet.dev/opennews/art.shtml?num=42093
	Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема