https://opennet.ru/openforum/vsluhforumID1/96334.html привет!<br><br>Хотелось узнать мнение по решению следующей задачи.<br><br>На данный момент есть 3 сервера, воткнутых в 24-х портовый гигабитный коммутатор.<br>Сервер1 - источник данных (на нём создаются файлы размером до 1 Гб)<br>Сервер2 и 3 - зеркала для сервера1. <br>Есть ПО, которое лезет на сервера 2 и 3 и скачивает эти файлы.<br>Сейчас синхронизация файлов выполняется просто запуском rsync на сервере1, которое обновляет каталоги на серверах 2 и 3.<br>В дальнейшем планируется увеличить количество серверов-зеркал до 20 (производительность коммутатора можно не учитывать. Если её не будет хватать, то будет замена на более производительный).<br>Какие есть подходящие замены для rsync? Есть ли что-то более удобное для синхронизации больших объёмов на множество серверов?<br> https://opennet.ru/openforum/vsluhforumID1/96334.html#9 Wed, 28 Oct 2015 07:56:59 GMT &gt;[оверквотинг удален]<br>&gt;&gt;&gt; я почитал про эти утилиты (спасибо за наводку, раньше про них не <br>&gt;&gt;&gt; слышал).<br>&gt;&gt;&gt; Сразу вопрос - почему вы написали их как связку clsync+uftp, хотя (как <br>&gt;&gt;&gt; я понял) они обе выполняют одну и ту же функцию передачи <br>&gt;&gt;&gt; данных через мультикаст. Я не прав?<br>&gt;&gt; А можът идеологически пересмотреть проблему???<br>&gt;&gt; http://habrahabr.ru/company/performix/blog/218065/ <br>&gt;&gt; Чем не вариант??<br>&gt; не вариант, потому что это надо изучать, тестировать и готовить к внедрению. <br>&gt; Ceph - это несколько сложнее обычного rsync и всяко-разных uftp <br><br>Управлять автомобилем всяко сложнее, чем ходить пешком, но почему-то на улицах машин довольно много...<br>Но это так, лирика ;)<br><br>При "разливке" в мультикаст у вас встает горка проблем следующего характера:<br>1. Вам неведомо количество узлов, которые на данный момент слушают мультикаст.<br>2. Вам неизвестно, все ли узлы корректно приняли ВЕСЬ поток, (tcp если мне память не изменяет по мультикасту не работает).<br>3. Как следствие первых 2-х - вам необходимо https://opennet.ru/openforum/vsluhforumID1/96334.html#8 Tue, 27 Oct 2015 18:36:40 GMT &gt;[оверквотинг удален]<br>&gt;&gt;&gt; для разливания на много серверов одновременно можно подумать о мультикасте.<br>&gt;&gt; это и есть использование что-то вроде clsync, uftp ?<br>&gt;&gt; я почитал про эти утилиты (спасибо за наводку, раньше про них не <br>&gt;&gt; слышал).<br>&gt;&gt; Сразу вопрос - почему вы написали их как связку clsync+uftp, хотя (как <br>&gt;&gt; я понял) они обе выполняют одну и ту же функцию передачи <br>&gt;&gt; данных через мультикаст. Я не прав?<br>&gt; А может идеологически пересмотреть проблему???<br>&gt; http://habrahabr.ru/company/performix/blog/218065/ <br>&gt; Чем не вариант??<br><br>не вариант, потому что это надо изучать, тестировать и готовить к внедрению. Ceph - это несколько сложнее обычного rsync и всяко-разных uftp<br> https://opennet.ru/openforum/vsluhforumID1/96334.html#7 Mon, 26 Oct 2015 15:44:09 GMT &gt;[оверквотинг удален]<br>&gt;&gt; Вероятно для распределния нагрузки.<br>&gt; Да, совершенно верно - всё это для распределения нагрузки.<br>&gt; Я правильно понял, что совет про : <br>&gt;&gt; для разливания на много серверов одновременно можно подумать о мультикасте.<br>&gt; это и есть использование что-то вроде clsync, uftp ?<br>&gt; я почитал про эти утилиты (спасибо за наводку, раньше про них не <br>&gt; слышал).<br>&gt; Сразу вопрос - почему вы написали их как связку clsync+uftp, хотя (как <br>&gt; я понял) они обе выполняют одну и ту же функцию передачи <br>&gt; данных через мультикаст. Я не прав?<br><br>А может идеологически пересмотреть проблему???<br>http://habrahabr.ru/company/performix/blog/218065/<br>Чем не вариант??<br> https://opennet.ru/openforum/vsluhforumID1/96334.html#6 Fri, 23 Oct 2015 07:01:53 GMT &gt;&gt; Какие есть подходящие замены для rsync? Есть ли что-то более удобное для <br>&gt;&gt; синхронизации больших объёмов на множество серверов?<br>&gt; Можно попробовать что-нибудь вроде clsync+uftp. Буду рад помочь с отладкой.<br>&gt; Вероятно для распределния нагрузки.<br><br>Да, совершенно верно - всё это для распределения нагрузки.<br><br>Я правильно понял, что совет про :<br>&gt; для разливания на много серверов одновременно можно подумать о мультикасте.<br><br>это и есть использование что-то вроде clsync, uftp ?<br><br>я почитал про эти утилиты (спасибо за наводку, раньше про них не слышал).<br>Сразу вопрос - почему вы написали их как связку clsync+uftp, хотя (как я понял) они обе выполняют одну и ту же функцию передачи данных через мультикаст. Я не прав?<br> https://opennet.ru/openforum/vsluhforumID1/96334.html#5 Fri, 23 Oct 2015 04:11:54 GMT &gt; Вот только непонятно, зачем вам больше 2-3 копий инфы.<br><br>Вероятно для распределния нагрузки.<br> https://opennet.ru/openforum/vsluhforumID1/96334.html#4 Fri, 23 Oct 2015 04:11:12 GMT &gt; Какие есть подходящие замены для rsync? Есть ли что-то более удобное для <br>&gt; синхронизации больших объёмов на множество серверов?<br><br>Можно попробовать что-нибудь вроде clsync+uftp. Буду рад помочь с отладкой.<br> https://opennet.ru/openforum/vsluhforumID1/96334.html#3 Thu, 22 Oct 2015 20:46:44 GMT rsync запускает столько потоков, сколько серверов, трафик тоже умножаем на количество серверов.<br>мультикаст будет вещать в один поток независимо от количества получателей. И трафик будет соответствующий.<br><br>Вот только непонятно, зачем вам больше 2-3 копий инфы.<br> https://opennet.ru/openforum/vsluhforumID1/96334.html#2 Thu, 22 Oct 2015 19:55:54 GMT &gt; для разливания на много серверов одновременно можно подумать о мультикасте.<br><br>не понял вашу мысль.<br><br>сейчас rsync и так одновременно разливает на все сервера. просто запускается столько rsync - сколько серверов.<br> https://opennet.ru/openforum/vsluhforumID1/96334.html#1 Thu, 22 Oct 2015 18:32:59 GMT для разливания на много серверов одновременно можно подумать о мультикасте.<br>