forum.opennet.ru - "Релиз распределенного реплицируемого блочного устройства DRB..." (33)

форумы

помощь

поиск

регистрация

майллист

вход/выход

слежка

"Релиз распределенного реплицируемого блочного устройства DRB..."

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Релиз распределенного реплицируемого блочного устройства DRB..."	+/–
Сообщение от opennews (??) on 17-Июн-15, 18:23
После четырёх лет разработки увидел свет (http://www.linbit.com/en/n/news/564-drbd9-release) релиз распределенного реплицируемого блочного устройства DRBD 9.0 (http://www.linbit.com/en/p/products/drbd9), позволяющего реализовать подобие массива RAID-1, сформированного из объединённых по сети нескольких дисковых разделов разных машин (зеркалирование по сети). Система оформлена в виде модуля для ядра Linux и распространяется (http://oss.linbit.com/drbd/) под лицензией GPLv2. DRBD может использоваться для объединения накопителей узлов кластера в единое отказоустойчивое хранилище. При использовании DRBD все операции с локальным диском отправляются на другие узлы и синхронизируются с дисками других машин. В случае выхода из строя одного узла, хранилище автоматически продолжит работу за счёт оставшихся узлов. При возобновлении доступности сбойного узла, все данные его состояние будет автоматически доведено до актуального вида. В состав формирующего хранилище кластера может входить несколько десятков узлов, размещённых как в локальной сети, так и территориально разнесённых в разные центры обработки данных. Синхронизация в подобных разветвлённых хранилищах выполняется с использованием технологий mesh-сети (данные растекаются по цепочке от узла к узлу). Репликация узлов может производиться как в синхронном режиме, так и в асинхронном. Например, локально размещённые узлы могут применять синхронную репликацию, а для выноса на удалённое размещённые площадки может применяться асинхронная репликация с дополнительным сжатием и шифрованием трафика. <center><a href="http://drbd.linbit.com/uploads/pics/overview_02.gif">... src="http://www.opennet.dev/opennews/pics_base/0_1434551311.gif" style="border-style: solid; border-color: #606060; border-width: 1px;max-width:100%;" title="" border=0></a></center> Основные новшества (http://git.drbd.org/gitweb.cgi?p=drbd-9.0.git;a=tag;h=refs/t...) DRBD 9: - Новая архитектура передачи данных, в которой используется абстрагированный транспортный уровень, позволяющий реализовать каналы связи не ограничивающиеся TCP, например, с использованием RDMA/Infiniband и SCTP. - Интеграция RDMA (https://ru.wikipedia.org/wiki/%D0%A3%D0%...) (Remote Direct Memory Access) для прямого доступа к оперативной памяти другого компьютера и поддержка сетевых карт Infiniband, позволяют добиться двухкратного увеличения интенсивности репликации с сокращением нагрузки на CPU на 50% по сравнению с транспортом поверх традиционной IP-сети; - Расширенные возможности отказоустойчивости - хранилище теперь может быть реплицировано одновременно на 32 узла, размещённых в различных сетевых окружениях. - Новый инструментарий для управления, позволяющий развернуть сложное реплицированное хранилище за считанные минуты. Инструментарий предоставляет API для автоматизации выполнения действий с DRBD и интеграции с внешними системами, такими как OpenStack, а также для создания на базе Linux альтернатив традиционным SAN.- Поддержка установки нескольких соединений к одному ресурсу, что позволяет создавать более эффективные и сложные схемы соединения узлов между собой. - Автоматическая установка статуса узла в зависимости от активности. Например, узел помечается первичным при открытии блочного устройства на запись и вторичным - при прекращении работы с устройством всеми процессами.- Распространение обновлений в неблокирующем режиме, что позволило значительно увеличить производительность хранилища (в тестах более 400 тыс операций в секунду). - Поддержка двухфазных коммитов, позволяющих охватить косвенно связанные узлы во время установки нового соединения или при смене первичного узла;- Переработанная логика принятия решений о ресинхронизации в условиях наличия нескольких соединений или некачественной сетевой связи; URL: http://www.linbit.com/en/n/news/564-drbd9-release Новость: http://www.opennet.dev/opennews/art.shtml?num=42447
Ответить \| Правка \| Cообщить модератору

Оглавление

Релиз распределенного реплицируемого блочного устройства DRB..., Аноним, 18:23 , 17-Июн-15, (1) –4

Релиз распределенного реплицируемого блочного устройства DRB..., yukra, 18:33 , 17-Июн-15, (3) +3

Релиз распределенного реплицируемого блочного устройства DRB..., A.Stahl, 18:24 , 17-Июн-15, (2) –17

Релиз распределенного реплицируемого блочного устройства DRB..., сис.админ_23rus, 19:17 , 17-Июн-15, (4) +7
Релиз распределенного реплицируемого блочного устройства DRB..., Аноним, 20:22 , 17-Июн-15, (5) +3
Релиз распределенного реплицируемого блочного устройства DRB..., Dmi, 23:13 , 17-Июн-15, (7) +3

Релиз распределенного реплицируемого блочного устройства DRB..., Andrey Mitrofanov, 23:23 , 17-Июн-15, (8)

Релиз распределенного реплицируемого блочного устройства DRB..., Dmi, 00:16 , 18-Июн-15, (10) +1

Релиз распределенного реплицируемого блочного устройства DRB..., Аноним, 08:01 , 18-Июн-15, (12)

Релиз распределенного реплицируемого блочного устройства DRB..., Аноним, 23:09 , 17-Июн-15, (6) –1

Релиз распределенного реплицируемого блочного устройства DRB..., Andrey Mitrofanov, 23:24 , 17-Июн-15, (9) +1
Релиз распределенного реплицируемого блочного устройства DRB..., Рудвульф, 07:21 , 18-Июн-15, (11)

Релиз распределенного реплицируемого блочного устройства DRB..., Аноним, 08:03 , 18-Июн-15, (13)

Релиз распределенного реплицируемого блочного устройства DRB..., pokalo, 12:36 , 19-Июн-15, (25) –1

Релиз распределенного реплицируемого блочного устройства DRB..., Xaionaro, 10:12 , 18-Июн-15, (17) +2

Релиз распределенного реплицируемого блочного устройства DRB..., Аноним, 08:10 , 18-Июн-15, (14)

Релиз распределенного реплицируемого блочного устройства DRB..., Аноним, 08:13 , 18-Июн-15, (15)

Релиз распределенного реплицируемого блочного устройства DRB..., 1, 10:29 , 18-Июн-15, (18) +2

Релиз распределенного реплицируемого блочного устройства DRB..., count0krsk, 04:07 , 22-Июн-15, (28)

Релиз распределенного реплицируемого блочного устройства DRB..., Andrey Mitrofanov, 09:26 , 22-Июн-15, (31)

Релиз распределенного реплицируемого блочного устройства DRB..., Аноним, 09:39 , 18-Июн-15, (16)
Релиз распределенного реплицируемого блочного устройства DRB..., Shodan, 10:56 , 18-Июн-15, (19) –1

Релиз распределенного реплицируемого блочного устройства DRB..., Xaionaro, 18:58 , 18-Июн-15, (20)

Релиз распределенного реплицируемого блочного устройства DRB..., Shodan, 10:03 , 19-Июн-15, (21) +1

Релиз распределенного реплицируемого блочного устройства DRB..., JR, 12:07 , 19-Июн-15, (23) +1
Релиз распределенного реплицируемого блочного устройства DRB..., Xaionaro, 12:15 , 19-Июн-15, (24)

Релиз распределенного реплицируемого блочного устройства DRB..., Shodan, 12:57 , 19-Июн-15, (26)

Релиз распределенного реплицируемого блочного устройства DRB..., Xaionaro, 06:46 , 22-Июн-15, (30)

Релиз распределенного реплицируемого блочного устройства DRB..., Shodan, 15:20 , 19-Июн-15, (27)

Релиз распределенного реплицируемого блочного устройства DRB..., Xaionaro, 06:45 , 22-Июн-15, (29)

Релиз распределенного реплицируемого блочного устройства DRB..., Ононим, 11:23 , 22-Июн-15, (32)
Релиз распределенного реплицируемого блочного устройства DRB..., vvi, 13:53 , 18-Июл-15, (33)

Релиз распределенного реплицируемого блочного устройства DRB..., pokalo, 11:35 , 19-Июн-15, (22)

Сообщения по теме [Сортировка по времени | RSS]

1. "Релиз распределенного реплицируемого блочного устройства DRB..." –4 +/–

Сообщение от Аноним (??) on 17-Июн-15, 18:23

CEPH лучше, чем DRBD

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Релиз распределенного реплицируемого блочного устройства DRB..." +3 +/–

Сообщение от yukra on 17-Июн-15, 18:33

у меня сейчас drbd в проде на одном "проекте" и ceph в тестинге в другом проекте. Я когда знакомился с ceph тоже думал "нафиг выкину drbd", но потом подумал и решил что для двух серверов ceph как то оверкил, все таки у них немного разное ЦА. Так что сравнивать "в тупую" неправильно.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

2. "Релиз распределенного реплицируемого блочного устройства DRB..." –17 +/–

Сообщение от A.Stahl (ok) on 17-Июн-15, 18:24

>подобие массива RAID-1
Стоп-стоп-стоп! Это тупое зеркало, но по сети? И объединив 100 машин по 1 байту, мы получим сверхнадёжный 1 байт? И ни битом больше?
Не-не-не! Пусть пилят и другие "подобия рейдов". Тем более, что  базис уже готов...

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Релиз распределенного реплицируемого блочного устройства DRB..." +7 +/–

Сообщение от сис.админ_23rus (ok) on 17-Июн-15, 19:17

DRBD  заточен в основном на отказоустойчивые системы, поэтому не стоит так реагировать

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

5. "Релиз распределенного реплицируемого блочного устройства DRB..." +3 +/–

Сообщение от Аноним (??) on 17-Июн-15, 20:22

С добрым утром.

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

7. "Релиз распределенного реплицируемого блочного устройства DRB..." +3 +/–

Сообщение от Dmi on 17-Июн-15, 23:13

Это не "тупое" зеркало, а довольно таки умное: например, при потере слейва и последующем подсоединении ресинхронизация проходит очень быстро, поскольку гоняются только измененившиеся блоки, отмеченные в битовой карте.
При этом DRBD дает возможность на халяву делать нормальное дублирование данных, а не делать вид, что дешевая дисковая полка от всего спасает.

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

8. "Релиз распределенного реплицируемого блочного устройства DRB..." +/–

Сообщение от Andrey Mitrofanov on 17-Июн-15, 23:23

> только измененившиеся блоки, отмеченные в битовой карте.
А именно битовая карта - не в v8 ли, где только 2 копии? Для v9 с несколькими копиями там что? Несколько бит на блок? Я не смотрел и как обычно всё путаю?  ... ... ...

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

10. "Релиз распределенного реплицируемого блочного устройства DRB..." +1 +/–

Сообщение от Dmi on 18-Июн-15, 00:16

>> только измененившиеся блоки, отмеченные в битовой карте.
> А именно битовая карта - не в v8 ли, где только 2
> копии? Для v9 с несколькими копиями там что? Несколько бит на
> блок? Я не смотрел и как обычно всё путаю?  ...
В бета-документахе на v9 по прежнему написано, что quick-sync bitmap по-парная. Так что их несколько наверное, если несколько пиров.

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

12. "Релиз распределенного реплицируемого блочного устройства DRB..." +/–

Сообщение от Аноним (??) on 18-Июн-15, 08:01

Благодаря этому простому зеркалу по сети, умелые люди добиваются не только резервирования дисков, но и всего сервера с питанием!
Вполне хватает RAID-1 - простота, скорость и надёжность!

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

6. "Релиз распределенного реплицируемого блочного устройства DRB..." –1 +/–

Сообщение от Аноним (??) on 17-Июн-15, 23:09

Это тоже самое что и gluster ?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

9. "Релиз распределенного реплицируемого блочного устройства DRB..." +1 +/–

Сообщение от Andrey Mitrofanov on 17-Июн-15, 23:24

> Это тоже самое что и gluster ?
Нет. Это то же самое, что LVM. </шютка>

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

11. "Релиз распределенного реплицируемого блочного устройства DRB..." +/–

Сообщение от Рудвульф on 18-Июн-15, 07:21

Товарищ вы путаете ФС и блочное устройство. Кстати кто какую ФС поверх DRBD использует?

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

13. "Релиз распределенного реплицируемого блочного устройства DRB..." +/–

Сообщение от Аноним (??) on 18-Июн-15, 08:03

> Товарищ вы путаете ФС и блочное устройство. Кстати кто какую ФС поверх
> DRBD использует?
ext4 для тех кто боится и первый раз.
GFS можно добиться режима работы с одновременной записью на оба диска.

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

25. "Релиз распределенного реплицируемого блочного устройства DRB..." –1 +/–

Сообщение от pokalo (??) on 19-Июн-15, 12:36

>> Товарищ вы путаете ФС и блочное устройство. Кстати кто какую ФС поверх
>> DRBD использует?
> ext4 для тех кто боится и первый раз.
> GFS можно добиться режима работы с одновременной записью на оба диска.
GFS какой то глючный. и много хочет.

Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

17. "Релиз распределенного реплицируемого блочного устройства DRB..." +2 +/–

Сообщение от Xaionaro (ok) on 18-Июн-15, 10:12

> Кстати кто какую ФС поверх DRBD использует?
Я когда-то использовал OCFS2 поверх DRBD. Работает. Но интерконнект между серверами был слабый (1Gbps ethernet), и в результате многие операции с ФС шли очень медленно. Обычный svn cleanup в одном проекте занимал полчаса.
[offtop]
Если действительно интересно обменяться опытом по данной теме, то рекомендую поехать на LVEE на следующей неделе, и я могу подробно пересказать свой опыт [1].
[1] https://lvee.org/uploads/image_upload/file/337/winter_2014_1...
[/offtop]

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

14. "Релиз распределенного реплицируемого блочного устройства DRB..." +/–

Сообщение от Аноним (??) on 18-Июн-15, 08:10

Интересны конфигурации кластеров active-activ когда второй узел не тупо ждёт пока первый откажет, а работает тоже, В РЕЖИМЕ ЗАПИСИ, и принимает половину нагрузки. То есть балансировщик. После повреждения одного с узлов, не только диск, а может отказать мамка, проц, сетевая, другой берёт на себя полную нагрузку. При присоединении отремонтированной ноды и синхронизации, нагрузка опять распределяется между работающими, исправными узлами.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

15. "Релиз распределенного реплицируемого блочного устройства DRB..." +/–

Сообщение от Аноним (??) on 18-Июн-15, 08:13

PS: от наличия резервного копирования админов не освобождает, особо в случае режима active-active

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

18. "Релиз распределенного реплицируемого блочного устройства DRB..." +2 +/–

Сообщение от 1 (??) on 18-Июн-15, 10:29

Да, наладить резервное копирование админов, тоже бы не помешало.

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

28. "Релиз распределенного реплицируемого блочного устройства DRB..." +/–

Сообщение от count0krsk (ok) on 22-Июн-15, 04:07

И актуализирование ими документации на всё, что они наворотили в реальном времени путем выписывания магического пенделя ;-)

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

31. "Релиз распределенного реплицируемого блочного устройства DRB..." +/–

Сообщение от Andrey Mitrofanov on 22-Июн-15, 09:26

> И актуализирование ими документации на всё, что они наворотили в реальном времени
> путем выписывания магического пенделя ;-)
Наше поколение советских людей будет жить при Полной Документации. Ура, товарищи!!

Ответить | Правка | ^ к родителю #28 | Наверх | Cообщить модератору

16. "Релиз распределенного реплицируемого блочного устройства DRB..." +/–

Сообщение от Аноним (??) on 18-Июн-15, 09:39

Так на картинке active - active :)

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

19. "Релиз распределенного реплицируемого блочного устройства DRB..." –1 +/–

Сообщение от Shodan (ok) on 18-Июн-15, 10:56

> Интересны конфигурации кластеров active-activ когда второй узел не тупо ждёт пока первый
> откажет, а работает тоже, В РЕЖИМЕ ЗАПИСИ, и принимает половину нагрузки.
> То есть балансировщик. После повреждения одного с узлов, не только диск,
> а может отказать мамка, проц, сетевая, другой берёт на себя полную
> нагрузку. При присоединении отремонтированной ноды и синхронизации, нагрузка опять распределяется
> между работающими, исправными узлами.
Это будет глобальный race condition.

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

20. "Релиз распределенного реплицируемого блочного устройства DRB..." +/–

Сообщение от Xaionaro (ok) on 18-Июн-15, 18:58

>> Интересны конфигурации кластеров active-activ когда второй узел не тупо ждёт пока первый
>> откажет, а работает тоже, В РЕЖИМЕ ЗАПИСИ, и принимает половину нагрузки.
>> То есть балансировщик. После повреждения одного с узлов, не только диск,
>> а может отказать мамка, проц, сетевая, другой берёт на себя полную
>> нагрузку. При присоединении отремонтированной ноды и синхронизации, нагрузка опять распределяется
>> между работающими, исправными узлами.
> Это будет глобальный race condition.
DLM [1], OCFS2 [2].
[1] https://en.wikipedia.org/wiki/Distributed_lock_manager
[2] https://ru.wikipedia.org/wiki/OCFS

Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

21. "Релиз распределенного реплицируемого блочного устройства DRB..." +1 +/–

Сообщение от Shodan (ok) on 19-Июн-15, 10:03

Это все красиво только в теории.

Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

23. "Релиз распределенного реплицируемого блочного устройства DRB..." +1 +/–

Сообщение от JR on 19-Июн-15, 12:07

8 лет проработало -> кластер из 2 нодов на centos+drbd+xen+heartbeat с live миграцией виртуалок между нодами, очень даже положительный опыт.
Из нюансов  - пара скриптов требовали модификации (wrapper for drbd, ктати интересно, как с этим делом в v.9?), и резервирование ресурсов для возможной миграции на нодах

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

24. "Релиз распределенного реплицируемого блочного устройства DRB..." +/–

Сообщение от Xaionaro (ok) on 19-Июн-15, 12:15

> Это все красиво только в теории.
Вы просто плохо знакомы с вопросом, как мне кажется. Да, есть серьёзные проблемы с различными экзотическими ФС (ceph, lustre, ocfs, gfs и т.п.), но оно при правильной настройке может вполне хорошо работать.

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

26. "Релиз распределенного реплицируемого блочного устройства DRB..." +/–

Сообщение от Shodan (ok) on 19-Июн-15, 12:57

>> Это все красиво только в теории.
> Вы просто плохо знакомы с вопросом, как мне кажется. Да, есть серьёзные
> проблемы с различными экзотическими ФС (ceph, lustre, ocfs, gfs и т.п.),
> но оно при правильной настройке может вполне хорошо работать.
Работать на каких обьемах данных и на какой нагрузке?

Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

30. "Релиз распределенного реплицируемого блочного устройства DRB..." +/–

Сообщение от Xaionaro (ok) on 22-Июн-15, 06:46

>>> Это все красиво только в теории.
>> Вы просто плохо знакомы с вопросом, как мне кажется. Да, есть серьёзные
>> проблемы с различными экзотическими ФС (ceph, lustre, ocfs, gfs и т.п.),
>> но оно при правильной настройке может вполне хорошо работать.
> Работать на каких обьемах данных и на какой нагрузке?
Смотря какое железо у вас имеется.

Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

27. "Релиз распределенного реплицируемого блочного устройства DRB..." +/–

Сообщение от Shodan (ok) on 19-Июн-15, 15:20

>> Это все красиво только в теории.
> Вы просто плохо знакомы с вопросом, как мне кажется. Да, есть серьёзные
> проблемы с различными экзотическими ФС (ceph, lustre, ocfs, gfs и т.п.),
> но оно при правильной настройке может вполне хорошо работать.
Сами себе противоречите
"Я когда-то использовал OCFS2 поверх DRBD. Работает. Но интерконнект между серверами был слабый (1Gbps ethernet), и в результате многие операции с ФС шли очень медленно. Обычный svn cleanup в одном проекте занимал полчаса."
Так работает или хорошо работает?

Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

29. "Релиз распределенного реплицируемого блочного устройства DRB..." +/–

Сообщение от Xaionaro (ok) on 22-Июн-15, 06:45

>>> Это все красиво только в теории.
>> Вы просто плохо знакомы с вопросом, как мне кажется. Да, есть серьёзные
>> проблемы с различными экзотическими ФС (ceph, lustre, ocfs, gfs и т.п.),
>> но оно при правильной настройке может вполне хорошо работать.
> Сами себе противоречите
> "Я когда-то использовал OCFS2 поверх DRBD. Работает. Но интерконнект между серверами был
> слабый (1Gbps ethernet), и в результате многие операции с ФС шли
> очень медленно. Обычный svn cleanup в одном проекте занимал полчаса."
> Так работает или хорошо работает?
Для такого интерконнекта (1Gbps ethernet) работает хорошо (другими словами latency был высокий, поэтому лучше с данной архитектурой работать и не могло). Был бы Infiniband, было бы всё иначе.
Вообще хватит вертеться уже. Просто признайте, что были не правы:
> Это будет глобальный race condition.

Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

32. "Релиз распределенного реплицируемого блочного устройства DRB..." +/–

Сообщение от Ононим on 22-Июн-15, 11:23

экспортирую "блочные устройства" по iSCSI, затем собираю их в пул ZFS.

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

33. "Релиз распределенного реплицируемого блочного устройства DRB..." +/–

Сообщение от vvi (??) on 18-Июл-15, 13:53

> Интересны конфигурации кластеров active-activ когда второй узел не тупо ждёт пока первый
> откажет, а работает тоже, В РЕЖИМЕ ЗАПИСИ, и принимает половину нагрузки.
> То есть балансировщик. После повреждения одного с узлов, не только диск,
> а может отказать мамка, проц, сетевая, другой берёт на себя полную
> нагрузку. При присоединении отремонтированной ноды и синхронизации, нагрузка опять распределяется
> между работающими, исправными узлами.
Я использовал primary-primary (1+1) с 8-й версией. Причём в коммерческом проекте - всё ок. drbd + ocfs2 + heartbeat. Можно было записать файл на ФС одного узла и тут же считать этот файл на другом узле. На ocfs2, помимо всего прочего, находится табличное пространство PostgreSQL. Данные доступны одновременно с обоих узлов даже если идёт длительная синхронизация.
Единственная проблема возникала в таком случае: если вручную выключить оба узла, когда данные ещё не засинхронизировались (обычно такое происходит при пересборке кластера, при нормальном функционировании синхронизация происходит мгновенно), затем включить узел - приёмник данных синхронизации, а затем только секунд через 30 включить источник синхронизации, то происходил brain-splitting, что, в общем-то, логично.
При разнице в несколько секунд проблема не повторяется. Реальные аварийные ситуации кластер отрабатывал отлично.

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

22. "Релиз распределенного реплицируемого блочного устройства DRB..." +/–

Сообщение от pokalo (??) on 19-Июн-15, 11:35

на каждой ноде по 5 дисков, обединенных последовательно с помощью LVM (типа RAID0) в одно устройство drbd (на всех нодах primary), поверх которого OCFS2. Почему то работает уже пару лет без вопросов.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Релиз распределенного реплицируемого блочного устройства DRB..."	–4 +/–
Сообщение от Аноним (??) on 17-Июн-15, 18:23
CEPH лучше, чем DRBD
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	3. "Релиз распределенного реплицируемого блочного устройства DRB..."	+3 +/–
	Сообщение от yukra on 17-Июн-15, 18:33
	у меня сейчас drbd в проде на одном "проекте" и ceph в тестинге в другом проекте. Я когда знакомился с ceph тоже думал "нафиг выкину drbd", но потом подумал и решил что для двух серверов ceph как то оверкил, все таки у них немного разное ЦА. Так что сравнивать "в тупую" неправильно.
	Ответить \| Правка \| ^ к родителю #1 \| Наверх \| Cообщить модератору

2. "Релиз распределенного реплицируемого блочного устройства DRB..."	–17 +/–
Сообщение от A.Stahl (ok) on 17-Июн-15, 18:24
>подобие массива RAID-1 Стоп-стоп-стоп! Это тупое зеркало, но по сети? И объединив 100 машин по 1 байту, мы получим сверхнадёжный 1 байт? И ни битом больше? Не-не-не! Пусть пилят и другие "подобия рейдов". Тем более, что базис уже готов...
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	4. "Релиз распределенного реплицируемого блочного устройства DRB..."	+7 +/–
	Сообщение от сис.админ_23rus (ok) on 17-Июн-15, 19:17
	DRBD заточен в основном на отказоустойчивые системы, поэтому не стоит так реагировать
	Ответить \| Правка \| ^ к родителю #2 \| Наверх \| Cообщить модератору


	5. "Релиз распределенного реплицируемого блочного устройства DRB..."	+3 +/–
	Сообщение от Аноним (??) on 17-Июн-15, 20:22
	С добрым утром.
	Ответить \| Правка \| ^ к родителю #2 \| Наверх \| Cообщить модератору


	7. "Релиз распределенного реплицируемого блочного устройства DRB..."	+3 +/–
	Сообщение от Dmi on 17-Июн-15, 23:13
	Это не "тупое" зеркало, а довольно таки умное: например, при потере слейва и последующем подсоединении ресинхронизация проходит очень быстро, поскольку гоняются только измененившиеся блоки, отмеченные в битовой карте. При этом DRBD дает возможность на халяву делать нормальное дублирование данных, а не делать вид, что дешевая дисковая полка от всего спасает.
	Ответить \| Правка \| ^ к родителю #2 \| Наверх \| Cообщить модератору


	8. "Релиз распределенного реплицируемого блочного устройства DRB..."	+/–
	Сообщение от Andrey Mitrofanov on 17-Июн-15, 23:23
	> только измененившиеся блоки, отмеченные в битовой карте. А именно битовая карта - не в v8 ли, где только 2 копии? Для v9 с несколькими копиями там что? Несколько бит на блок? Я не смотрел и как обычно всё путаю? ... ... ...
	Ответить \| Правка \| ^ к родителю #7 \| Наверх \| Cообщить модератору


	10. "Релиз распределенного реплицируемого блочного устройства DRB..."	+1 +/–
	Сообщение от Dmi on 18-Июн-15, 00:16
	>> только измененившиеся блоки, отмеченные в битовой карте. > А именно битовая карта - не в v8 ли, где только 2 > копии? Для v9 с несколькими копиями там что? Несколько бит на > блок? Я не смотрел и как обычно всё путаю? ... В бета-документахе на v9 по прежнему написано, что quick-sync bitmap по-парная. Так что их несколько наверное, если несколько пиров.
	Ответить \| Правка \| ^ к родителю #8 \| Наверх \| Cообщить модератору


	12. "Релиз распределенного реплицируемого блочного устройства DRB..."	+/–
	Сообщение от Аноним (??) on 18-Июн-15, 08:01
	Благодаря этому простому зеркалу по сети, умелые люди добиваются не только резервирования дисков, но и всего сервера с питанием! Вполне хватает RAID-1 - простота, скорость и надёжность!
	Ответить \| Правка \| ^ к родителю #2 \| Наверх \| Cообщить модератору

6. "Релиз распределенного реплицируемого блочного устройства DRB..."	–1 +/–
Сообщение от Аноним (??) on 17-Июн-15, 23:09
Это тоже самое что и gluster ?
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	9. "Релиз распределенного реплицируемого блочного устройства DRB..."	+1 +/–
	Сообщение от Andrey Mitrofanov on 17-Июн-15, 23:24
	> Это тоже самое что и gluster ? Нет. Это то же самое, что LVM. </шютка>
	Ответить \| Правка \| ^ к родителю #6 \| Наверх \| Cообщить модератору


	11. "Релиз распределенного реплицируемого блочного устройства DRB..."	+/–
	Сообщение от Рудвульф on 18-Июн-15, 07:21
	Товарищ вы путаете ФС и блочное устройство. Кстати кто какую ФС поверх DRBD использует?
	Ответить \| Правка \| ^ к родителю #6 \| Наверх \| Cообщить модератору


	13. "Релиз распределенного реплицируемого блочного устройства DRB..."	+/–
	Сообщение от Аноним (??) on 18-Июн-15, 08:03
	> Товарищ вы путаете ФС и блочное устройство. Кстати кто какую ФС поверх > DRBD использует? ext4 для тех кто боится и первый раз. GFS можно добиться режима работы с одновременной записью на оба диска.
	Ответить \| Правка \| ^ к родителю #11 \| Наверх \| Cообщить модератору


	25. "Релиз распределенного реплицируемого блочного устройства DRB..."	–1 +/–
	Сообщение от pokalo (??) on 19-Июн-15, 12:36
	>> Товарищ вы путаете ФС и блочное устройство. Кстати кто какую ФС поверх >> DRBD использует? > ext4 для тех кто боится и первый раз. > GFS можно добиться режима работы с одновременной записью на оба диска. GFS какой то глючный. и много хочет.
	Ответить \| Правка \| ^ к родителю #13 \| Наверх \| Cообщить модератору


	17. "Релиз распределенного реплицируемого блочного устройства DRB..."	+2 +/–
	Сообщение от Xaionaro (ok) on 18-Июн-15, 10:12
	> Кстати кто какую ФС поверх DRBD использует? Я когда-то использовал OCFS2 поверх DRBD. Работает. Но интерконнект между серверами был слабый (1Gbps ethernet), и в результате многие операции с ФС шли очень медленно. Обычный svn cleanup в одном проекте занимал полчаса. [offtop] Если действительно интересно обменяться опытом по данной теме, то рекомендую поехать на LVEE на следующей неделе, и я могу подробно пересказать свой опыт [1]. [1] https://lvee.org/uploads/image_upload/file/337/winter_2014_1... [/offtop]
	Ответить \| Правка \| ^ к родителю #11 \| Наверх \| Cообщить модератору

14. "Релиз распределенного реплицируемого блочного устройства DRB..."	+/–
Сообщение от Аноним (??) on 18-Июн-15, 08:10
Интересны конфигурации кластеров active-activ когда второй узел не тупо ждёт пока первый откажет, а работает тоже, В РЕЖИМЕ ЗАПИСИ, и принимает половину нагрузки. То есть балансировщик. После повреждения одного с узлов, не только диск, а может отказать мамка, проц, сетевая, другой берёт на себя полную нагрузку. При присоединении отремонтированной ноды и синхронизации, нагрузка опять распределяется между работающими, исправными узлами.
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	15. "Релиз распределенного реплицируемого блочного устройства DRB..."	+/–
	Сообщение от Аноним (??) on 18-Июн-15, 08:13
	PS: от наличия резервного копирования админов не освобождает, особо в случае режима active-active
	Ответить \| Правка \| ^ к родителю #14 \| Наверх \| Cообщить модератору


	18. "Релиз распределенного реплицируемого блочного устройства DRB..."	+2 +/–
	Сообщение от 1 (??) on 18-Июн-15, 10:29
	Да, наладить резервное копирование админов, тоже бы не помешало.
	Ответить \| Правка \| ^ к родителю #15 \| Наверх \| Cообщить модератору


	28. "Релиз распределенного реплицируемого блочного устройства DRB..."	+/–
	Сообщение от count0krsk (ok) on 22-Июн-15, 04:07
	И актуализирование ими документации на всё, что они наворотили в реальном времени путем выписывания магического пенделя ;-)
	Ответить \| Правка \| ^ к родителю #18 \| Наверх \| Cообщить модератору


	31. "Релиз распределенного реплицируемого блочного устройства DRB..."	+/–
	Сообщение от Andrey Mitrofanov on 22-Июн-15, 09:26
	> И актуализирование ими документации на всё, что они наворотили в реальном времени > путем выписывания магического пенделя ;-) Наше поколение советских людей будет жить при Полной Документации. Ура, товарищи!!
	Ответить \| Правка \| ^ к родителю #28 \| Наверх \| Cообщить модератору


	16. "Релиз распределенного реплицируемого блочного устройства DRB..."	+/–
	Сообщение от Аноним (??) on 18-Июн-15, 09:39
	Так на картинке active - active :)
	Ответить \| Правка \| ^ к родителю #14 \| Наверх \| Cообщить модератору


	19. "Релиз распределенного реплицируемого блочного устройства DRB..."	–1 +/–
	Сообщение от Shodan (ok) on 18-Июн-15, 10:56
	> Интересны конфигурации кластеров active-activ когда второй узел не тупо ждёт пока первый > откажет, а работает тоже, В РЕЖИМЕ ЗАПИСИ, и принимает половину нагрузки. > То есть балансировщик. После повреждения одного с узлов, не только диск, > а может отказать мамка, проц, сетевая, другой берёт на себя полную > нагрузку. При присоединении отремонтированной ноды и синхронизации, нагрузка опять распределяется > между работающими, исправными узлами. Это будет глобальный race condition.
	Ответить \| Правка \| ^ к родителю #14 \| Наверх \| Cообщить модератору


	20. "Релиз распределенного реплицируемого блочного устройства DRB..."	+/–
	Сообщение от Xaionaro (ok) on 18-Июн-15, 18:58
	>> Интересны конфигурации кластеров active-activ когда второй узел не тупо ждёт пока первый >> откажет, а работает тоже, В РЕЖИМЕ ЗАПИСИ, и принимает половину нагрузки. >> То есть балансировщик. После повреждения одного с узлов, не только диск, >> а может отказать мамка, проц, сетевая, другой берёт на себя полную >> нагрузку. При присоединении отремонтированной ноды и синхронизации, нагрузка опять распределяется >> между работающими, исправными узлами. > Это будет глобальный race condition. DLM [1], OCFS2 [2]. [1] https://en.wikipedia.org/wiki/Distributed_lock_manager [2] https://ru.wikipedia.org/wiki/OCFS
	Ответить \| Правка \| ^ к родителю #19 \| Наверх \| Cообщить модератору


	21. "Релиз распределенного реплицируемого блочного устройства DRB..."	+1 +/–
	Сообщение от Shodan (ok) on 19-Июн-15, 10:03
	Это все красиво только в теории.
	Ответить \| Правка \| ^ к родителю #20 \| Наверх \| Cообщить модератору


	23. "Релиз распределенного реплицируемого блочного устройства DRB..."	+1 +/–
	Сообщение от JR on 19-Июн-15, 12:07
	8 лет проработало -> кластер из 2 нодов на centos+drbd+xen+heartbeat с live миграцией виртуалок между нодами, очень даже положительный опыт. Из нюансов - пара скриптов требовали модификации (wrapper for drbd, ктати интересно, как с этим делом в v.9?), и резервирование ресурсов для возможной миграции на нодах
	Ответить \| Правка \| ^ к родителю #21 \| Наверх \| Cообщить модератору


	24. "Релиз распределенного реплицируемого блочного устройства DRB..."	+/–
	Сообщение от Xaionaro (ok) on 19-Июн-15, 12:15
	> Это все красиво только в теории. Вы просто плохо знакомы с вопросом, как мне кажется. Да, есть серьёзные проблемы с различными экзотическими ФС (ceph, lustre, ocfs, gfs и т.п.), но оно при правильной настройке может вполне хорошо работать.
	Ответить \| Правка \| ^ к родителю #21 \| Наверх \| Cообщить модератору


	26. "Релиз распределенного реплицируемого блочного устройства DRB..."	+/–
	Сообщение от Shodan (ok) on 19-Июн-15, 12:57
	>> Это все красиво только в теории. > Вы просто плохо знакомы с вопросом, как мне кажется. Да, есть серьёзные > проблемы с различными экзотическими ФС (ceph, lustre, ocfs, gfs и т.п.), > но оно при правильной настройке может вполне хорошо работать. Работать на каких обьемах данных и на какой нагрузке?
	Ответить \| Правка \| ^ к родителю #24 \| Наверх \| Cообщить модератору


	30. "Релиз распределенного реплицируемого блочного устройства DRB..."	+/–
	Сообщение от Xaionaro (ok) on 22-Июн-15, 06:46
	>>> Это все красиво только в теории. >> Вы просто плохо знакомы с вопросом, как мне кажется. Да, есть серьёзные >> проблемы с различными экзотическими ФС (ceph, lustre, ocfs, gfs и т.п.), >> но оно при правильной настройке может вполне хорошо работать. > Работать на каких обьемах данных и на какой нагрузке? Смотря какое железо у вас имеется.
	Ответить \| Правка \| ^ к родителю #26 \| Наверх \| Cообщить модератору


	27. "Релиз распределенного реплицируемого блочного устройства DRB..."	+/–
	Сообщение от Shodan (ok) on 19-Июн-15, 15:20
	>> Это все красиво только в теории. > Вы просто плохо знакомы с вопросом, как мне кажется. Да, есть серьёзные > проблемы с различными экзотическими ФС (ceph, lustre, ocfs, gfs и т.п.), > но оно при правильной настройке может вполне хорошо работать. Сами себе противоречите "Я когда-то использовал OCFS2 поверх DRBD. Работает. Но интерконнект между серверами был слабый (1Gbps ethernet), и в результате многие операции с ФС шли очень медленно. Обычный svn cleanup в одном проекте занимал полчаса." Так работает или хорошо работает?
	Ответить \| Правка \| ^ к родителю #24 \| Наверх \| Cообщить модератору


	29. "Релиз распределенного реплицируемого блочного устройства DRB..."	+/–
	Сообщение от Xaionaro (ok) on 22-Июн-15, 06:45
	>>> Это все красиво только в теории. >> Вы просто плохо знакомы с вопросом, как мне кажется. Да, есть серьёзные >> проблемы с различными экзотическими ФС (ceph, lustre, ocfs, gfs и т.п.), >> но оно при правильной настройке может вполне хорошо работать. > Сами себе противоречите > "Я когда-то использовал OCFS2 поверх DRBD. Работает. Но интерконнект между серверами был > слабый (1Gbps ethernet), и в результате многие операции с ФС шли > очень медленно. Обычный svn cleanup в одном проекте занимал полчаса." > Так работает или хорошо работает? Для такого интерконнекта (1Gbps ethernet) работает хорошо (другими словами latency был высокий, поэтому лучше с данной архитектурой работать и не могло). Был бы Infiniband, было бы всё иначе. Вообще хватит вертеться уже. Просто признайте, что были не правы: > Это будет глобальный race condition.
	Ответить \| Правка \| ^ к родителю #27 \| Наверх \| Cообщить модератору