The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Выпуск распределённого хранилища Ceph 10.2.0

25.04.2016 11:49

Компания Red Hat представила релиз проекта Ceph 10.2.0, предоставляющего инфраструктуру для создания объектных хранилищ, блочных устройств и файловых систем, распределенных по тысячам машин и способных хранить эксабайты данных. Выпуск позиционируется как значительный релиз, который послужит основой для формирования новой ветки с длительным циклом поддержки (LTS). Пакеты сформированы для CentOS 7.x, Debian Jessie 8.x, Ubuntu 14.04/16.04 и Fedora 22+.

Ceph позволяет добиться очень высокого уровня отказоустойчивости хранилища, благодаря отсутствию единой точки отказа и репликации с хранением нескольких экземпляров данных на разных узлах. Обработку данных и метаданных выполняют различные группы узлов в кластере. Поддерживается создание снапшотов, динамическое выделения места в хранилище, многослойное хранение (редко используемые данные на НЖМД, а часто используемые на SSD), самодиагностика и самоконфигурирование. При добавлении или удалении новых узлов, массив данных автоматически ребалансируется с учетом изменения конфигурации.

Выпуск Ceph 10.2.0 примечателен стабилизацией реализации POSIX-совместимой файловой системы CephFS. Как и в случае блочного устройства RBD, файловая система CephFS разворачивается поверх распределённого кластера хранения Ceph, включающего как минимум один сервер метаданных. Предлагается два варианта клиентской части файловой системы CephFS: модуль ядра Linux и реализация в пространстве пользователя через подсистему FUSE. В связи с переводом CephFS в разряд стабильных подсистем, некоторые возможности теперь отключены по умолчанию, например, недоступны снапшоты и конфигурация с несколькими активными серверами метаданных, которые пока не рекомендуются для промышленного применения. До полнофункционального состояния доведена утилита для восстановления целостности ФС после сбоя. В состав включен новый модуль cephfs-volume-manager, позволяющий управлять хранилищами для OpenStack. Добавлена экспериментальная поддержка развёртывания нескольких ФС в одном кластере.

В реализации блочного устройства RBD (Ceph Block Device) добавлена поддержка зеркалирования разделов (асинхронной репликации) с привлечением нескольких разных кластеров хранения. Репликация выполнена через трансляцию в другой кластер журнала изменений и может использоваться для организации зеркала в территориально разнесённом хранилище, доступном через глобальную сеть. Из других новшеств отмечается поддержка динамического управления включением таких возможностей, как эксклюзивные блокировки, object-map, fast-diff и журналирование. Добавлена возможность переименования снапшотов RBD. Полностью переписан интерфейс командной строки, добавлена поддержка автодополнения ввода в bash.

В объектном хранилище RADOS (Reliable Autonomic Distributed Object Store), позволяющем организовать хранение данных из приложений на различных языках программирования и служащем основой для RBD и CephFS, представлен новый более быстрый OSD-бэкенд BlueStore (Object Storage Device), который пока рассматривается как экспериментальная возможность, но в будущем запланирован для включения по умолчанию. Традиционно Ceph использует для хранения данных и метаданных локальные ФС узлов, такие как XFS и Btrfs, что приводит к лишнему усложнению и ограничивает производительность. BlueStore обеспечивает хранение на уровне прямого доступа к блочному устройству, используя лишь небольшую ФС для метаданных. Для большинства типовых нагрузок подобный подход позволяет добиться удвоения производительности.

В RADOS Gateway, прослойке для организации доступа к объектному хранилищу RADOS через типовые RESTful API (Amazon S3, OpenStack Swift), переписана и перепроектирована система межкластерного взаимодействия, что позволило реализовать возможность создания active/active конфигураций и двунаправленного восстановления (bidirectional fail-over). Добавлена экспериментальная поддержка доступа к данным через NFS. Реализована поддержка протокола AWS4 и API OpenStack Keystone v3.



  1. Главная ссылка к новости (http://ceph.com/releases/v10-2...)
  2. OpenNews: Red Hat уведомил о возможной подмене злоумышленниками пакетов Ceph для Ubuntu и CentOS
  3. OpenNews: Red Hat открыл код Calamari, инструментарий для управления хранилищами на базе Ceph
  4. OpenNews: Red Hat поглотил компанию Inktank, развивающую ФС Ceph. TIBCO купил компанию Jaspersoft
  5. OpenNews: Новая распределенная файловая система Ceph
  6. OpenNews: В состав Linuх-ядра 2.6.34 будет включена распределенная файловая система Ceph
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/44303-ceph
Ключевые слова: ceph
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (44) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, A.Stahl (ok), 11:57, 25/04/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +17 +/
    Отличный чертёж:
    У колобков есть цилиндры и кубики. И иногда необходимо делать из кубов цилиндры и наоборот. Эта задача решается с помощью линуксового ядра в котором есть фитиль (не рванёт хоть?).
    Хотя нет, мне кажется я неправильно понял иллюстрацию.
    У колобков есть лишь цилиндры, но чтобы взять цилиндр в нагрузку приходится брать куб. И ещё куб можно взять отдельно без цилиндра.
    Круто... Я тоже такое хочу...
     
     
  • 2.2, makky (ok), 12:03, 25/04/2016 [^] [^^] [^^^] [ответить]  
  • +15 +/
    Ого! С выходных не отпустило.
     
  • 2.5, бедный буратино (ok), 12:43, 25/04/2016 [^] [^^] [^^^] [ответить]  
  • +3 +/
    там клавиатура от спектрума!
     
     
  • 3.22, Аноним (-), 18:06, 25/04/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    снизу квадратные от спектрума плюс дырка для кассеты, а сверху цилиндрические от самодельного совецкого конпутера из чего пришлось сделанного
     

  • 1.3, Вова (?), 12:12, 25/04/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Кто-нибудь может рассказать что такое "новый OSD-бэкенд BlueStore"?
    Попытка избавиться от прослойки в виде ФС на диске?
     
     
  • 2.4, kataklysm (?), 12:20, 25/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Да, именно так.
     

  • 1.8, Аноним (-), 14:09, 25/04/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Кто-нибудь пробовал это использовать для локального многодискового хранилища с зеркалированием данных вместо ZFS или Btrfs?
     
     
  • 2.13, kataklysm (?), 15:11, 25/04/2016 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Локальный многодисковый Ceph? Мммм, это как? :)

    Ceph не локальный многодисковый. Это целая инфраструктура с абсолютным минимумом в 3 ноды. Сравнение с традиционными ФС, как минимум некорректно.

     
     
  • 3.16, Аноним (-), 15:37, 25/04/2016 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Просто хочется, чтобы у всех данных были две копии на разных дисках.

    ZFS хреново работает с дисками непредсказуемых размеров (то есть с домашними файлопомойками и подобным зоопарком), а Btrfs ещё не отладили.

    Я правильно понимаю, что Ceph тут плохая идея, с ним только совсем через задницу типа колхоза с виртуалками?

     
     
  • 4.18, kataklysm (?), 16:26, 25/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Все как и описали "совсем через задницу типа колхоза с виртуалками" :)
     
  • 4.19, 889900 (?), 16:31, 25/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Тебе знакомо слово RAID 1?
     
     
  • 5.20, Аноним (-), 16:41, 25/04/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Тебе знакомо слово разные размеры дисков? А добавление дисков по одному?
     
     
  • 6.31, _ (??), 22:59, 25/04/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Тебе знакома аксиома про "Дураки должны мучиЦЦо!?"
    Или семь раз отрежь, один раз отмерь?

    Впрочем если уж совсем подгорает пробуй Леффс http://leo-project.net/leofs/
    Только ЧУР! потом никогда! никому! не говори! что я это советовал :-/

     
     
  • 7.32, Led (ok), 00:05, 26/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Тебе знакома аксиома про "Дураки должны мучиЦЦо!?"

    Не стОит злоупотреблять словом "дурак". Тем более, в данном чисто клиническом случае.

     
     
  • 8.34, . (?), 03:07, 26/04/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Эээыымм Led - либо я не буду злоупотреблять, да но - не распарсил Вря... текст свёрнут, показать
     
  • 6.33, t (??), 00:05, 26/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    btrfs решает, я пользую. несколько лет, несколько инстансов. не прод - хобби, да.
    ещё можно делать через mirroring в lvm.
    ну и множество решений уровня FUSE.
     
  • 2.45, Александр (??), 17:10, 29/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Будет посложнее чем с файловой системой, но да, Сеф можно и удобно юзать когда нужно из зоопарка сделать один большой и надежный трэшкэн.
     

  • 1.10, Аноним (-), 14:27, 25/04/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Ceph вещь хорошая, но для нормальной производительности нужно много машин и мнооого дисков.
     
     
  • 2.11, annon (?), 14:31, 25/04/2016 [^] [^^] [^^^] [ответить]  
  • –2 +/
    вот поэтому надо юзать sheepdog
     
  • 2.14, kataklysm (?), 15:14, 25/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Ceph вещь хорошая, но для нормальной производительности нужно много машин и мнооого
    > дисков.

    Неверно, все зависит от метода/типа записи/чтения. Ceph очень не любит (не с BlueStore): threads =1 and depth=1. На rbd данная проблема решается созданием RAID0 на виртуальных машинах.

     

  • 1.12, Аноним (-), 15:07, 25/04/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    Отличная новость! За 5 лет работы архитектором в крупнейшем операторе связи России лично внедрил с сопроводил более 3-х проектов с Ceph. Было дело, что писал ней патчи, но баги были не критичные!
     
     
  • 2.15, kataklysm (?), 15:15, 25/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Отличная новость! За 5 лет работы архитектором в крупнейшем операторе связи России
    > лично внедрил с сопроводил более 3-х проектов с Ceph. Было дело,
    > что писал ней патчи, но баги были не критичные!

    Что за патчи? Хочется глянуть ). Спасибо

     
  • 2.17, Moomintroll (ok), 16:18, 25/04/2016 [^] [^^] [^^^] [ответить]  
  • +9 +/
    > более 3-х проектов

    4?

     
  • 2.23, alex53 (?), 19:19, 25/04/2016 [^] [^^] [^^^] [ответить]  
  • –2 +/
    В ceph контрольные суммы данных уже появились?

    ЗЫ:Крупнейший оператор связи это ведь rostelecom? Вот почему он так хреново работает...

     
     
  • 3.24, Led (ok), 20:35, 25/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Крупнейший оператор связи это ведь rostelecom? Вот почему он так хреново работает...

    Врядли из-за этого одного анонима.

     
  • 3.37, kataklysm (?), 08:28, 26/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Оно всегда вообще-то было, уважаемый...
     
     
  • 4.46, alex53 (?), 21:22, 29/04/2016 [^] [^^] [^^^] [ответить]  
  • +/

    Два года назад точно не было.
    Можно пруф на появление?
     

  • 1.26, Аноним (-), 21:01, 25/04/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    BeeGFS говорят лучше.
     
     
  • 2.27, Led (ok), 21:28, 25/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > BeeGFS говорят лучше.

    А работают как?

     

  • 1.29, Аноним (-), 22:20, 25/04/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >>> недоступны ... конфигурация с несколькими активными серверами метаданных

    Далее не интересно.

     
  • 1.30, aleks (??), 22:42, 25/04/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Зачем, если есть gluster?
     
     
  • 2.43, Аноним (-), 16:24, 27/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Там файлы, тут блоки.
     

  • 1.35, abnis (?), 07:11, 26/04/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Red Hat вроде продвигали GlusterFS, а теперь уже взялись на Ceph...
    Интересно.
     
     
  • 2.41, SunXE (ok), 11:28, 26/04/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Это под разные задачи решения.
     

  • 1.36, max (??), 08:07, 26/04/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Приветствую всех!

    Тема для меня интересная, а можно тут узнать, кто и что использует в продакшене, напишите пожалуйста, если не секрет. Есть задача, виртуализация всего и вся, и мы тут больше склоняемся к установке GlusterFS + oVirt. Но может быть есть более интересные решения, опробованные кем то еще!? Заранее спасибо! )

     
     
  • 2.38, kataklysm (?), 08:39, 26/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Мы используем, два ЦОДА разнесенных данных(планируется еще один). Суммарный сырой объем 1 ПБ, с тремя репликациями и кэш пулами на PCI-SSD
    Конечно же есть вопросы по производительности thread=1,depth=1,sync=1 но решаемо хитрым способом - созданием RAID0 на виртуалке. Если что обращайтесь.
    А вообще мы довольны и используем порядка 2 лет RBD и S3 1.5 года (под бекапы)
     
     
  • 3.39, fyanon (?), 10:22, 26/04/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Как порекомендуете собрать кластер из 6 физических серверов: на каждом 16 дисков +
    два физических сервера с 2 дисками. Хотелось бы собрать хранилище ceph с iscsi шлюзом для vmware
     
     
  • 4.40, fyanon (?), 10:24, 26/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Как порекомендуете собрать кластер из 6 физических серверов: на каждом 16 дисков
    > +
    > два физических сервера с 2 дисками. Хотелось бы собрать хранилище ceph с
    > iscsi шлюзом для vmware

    на серверах хранения есть raid контроллеры с кэшем

     
     
  • 5.44, Аноним (-), 16:26, 27/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > на серверах хранения есть raid контроллеры с кэшем

    Угу. На которых батарейка через год приказывает долго жить, со всеми вытекающими.

     
  • 2.42, SunXE (ok), 11:49, 26/04/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    В oVirt со стабильностью всё плохо, это все таки тестовый продукт. Пару раз пробовал, то оно со свежим ядром не хочет работать, то по NFS дико тормозит.
    Плюс к этому, лично я не люблю такие ентерпраз решения которые сами ставят и настраивают кучу пакетов, сами правят сетевые и прочие конфиги на машине. В итоге сходу не понятно как это все работает и как это потом вычистить. Такое ораклоподобное решение, под которое нужно отдельного специалиста воспитывать.
    Лично я бы смотрел в сторону ProxMox кластер + drbd(или ceph). В последний раз когда я пробовал хранить вируталки в glusterfs, они раз в какое-то время лочились после чего приходилось всех их перегружать.
    Glusterfs максимум для хранения бэкапов. Хотя сама файловая система очень интересная, она не размазывает файл по куче серверов, а целеком хранит отдельный файл на отдельном сервере. Для восстановления после сбоя и некоторых задач это важно.
    Если у вас уже образовалась гетерогенная среда, то смотрите в сторону OpenNebula.
     
     
  • 3.48, yurapoltora (?), 12:24, 30/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Начал пользовать oVirt с релиза 3 5, сейчас все мчит на актуальной версии - 3 6 ... большой текст свёрнут, показать
     
     
  • 4.49, Аноним (-), 20:58, 02/05/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Не "пользовать", а "использовать".
     
  • 2.47, yurapoltora (?), 12:05, 30/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Поделюсь личной практикой по использованию oVirt - две платформы по 7 и 10 серве... большой текст свёрнут, показать
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру