The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

В файловой системе HAMMER появилась поддержка объединения дубликатов

10.11.2010 22:16

Для кластерной файловой системы HAMMER, разрабатываемой в рамках проекта DragonFly BSD, реализована поддержка объединения дубликатов данных. Представленная функция позволяет заметно сократить потребление дискового пространства в конфигурациях с большой долей повторяющихся данных за счет физического хранения на диске только одной копии всех дубликатов. Для пользователей которые не хотят рисковать использовать экспериментальный код, но не против узнать сколько можно сэкономить места на диске предусмотрен режим симуляции операции объединения дубликатов ("hammer dedup-simulate").

Некоторые возможности файловой системы HAMMER: восстановление ошибок во время монтирования, без необходимости выполнения fsck; возможность создания неограниченного числа снапшотов, отражающих состояние файловой системы в заданный промежуток времени; инкрементальное зеркалирование без использования очередей операций, поддержка режима "один master и много slave"; возможность отката операции и возврата состояния на определенную точку; поддержка объединения нескольких дисковых томов в рамках одной ФС. Максимальный объем хранилища - 1 Эксабайт. В будущем планируется реализовать multi-master режим с распределением данных на несколько хостов сети (резервирование за счет дублирования данных на разные машины) с поддержкой асинхронных транзакций.

  1. Главная ссылка к новости (http://www.shiningsilence.com/...)
  2. OpenNews: Вышел релиз ОС DragonFlyBSD 2.6
  3. OpenNews: В ZFS появилась поддержка исключения дубликатов
  4. OpenNews: Вышел релиз DragonFly BSD 2.0 с файловой системой HAMMER в комплекте
  5. OpenNews: Opendedup - файловая система с автоматическим объединением дубликатов данных
  6. OpenNews: Готовы ли файловые системы Linux к появлению многотерабайтных дисков
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/28608-hammer
Ключевые слова: hammer, DragonFlyBSD, fs
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (13) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.2, PavelR (??), 23:12, 10/11/2010 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Нужно делать бэкапы виртуальных машин.
    Предполагается использовать rsync для их копирования.

    Необходимо организовать хранилище файлов резервных копий, с поддержкой дедупликации, чтобы хранились только изменившиеся блоки. Какая ОС/фс готовы к такому использованию в настоящий момент?
    (solaris+zfs.v26, какие еще?)

     
     
  • 2.4, Andrei (??), 00:01, 11/11/2010 [^] [^^] [^^^] [ответить]  
  • –1 +/
    man "cp -al ... && rsync ..." ||
    man unionfs
     
  • 2.9, Алексей (??), 03:37, 11/11/2010 [^] [^^] [^^^] [ответить]  
  • +/
    Из известных мне решений для дедупликации под Linux могу посоветовать смотреть в сторону LessFS (http://www.lessfs.com/) и SDFS (http://www.opendedup.org/), обе эти ФС работают через FUSE.
    SDFS написана на жабе, для работы требует достаточно много ОЗУ, но при этом работает весьма шустро.
     

  • 1.3, User294 (ok), 23:36, 10/11/2010 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    Нечто такое жутко рулило бы для виртуалок и контейнеров - по сути можно прямо на дисковй ФС хранить и делать все то что обычно делают в самопальных форматах виртуальных дисков и прочих костылях. Было бы куда удобнее в управлении чем виртуальные диски в файлах и прочая муть. Вот только где виртуализация на бсд? Ржевский, молчать! :)
     
     
  • 2.11, Аноним (-), 07:17, 11/11/2010 [^] [^^] [^^^] [ответить]  
  • +/
    VirtualBox ? Под фряхой у него даже усб есть (в OSS верии):)
    Хотя под фряхой и ZFS есть так чтЭ ...
     
  • 2.12, www2 (ok), 09:25, 11/11/2010 [^] [^^] [^^^] [ответить]  
  • +/
    В DragonFly BSD, разработчики которой одновременно являются и разработчиками HAMMER, есть vkernel. Насколько я могу судить, это аналог User Mode Linux.
     

  • 1.5, Аноним (-), 00:20, 11/11/2010 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Замечательно, еще бы портировали в другие *БСД
     
     
  • 2.13, тигар (ok), 10:23, 11/11/2010 [^] [^^] [^^^] [ответить]  
  • +/
    Диллон правильно сказал что "у вас(fbsd) есть zfs, пилите его лучше". Но лично Вы можете портировать hammer на нужную xBSD ;)
     

  • 1.6, Аноним (-), 00:21, 11/11/2010 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Когда ей уже во FreeBSD портируют?
     
     
  • 2.7, iZEN (ok), 00:25, 11/11/2010 [^] [^^] [^^^] [ответить]  
  • +/
    Сейчас в FreeBSD идёт активное перелопачивание vfs и структур ZFS — подготавливается внедрение дедупликации и ZFSv28. ;)
     
     
  • 3.8, Аноним (-), 00:51, 11/11/2010 [^] [^^] [^^^] [ответить]  
  • +/
    И? Времени достаточно было, еще даже до импорта ZFS.
     
     
  • 4.10, kshetragia (ok), 05:20, 11/11/2010 [^] [^^] [^^^] [ответить]  
  • +/
    Там были другие, более важные задачи.
     

  • 1.14, pavlinux (ok), 14:26, 11/11/2010 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Предлагаю снизить количество дубликатов до двух бит - 1 и 0, или да же до одного - 0 и ~0


     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру