The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Для Linux предложена файловая система Composefs, opennews (??), 28-Ноя-22, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


4. "Для Linux предложена файловая система Composefs"  –3 +/
Сообщение от ip1982 (ok), 28-Ноя-22, 23:24 
> В Composefs применяется модель хранения с адресацией на основе содержимого, т.е. первичным идентификатором является не имя файла, а хэш от содержимого файла

Для подобной фичи ZFS требуется дофига памяти.

Ответить | Правка | Наверх | Cообщить модератору

11. "Для Linux предложена файловая система Composefs"  +6 +/
Сообщение от Аноним (11), 29-Ноя-22, 00:04 
в zfs блочная дедупликация, тут всего файла целиком. 1 бит отличается на 100 мбайт - хэш всего файла в 100 мбайт отличается, пролет.
Ответить | Правка | Наверх | Cообщить модератору

47. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Минона (ok), 29-Ноя-22, 07:38 
Нет.
В ZFS хешируются записи, которые имеют дефолтный размер до 128кб, но могут быть размером до 1мб и больше.
Так вот, если файл меньшего размера чем размер записи в свойствах датасета, то хеш будет всего файла.
Ответить | Правка | Наверх | Cообщить модератору

146. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (-), 01-Дек-22, 18:37 
В btrfs по минимуму можно и 4К блоками офлайн дедуп сделать. Если вас не задолбает столько хешей хранить и процессить конечно, это некий выбор между полнотой дедупликации и ресурсов потраченых на процедуру, чем точнее тем больше ресурсов надо просадить на это. Ну и куча рефов на 4К блоки с именно такой размерностью адресации не очень эффективно по оверхеду может быть. В зависимости от глупизны дедубликатора он может слить идентичные регионы вместе но даже так есть риск получить кучу мелочи и метаданных на вот это все.
Ответить | Правка | Наверх | Cообщить модератору

153. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Минона (ok), 02-Дек-22, 07:05 
> В btrfs по минимуму можно и 4К блоками офлайн дедуп сделать.

Ну и зачем ты всё это писал.
Речь идёт про zfs.

Ответить | Правка | Наверх | Cообщить модератору

155. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (-), 03-Дек-22, 00:58 
Захайлайтить достоинства дизайна относительно ZFS - пойдет? :)
Ответить | Правка | Наверх | Cообщить модератору

165. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Минона (ok), 05-Дек-22, 10:51 
не пойдёт, в ZFS и 512 байт можно.
Ответить | Правка | Наверх | Cообщить модератору

13. "Для Linux предложена файловая система Composefs"  +5 +/
Сообщение от Гентушник (ok), 29-Ноя-22, 00:17 
Я не спец по ZFS, но мне кажется там речь шла про онлайн-дедупликацию?
А тут дедупликация уже сделана, ф/с же read only. Ресурсы были потрачены при сборке образа фс, а сейчас читай себе из готового индекса и горя не знай.
Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

33. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (33), 29-Ноя-22, 03:24 
Он просто тупо хейтит не разобравшись.
Ответить | Правка | Наверх | Cообщить модератору

40. "Для Linux предложена файловая система Composefs"  +1 +/
Сообщение от Аноним (40), 29-Ноя-22, 05:35 
А что, можно было как-то по-другому?
Ответить | Правка | Наверх | Cообщить модератору

58. "Для Linux предложена файловая система Composefs"  +2 +/
Сообщение от Аноним (58), 29-Ноя-22, 09:25 
Можно было хейтить разобравшись.
Ответить | Правка | Наверх | Cообщить модератору

61. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (40), 29-Ноя-22, 09:51 
Слишком сложно, так никто не делает.
Ответить | Правка | Наверх | Cообщить модератору

62. "Для Linux предложена файловая система Composefs"  +1 +/
Сообщение от Разбираюсь и хейчу (?), 29-Ноя-22, 10:13 
> Слишком сложно, так никто не делает.

А давайте вы не будете говорить за всех

Ответить | Правка | Наверх | Cообщить модератору

105. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Admino (ok), 29-Ноя-22, 20:43 
Так не бывает.
Ответить | Правка | К родителю #58 | Наверх | Cообщить модератору

51. "Для Linux предложена файловая система Composefs"  +/
Сообщение от pashev.ru (?), 29-Ноя-22, 08:09 
«при сборке образа»... Речь идёт о дедупликации между образами.
Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

82. "Для Linux предложена файловая система Composefs"  +/
Сообщение от ip1982 (ok), 29-Ноя-22, 16:20 
> А тут дедупликация уже сделана, ф/с же read only. Ресурсы были потрачены при сборке образа фс, а сейчас читай себе из готового индекса и горя не знай.

И спроси себя сам: а нахрена для этого нужна новая ФС на стороне ядра?

Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

147. "Для Linux предложена файловая система Composefs"  –1 +/
Сообщение от Аноним (-), 01-Дек-22, 18:38 
> И спроси себя сам: а нахрена для этого нужна новая ФС на стороне ядра?

Для скорости и минимума оверхеда. Файловые операции реализует ядро.

Ответить | Правка | Наверх | Cообщить модератору

17. "Для Linux предложена файловая система Composefs"  +1 +/
Сообщение от Аноним (-), 29-Ноя-22, 00:39 
Для btrfs есть "офлайн" дедупалки с куда более разумным потреблением, но это не в реалтайме, для "холодных" данных актуальнее.
Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

45. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Минона (ok), 29-Ноя-22, 07:33 
Для какой фичи?
Ты, наверное, имел ввиду дедупликацию, но по незнанию сморозил фигню?
В ZFS хешами обложено всё что можно, а вот память в ней жрёт ARC (кэш), отключи и жрать не будет.
Раньше при дедупликации требовалось много памяти для хранения таблицы, но это починили.
Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру