forum.opennet.ru - "Для Linux предложена файловая система Composefs" (150)

"Для Linux предложена файловая система Composefs"

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Для Linux предложена файловая система Composefs"	+/–
Сообщение от opennews (??), 28-Ноя-22, 23:06
Александр Ларсон (Alexander Larsson), создатель Flatpak, работающий в компании Red Hat, представил предварительный вариант патчей с реализацией файловой системы Composefs для ядра Linux. Предложенная файловая система напоминает Squashfs и также подходит для монтирования образов в режиме только для чтения. Отличия сводятся к обеспечению в Composefs эффективного совместного хранения содержимого нескольких примонтированных дисковых образов и поддержке проверки подлинности читаемых данных. В качестве областей применения, в которых может оказаться востребована ФС Composefs, называется монтирование образов контейнеров и применение для Git-подобного репозитория OSTree... Подробнее: https://www.opennet.dev/opennews/art.shtml?num=58212
Ответить \| Правка \| Cообщить модератору

Оглавление

Так то идея хорошая, но если скажем в файле 80 блоков как у соседа, блочная дед, Аноним (-), 23:06 , 28-Ноя-22, (1) +1

Ты понимаешь как работает хэш Например, SHA-256 , Брат Анон (ok), 16:21 , 30-Ноя-22, (128)

Да Можно делать независимый хэш на каждый блок ФС При обнаружении совпадения с, Аноним (-), 18:17 , 01-Дек-22, (145)

Читай внимательно хэш считается у блоков Если меняется какая-то часть -- тольк, Брат Анон (ok), 13:37 , 05-Дек-22, (168) +1

Опять херню, которая нужна 0 01 пользователей, запихают в ядро, чтоб в следующ, ИмяХ (?), 23:14 , 28-Ноя-22, (2) +17

Ничего не говорит Ясно же, вся эта штука для того чтоб шарить файлы между пакет, Аноним (6), 23:29 , 28-Ноя-22, (6) +15

shared library Ой, где-то мы это уже слышали , Аноним (52), 08:12 , 29-Ноя-22, (52) +2

Слышал звон Вначале разберитесь, что такое FlatPak и по какому принципу он раб, Аноним (83), 16:20 , 29-Ноя-22, (83)

по такому, который не нужен, лютый ж.... (?), 16:42 , 29-Ноя-22, (85) –6

Да, в описании flatpak , Admino (ok), 20:42 , 29-Ноя-22, (104)
Нет Не шаред мемори Речь идёт про дедупликацию файлов с одинаковым содержимым,, Брат Анон (ok), 16:23 , 30-Ноя-22, (129)

Ну как бы если кому не надо а жирнота парит - может модуль с ней и не собирать , Аноним (12), 00:15 , 29-Ноя-22, (12) +4
новость монтирование образов контейнеров иксперт опеннет херню, которая нужна, Аноним (15), 00:27 , 29-Ноя-22, (15) +9

Так и есть , псевдонимус (?), 13:50 , 29-Ноя-22, (73) –1

Интересно, а как вы используете ядро, и нововведения влияют на лично ваше исполь, Аноним (23), 01:04 , 29-Ноя-22, (23)

внутривенно, Котофалк (?), 11:46 , 05-Дек-22, (166)

Контейнеры, атомарные дистрибутивы, flatpak snap Все что сейчас на хайпе у ава, Аноним (50), 08:06 , 29-Ноя-22, (50) –1
Он скорее будет как модуль ядра, как и все стопитсот драйверов от всего что угод, . (?), 10:16 , 29-Ноя-22, (63)
Если эта херня уменьшит размер тех же флатпаков - уже плюс Понятно, что растек, Константавр (ok), 12:43 , 29-Ноя-22, (72) +2

не работай где это требуют ну можно какую-нибудь хиппочухню навроде mailcow или, лютый ж.... (?), 16:44 , 29-Ноя-22, (86) –1

Очередной эксперт опеннет, отрицающий реальность , Аноним (112), 03:33 , 30-Ноя-22, (112) +3

Отменяющий реальность , Брат Анон (ok), 16:25 , 30-Ноя-22, (130) +1

а ты не в кол-ве пользователей меряй, в доходах от продажи продуктов, для которы, mos87 (ok), 06:44 , 30-Ноя-22, (115)

Бинго , ip1982 (ok), 23:23 , 28-Ноя-22, (3) –2

Скажи спасибо что не snap-а , Skullnet (ok), 23:32 , 28-Ноя-22, (7) +8

Сорта, Аноним (60), 09:30 , 29-Ноя-22, (60) +3

Для подобной фичи ZFS требуется дофига памяти , ip1982 (ok), 23:24 , 28-Ноя-22, (4) –3

в zfs блочная дедупликация, тут всего файла целиком 1 бит отличается на 100 мба, Аноним (11), 00:04 , 29-Ноя-22, (11) +6

Нет В ZFS хешируются записи, которые имеют дефолтный размер до 128кб, но могут б, Минона (ok), 07:38 , 29-Ноя-22, (47)

В btrfs по минимуму можно и 4К блоками офлайн дедуп сделать Если вас не задолба, Аноним (-), 18:37 , 01-Дек-22, (146)

Ну и зачем ты всё это писал Речь идёт про zfs , Минона (ok), 07:05 , 02-Дек-22, (153)

Захайлайтить достоинства дизайна относительно ZFS - пойдет , Аноним (-), 00:58 , 03-Дек-22, (155)

не пойдёт, в ZFS и 512 байт можно , Минона (ok), 10:51 , 05-Дек-22, (165)

Я не спец по ZFS, но мне кажется там речь шла про онлайн-дедупликацию А тут деду, Гентушник (ok), 00:17 , 29-Ноя-22, (13) +5

Он просто тупо хейтит не разобравшись , Аноним (33), 03:24 , 29-Ноя-22, (33)

А что, можно было как-то по-другому , Аноним (40), 05:35 , 29-Ноя-22, (40) +1

Можно было хейтить разобравшись , Аноним (58), 09:25 , 29-Ноя-22, (58) +2

Слишком сложно, так никто не делает , Аноним (40), 09:51 , 29-Ноя-22, (61)

А давайте вы не будете говорить за всех, Разбираюсь и хейчу (?), 10:13 , 29-Ноя-22, (62) +1

Так не бывает , Admino (ok), 20:43 , 29-Ноя-22, (105)

171 при сборке образа 187 Речь идёт о дедупликации между образами , pashev.ru (?), 08:09 , 29-Ноя-22, (51)
И спроси себя сам а нахрена для этого нужна новая ФС на стороне ядра , ip1982 (ok), 16:20 , 29-Ноя-22, (82)

Для скорости и минимума оверхеда Файловые операции реализует ядро , Аноним (-), 18:38 , 01-Дек-22, (147) –1

Для btrfs есть офлайн дедупалки с куда более разумным потреблением, но это не , Аноним (-), 00:39 , 29-Ноя-22, (17) +1
Для какой фичи Ты, наверное, имел ввиду дедупликацию, но по незнанию сморозил фи, Минона (ok), 07:33 , 29-Ноя-22, (45)

Слишком много компотфсов В погоне за копеечной экономией места на хранилках осн, Аноним (8), 23:36 , 28-Ноя-22, (8) –2

Люблю эти разговоры о месте и памяти В комментариях их всегда навалом и они все, Аноним (14), 00:17 , 29-Ноя-22, (14) +2

Какая она нафиг дорогая, её сейчас просто задом есть можно, ну, если на электрон, Аноним (8), 00:40 , 29-Ноя-22, (20) –3

Когда не знаешь, что кроме десктопов есть ещё огромный рынок серверов и ДЦ, Самый умный из вас (?), 01:16 , 29-Ноя-22, (26) +3

Я как раз про серверы и ДЦ, т к они мне ближе, чем десктопы , Аноним (8), 15:57 , 29-Ноя-22, (76) –2

Любитель позапускать электроны на серверах , Самый умный из вас (?), 16:17 , 29-Ноя-22, (81) +2

Скрыто модератором, Макакокодеров вон из профессии (?), 10:23 , 29-Ноя-22, (66) +9

Скрыто модератором, ПАНК программист а не кодер (?), 12:09 , 29-Ноя-22, (70) –2

Скрыто модератором, Аноним (136), 20:29 , 30-Ноя-22, (136)

Скрыто модератором, Аноним (136), 20:30 , 30-Ноя-22, (137)

Это не тебе решать, а энтерпрайзу, которому чем больше потребление памяти у быдл, Аноним (71), 12:19 , 29-Ноя-22, (71) –1

gt оверквотинг удален Именно так Приятно видеть адекватного брата Анонима на о, Анонимский Аноним (?), 00:00 , 30-Ноя-22, (110)

иксперт опеннет шагнули куда-то совсем не туда значит все правильно делают, Аноним (15), 00:29 , 29-Ноя-22, (16) +3

А, да пользуйтесь, не обляпайтесь только , Аноним (8), 00:40 , 29-Ноя-22, (18)

Фейспалм Прочти новость и о назначение этой read only файловой системы , Аноним (33), 03:30 , 29-Ноя-22, (34)

Так ты сам разобрался зачем низачем она тебе , Аноним (67), 10:50 , 29-Ноя-22, (67)

У меня тут файл на пару терабайт, и я в него иногда пару байтиков дописываю О да, None (??), 00:40 , 29-Ноя-22, (19)

Да ладно, главное ж - еканомия , Аноним (8), 00:41 , 29-Ноя-22, (21)
Кстати с дозаписью запросто решается сохранением промежуточных стейтов, главное , Аноним (8), 00:42 , 29-Ноя-22, (22) +1

Скользящий хеш вроде Рабина спасет гиганта мысли , Аноним (40), 05:39 , 29-Ноя-22, (41)

А если совсем делать нехрен то что-то типа меркловского дерева сильно ограничит , Аноним (-), 19:56 , 29-Ноя-22, (98)

А тебя заставили эту fs использовать А, не, погоди, ты же не умеешь выбирать fs, Аноним (23), 01:06 , 29-Ноя-22, (25) +3
Всё нормально будет дедуплицироваться, Composefs работает в режиме read only, а, Аноним (46), 07:35 , 29-Ноя-22, (46) +1
Ага, давайте хранить террабийтные файлы в fs узкого назначения, Аноним (55), 08:44 , 29-Ноя-22, (55)
Ох уж эти опеннет иксперты 8482 , another_one (ok), 10:19 , 29-Ноя-22, (64) +1

Для того эксперта могу сказать что на btrfs это вполне нормально работает Можно, Аноним (-), 19:59 , 29-Ноя-22, (99)

И ты для этого собираешься использовать файловую систему, сделанную специально д, Admino (ok), 20:45 , 29-Ноя-22, (106) +2
Про сквошФС ты, конечно, строку пропустил , Брат Анон (ok), 16:27 , 30-Ноя-22, (131) +1

И дальше можно не читать Знак антикачества , истина в последней инстанции (?), 01:28 , 29-Ноя-22, (27) –3

это ты еще snap не видел, Аноним (55), 08:42 , 29-Ноя-22, (54) +3

Вот это инновации, SNAP удаляет уязвимые эти самые 128558 , iPony129412 (?), 12:03 , 29-Ноя-22, (69) +1

Думаю, полезно и не для контейнеров Хочу shuashfs с дедупликацией для архивов и, mikhailnov (ok), 02:44 , 29-Ноя-22, (30)

https github com restic restic blob master doc design rstНе оно , edo (ok), 05:24 , 29-Ноя-22, (38)

Нельзя примонтировать, как сквош Можно в принципе сделать файл-образ BTRFS, а в, mikhailnov (ok), 05:33 , 29-Ноя-22, (39)

И даже можно сделать ридонли базу, например оформив как seed-девайс Или просто , Аноним (-), 20:02 , 29-Ноя-22, (100)

DWARFShttps github com mhx dwarfs, qetuo (?), 18:03 , 29-Ноя-22, (90) +1

Охренеть, список зависимостей на экран не лезет, и они имеют наглость вперев все, Аноним (-), 20:04 , 29-Ноя-22, (101)

Сравнение с squashfs проводится по производительности и степени сжатия данных М, qetuo (?), 05:40 , 30-Ноя-22, (114) +1

Вообще-то очень информативно squashfs мы прикрутить к вон тому роутеру можем, и, Аноним (-), 18:44 , 01-Дек-22, (148)

Используй Borg Без шуток , T (?), 21:26 , 29-Ноя-22, (108)

Зато проц нагнёт, нормальная такая экономия ресурсов , Аноним (31), 03:06 , 29-Ноя-22, (31)

С чего бы, если дедуплицируется один раз при монтировании , another_one (ok), 10:22 , 29-Ноя-22, (65) +1

Т е эта экономия не про место на жёстком диске , а только про оперативку Если , EuPhobos (ok), 07:04 , 29-Ноя-22, (44)

Каждый образ в Composefs состоит из двух частей - сам образ только с метаданными, Аноним (46), 07:39 , 29-Ноя-22, (48)

basedir нужно весь целиком держать с самого начала или можно пополнять по мере н, Аноним (50), 07:47 , 29-Ноя-22, (49)
и много есть образов с большими одинаковыми файлами на _одном_ физическом носите, Аноним (52), 16:03 , 29-Ноя-22, (79)

Да Например, в NixOS оптимизируется хардлинками , да и в любой OSTree-like иер, Аноним (112), 16:57 , 30-Ноя-22, (134)

Вспоминая про безопасность контейнеров, очень быстро найдутся умельцы которые , Аноним (55), 08:42 , 29-Ноя-22, (53)

Оно ещё в релиз не пошло, а вы уже палите, нехорошо , Аноним (31), 08:50 , 29-Ноя-22, (56) +1
Как они потянутся, если у них будет свой собственный уникальный хеш, который не , Аноним (-), 09:17 , 29-Ноя-22, (57) +3

Остапа понесло хepню сморозил каюсь, Аноним (55), 11:36 , 29-Ноя-22, (68) +1

Для NixOS по идее тоже должно работать , Аноним (59), 09:27 , 29-Ноя-22, (59)
Зачем Вы ext4 надёжней сделайте Есть терабайтный диск с ext4, которая стала raw, какая разница (?), 14:09 , 29-Ноя-22, (74) –1

Рейд-контроллер без барьеров и батарейки - мечта мазохиста , Аноним (8), 15:59 , 29-Ноя-22, (78)

Рейд для одного диска , какая разница (?), 16:04 , 29-Ноя-22, (80)

Ядро 5 19 Если нет, то кто производитель диска , . (?), 18:01 , 29-Ноя-22, (89)

WD PurpleИспользовался только для хранения видео, какая разница (?), 18:25 , 29-Ноя-22, (92)

ссзб кмк, wd пихают хлам как диски для видеонаблюдения маленьким шрифтом подпис, анон (?), 15:35 , 30-Ноя-22, (126)

Да явно диск плохой Я практически не пользуюсь безопасными отключениями ext4, и, _kp (ok), 19:43 , 29-Ноя-22, (94)

Точно Диск виноват Только под windows и с ntfs диск работал без проблем, а в l, какая разница (?), 07:05 , 30-Ноя-22, (118)

Говорили мне не выноси мусор на ночь, примета плохая Не послушал Теперь и войн, _kp (ok), 13:07 , 30-Ноя-22, (120)

Давно ли WD стала выпускать SSD под маркой WD Purple , какая разница (?), 15:28 , 30-Ноя-22, (123)

Он поди был видным представителем черепичных, как большинство современных винчей, Аноним (-), 01:09 , 03-Дек-22, (156)

WD Purple никогда не были с записью SMR, подробнее здесьhttps u to 5CJ4HANTFS , какая разница (?), 06:52 , 03-Дек-22, (158)

Забавный зверек Если бы не было написано CMR я бы подумал что ОНО именно черепи, Аноним (-), 04:17 , 04-Дек-22, (160)

А ext4 тут причём, если диск сдох Ты можешь доказать, что ext4 убила диск Ждём, Admino (ok), 20:48 , 29-Ноя-22, (107) +1
Ты криворучка Ехт4 вполне тупая фс, которую можно вручную без драйвера разобрат, Некто (??), 02:54 , 30-Ноя-22, (111) +1

Диск не определяется в этих ваших супер программах типа photorec и testdisk К, какая разница (?), 07:56 , 30-Ноя-22, (119)

Т е , в основе проблема аппаратная Тогда вопросы к произодителю диска , Аноним (121), 13:57 , 30-Ноя-22, (121) +2

Диск отработавший 1022 часа через безопасное отключение стал raw вместо ext4 и, какая разница (?), 15:32 , 30-Ноя-22, (125) –1

Так на диске то что в результате Таблица разделов есть Какие-то правдоподобные, Аноним (-), 04:31 , 04-Дек-22, (162)

Ссылка на источник тоже имеется WD никогда не выпускала SSD под маркой Purple П, какая разница (?), 08:34 , 04-Дек-22, (164)

Т е у тебя умер контроллер, но виновата ext4 Ок, Брат Анон (ok), 16:29 , 30-Ноя-22, (132) +1
И запретите производить сыпучие диски, да И как тебе ext4, интересно, виноват в , Аноним (-), 18:52 , 01-Дек-22, (149)

WD не изобрела ещё SSD под маркой Purple Это все, что нужно знать о местных экс, какая разница (?), 07:04 , 02-Дек-22, (152)

Увы, сообщения нельзя редактировать, я про Purple позже нашел Оно, вроде, череп, Аноним (-), 01:11 , 03-Дек-22, (157)

Все ответы здесь https u to 5CJ4HAНу если вы не знаете, что WD никогда не выпу, какая разница (?), 06:57 , 03-Дек-22, (159)

Теоретически, оттуда следует что это обычный диск с 4К секторами Не очень понят, Аноним (-), 04:35 , 04-Дек-22, (163)

А чё с лицом https www cnews ru news top razrabotchiki_ubuntu_priznali_oshibku, какая разница (?), 07:07 , 02-Дек-22, (154)

Файловые системы в век SSD не нужны SSD вполне себе может работать по принципу , Пахом (?), 14:18 , 29-Ноя-22, (75) +8

Программы в век компьютеров не нужны Компьютеры вполне себе могут работать по п, Аноним (52), 15:59 , 29-Ноя-22, (77) –1
А без файловой системы Вы файлы то куда деваете А cо стиранием страницами и огр, _kp (ok), 19:50 , 29-Ноя-22, (95) +1

Речь не про твоё старьё на SATA интерфейсе Речь про нормальный человеческий NVM, Пахом (?), 20:34 , 29-Ноя-22, (102) +5
Раз SSD в качестве RAM, то в RAM создаётся рамдиск , Аноним (121), 14:00 , 30-Ноя-22, (122)

Не стыдно сидеть на компьютерном форуме и не знать как компьютер работает с памя, Пахом (?), 15:29 , 30-Ноя-22, (124) +2

А тебе лень глаза вверх на несколько постов поднять, чтоб сообразить, на какую з, Аноним (144), 15:13 , 01-Дек-22, (144) –1

Рамдиск тоже требует созданния на нём какой нибудь файловой системы И требует ф, _kp (ok), 16:04 , 30-Ноя-22, (127) –1

А отсылать в конкретный файл как предлагается Прямо по физическому логическому , Аноним (-), 18:56 , 01-Дек-22, (150)

Объясните олдскульщику, зачем нужна файловая система, которая постоянно считает , zog (??), 17:32 , 29-Ноя-22, (88)

Она не считает хеши Вернее, считает, но в основном использует готовые хеши из и, qetuo (?), 18:05 , 29-Ноя-22, (91) –1

обновил мету в фильме - ой оказывается, надо , Аноним (52), 19:09 , 29-Ноя-22, (93) +1

Новость не читай, сразу коммент пиши Эксперды опеннета в своём обычном амплуа , Аноним (112), 03:43 , 30-Ноя-22, (113)

Для Flatpak, чтоб все данные в одну гигантскую кучу намешать , _kp (ok), 19:52 , 29-Ноя-22, (96) –1
Она не постоянно их считает Почитайте про принцип contrnt-adressable, в этом по, Аноним (-), 20:35 , 29-Ноя-22, (103) –1
Объясняю школьному одскульщику ФС в режиме только для чтения не имеет изменяю, Брат Анон (ok), 16:33 , 30-Ноя-22, (133) +4

Только вот сделана эта фс специально под fs-verify который будет хэши считать по, Jxtym (?), 10:27 , 01-Дек-22, (141) –2

Для чего хэши считать постоянно Ещё раз эта файловая система монтируется в реж, Брат Анон (ok), 13:34 , 05-Дек-22, (167) +3

Для валидации данных очевидно Все данные на оригинальной фс остаются в режиме з, Jxtym (?), 13:25 , 06-Дек-22, (169) –1

Flatpak критиковали за прожерливость диска, вот решение И мне нравятся контейне, Аномин (?), 17:09 , 30-Ноя-22, (135)

На размер данных на диске это никак не повлияет , Jxtym (?), 10:25 , 01-Дек-22, (139)

для флатпака, Jxtym (?), 10:26 , 01-Дек-22, (140)

Проблема всяких паков не только в том, что место транжирится, но и в том что либ, Аноним (142), 14:23 , 01-Дек-22, (142)

Зачем, если есть exet4 , Аноним (138), 20:31 , 30-Ноя-22, (138)
Круто Давно пора И с торрентами скрестить чтобы публично-доступные файлы было , Аноним (142), 14:24 , 01-Дек-22, (143)

Это eMule aMule называлось и вот именно публиковало файло из дир по вот именно и, Аноним (-), 18:58 , 01-Дек-22, (151)

Сообщения [Сортировка по времени | RSS]

1. "Для Linux предложена файловая система Composefs" +1 +/–

Сообщение от Аноним (-), 28-Ноя-22, 23:06

> первичным идентификатором является не имя файла,
> а хэш от содержимого файла.
Так то идея хорошая, но если скажем в файле 80% блоков как у соседа, блочная дедупликация их уберет, а вон то разумеется в пролете, файло должно точно совпадать.

Ответить | Правка | Наверх | Cообщить модератору

128. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Брат Анон (ok), 30-Ноя-22, 16:21

Ты понимаешь как работает хэш? Например, SHA-256?

Ответить | Правка | Наверх | Cообщить модератору

145. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (-), 01-Дек-22, 18:17

> Ты понимаешь как работает хэш? Например, SHA-256?
Да. Можно делать независимый хэш на каждый блок ФС. При обнаружении совпадения с другим заменять на реф. Чем дедубликаторы и занимаются в ФС которые умеют в cow. Отсюда жор памяти онлайн дедупом: для скорости записи список хешей известных блоков должен быть в RAM. Офлайн дедубликаторы могут позволить себе хранить это в скоростной БД, .
Когда у файла 80% блоков совпадает, эти блоки БУДУТ заменены на референсы. Это прекрасно работает с образами виртуалок из 1 шаблона, разными версиями данных с общим предком и проч. А если в имени файла закодирован весь хэш всего файла - глобальный sha файлов все же разный, вон то уже не сработает. Будет 2 полностью разных файла.

Ответить | Правка | Наверх | Cообщить модератору

168. "Для Linux предложена файловая система Composefs" +1 +/–

Сообщение от Брат Анон (ok), 05-Дек-22, 13:37

> Когда у файла 80% блоков совпадает, эти блоки БУДУТ заменены на референсы.
> Это прекрасно работает с образами виртуалок из 1 шаблона, разными версиями
> данных с общим предком и проч. А если в имени файла
> закодирован весь хэш всего файла - глобальный sha файлов все же
> разный, вон то уже не сработает. Будет 2 полностью разных файла.
Читай внимательно: хэш считается у блоков. Если меняется какая-то часть -- только это блок будет посчитан заново и ссылка будет заменена новым хэшем. Все остальные блоки (и хэши) останутся прежними). Если 80% блоков общие -- откуда жор памяти? А таблица страниц памяти -- жор в памяти не устраивает?

Ответить | Правка | Наверх | Cообщить модератору

2. "Для Linux предложена файловая система Composefs" +17 +/–

Сообщение от ИмяХ (?), 28-Ноя-22, 23:14

Опять херню, которая нужна <0.01% пользователей, запихают в ядро, чтоб в следующем релизе ядра гордиться количеством добавленных строчек кода, мол, ого-го сколько мы сделали. Давайте, ещё больше и жирнее делайте ядро!

Ответить | Правка | Наверх | Cообщить модератору

6. "Для Linux предложена файловая система Composefs" +15 +/–

Сообщение от Аноним (6), 28-Ноя-22, 23:29

> создатель Flatpak
Ничего не говорит? Ясно же, вся эта штука для того чтоб шарить файлы между пакетами.

Ответить | Правка | Наверх | Cообщить модератору

52. "Для Linux предложена файловая система Composefs" +2 +/–

Сообщение от Аноним (52), 29-Ноя-22, 08:12

> чтоб шарить файлы между пакетами
shared library? Ой, где-то мы это уже слышали...

Ответить | Правка | Наверх | Cообщить модератору

83. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (83), 29-Ноя-22, 16:20

Слышал звон.. Вначале разберитесь, что такое FlatPak и по какому принципу он работает

Ответить | Правка | Наверх | Cообщить модератору

85. "Для Linux предложена файловая система Composefs" –6 +/–

Сообщение от лютый ж.... (?), 29-Ноя-22, 16:42

>Вначале разберитесь, что такое FlatPak и по какому принципу он работает
по такому, который не нужен

Ответить | Правка | Наверх | Cообщить модератору

104. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Admino (ok), 29-Ноя-22, 20:42

Да, в описании flatpak.

Ответить | Правка | К родителю #52 | Наверх | Cообщить модератору

129. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Брат Анон (ok), 30-Ноя-22, 16:23

Нет. Не шаред мемори. Речь идёт про дедупликацию файлов с одинаковым содержимым, где вместо имени -- хэш. Файлы могут быть чем угодно -- например, пять электронов, десять хромов и 20 фарефоксов. По факту -- всё будет в одном экземляре. Но к хэшу будет прикручено соответствующее количество ссылок.

Ответить | Правка | К родителю #52 | Наверх | Cообщить модератору

12. "Для Linux предложена файловая система Composefs" +4 +/–

Сообщение от Аноним (12), 29-Ноя-22, 00:15

Ну как бы если кому не надо а жирнота парит - может модуль с ней и не собирать. Впрочем даже если он и соберется, то не будет загружен покуда не попадется диск с такой файлухой, а плюс-минус сколько-то килобайт в /lib/modules не похрен ли сейчас, кроме совсем уж мелочи типа роутеров с openwrt?
Гораздо хуже когда что-то такое понадобилось - а его нет. Вот тут уже мелкими фокусами не отвертишься.

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

15. "Для Linux предложена файловая система Composefs" +9 +/–

Сообщение от Аноним (15), 29-Ноя-22, 00:27

новость > монтирование образов контейнеров
иксперт опеннет> херню, которая нужна <0.01% пользователей

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

73. "Для Linux предложена файловая система Composefs" –1 +/–

Сообщение от псевдонимус (?), 29-Ноя-22, 13:50

Так и есть.

Ответить | Правка | Наверх | Cообщить модератору

23. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (23), 29-Ноя-22, 01:04

Интересно, а как вы используете ядро, и нововведения влияют на лично ваше использование системы?

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

166. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Котофалк (?), 05-Дек-22, 11:46

внутривенно

Ответить | Правка | Наверх | Cообщить модератору

50. "Для Linux предложена файловая система Composefs" –1 +/–

Сообщение от Аноним (50), 29-Ноя-22, 08:06

Контейнеры, атомарные дистрибутивы, flatpak/snap. Все что  сейчас на хайпе у авангарда дистроделов.

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

63. "Для Linux предложена файловая система Composefs" +/–

Сообщение от . (?), 29-Ноя-22, 10:16

>  нужна <0.01% пользователей, запихают в ядро
Он скорее будет как модуль ядра, как и все стопитсот драйверов от всего что угодно

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

72. "Для Linux предложена файловая система Composefs" +2 +/–

Сообщение от Константавр (ok), 29-Ноя-22, 12:43

Если "эта херня" уменьшит размер тех же флатпаков - уже плюс.
Понятно, что растекание жира по диску надо бы решать кардинально по другому, но маховик всех этих контейнеровозов уже работает на полную, не остановишь.

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

86. "Для Linux предложена файловая система Composefs" –1 +/–

Сообщение от лютый ж.... (?), 29-Ноя-22, 16:44

>но маховик всех этих контейнеровозов уже работает на полную, не остановишь.
не работай где это требуют. ну можно какую-нибудь хиппочухню навроде mailcow или redmine в докере развернуть, а почти всё остальное нет )

Ответить | Правка | Наверх | Cообщить модератору

112. "Для Linux предложена файловая система Composefs" +3 +/–

Сообщение от Аноним (112), 30-Ноя-22, 03:33

Очередной эксперт опеннет, отрицающий реальность.

Ответить | Правка | Наверх | Cообщить модератору

130. "Для Linux предложена файловая система Composefs" +1 +/–

Сообщение от Брат Анон (ok), 30-Ноя-22, 16:25

Отменяющий реальность.

Ответить | Правка | Наверх | Cообщить модератору

115. "Для Linux предложена файловая система Composefs" +/–

Сообщение от mos87 (ok), 30-Ноя-22, 06:44

а ты не в кол-ве пользователей меряй, в доходах от продажи продуктов, для которых сабж нужен клиентам.

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

3. "Для Linux предложена файловая система Composefs" –2 +/–

Сообщение от ip1982 (ok), 28-Ноя-22, 23:23

> создатель Flatpak, работающий в компании Red Hat,
Бинго.

Ответить | Правка | Наверх | Cообщить модератору

7. "Для Linux предложена файловая система Composefs" +8 +/–

Сообщение от Skullnet (ok), 28-Ноя-22, 23:32

Скажи спасибо что не snap-а.

Ответить | Правка | Наверх | Cообщить модератору

60. "Для Linux предложена файловая система Composefs" +3 +/–

Сообщение от Аноним (60), 29-Ноя-22, 09:30

Сорта

Ответить | Правка | Наверх | Cообщить модератору

4. "Для Linux предложена файловая система Composefs" –3 +/–

Сообщение от ip1982 (ok), 28-Ноя-22, 23:24

> В Composefs применяется модель хранения с адресацией на основе содержимого, т.е. первичным идентификатором является не имя файла, а хэш от содержимого файла
Для подобной фичи ZFS требуется дофига памяти.

Ответить | Правка | Наверх | Cообщить модератору

11. "Для Linux предложена файловая система Composefs" +6 +/–

Сообщение от Аноним (11), 29-Ноя-22, 00:04

в zfs блочная дедупликация, тут всего файла целиком. 1 бит отличается на 100 мбайт - хэш всего файла в 100 мбайт отличается, пролет.

Ответить | Правка | Наверх | Cообщить модератору

47. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Минона (ok), 29-Ноя-22, 07:38

Нет.
В ZFS хешируются записи, которые имеют дефолтный размер до 128кб, но могут быть размером до 1мб и больше.
Так вот, если файл меньшего размера чем размер записи в свойствах датасета, то хеш будет всего файла.

Ответить | Правка | Наверх | Cообщить модератору

146. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (-), 01-Дек-22, 18:37

В btrfs по минимуму можно и 4К блоками офлайн дедуп сделать. Если вас не задолбает столько хешей хранить и процессить конечно, это некий выбор между полнотой дедупликации и ресурсов потраченых на процедуру, чем точнее тем больше ресурсов надо просадить на это. Ну и куча рефов на 4К блоки с именно такой размерностью адресации не очень эффективно по оверхеду может быть. В зависимости от глупизны дедубликатора он может слить идентичные регионы вместе но даже так есть риск получить кучу мелочи и метаданных на вот это все.

Ответить | Правка | Наверх | Cообщить модератору

153. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Минона (ok), 02-Дек-22, 07:05

> В btrfs по минимуму можно и 4К блоками офлайн дедуп сделать.
Ну и зачем ты всё это писал.
Речь идёт про zfs.

Ответить | Правка | Наверх | Cообщить модератору

155. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (-), 03-Дек-22, 00:58

Захайлайтить достоинства дизайна относительно ZFS - пойдет? :)

Ответить | Правка | Наверх | Cообщить модератору

165. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Минона (ok), 05-Дек-22, 10:51

не пойдёт, в ZFS и 512 байт можно.

Ответить | Правка | Наверх | Cообщить модератору

13. "Для Linux предложена файловая система Composefs" +5 +/–

Сообщение от Гентушник (ok), 29-Ноя-22, 00:17

Я не спец по ZFS, но мне кажется там речь шла про онлайн-дедупликацию?
А тут дедупликация уже сделана, ф/с же read only. Ресурсы были потрачены при сборке образа фс, а сейчас читай себе из готового индекса и горя не знай.

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

33. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (33), 29-Ноя-22, 03:24

Он просто тупо хейтит не разобравшись.

Ответить | Правка | Наверх | Cообщить модератору

40. "Для Linux предложена файловая система Composefs" +1 +/–

Сообщение от Аноним (40), 29-Ноя-22, 05:35

А что, можно было как-то по-другому?

Ответить | Правка | Наверх | Cообщить модератору

58. "Для Linux предложена файловая система Composefs" +2 +/–

Сообщение от Аноним (58), 29-Ноя-22, 09:25

Можно было хейтить разобравшись.

Ответить | Правка | Наверх | Cообщить модератору

61. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (40), 29-Ноя-22, 09:51

Слишком сложно, так никто не делает.

Ответить | Правка | Наверх | Cообщить модератору

62. "Для Linux предложена файловая система Composefs" +1 +/–

Сообщение от Разбираюсь и хейчу (?), 29-Ноя-22, 10:13

> Слишком сложно, так никто не делает.
А давайте вы не будете говорить за всех

Ответить | Правка | Наверх | Cообщить модератору

105. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Admino (ok), 29-Ноя-22, 20:43

Так не бывает.

Ответить | Правка | К родителю #58 | Наверх | Cообщить модератору

51. "Для Linux предложена файловая система Composefs" +/–

Сообщение от pashev.ru (?), 29-Ноя-22, 08:09

«при сборке образа»... Речь идёт о дедупликации между образами.

Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

82. "Для Linux предложена файловая система Composefs" +/–

Сообщение от ip1982 (ok), 29-Ноя-22, 16:20

> А тут дедупликация уже сделана, ф/с же read only. Ресурсы были потрачены при сборке образа фс, а сейчас читай себе из готового индекса и горя не знай.
И спроси себя сам: а нахрена для этого нужна новая ФС на стороне ядра?

Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

147. "Для Linux предложена файловая система Composefs" –1 +/–

Сообщение от Аноним (-), 01-Дек-22, 18:38

> И спроси себя сам: а нахрена для этого нужна новая ФС на стороне ядра?
Для скорости и минимума оверхеда. Файловые операции реализует ядро.

Ответить | Правка | Наверх | Cообщить модератору

17. "Для Linux предложена файловая система Composefs" +1 +/–

Сообщение от Аноним (-), 29-Ноя-22, 00:39

Для btrfs есть "офлайн" дедупалки с куда более разумным потреблением, но это не в реалтайме, для "холодных" данных актуальнее.

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

45. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Минона (ok), 29-Ноя-22, 07:33

Для какой фичи?
Ты, наверное, имел ввиду дедупликацию, но по незнанию сморозил фигню?
В ZFS хешами обложено всё что можно, а вот память в ней жрёт ARC (кэш), отключи и жрать не будет.
Раньше при дедупликации требовалось много памяти для хранения таблицы, но это починили.

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

8. "Для Linux предложена файловая система Composefs" –2 +/–

Сообщение от Аноним (8), 28-Ноя-22, 23:36

Слишком много компотфсов.
В погоне за копеечной экономией места на хранилках (основное всё равно данные весят) шагнули куда-то совсем не туда.

Ответить | Правка | Наверх | Cообщить модератору

14. "Для Linux предложена файловая система Composefs" +2 +/–

Сообщение от Аноним (14), 29-Ноя-22, 00:17

Люблю эти разговоры о месте и памяти. В комментариях их всегда навалом и они всегда дёшевы и в тех же самых комментариях жалуются на объёмы их потребления и что новая память ещё дорогая.

Ответить | Правка | Наверх | Cообщить модератору

20. "Для Linux предложена файловая система Composefs" –3 +/–

Сообщение от Аноним (8), 29-Ноя-22, 00:40

Какая она нафиг дорогая, её сейчас просто задом есть можно, ну, если на электронах буизнес-попликухи не писать конечно.

Ответить | Правка | Наверх | Cообщить модератору

26. "Для Linux предложена файловая система Composefs" +3 +/–

Сообщение от Самый умный из вас (?), 29-Ноя-22, 01:16

Когда не знаешь, что кроме десктопов есть ещё огромный рынок серверов и ДЦ

Ответить | Правка | Наверх | Cообщить модератору

76. "Для Linux предложена файловая система Composefs" –2 +/–

Сообщение от Аноним (8), 29-Ноя-22, 15:57

Я как раз про серверы и ДЦ, т.к. они мне ближе, чем десктопы.

Ответить | Правка | Наверх | Cообщить модератору

81. "Для Linux предложена файловая система Composefs" +2 +/–

Сообщение от Самый умный из вас (?), 29-Ноя-22, 16:17

Любитель позапускать электроны на серверах?)

Ответить | Правка | Наверх | Cообщить модератору

66. Скрыто модератором +9 +/–

Сообщение от Макакокодеров вон из профессии (?), 29-Ноя-22, 10:23

> Какая она нафиг дорогая, её сейчас просто задом есть можно, ну, если
> на электронах буизнес-попликухи не писать конечно.
Именно так расскждают макакокодеры-смузисосы и крапают свою блоатварь не оглядываясь на потребление и оптимизацию, будто только их крап будет единственным работать в системе, но сюрприз-сюрприз, т.к. подобных макак овердофига, каждый крапает свой крап и от этого системы пухнут, как дрожжи в сельском сортире, с соответствующим эффектом. В итоге, получаем такие системы, даже установщик которых еле справляется влезать в 4Гб ОЗУ. А всякие эти говноснапы и флатпаки почём зря выжирают ресурсы системы.
Но смузисосам же пофиг, память - копеечная, все кому надо купят, а остальные - нищeбpoды.
Вот только так для всего, сраный калькулятор в современных системах весит и жрёт столько, сколько раньше игры полноценные потребляли, а меж тем, возможности самого калькулятора не изменились с годами, порой даже наоборот, инженерной опции в них нет.
Взять бы этих макак, да пересадить на сетапы с 2Гб ОЗУ и заставить писать только в таких условиях, а кто не справился - того на мороз, вот тогда был бы толк, а сейчас просто быдлокодинг хипсторский, зато можно в антикофе зависать, ездить на гироскутерах, электросамокатах и вейп сосать со смузи, прогая на линуксы с маков.

Ответить | Правка | К родителю #20 | Наверх | Cообщить модератору

70. Скрыто модератором –2 +/–

Сообщение от ПАНК программист а не кодер (?), 29-Ноя-22, 12:09

Прочитал твою телегу и хочется сказать «бро, поддержка и сочувствие». Как говорят сейчас в интернете: «эти смузисосы сейчас здесь, в этой комнате?»
Видно, что тебе плохо; возможно, из-за что в детстве были телесные наказания или травля. Ты кипишь из-за того, что некие «смузисосы» где-то плохо пишут код и тратят некую память, из-за вымышленной в общем-то ситуации. Ведь ни твой сосед не тратит память на твоём компьютере, ни твой коллега не тратит память на сервере компании, ни в твой проект смузисос не комитит говно.
Думаю, за фигурой «смузисосов», которые всё делают из рук вон плохо скрывается родитель или кто-то другой, на кого у тебя обида и злость, но кого критиковать и ругать нет возможности/прав/смелости, вот ты и переносишь свой гнев.
Повторюсь, поддержка и сочувствие, бро.

Ответить | Правка | Наверх | Cообщить модератору

136. Скрыто модератором +/–

Сообщение от Аноним (136), 30-Ноя-22, 20:29

Просто отлично сказано!
Это просто убогий человек, озлобленный на жизнь.

Ответить | Правка | Наверх | Cообщить модератору

137. Скрыто модератором +/–

Сообщение от Аноним (136), 30-Ноя-22, 20:30

Какой же убогий со своей злостью.

Ответить | Правка | К родителю #66 | Наверх | Cообщить модератору

71. "Для Linux предложена файловая система Composefs" –1 +/–

Сообщение от Аноним (71), 29-Ноя-22, 12:19

>если на электронах буизнес-попликухи не писать конечно.
Это не тебе решать, а энтерпрайзу, которому чем больше потребление памяти у быдла, тем лучше, ибо тем больше прибыли получат производители памяти (а куда быдло денется с подводной лодки, побежит в магаз как миленькое!), тем больше они смогут инвестировать в R&D, тем больше будет прогресс в росте объёмов памяти, тем быстрее старые компы устареют, станут неюзабельны и пойдут на свалку, тем больше в новых будет память, тем больше можно будет пренебречь пользователями старых компов (тех, которых ПОКА ЧТО выбросить нельзя, а не тех, кого уже выбросили на свалку к бомжам), тем более дешёвых макак можно будет нанять для написания программ на Электроне.

Ответить | Правка | К родителю #20 | Наверх | Cообщить модератору

110. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Анонимский Аноним (?), 30-Ноя-22, 00:00

>[оверквотинг удален]
> Это не тебе решать, а энтерпрайзу, которому чем больше потребление памяти у
> быдла, тем лучше, ибо тем больше прибыли получат производители памяти (а
> куда быдло денется с подводной лодки, побежит в магаз как миленькое!),
> тем больше они смогут инвестировать в R&D, тем больше будет прогресс
> в росте объёмов памяти, тем быстрее старые компы устареют, станут неюзабельны
> и пойдут на свалку, тем больше в новых будет память, тем
> больше можно будет пренебречь пользователями старых компов (тех, которых ПОКА ЧТО
> выбросить нельзя, а не тех, кого уже выбросили на свалку к
> бомжам), тем более дешёвых макак можно будет нанять для написания программ
> на Электроне.
Именно так.
Приятно видеть адекватного брата Анонима на опеннете, я бы поставил плюс, но Анонимов тут угнетают, поэтому только так: +

Ответить | Правка | Наверх | Cообщить модератору

16. "Для Linux предложена файловая система Composefs" +3 +/–

Сообщение от Аноним (15), 29-Ноя-22, 00:29

иксперт опеннет> шагнули куда-то совсем не туда.
значит все правильно делают

Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору

18. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (8), 29-Ноя-22, 00:40

А, да пользуйтесь, не обляпайтесь только.

Ответить | Правка | Наверх | Cообщить модератору

34. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (33), 29-Ноя-22, 03:30

Фейспалм. Прочти новость и о назначение этой read only файловой системы.

Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору

67. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (67), 29-Ноя-22, 10:50

Так ты сам разобрался зачем (низачем) она тебе?

Ответить | Правка | Наверх | Cообщить модератору

19. "Для Linux предложена файловая система Composefs" +/–

Сообщение от None (??), 29-Ноя-22, 00:40

У меня тут файл на пару терабайт, и я в него иногда пару байтиков дописываю.
О да! Хэшируй меня полностью, да еще и в много потоков!

Ответить | Правка | Наверх | Cообщить модератору

21. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (8), 29-Ноя-22, 00:41

Да ладно, главное ж - еканомия.

Ответить | Правка | Наверх | Cообщить модератору

22. "Для Linux предложена файловая система Composefs" +1 +/–

Сообщение от Аноним (8), 29-Ноя-22, 00:42

Кстати с дозаписью запросто решается сохранением промежуточных стейтов, главное - в серёдку не писать :D

Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

41. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (40), 29-Ноя-22, 05:39

Скользящий хеш вроде Рабина спасет гиганта мысли.

Ответить | Правка | Наверх | Cообщить модератору

98. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (-), 29-Ноя-22, 19:56

А если совсем делать нехрен то что-то типа меркловского дерева сильно ограничит объем хеширования. Ну то-есть рехэш измененного блока + хэшей уровнями выше, вполне разумный объем будет.

Ответить | Правка | Наверх | Cообщить модератору

25. "Для Linux предложена файловая система Composefs" +3 +/–

Сообщение от Аноним (23), 29-Ноя-22, 01:06

А тебя заставили эту fs использовать? А, не, погоди, ты же не умеешь выбирать fs для своих целей, сорри

Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

46. "Для Linux предложена файловая система Composefs" +1 +/–

Сообщение от Аноним (46), 29-Ноя-22, 07:35

> У меня тут файл на пару терабайт, и я в него иногда
> пару байтиков дописываю.
Всё нормально будет дедуплицироваться,  Composefs работает в режиме read only, а запись реализуется через overlayfs. Исходные файлы образа остаются всегда постоянными.

Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

55. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (55), 29-Ноя-22, 08:44

Ага, давайте хранить террабийтные файлы в fs узкого назначения

Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

64. "Для Linux предложена файловая система Composefs" +1 +/–

Сообщение от another_one (ok), 29-Ноя-22, 10:19

> подходит для монтирования образов в режиме только для чтения
> У меня тут файл на пару терабайт, и я в него иногда пару байтиков дописываю.
Ох уж эти опеннет иксперты™

Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

99. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (-), 29-Ноя-22, 19:59

Для того эксперта могу сказать что на btrfs это вполне нормально работает. Можно пройтись fsck'ом на "reflinked" копии, те пара или сколько там байтиков запишутся в сторонку CoW, остальные "почти пара терабайт" так и останутся расшареными на двоих. И все это просто, быстро, эффективно и абсолютно прозрачно для софта, который видит якобы 2 совершенно независимые 2-терабайтные файлы. Дедупать 2 терабайта конечно жестковато по ресурсам, в этом месте идея сразу при "копировании" хинтить что это полный дедуп (reflink) как раз очень круто получается.

Ответить | Правка | Наверх | Cообщить модератору

106. "Для Linux предложена файловая система Composefs" +2 +/–

Сообщение от Admino (ok), 29-Ноя-22, 20:45

И ты для этого собираешься использовать файловую систему, сделанную специально для использования в readonly. Ну, наверное.
Верни мне веру в опеннетовских аналитиков, напиши просто, что ты не прочитал исходное сообщение.

Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

131. "Для Linux предложена файловая система Composefs" +1 +/–

Сообщение от Брат Анон (ok), 30-Ноя-22, 16:27

Про сквошФС ты, конечно, строку пропустил?

Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

27. "Для Linux предложена файловая система Composefs" –3 +/–

Сообщение от истина в последней инстанции (?), 29-Ноя-22, 01:28

> создатель Flatpak
И дальше можно не читать. Знак антикачества.

Ответить | Правка | Наверх | Cообщить модератору

54. "Для Linux предложена файловая система Composefs" +3 +/–

Сообщение от Аноним (55), 29-Ноя-22, 08:42

это ты еще snap не видел

Ответить | Правка | Наверх | Cообщить модератору

69. "Для Linux предложена файловая система Composefs" +1 +/–

Сообщение от iPony129412 (?), 29-Ноя-22, 12:03

> 5    Done    today at 15:53 +07      today at 15:53 +07      Remove inactive vulnerable "snapd" snap (17576)
Вот это инновации, SNAP удаляет уязвимые эти самые 😮

Ответить | Правка | Наверх | Cообщить модератору

30. "Для Linux предложена файловая система Composefs" +/–

Сообщение от mikhailnov (ok), 29-Ноя-22, 02:44

Думаю, полезно и не для контейнеров. Хочу shuashfs с дедупликацией для архивов и резервных копий, а это оно и есть по сути дела.

Ответить | Правка | Наверх | Cообщить модератору

38. "Для Linux предложена файловая система Composefs" +/–

Сообщение от edo (ok), 29-Ноя-22, 05:24

https://github.com/restic/restic/blob/master/doc/design.rst
Не оно?

Ответить | Правка | Наверх | Cообщить модератору

39. "Для Linux предложена файловая система Composefs" +/–

Сообщение от mikhailnov (ok), 29-Ноя-22, 05:33

> https://github.com/restic/restic/blob/master/doc/design.rst
> Не оно?
Нельзя примонтировать, как сквош. Можно в принципе сделать файл-образ BTRFS, а внутри него сжатие и оффлайн-дедупликацию.

Ответить | Правка | Наверх | Cообщить модератору

100. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (-), 29-Ноя-22, 20:02

И даже можно сделать ридонли базу, например оформив как seed-девайс. Или просто флаг readonly на снапшоте который считаем основой. Смотря насколько близко поведение сквоша имитировать хотелось.

Ответить | Правка | Наверх | Cообщить модератору

90. "Для Linux предложена файловая система Composefs" +1 +/–

Сообщение от qetuo (?), 29-Ноя-22, 18:03

DWARFS
https://github.com/mhx/dwarfs

Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

101. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (-), 29-Ноя-22, 20:04

Охренеть, список зависимостей на экран не лезет, и они имеют наглость вперев все вплоть до питонов себя с сквошом сравнивать. Жэсть!

Ответить | Правка | Наверх | Cообщить модератору

114. "Для Linux предложена файловая система Composefs" +1 +/–

Сообщение от qetuo (?), 30-Ноя-22, 05:40

> Охренеть, список зависимостей на экран не лезет, и они имеют наглость вперев
> все вплоть до питонов себя с сквошом сравнивать. Жэсть!
Сравнение с squashfs проводится по производительности и степени сжатия данных. Метрика "количество зависимостей" информативной не является, особенно без разделения на зависимости времени сборки и зависимости времени исполнения, и последних там совсем немного.
Хотя кому я это рассказываю, местные клоуны новость прочитать не в состоянии.

Ответить | Правка | Наверх | Cообщить модератору

148. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (-), 01-Дек-22, 18:44

> Сравнение с squashfs проводится по производительности и степени сжатия данных. Метрика
> "количество зависимостей" информативной не является, особенно без разделения на зависимости
> времени сборки и зависимости времени исполнения, и последних там совсем немного.
Вообще-то очень информативно: squashfs мы прикрутить к вон тому роутеру можем, и это будет компактно, просто и эффективно.
А вон тот переросток с питонами-электронами в фузе туда чисто технически не уместится и благодать не наступит. Да и фуз на файловых операциях проц грузит мама не горюй, естественно, от паттернов доступа очень зависит.

Ответить | Правка | Наверх | Cообщить модератору

108. "Для Linux предложена файловая система Composefs" +/–

Сообщение от T (?), 29-Ноя-22, 21:26

Используй Borg. Без шуток.

Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

31. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (31), 29-Ноя-22, 03:06

> даёт возможность экономить как дисковую, так и оперативную память.
Зато проц нагнёт, нормальная такая экономия ресурсов.

Ответить | Правка | Наверх | Cообщить модератору

65. "Для Linux предложена файловая система Composefs" +1 +/–

Сообщение от another_one (ok), 29-Ноя-22, 10:22

С чего бы, если дедуплицируется один раз при монтировании?

Ответить | Правка | Наверх | Cообщить модератору

44. "Для Linux предложена файловая система Composefs" +/–

Сообщение от EuPhobos (ok), 29-Ноя-22, 07:04

> Отличия сводятся к обеспечению в Composefs эффективного совместного хранения содержимого нескольких примонтированных дисковых образов
Т.е. эта экономия не про "место на жёстком диске", а только про оперативку?
> Подобная модель обеспечивает дедупликацию и позволяет фактически хранить только одну копию одинаковых файлов
Если одинаковые файлы изначально идут с разных "примонтированных дисковых образов", о какой дедупликации тогда речь?

Ответить | Правка | Наверх | Cообщить модератору

48. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (46), 29-Ноя-22, 07:39

> одинаковые файлы изначально идут с разных "примонтированных дисковых образов", о какой
> дедупликации тогда речь?
Каждый образ в Composefs состоит из двух частей - сам образ только с метаданными и отдельное, общее для всех образов, хранилище данных, т.е. метаданные для всех образов разделены, а содержимое файлов свалено в общую кучу.
Монтируется как-то так
mount /путь/к/образу/с/метадаными -t composefs -o basedir=/путь/к/хранилищу/содержимого /mnt

Ответить | Правка | Наверх | Cообщить модератору

49. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (50), 29-Ноя-22, 07:47

basedir нужно весь целиком держать с самого начала или можно пополнять по мере надобности?

Ответить | Правка | Наверх | Cообщить модератору

79. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (52), 29-Ноя-22, 16:03

> общее для всех образов, хранилище данных
и много есть образов с большими одинаковыми файлами на _одном_ физическом носителе?

Ответить | Правка | К родителю #48 | Наверх | Cообщить модератору

134. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (112), 30-Ноя-22, 16:57

Да. Например, в NixOS (оптимизируется хардлинками), да и в любой OSTree-like иерархии. Для дистрибутивов родом из 90х это, конечно же, не актуально.

Ответить | Правка | Наверх | Cообщить модератору

53. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (55), 29-Ноя-22, 08:42

>Например, образы контейнеров содержат множество типовых системных файлов и в случае применения Composefs каждый из этих файлов будет совместно использован всеми примонтированными образами, без применения трюков, таких как проброс при помощи жёстких ссылок. При этом общие файлы не только хранятся в виде одной копии на диске, но и обходятся одной записью в страничном кэше, что даёт возможность экономить как дисковую, так и оперативную память.
Вспоминая про "безопасность" контейнеров, очень быстро найдутся умельцы которые с обновлением своего супер-мега контейнера подсунут в basedir либы с бекдорами, которые подтянутся другими контейнерами и вот вам готовая дырень.

Ответить | Правка | Наверх | Cообщить модератору

56. "Для Linux предложена файловая система Composefs" +1 +/–

Сообщение от Аноним (31), 29-Ноя-22, 08:50

Оно ещё в релиз не пошло, а вы уже палите, нехорошо.

Ответить | Правка | Наверх | Cообщить модератору

57. "Для Linux предложена файловая система Composefs" +3 +/–

Сообщение от Аноним (-), 29-Ноя-22, 09:17

> с обновлением своего супер-мега контейнера подсунут в basedir либы с бекдорами, которые подтянутся другими контейнерами
Как они потянутся, если у них будет свой собственный уникальный хеш, который не используется другими контейнерами?

Ответить | Правка | К родителю #53 | Наверх | Cообщить модератору

68. "Для Linux предложена файловая система Composefs" +1 +/–

Сообщение от Аноним (55), 29-Ноя-22, 11:36

Остапа понесло...хepню сморозил...каюсь

Ответить | Правка | Наверх | Cообщить модератору

59. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (59), 29-Ноя-22, 09:27

Для NixOS по идее тоже должно работать?

Ответить | Правка | Наверх | Cообщить модератору

74. "Для Linux предложена файловая система Composefs" –1 +/–

Сообщение от какая разница (?), 29-Ноя-22, 14:09

Зачем? Вы ext4 надёжней сделайте.
Есть терабайтный диск с ext4, которая стала raw. Testdisk не нашел даже загрузочной записи, dmde и rlinux тоже ничего не нашли.
Отключал через безопасное отключение.
Теперь диск, отработавший всего 1022 часа, отправится в мусор, а вы так и будете клепать новые файловые системы..

Ответить | Правка | Наверх | Cообщить модератору

78. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (8), 29-Ноя-22, 15:59

Рейд-контроллер без барьеров и батарейки - мечта мазохиста?

Ответить | Правка | Наверх | Cообщить модератору

80. "Для Linux предложена файловая система Composefs" +/–

Сообщение от какая разница (?), 29-Ноя-22, 16:04

Рейд для одного диска?

Ответить | Правка | Наверх | Cообщить модератору

89. "Для Linux предложена файловая система Composefs" +/–

Сообщение от . (?), 29-Ноя-22, 18:01

>  Теперь диск, отработавший всего 1022 часа, отправится в мусор
Ядро 5.19.* ? Если нет, то кто производитель диска?

Ответить | Правка | К родителю #74 | Наверх | Cообщить модератору

92. "Для Linux предложена файловая система Composefs" +/–

Сообщение от какая разница (?), 29-Ноя-22, 18:25

WD Purple
Использовался только для хранения видео

Ответить | Правка | Наверх | Cообщить модератору

126. "Для Linux предложена файловая система Composefs" +/–

Сообщение от анон (?), 30-Ноя-22, 15:35

ссзб кмк, wd пихают хлам как диски для видеонаблюдения (маленьким шрифтом подписано что для холодного хранения), а железо там обычная блюшка с другой прошивкой. Надо брать ынтерпрайз диски.

Ответить | Правка | Наверх | Cообщить модератору

94. "Для Linux предложена файловая система Composefs" +/–

Сообщение от _kp (ok), 29-Ноя-22, 19:43

Да явно диск плохой. Я практически не пользуюсь безопасными отключениями ext4, и ничего страшного не происходит же. А компов у меня...  много всяких.

Ответить | Правка | К родителю #74 | Наверх | Cообщить модератору

118. "Для Linux предложена файловая система Composefs" +/–

Сообщение от какая разница (?), 30-Ноя-22, 07:05

Точно! Диск виноват. Только под windows и с ntfs диск работал без проблем, а в linux и с ext4 через раз определялся.
Но виноват диск, конечно..

Ответить | Правка | Наверх | Cообщить модератору

120. "Для Linux предложена файловая система Composefs" +/–

Сообщение от _kp (ok), 30-Ноя-22, 13:07

> Только под windows и с ntfs диск работал без проблем, а в linux и с ext4 через раз определялся.
Говорили мне не выноси мусор на ночь, примета плохая. Не послушал. Теперь и войны и санкции.
Ну, совпадение же.
Вот если бы у Вас, или у кого то то же самое массово с ССД повторялось, то об проблеме давно бы знали.
А пока подобное не подтверждается, и SSD с ext4 работают хорошо.
Да и упомянутый ресурс мизерный для любого использования, даже для дешевого SSD.
Остается только думать на брак.

Ответить | Правка | Наверх | Cообщить модератору

123. "Для Linux предложена файловая система Composefs" +/–

Сообщение от какая разница (?), 30-Ноя-22, 15:28

Давно ли WD стала выпускать SSD под маркой WD Purple?

Ответить | Правка | Наверх | Cообщить модератору

156. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (-), 03-Дек-22, 01:09

> Давно ли WD стала выпускать SSD под маркой WD Purple?
Он поди был видным представителем черепичных, как большинство современных винчей с соблазнительной ценой за гиг. И, вероятно, отступить от партишн тэйбла немного чтобы оставить его в покое гражданин не догадался. Ну а при факапе GC наверное и улетел партишн заодно. Вот чего-чего а такое счастье при неумном раскладывании ФС бывает довольно регулярно.
Если повезет - можно вернуть партишн и недурно восстановится, если улетело только это. Если что-то еще - смотря что улетело. Ну вон у btrfs допустим суперблоков как правило 3 копии, все сразу все же не улетают, а если еще и DUP метаданных был (чаще всего есть) есть нехилый шанс это смонтировать потом. А ext4 никогда и не делали с прицелом на надежность, там как повезет. Хотя вот именно совсем наповал его убить еще постараться надо.

Ответить | Правка | Наверх | Cообщить модератору

158. "Для Linux предложена файловая система Composefs" +/–

Сообщение от какая разница (?), 03-Дек-22, 06:52

> Он поди был видным представителем черепичных
WD Purple никогда не были с записью SMR, подробнее здесь
https://u.to/5CJ4HA
> отступить от партишн тэйбла немного чтобы оставить его в покое гражданин не догадался
NTFS это не требует и все работает
> ext4 никогда и не делали с прицелом на надежность
Из версии в версию постоянные улучшения в ядре по файловым системам, а как ломается - "это вы сами"..

Ответить | Правка | Наверх | Cообщить модератору

160. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (-), 04-Дек-22, 04:17

> WD Purple никогда не были с записью SMR, подробнее здесь
Забавный зверек. Если бы не было написано CMR я бы подумал что ОНО именно черепица: здоровенный буфер, солидная емкость, характерные атрибуты черепичных на месте. Отдельный тролфейс на уточнение про окисление компонентов. Я знаю о чем WD говорит, экономисты фиговы, теперь вот даже в буклетиках отмазываются :)
> NTFS это не требует и все работает
Вобще-то в винде не так давно был клевый баг, когда оно как раз могло урыть файлуху в хлам. И кстати, по-моему, партишн как раз прекрасно выносило, заодно с MFT - чтобы не скучно было. Так что-то типа wrap после хвоста накопителя было, со всеми вытекающими.
А вот для линуха я такого никогда не встречал, там подобные грабли оказываются именно проблемами оборудования.
> Из версии в версию постоянные улучшения в ядре по файловым системам, а
> как ломается - "это вы сами"..
В дизайне EXT4 просто нет каких-то специальных фич против разрушения. Если сравнивать с другими, типа btrfs'а какого. В самых последних версиях правда сделали чексумы журнала, кажется, чтобы оно совсем уж вдрызг не дестроило ФС при отклонении от идеала. Но если у кого партишн слетел, там дело явно не в ФС. Ну вот не трогают ФС партишн при нормальной работе. Незачем оно им. Значит что-то пошло сильно не так на другом уровне.

Ответить | Правка | Наверх | Cообщить модератору

107. "Для Linux предложена файловая система Composefs" +1 +/–

Сообщение от Admino (ok), 29-Ноя-22, 20:48

А ext4 тут причём, если диск сдох? Ты можешь доказать, что ext4 убила диск? Ждём твои сенсационные заявления в багтрекере ядра.

Ответить | Правка | К родителю #74 | Наверх | Cообщить модератору

111. "Для Linux предложена файловая система Composefs" +1 +/–

Сообщение от Некто (??), 30-Ноя-22, 02:54

Ты криворучка. Ехт4 вполне тупая фс, которую можно вручную без драйвера разобрать, не говоря уже о  photorec. Ещё у неё суперблок бекапится в разных частях диска. Зная где, можно примонтировать с бекапом.

Ответить | Правка | К родителю #74 | Наверх | Cообщить модератору

119. "Для Linux предложена файловая система Composefs" +/–

Сообщение от какая разница (?), 30-Ноя-22, 07:56

Диск не определяется в этих ваших "супер программах" типа photorec и testdisk! Как узнать где этот суперблок?
Ты лучше бы читать научился..

Ответить | Правка | Наверх | Cообщить модератору

121. "Для Linux предложена файловая система Composefs" +2 +/–

Сообщение от Аноним (121), 30-Ноя-22, 13:57

>Теперь диск, отработавший всего 1022 часа, отправится в мусор
Т.е., в основе проблема аппаратная? Тогда вопросы к произодителю диска.

Ответить | Правка | К родителю #74 | Наверх | Cообщить модератору

125. "Для Linux предложена файловая система Composefs" –1 +/–

Сообщение от какая разница (?), 30-Ноя-22, 15:32

Диск отработавший 1022 часа через "безопасное отключение" стал raw вместо ext4 и теперь программами testdisk и dmde не находится даже суперблок, не говоря уж о резервном загрузчике..

Ответить | Правка | Наверх | Cообщить модератору

162. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (-), 04-Дек-22, 04:31

> Диск отработавший 1022 часа через "безопасное отключение" стал raw вместо ext4 и
> теперь программами testdisk и dmde не находится даже суперблок, не говоря
> уж о резервном загрузчике..
Так на диске то что в результате? Таблица разделов есть? Какие-то правдоподобные данные остались? Если б вы NTFS сказали - окей, для него MS не так давно признавал такой факап, требующий определенных условий, их дожали после того как у юзеров сыпучка стала массово случаться. Но в линухе вот именно такой грабли не припоминается. Там откровенная сыпучка разве что у вон тех энтерпрайзников бездумно кладущие кеши на SSD, а когда тот протирается и продалбывает несколько крупных блоков - ну, ок, это превышает допущения большинства ФС и там это еще можно понять.

Ответить | Правка | Наверх | Cообщить модератору

164. "Для Linux предложена файловая система Composefs" +/–

Сообщение от какая разница (?), 04-Дек-22, 08:34

> MS не так давно признавал такой факап, требующий определенных условий
Ссылка на источник тоже имеется?
> откровенная сыпучка разве что у вон тех энтерпрайзников бездумно кладущие кеши на SSD
WD никогда не выпускала SSD под маркой Purple. Пометь уже там в своей методичке..

Ответить | Правка | Наверх | Cообщить модератору

132. "Для Linux предложена файловая система Composefs" +1 +/–

Сообщение от Брат Анон (ok), 30-Ноя-22, 16:29

Т.е. у тебя умер контроллер, но виновата ext4?.... Ок

Ответить | Правка | К родителю #74 | Наверх | Cообщить модератору

149. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (-), 01-Дек-22, 18:52

> Зачем? Вы ext4 надёжней сделайте.
И запретите производить сыпучие диски, да?
> Есть терабайтный диск с ext4, которая стала raw. Testdisk не нашел даже
> загрузочной записи,
И как тебе ext4, интересно, виноват в том что у тебя, буратины, таблица разделов слетела? Это проблема на твоей стороне, либо на стороне девайса. То-есть либо у тебя железо фигню творит и вот так вот запросто может таблицу разделов снести, либо это был SSD и ты очень глупо разложил ФС на нем - не сделав отступ от таблицы разделов хотя-бы мега на 32, чтобы оставить партишн в "холодном" блоке флеша который ФС при нормальной работе не трогает. А когда контроллер SSD полез ворочать огромный блок флеша и облажался, он не только что-то от ФС продолбал но и таблицу разделов заодно. EXT4 про это все вообще ничего не знал, разумеется.
Вариантов у тебя немного. Ты либо можешь пересоздать таблицу разделов ручками, точно угадав границы. Или если кишка тонка, развлекайся photorec'ом или коммерческими утилитами выковыривая уже продвинутым сканированием. В любом случае это косяк тебя и твоего железа. Таблица разделов слетать не должна и от надежности EXT4 это не зависит - EXT4 сам по себе таблицу разделов не трогает вообще.
> Теперь диск, отработавший всего 1022 часа, отправится в мусор, а вы так
> и будете клепать новые файловые системы..
И что характерно, файловые системы вообще таблицы разделов не трогают в общем случае. Не их прерогатива.

Ответить | Правка | К родителю #74 | Наверх | Cообщить модератору

152. "Для Linux предложена файловая система Composefs" +/–

Сообщение от какая разница (?), 02-Дек-22, 07:04

WD не изобрела ещё SSD под маркой Purple..
Это все, что нужно знать о местных экспертах..

Ответить | Правка | Наверх | Cообщить модератору

157. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (-), 03-Дек-22, 01:11

> WD не изобрела ещё SSD под маркой Purple..
Увы, сообщения нельзя редактировать, я про Purple позже нашел. Оно, вроде, черепица, так что идея почему оно могло слететь - похожая. Неудачный GC в области с партишном - и гудбай партишн.
> Это все, что нужно знать о местных экспертах..
Ну вы то покажете мастеркласс?

Ответить | Правка | Наверх | Cообщить модератору

159. "Для Linux предложена файловая система Composefs" +/–

Сообщение от какая разница (?), 03-Дек-22, 06:57

> Оно, вроде, черепица
Все ответы здесь https://u.to/5CJ4HA
> Ну вы то покажете мастеркласс?
Ну если вы не знаете, что WD никогда не выпускала SSD под маркой Purple и что WD Purple не выпускались с записью SMR, то это говорит, что вы не очень-то и разбираетесь - все на предположениях..

Ответить | Правка | Наверх | Cообщить модератору

163. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (-), 04-Дек-22, 04:35

Теоретически, оттуда следует что это обычный диск с 4К секторами. Не очень понятно как и почему он партишн потерял, или что под "raw диском" имелось в виду?
> то это говорит, что вы не очень-то и разбираетесь - все на предположениях..
WD понаплодили линеек, да. А то было похоже на "крупноблочный облом". Но видимо не оно. В природе много странной ерунды, однако я уверен что слет партишна не является нормальным состоянием дел и EXT4 в этом не замечен. Как и вообще в внезапных харакири без причин. Если б вы это про NTFS сказали - там MS удалось вычислить в определенном случае, после начала массовых осыпонов. Но вон то является чем-то довольно нетипичным. И больше всего похоже на кривую работу железа.

Ответить | Правка | Наверх | Cообщить модератору

154. "Для Linux предложена файловая система Composefs" +/–

Сообщение от какая разница (?), 02-Дек-22, 07:07

А чё с лицом?
https://www.cnews.ru/news/top/razrabotchiki_ubuntu_priznali_...

Ответить | Правка | К родителю #149 | Наверх | Cообщить модератору

75. "Для Linux предложена файловая система Composefs" +8 +/–

Сообщение от Пахом (?), 29-Ноя-22, 14:18

Файловые системы в век SSD не нужны! SSD вполне себе может работать по принципу RAM.

Ответить | Правка | Наверх | Cообщить модератору

77. "Для Linux предложена файловая система Composefs" –1 +/–

Сообщение от Аноним (52), 29-Ноя-22, 15:59

Программы в век компьютеров не нужны! Компьютеры вполне себе могут работать по принципу ЦПУ.

Ответить | Правка | Наверх | Cообщить модератору

95. "Для Linux предложена файловая система Composefs" +1 +/–

Сообщение от _kp (ok), 29-Ноя-22, 19:50

А без файловой системы Вы файлы то куда деваете?
А cо стиранием страницами и ограниченным ресурсом SSD может работать по принципу RAM весьма недолго, для избежания чего и нужны оптимизированные для SSD файловые системы.

Ответить | Правка | К родителю #75 | Наверх | Cообщить модератору

102. "Для Linux предложена файловая система Composefs" +5 +/–

Сообщение от Пахом (?), 29-Ноя-22, 20:34

Речь не про твоё старьё на SATA интерфейсе. Речь про нормальный человеческий NVMe.

Ответить | Правка | Наверх | Cообщить модератору

122. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (121), 30-Ноя-22, 14:00

>А без файловой системы Вы файлы то куда деваете?
Раз SSD в качестве RAM, то в RAM создаётся рамдиск :)

Ответить | Правка | К родителю #95 | Наверх | Cообщить модератору

124. "Для Linux предложена файловая система Composefs" +2 +/–

Сообщение от Пахом (?), 30-Ноя-22, 15:29

Не стыдно сидеть на компьютерном форуме и не знать как компьютер работает с памятью? Наверное все твои знания сводятся к командам git и npm.

Ответить | Правка | Наверх | Cообщить модератору

144. "Для Linux предложена файловая система Composefs" –1 +/–

Сообщение от Аноним (144), 01-Дек-22, 15:13

А тебе лень глаза вверх на несколько постов поднять, чтоб сообразить, на какую заяву был ответ?

Ответить | Правка | Наверх | Cообщить модератору

127. "Для Linux предложена файловая система Composefs" –1 +/–

Сообщение от _kp (ok), 30-Ноя-22, 16:04

>>А без файловой системы Вы файлы то куда деваете?
> Раз SSD в качестве RAM, то в RAM создаётся рамдиск :)
Рамдиск тоже  требует созданния на нём какой нибудь файловой системы.
И требует файловой системы везде, и на Linux, Windows, и на микроконтроллере, и даже на древнем ZX Spectrum.
Иначе останется блочным устройством для RAW операций :)

Ответить | Правка | К родителю #122 | Наверх | Cообщить модератору

150. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (-), 01-Дек-22, 18:56

> Файловые системы в век SSD не нужны! SSD вполне себе может работать
> по принципу RAM.
А отсылать в конкретный файл как предлагается? Прямо по физическому/логическому адресу? Даешь hexspeak в массы! :)

Ответить | Правка | К родителю #75 | Наверх | Cообщить модератору

88. "Для Linux предложена файловая система Composefs" +/–

Сообщение от zog (??), 29-Ноя-22, 17:32

Объясните олдскульщику, зачем нужна файловая система, которая постоянно считает хеши? Она ведь будет тормозить, а в случае коллизии, гарантии от которой нет никакой, накроется тазом.

Ответить | Правка | Наверх | Cообщить модератору

91. "Для Linux предложена файловая система Composefs" –1 +/–

Сообщение от qetuo (?), 29-Ноя-22, 18:05

Она не считает хеши. Вернее, считает, но в основном использует готовые хеши из индекса. При этом она иммутабельная, так что пересчитывать ничего не нужно.

Ответить | Правка | Наверх | Cообщить модератору

93. "Для Linux предложена файловая система Composefs" +1 +/–

Сообщение от Аноним (52), 29-Ноя-22, 19:09

> пересчитывать ничего не нужно
обновил мету в фильме - ой... оказывается, надо.

Ответить | Правка | Наверх | Cообщить модератору

113. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (112), 30-Ноя-22, 03:43

> для монтирования образов в режиме только для чтения
> обновил мету в фильме
Новость не читай, сразу коммент пиши! Эксперды опеннета в своём обычном амплуа.

Ответить | Правка | Наверх | Cообщить модератору

96. "Для Linux предложена файловая система Composefs" –1 +/–

Сообщение от _kp (ok), 29-Ноя-22, 19:52

Для Flatpak, чтоб все данные в одну гигантскую кучу намешать.

Ответить | Правка | К родителю #88 | Наверх | Cообщить модератору

103. "Для Linux предложена файловая система Composefs" –1 +/–

Сообщение от Аноним (-), 29-Ноя-22, 20:35

Она не постоянно их считает. Почитайте про принцип contrnt-adressable, в этом подходе мы заранее знаем что хотим, и запрашиваем вот именно это самое, окончательным идентификатором является хэш контента. Ну то-есть abcd.so -> (имя файла) a1b2c3....ef -> данные.
А то что кто-то там сто лет назад посчитал хэш(данные) и разложил его в файло с именем a1b2c3....ef потому что хэш такой, не обязывает его пересчитывать постоянно.

Ответить | Правка | К родителю #88 | Наверх | Cообщить модератору

133. "Для Linux предложена файловая система Composefs" +4 +/–

Сообщение от Брат Анон (ok), 30-Ноя-22, 16:33

Объясняю школьному одскульщику: ФС в режиме "только для чтения" не имеет изменяющихся частей. Хэш посчитали за тебя и даже не на твоём компьютере. Твои затраты минимальны. А выигрышь по занимаемому месту -- может оказаться от десятков процентов до кратных величин. ИМХО, не плохая прибавка к пенсии.

Ответить | Правка | К родителю #88 | Наверх | Cообщить модератору

141. "Для Linux предложена файловая система Composefs" –2 +/–

Сообщение от Jxtym (?), 01-Дек-22, 10:27

Только вот сделана эта фс специально под fs-verify который будет хэши считать постоянно.

Ответить | Правка | Наверх | Cообщить модератору

167. "Для Linux предложена файловая система Composefs" +3 +/–

Сообщение от Брат Анон (ok), 05-Дек-22, 13:34

> Только вот сделана эта фс специально под fs-verify который будет хэши считать
> постоянно.
Для чего хэши считать постоянно? Ещё раз: эта файловая система монтируется в режиме "только для чтения".

Ответить | Правка | Наверх | Cообщить модератору

169. "Для Linux предложена файловая система Composefs" –1 +/–

Сообщение от Jxtym (?), 06-Дек-22, 13:25

>> Только вот сделана эта фс специально под fs-verify который будет хэши считать
>> постоянно.
> Для чего хэши считать постоянно? Ещё раз: эта файловая система монтируется в
> режиме "только для чтения".
Для валидации данных очевидно. Все данные на оригинальной фс остаются в режиме записи.
Посмотрев на авторов становится очевидно что composefs скрестят с ostree хранилищем и получат подписанные образы на базе произвольного стора, которые можно будет встроить в secureboot цепочку(тут валидация и становится актуальной). Всё это актуально для silverblue подобных дистров.

Ответить | Правка | Наверх | Cообщить модератору

135. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аномин (?), 30-Ноя-22, 17:09

Flatpak критиковали за прожерливость диска, вот решение. И мне нравятся контейнеры, когда приложение не "размазывается" по всей системе и можно ограничить доступ, к сети, каталогам, дискам и тд.
Тот же Steam по этим соображениям лучше ставить в контейнер, чтобы игры не шарились где непоподя. У меня 2 стима, один из пакетов, второй во flatpak, там устанавливаю все подряд, ибо встроенные зловреды в игры вполне реальная вещь.

Ответить | Правка | Наверх | Cообщить модератору

139. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Jxtym (?), 01-Дек-22, 10:25

На размер данных на диске это никак не повлияет.

Ответить | Правка | Наверх | Cообщить модератору

140. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Jxtym (?), 01-Дек-22, 10:26

*для флатпака

Ответить | Правка | Наверх | Cообщить модератору

142. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (142), 01-Дек-22, 14:23

Проблема всяких паков не только в том, что место транжирится, но и в том что либы не обновляются.

Ответить | Правка | К родителю #135 | Наверх | Cообщить модератору

138. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (138), 30-Ноя-22, 20:31

Зачем, если есть exet4?

Ответить | Правка | Наверх | Cообщить модератору

143. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (142), 01-Дек-22, 14:24

Круто. Давно пора. И с торрентами скрестить чтобы публично-доступные файлы было можно искать и качать по хэшу.

Ответить | Правка | Наверх | Cообщить модератору

151. "Для Linux предложена файловая система Composefs" +/–

Сообщение от Аноним (-), 01-Дек-22, 18:58

> Круто. Давно пора. И с торрентами скрестить чтобы публично-доступные файлы было можно
> искать и качать по хэшу.
Это eMule/aMule называлось и вот именно публиковало файло из дир по вот именно их хэшу, при том все кто с одинаковыми файлами автоматически находились :)

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Для Linux предложена файловая система Composefs"	+1 +/–
Сообщение от Аноним (-), 28-Ноя-22, 23:06
> первичным идентификатором является не имя файла, > а хэш от содержимого файла. Так то идея хорошая, но если скажем в файле 80% блоков как у соседа, блочная дедупликация их уберет, а вон то разумеется в пролете, файло должно точно совпадать.
Ответить \| Правка \| Наверх \| Cообщить модератору


	128. "Для Linux предложена файловая система Composefs"	+/–
	Сообщение от Брат Анон (ok), 30-Ноя-22, 16:21
	Ты понимаешь как работает хэш? Например, SHA-256?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	145. "Для Linux предложена файловая система Composefs"	+/–
	Сообщение от Аноним (-), 01-Дек-22, 18:17
	> Ты понимаешь как работает хэш? Например, SHA-256? Да. Можно делать независимый хэш на каждый блок ФС. При обнаружении совпадения с другим заменять на реф. Чем дедубликаторы и занимаются в ФС которые умеют в cow. Отсюда жор памяти онлайн дедупом: для скорости записи список хешей известных блоков должен быть в RAM. Офлайн дедубликаторы могут позволить себе хранить это в скоростной БД, . Когда у файла 80% блоков совпадает, эти блоки БУДУТ заменены на референсы. Это прекрасно работает с образами виртуалок из 1 шаблона, разными версиями данных с общим предком и проч. А если в имени файла закодирован весь хэш всего файла - глобальный sha файлов все же разный, вон то уже не сработает. Будет 2 полностью разных файла.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	168. "Для Linux предложена файловая система Composefs"	+1 +/–
	Сообщение от Брат Анон (ok), 05-Дек-22, 13:37
	> Когда у файла 80% блоков совпадает, эти блоки БУДУТ заменены на референсы. > Это прекрасно работает с образами виртуалок из 1 шаблона, разными версиями > данных с общим предком и проч. А если в имени файла > закодирован весь хэш всего файла - глобальный sha файлов все же > разный, вон то уже не сработает. Будет 2 полностью разных файла. Читай внимательно: хэш считается у блоков. Если меняется какая-то часть -- только это блок будет посчитан заново и ссылка будет заменена новым хэшем. Все остальные блоки (и хэши) останутся прежними). Если 80% блоков общие -- откуда жор памяти? А таблица страниц памяти -- жор в памяти не устраивает?
	Ответить \| Правка \| Наверх \| Cообщить модератору

2. "Для Linux предложена файловая система Composefs"	+17 +/–
Сообщение от ИмяХ (?), 28-Ноя-22, 23:14
Опять херню, которая нужна <0.01% пользователей, запихают в ядро, чтоб в следующем релизе ядра гордиться количеством добавленных строчек кода, мол, ого-го сколько мы сделали. Давайте, ещё больше и жирнее делайте ядро!
Ответить \| Правка \| Наверх \| Cообщить модератору


	6. "Для Linux предложена файловая система Composefs"	+15 +/–
	Сообщение от Аноним (6), 28-Ноя-22, 23:29
	> создатель Flatpak Ничего не говорит? Ясно же, вся эта штука для того чтоб шарить файлы между пакетами.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	52. "Для Linux предложена файловая система Composefs"	+2 +/–
	Сообщение от Аноним (52), 29-Ноя-22, 08:12
	> чтоб шарить файлы между пакетами shared library? Ой, где-то мы это уже слышали...
	Ответить \| Правка \| Наверх \| Cообщить модератору


	83. "Для Linux предложена файловая система Composefs"	+/–
	Сообщение от Аноним (83), 29-Ноя-22, 16:20
	Слышал звон.. Вначале разберитесь, что такое FlatPak и по какому принципу он работает
	Ответить \| Правка \| Наверх \| Cообщить модератору


	85. "Для Linux предложена файловая система Composefs"	–6 +/–
	Сообщение от лютый ж.... (?), 29-Ноя-22, 16:42
	>Вначале разберитесь, что такое FlatPak и по какому принципу он работает по такому, который не нужен
	Ответить \| Правка \| Наверх \| Cообщить модератору


	104. "Для Linux предложена файловая система Composefs"	+/–
	Сообщение от Admino (ok), 29-Ноя-22, 20:42
	Да, в описании flatpak.
	Ответить \| Правка \| К родителю #52 \| Наверх \| Cообщить модератору


	129. "Для Linux предложена файловая система Composefs"	+/–
	Сообщение от Брат Анон (ok), 30-Ноя-22, 16:23
	Нет. Не шаред мемори. Речь идёт про дедупликацию файлов с одинаковым содержимым, где вместо имени -- хэш. Файлы могут быть чем угодно -- например, пять электронов, десять хромов и 20 фарефоксов. По факту -- всё будет в одном экземляре. Но к хэшу будет прикручено соответствующее количество ссылок.
	Ответить \| Правка \| К родителю #52 \| Наверх \| Cообщить модератору


	12. "Для Linux предложена файловая система Composefs"	+4 +/–
	Сообщение от Аноним (12), 29-Ноя-22, 00:15
	Ну как бы если кому не надо а жирнота парит - может модуль с ней и не собирать. Впрочем даже если он и соберется, то не будет загружен покуда не попадется диск с такой файлухой, а плюс-минус сколько-то килобайт в /lib/modules не похрен ли сейчас, кроме совсем уж мелочи типа роутеров с openwrt? Гораздо хуже когда что-то такое понадобилось - а его нет. Вот тут уже мелкими фокусами не отвертишься.
	Ответить \| Правка \| К родителю #2 \| Наверх \| Cообщить модератору


	15. "Для Linux предложена файловая система Composefs"	+9 +/–
	Сообщение от Аноним (15), 29-Ноя-22, 00:27
	новость > монтирование образов контейнеров иксперт опеннет> херню, которая нужна <0.01% пользователей
	Ответить \| Правка \| К родителю #2 \| Наверх \| Cообщить модератору


	73. "Для Linux предложена файловая система Composefs"	–1 +/–
	Сообщение от псевдонимус (?), 29-Ноя-22, 13:50
	Так и есть.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	23. "Для Linux предложена файловая система Composefs"	+/–
	Сообщение от Аноним (23), 29-Ноя-22, 01:04
	Интересно, а как вы используете ядро, и нововведения влияют на лично ваше использование системы?
	Ответить \| Правка \| К родителю #2 \| Наверх \| Cообщить модератору


	166. "Для Linux предложена файловая система Composefs"	+/–
	Сообщение от Котофалк (?), 05-Дек-22, 11:46
	внутривенно
	Ответить \| Правка \| Наверх \| Cообщить модератору


	50. "Для Linux предложена файловая система Composefs"	–1 +/–
	Сообщение от Аноним (50), 29-Ноя-22, 08:06
	Контейнеры, атомарные дистрибутивы, flatpak/snap. Все что сейчас на хайпе у авангарда дистроделов.
	Ответить \| Правка \| К родителю #2 \| Наверх \| Cообщить модератору


	63. "Для Linux предложена файловая система Composefs"	+/–
	Сообщение от . (?), 29-Ноя-22, 10:16
	> нужна <0.01% пользователей, запихают в ядро Он скорее будет как модуль ядра, как и все стопитсот драйверов от всего что угодно
	Ответить \| Правка \| К родителю #2 \| Наверх \| Cообщить модератору


	72. "Для Linux предложена файловая система Composefs"	+2 +/–
	Сообщение от Константавр (ok), 29-Ноя-22, 12:43
	Если "эта херня" уменьшит размер тех же флатпаков - уже плюс. Понятно, что растекание жира по диску надо бы решать кардинально по другому, но маховик всех этих контейнеровозов уже работает на полную, не остановишь.
	Ответить \| Правка \| К родителю #2 \| Наверх \| Cообщить модератору


	86. "Для Linux предложена файловая система Composefs"	–1 +/–
	Сообщение от лютый ж.... (?), 29-Ноя-22, 16:44
	>но маховик всех этих контейнеровозов уже работает на полную, не остановишь. не работай где это требуют. ну можно какую-нибудь хиппочухню навроде mailcow или redmine в докере развернуть, а почти всё остальное нет )
	Ответить \| Правка \| Наверх \| Cообщить модератору


	112. "Для Linux предложена файловая система Composefs"	+3 +/–
	Сообщение от Аноним (112), 30-Ноя-22, 03:33
	Очередной эксперт опеннет, отрицающий реальность.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	130. "Для Linux предложена файловая система Composefs"	+1 +/–
	Сообщение от Брат Анон (ok), 30-Ноя-22, 16:25
	Отменяющий реальность.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	115. "Для Linux предложена файловая система Composefs"	+/–
	Сообщение от mos87 (ok), 30-Ноя-22, 06:44
	а ты не в кол-ве пользователей меряй, в доходах от продажи продуктов, для которых сабж нужен клиентам.
	Ответить \| Правка \| К родителю #2 \| Наверх \| Cообщить модератору

3. "Для Linux предложена файловая система Composefs"	–2 +/–
Сообщение от ip1982 (ok), 28-Ноя-22, 23:23
> создатель Flatpak, работающий в компании Red Hat, Бинго.
Ответить \| Правка \| Наверх \| Cообщить модератору


	7. "Для Linux предложена файловая система Composefs"	+8 +/–
	Сообщение от Skullnet (ok), 28-Ноя-22, 23:32
	Скажи спасибо что не snap-а.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	60. "Для Linux предложена файловая система Composefs"	+3 +/–
	Сообщение от Аноним (60), 29-Ноя-22, 09:30
	Сорта
	Ответить \| Правка \| Наверх \| Cообщить модератору

4. "Для Linux предложена файловая система Composefs"	–3 +/–
Сообщение от ip1982 (ok), 28-Ноя-22, 23:24
> В Composefs применяется модель хранения с адресацией на основе содержимого, т.е. первичным идентификатором является не имя файла, а хэш от содержимого файла Для подобной фичи ZFS требуется дофига памяти.
Ответить \| Правка \| Наверх \| Cообщить модератору


	11. "Для Linux предложена файловая система Composefs"	+6 +/–
	Сообщение от Аноним (11), 29-Ноя-22, 00:04
	в zfs блочная дедупликация, тут всего файла целиком. 1 бит отличается на 100 мбайт - хэш всего файла в 100 мбайт отличается, пролет.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	47. "Для Linux предложена файловая система Composefs"	+/–
	Сообщение от Минона (ok), 29-Ноя-22, 07:38
	Нет. В ZFS хешируются записи, которые имеют дефолтный размер до 128кб, но могут быть размером до 1мб и больше. Так вот, если файл меньшего размера чем размер записи в свойствах датасета, то хеш будет всего файла.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	146. "Для Linux предложена файловая система Composefs"	+/–
	Сообщение от Аноним (-), 01-Дек-22, 18:37
	В btrfs по минимуму можно и 4К блоками офлайн дедуп сделать. Если вас не задолбает столько хешей хранить и процессить конечно, это некий выбор между полнотой дедупликации и ресурсов потраченых на процедуру, чем точнее тем больше ресурсов надо просадить на это. Ну и куча рефов на 4К блоки с именно такой размерностью адресации не очень эффективно по оверхеду может быть. В зависимости от глупизны дедубликатора он может слить идентичные регионы вместе но даже так есть риск получить кучу мелочи и метаданных на вот это все.
	Ответить \| Правка \| Наверх \| Cообщить модератору