Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Для Linux предложена файловая система Composefs"	+/–
Сообщение от opennews (??), 28-Ноя-22, 23:06
Александр Ларсон (Alexander Larsson), создатель Flatpak, работающий в компании Red Hat, представил предварительный вариант патчей с реализацией файловой системы Composefs для  ядра Linux. Предложенная файловая система напоминает Squashfs и также подходит для монтирования образов в режиме только для чтения. Отличия сводятся к обеспечению в Composefs эффективного совместного хранения содержимого нескольких примонтированных дисковых образов и поддержке проверки подлинности читаемых данных.  В качестве областей применения, в которых может оказаться востребована ФС Composefs, называется монтирование образов контейнеров и применение для Git-подобного репозитория OSTree... Подробнее: https://www.opennet.dev/opennews/art.shtml?num=58212
Ответить | Правка | Cообщить модератору

Сообщения

[Сортировка по ответам | RSS]

1. Сообщение от Аноним (-), 28-Ноя-22, 23:06	+1 +/–
> первичным идентификатором является не имя файла, > а хэш от содержимого файла. Так то идея хорошая, но если скажем в файле 80% блоков как у соседа, блочная дедупликация их уберет, а вон то разумеется в пролете, файло должно точно совпадать.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #128

2. Сообщение от ИмяХ (?), 28-Ноя-22, 23:14	+17 +/–
Опять херню, которая нужна <0.01% пользователей, запихают в ядро, чтоб в следующем релизе ядра гордиться количеством добавленных строчек кода, мол, ого-го сколько мы сделали. Давайте, ещё больше и жирнее делайте ядро!
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #6, #12, #15, #23, #50, #63, #72, #115

3. Сообщение от ip1982 (ok), 28-Ноя-22, 23:23	–2 +/–
> создатель Flatpak, работающий в компании Red Hat, Бинго.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #7

4. Сообщение от ip1982 (ok), 28-Ноя-22, 23:24	–3 +/–
> В Composefs применяется модель хранения с адресацией на основе содержимого, т.е. первичным идентификатором является не имя файла, а хэш от содержимого файла Для подобной фичи ZFS требуется дофига памяти.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #11, #13, #17, #45

6. Сообщение от Аноним (6), 28-Ноя-22, 23:29	+15 +/–
> создатель Flatpak Ничего не говорит? Ясно же, вся эта штука для того чтоб шарить файлы между пакетами.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #52

7. Сообщение от Skullnet (ok), 28-Ноя-22, 23:32	+8 +/–
Скажи спасибо что не snap-а.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #3 Ответы: #60

8. Сообщение от Аноним (8), 28-Ноя-22, 23:36	–2 +/–
Слишком много компотфсов. В погоне за копеечной экономией места на хранилках (основное всё равно данные весят) шагнули куда-то совсем не туда.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #14, #16, #34

11. Сообщение от Аноним (11), 29-Ноя-22, 00:04	+6 +/–
в zfs блочная дедупликация, тут всего файла целиком. 1 бит отличается на 100 мбайт - хэш всего файла в 100 мбайт отличается, пролет.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #47

12. Сообщение от Аноним (12), 29-Ноя-22, 00:15	+4 +/–
Ну как бы если кому не надо а жирнота парит - может модуль с ней и не собирать. Впрочем даже если он и соберется, то не будет загружен покуда не попадется диск с такой файлухой, а плюс-минус сколько-то килобайт в /lib/modules не похрен ли сейчас, кроме совсем уж мелочи типа роутеров с openwrt? Гораздо хуже когда что-то такое понадобилось - а его нет. Вот тут уже мелкими фокусами не отвертишься.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2

13. Сообщение от Гентушник (ok), 29-Ноя-22, 00:17	+5 +/–
Я не спец по ZFS, но мне кажется там речь шла про онлайн-дедупликацию? А тут дедупликация уже сделана, ф/с же read only. Ресурсы были потрачены при сборке образа фс, а сейчас читай себе из готового индекса и горя не знай.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #33, #51, #82

14. Сообщение от Аноним (14), 29-Ноя-22, 00:17	+2 +/–
Люблю эти разговоры о месте и памяти. В комментариях их всегда навалом и они всегда дёшевы и в тех же самых комментариях жалуются на объёмы их потребления и что новая память ещё дорогая.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #8 Ответы: #20

15. Сообщение от Аноним (15), 29-Ноя-22, 00:27	+9 +/–
новость > монтирование образов контейнеров иксперт опеннет> херню, которая нужна <0.01% пользователей
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #73

16. Сообщение от Аноним (15), 29-Ноя-22, 00:29	+3 +/–
иксперт опеннет> шагнули куда-то совсем не туда. значит все правильно делают
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #8 Ответы: #18

17. Сообщение от Аноним (-), 29-Ноя-22, 00:39	+1 +/–
Для btrfs есть "офлайн" дедупалки с куда более разумным потреблением, но это не в реалтайме, для "холодных" данных актуальнее.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4

18. Сообщение от Аноним (8), 29-Ноя-22, 00:40	+/–
А, да пользуйтесь, не обляпайтесь только.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #16

19. Сообщение от None (??), 29-Ноя-22, 00:40	+/–
У меня тут файл на пару терабайт, и я в него иногда пару байтиков дописываю. О да! Хэшируй меня полностью, да еще и в много потоков!
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #21, #22, #25, #46, #55, #64, #106, #131

20. Сообщение от Аноним (8), 29-Ноя-22, 00:40	–3 +/–
Какая она нафиг дорогая, её сейчас просто задом есть можно, ну, если на электронах буизнес-попликухи не писать конечно.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14 Ответы: #26, #66, #71

21. Сообщение от Аноним (8), 29-Ноя-22, 00:41	+/–
Да ладно, главное ж - еканомия.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19

22. Сообщение от Аноним (8), 29-Ноя-22, 00:42	+1 +/–
Кстати с дозаписью запросто решается сохранением промежуточных стейтов, главное - в серёдку не писать :D
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19 Ответы: #41

23. Сообщение от Аноним (23), 29-Ноя-22, 01:04	+/–
Интересно, а как вы используете ядро, и нововведения влияют на лично ваше использование системы?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #166

25. Сообщение от Аноним (23), 29-Ноя-22, 01:06	+3 +/–
А тебя заставили эту fs использовать? А, не, погоди, ты же не умеешь выбирать fs для своих целей, сорри
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19

26. Сообщение от Самый умный из вас (?), 29-Ноя-22, 01:16	+3 +/–
Когда не знаешь, что кроме десктопов есть ещё огромный рынок серверов и ДЦ
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #20 Ответы: #76

27. Сообщение от истина в последней инстанции (?), 29-Ноя-22, 01:28	–3 +/–
> создатель Flatpak И дальше можно не читать. Знак антикачества.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #54

30. Сообщение от mikhailnov (ok), 29-Ноя-22, 02:44	+/–
Думаю, полезно и не для контейнеров. Хочу shuashfs с дедупликацией для архивов и резервных копий, а это оно и есть по сути дела.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #38, #90, #108

31. Сообщение от Аноним (31), 29-Ноя-22, 03:06	+/–
> даёт возможность экономить как дисковую, так и оперативную память. Зато проц нагнёт, нормальная такая экономия ресурсов.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #65

33. Сообщение от Аноним (33), 29-Ноя-22, 03:24	+/–
Он просто тупо хейтит не разобравшись.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #13 Ответы: #40

34. Сообщение от Аноним (33), 29-Ноя-22, 03:30	+/–
Фейспалм. Прочти новость и о назначение этой read only файловой системы.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #8 Ответы: #67

38. Сообщение от edo (ok), 29-Ноя-22, 05:24	+/–
https://github.com/restic/restic/blob/master/doc/design.rst Не оно?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #30 Ответы: #39

39. Сообщение от mikhailnov (ok), 29-Ноя-22, 05:33	+/–
> https://github.com/restic/restic/blob/master/doc/design.rst > Не оно? Нельзя примонтировать, как сквош. Можно в принципе сделать файл-образ BTRFS, а внутри него сжатие и оффлайн-дедупликацию.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #38 Ответы: #100

40. Сообщение от Аноним (40), 29-Ноя-22, 05:35	+1 +/–
А что, можно было как-то по-другому?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #33 Ответы: #58

41. Сообщение от Аноним (40), 29-Ноя-22, 05:39	+/–
Скользящий хеш вроде Рабина спасет гиганта мысли.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #22 Ответы: #98

44. Сообщение от EuPhobos (ok), 29-Ноя-22, 07:04	+/–
> Отличия сводятся к обеспечению в Composefs эффективного совместного хранения содержимого нескольких примонтированных дисковых образов Т.е. эта экономия не про "место на жёстком диске", а только про оперативку? > Подобная модель обеспечивает дедупликацию и позволяет фактически хранить только одну копию одинаковых файлов Если одинаковые файлы изначально идут с разных "примонтированных дисковых образов", о какой дедупликации тогда речь?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #48

45. Сообщение от Минона (ok), 29-Ноя-22, 07:33	+/–
Для какой фичи? Ты, наверное, имел ввиду дедупликацию, но по незнанию сморозил фигню? В ZFS хешами обложено всё что можно, а вот память в ней жрёт ARC (кэш), отключи и жрать не будет. Раньше при дедупликации требовалось много памяти для хранения таблицы, но это починили.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4

46. Сообщение от Аноним (46), 29-Ноя-22, 07:35	+1 +/–
> У меня тут файл на пару терабайт, и я в него иногда > пару байтиков дописываю. Всё нормально будет дедуплицироваться,  Composefs работает в режиме read only, а запись реализуется через overlayfs. Исходные файлы образа остаются всегда постоянными.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19

47. Сообщение от Минона (ok), 29-Ноя-22, 07:38	+/–
Нет. В ZFS хешируются записи, которые имеют дефолтный размер до 128кб, но могут быть размером до 1мб и больше. Так вот, если файл меньшего размера чем размер записи в свойствах датасета, то хеш будет всего файла.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #11 Ответы: #146

48. Сообщение от Аноним (46), 29-Ноя-22, 07:39	+/–
> одинаковые файлы изначально идут с разных "примонтированных дисковых образов", о какой > дедупликации тогда речь? Каждый образ в Composefs состоит из двух частей - сам образ только с метаданными и отдельное, общее для всех образов, хранилище данных, т.е. метаданные для всех образов разделены, а содержимое файлов свалено в общую кучу. Монтируется как-то так mount /путь/к/образу/с/метадаными -t composefs -o basedir=/путь/к/хранилищу/содержимого /mnt
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #44 Ответы: #49, #79

49. Сообщение от Аноним (50), 29-Ноя-22, 07:47	+/–
basedir нужно весь целиком держать с самого начала или можно пополнять по мере надобности?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #48

50. Сообщение от Аноним (50), 29-Ноя-22, 08:06	–1 +/–
Контейнеры, атомарные дистрибутивы, flatpak/snap. Все что  сейчас на хайпе у авангарда дистроделов.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2

51. Сообщение от pashev.ru (?), 29-Ноя-22, 08:09	+/–
«при сборке образа»... Речь идёт о дедупликации между образами.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #13

52. Сообщение от Аноним (52), 29-Ноя-22, 08:12	+2 +/–
> чтоб шарить файлы между пакетами shared library? Ой, где-то мы это уже слышали...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6 Ответы: #83, #104, #129

53. Сообщение от Аноним (55), 29-Ноя-22, 08:42	+/–
>Например, образы контейнеров содержат множество типовых системных файлов и в случае применения Composefs каждый из этих файлов будет совместно использован всеми примонтированными образами, без применения трюков, таких как проброс при помощи жёстких ссылок. При этом общие файлы не только хранятся в виде одной копии на диске, но и обходятся одной записью в страничном кэше, что даёт возможность экономить как дисковую, так и оперативную память. Вспоминая про "безопасность" контейнеров, очень быстро найдутся умельцы которые с обновлением своего супер-мега контейнера подсунут в basedir либы с бекдорами, которые подтянутся другими контейнерами и вот вам готовая дырень.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #56, #57

54. Сообщение от Аноним (55), 29-Ноя-22, 08:42	+3 +/–
это ты еще snap не видел
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #27 Ответы: #69

55. Сообщение от Аноним (55), 29-Ноя-22, 08:44	+/–
Ага, давайте хранить террабийтные файлы в fs узкого назначения
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19

56. Сообщение от Аноним (31), 29-Ноя-22, 08:50	+1 +/–
Оно ещё в релиз не пошло, а вы уже палите, нехорошо.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #53

57. Сообщение от Аноним (-), 29-Ноя-22, 09:17	+3 +/–
> с обновлением своего супер-мега контейнера подсунут в basedir либы с бекдорами, которые подтянутся другими контейнерами Как они потянутся, если у них будет свой собственный уникальный хеш, который не используется другими контейнерами?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #53 Ответы: #68

58. Сообщение от Аноним (58), 29-Ноя-22, 09:25	+2 +/–
Можно было хейтить разобравшись.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #40 Ответы: #61, #105

59. Сообщение от Аноним (59), 29-Ноя-22, 09:27	+/–
Для NixOS по идее тоже должно работать?
Ответить | Правка | Наверх | Cообщить модератору

60. Сообщение от Аноним (60), 29-Ноя-22, 09:30	+3 +/–
Сорта
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7

61. Сообщение от Аноним (40), 29-Ноя-22, 09:51	+/–
Слишком сложно, так никто не делает.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #58 Ответы: #62

62. Сообщение от Разбираюсь и хейчу (?), 29-Ноя-22, 10:13	+1 +/–
> Слишком сложно, так никто не делает. А давайте вы не будете говорить за всех
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #61

63. Сообщение от . (?), 29-Ноя-22, 10:16	+/–
>  нужна <0.01% пользователей, запихают в ядро Он скорее будет как модуль ядра, как и все стопитсот драйверов от всего что угодно
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2

64. Сообщение от another_one (ok), 29-Ноя-22, 10:19	+1 +/–
> подходит для монтирования образов в режиме только для чтения > У меня тут файл на пару терабайт, и я в него иногда пару байтиков дописываю. Ох уж эти опеннет иксперты™
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19 Ответы: #99

65. Сообщение от another_one (ok), 29-Ноя-22, 10:22	+1 +/–
С чего бы, если дедуплицируется один раз при монтировании?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #31

66. Сообщение от Макакокодеров вон из профессии (?), 29-Ноя-22, 10:23	+9 +/–
> Какая она нафиг дорогая, её сейчас просто задом есть можно, ну, если > на электронах буизнес-попликухи не писать конечно. Именно так расскждают макакокодеры-смузисосы и крапают свою блоатварь не оглядываясь на потребление и оптимизацию, будто только их крап будет единственным работать в системе, но сюрприз-сюрприз, т.к. подобных макак овердофига, каждый крапает свой крап и от этого системы пухнут, как дрожжи в сельском сортире, с соответствующим эффектом. В итоге, получаем такие системы, даже установщик которых еле справляется влезать в 4Гб ОЗУ. А всякие эти говноснапы и флатпаки почём зря выжирают ресурсы системы. Но смузисосам же пофиг, память - копеечная, все кому надо купят, а остальные - нищeбpoды. Вот только так для всего, сраный калькулятор в современных системах весит и жрёт столько, сколько раньше игры полноценные потребляли, а меж тем, возможности самого калькулятора не изменились с годами, порой даже наоборот, инженерной опции в них нет. Взять бы этих макак, да пересадить на сетапы с 2Гб ОЗУ и заставить писать только в таких условиях, а кто не справился - того на мороз, вот тогда был бы толк, а сейчас просто быдлокодинг хипсторский, зато можно в антикофе зависать, ездить на гироскутерах, электросамокатах и вейп сосать со смузи, прогая на линуксы с маков.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #20 Ответы: #70, #137

67. Сообщение от Аноним (67), 29-Ноя-22, 10:50	+/–
Так ты сам разобрался зачем (низачем) она тебе?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #34

68. Сообщение от Аноним (55), 29-Ноя-22, 11:36	+1 +/–
Остапа понесло...хepню сморозил...каюсь
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #57

69. Сообщение от iPony129412 (?), 29-Ноя-22, 12:03	+1 +/–
> 5    Done    today at 15:53 +07      today at 15:53 +07      Remove inactive vulnerable "snapd" snap (17576) Вот это инновации, SNAP удаляет уязвимые эти самые 😮
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #54

70. Сообщение от ПАНК программист а не кодер (?), 29-Ноя-22, 12:09	–2 +/–
Прочитал твою телегу и хочется сказать «бро, поддержка и сочувствие». Как говорят сейчас в интернете: «эти смузисосы сейчас здесь, в этой комнате?» Видно, что тебе плохо; возможно, из-за что в детстве были телесные наказания или травля. Ты кипишь из-за того, что некие «смузисосы» где-то плохо пишут код и тратят некую память, из-за вымышленной в общем-то ситуации. Ведь ни твой сосед не тратит память на твоём компьютере, ни твой коллега не тратит память на сервере компании, ни в твой проект смузисос не комитит говно. Думаю, за фигурой «смузисосов», которые всё делают из рук вон плохо скрывается родитель или кто-то другой, на кого у тебя обида и злость, но кого критиковать и ругать нет возможности/прав/смелости, вот ты и переносишь свой гнев. Повторюсь, поддержка и сочувствие, бро.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #66 Ответы: #136

71. Сообщение от Аноним (71), 29-Ноя-22, 12:19	–1 +/–
>если на электронах буизнес-попликухи не писать конечно. Это не тебе решать, а энтерпрайзу, которому чем больше потребление памяти у быдла, тем лучше, ибо тем больше прибыли получат производители памяти (а куда быдло денется с подводной лодки, побежит в магаз как миленькое!), тем больше они смогут инвестировать в R&D, тем больше будет прогресс в росте объёмов памяти, тем быстрее старые компы устареют, станут неюзабельны и пойдут на свалку, тем больше в новых будет память, тем больше можно будет пренебречь пользователями старых компов (тех, которых ПОКА ЧТО выбросить нельзя, а не тех, кого уже выбросили на свалку к бомжам), тем более дешёвых макак можно будет нанять для написания программ на Электроне.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #20 Ответы: #110

72. Сообщение от Константавр (ok), 29-Ноя-22, 12:43	+2 +/–
Если "эта херня" уменьшит размер тех же флатпаков - уже плюс. Понятно, что растекание жира по диску надо бы решать кардинально по другому, но маховик всех этих контейнеровозов уже работает на полную, не остановишь.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #86

73. Сообщение от псевдонимус (?), 29-Ноя-22, 13:50	–1 +/–
Так и есть.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #15

74. Сообщение от какая разница (?), 29-Ноя-22, 14:09	–1 +/–
Зачем? Вы ext4 надёжней сделайте. Есть терабайтный диск с ext4, которая стала raw. Testdisk не нашел даже загрузочной записи, dmde и rlinux тоже ничего не нашли. Отключал через безопасное отключение. Теперь диск, отработавший всего 1022 часа, отправится в мусор, а вы так и будете клепать новые файловые системы..
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #78, #89, #94, #107, #111, #121, #132, #149

75. Сообщение от Пахом (?), 29-Ноя-22, 14:18	+8 +/–
Файловые системы в век SSD не нужны! SSD вполне себе может работать по принципу RAM.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #77, #95, #150

76. Сообщение от Аноним (8), 29-Ноя-22, 15:57	–2 +/–
Я как раз про серверы и ДЦ, т.к. они мне ближе, чем десктопы.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #26 Ответы: #81

77. Сообщение от Аноним (52), 29-Ноя-22, 15:59	–1 +/–
Программы в век компьютеров не нужны! Компьютеры вполне себе могут работать по принципу ЦПУ.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #75

78. Сообщение от Аноним (8), 29-Ноя-22, 15:59	+/–
Рейд-контроллер без барьеров и батарейки - мечта мазохиста?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #74 Ответы: #80

79. Сообщение от Аноним (52), 29-Ноя-22, 16:03	+/–
> общее для всех образов, хранилище данных и много есть образов с большими одинаковыми файлами на _одном_ физическом носителе?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #48 Ответы: #134

80. Сообщение от какая разница (?), 29-Ноя-22, 16:04	+/–
Рейд для одного диска?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #78

81. Сообщение от Самый умный из вас (?), 29-Ноя-22, 16:17	+2 +/–
Любитель позапускать электроны на серверах?)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #76

82. Сообщение от ip1982 (ok), 29-Ноя-22, 16:20	+/–
> А тут дедупликация уже сделана, ф/с же read only. Ресурсы были потрачены при сборке образа фс, а сейчас читай себе из готового индекса и горя не знай. И спроси себя сам: а нахрена для этого нужна новая ФС на стороне ядра?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #13 Ответы: #147

83. Сообщение от Аноним (83), 29-Ноя-22, 16:20	+/–
Слышал звон.. Вначале разберитесь, что такое FlatPak и по какому принципу он работает
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #52 Ответы: #85

85. Сообщение от лютый ж.... (?), 29-Ноя-22, 16:42	–6 +/–
>Вначале разберитесь, что такое FlatPak и по какому принципу он работает по такому, который не нужен
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #83

86. Сообщение от лютый ж.... (?), 29-Ноя-22, 16:44	–1 +/–
>но маховик всех этих контейнеровозов уже работает на полную, не остановишь. не работай где это требуют. ну можно какую-нибудь хиппочухню навроде mailcow или redmine в докере развернуть, а почти всё остальное нет )
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #72 Ответы: #112

88. Сообщение от zog (??), 29-Ноя-22, 17:32	+/–
Объясните олдскульщику, зачем нужна файловая система, которая постоянно считает хеши? Она ведь будет тормозить, а в случае коллизии, гарантии от которой нет никакой, накроется тазом.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #91, #96, #103, #133

89. Сообщение от . (?), 29-Ноя-22, 18:01	+/–
>  Теперь диск, отработавший всего 1022 часа, отправится в мусор Ядро 5.19.* ? Если нет, то кто производитель диска?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #74 Ответы: #92

90. Сообщение от qetuo (?), 29-Ноя-22, 18:03	+1 +/–
DWARFS https://github.com/mhx/dwarfs
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #30 Ответы: #101

91. Сообщение от qetuo (?), 29-Ноя-22, 18:05	–1 +/–
Она не считает хеши. Вернее, считает, но в основном использует готовые хеши из индекса. При этом она иммутабельная, так что пересчитывать ничего не нужно.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #88 Ответы: #93

92. Сообщение от какая разница (?), 29-Ноя-22, 18:25	+/–
WD Purple Использовался только для хранения видео
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #89 Ответы: #126

93. Сообщение от Аноним (52), 29-Ноя-22, 19:09	+1 +/–
> пересчитывать ничего не нужно обновил мету в фильме - ой... оказывается, надо.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #91 Ответы: #113

94. Сообщение от _kp (ok), 29-Ноя-22, 19:43	+/–
Да явно диск плохой. Я практически не пользуюсь безопасными отключениями ext4, и ничего страшного не происходит же. А компов у меня...  много всяких.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #74 Ответы: #118

95. Сообщение от _kp (ok), 29-Ноя-22, 19:50	+1 +/–
А без файловой системы Вы файлы то куда деваете? А cо стиранием страницами и ограниченным ресурсом SSD может работать по принципу RAM весьма недолго, для избежания чего и нужны оптимизированные для SSD файловые системы.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #75 Ответы: #102, #122

96. Сообщение от _kp (ok), 29-Ноя-22, 19:52	–1 +/–
Для Flatpak, чтоб все данные в одну гигантскую кучу намешать.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #88

98. Сообщение от Аноним (-), 29-Ноя-22, 19:56	+/–
А если совсем делать нехрен то что-то типа меркловского дерева сильно ограничит объем хеширования. Ну то-есть рехэш измененного блока + хэшей уровнями выше, вполне разумный объем будет.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #41

99. Сообщение от Аноним (-), 29-Ноя-22, 19:59	+/–
Для того эксперта могу сказать что на btrfs это вполне нормально работает. Можно пройтись fsck'ом на "reflinked" копии, те пара или сколько там байтиков запишутся в сторонку CoW, остальные "почти пара терабайт" так и останутся расшареными на двоих. И все это просто, быстро, эффективно и абсолютно прозрачно для софта, который видит якобы 2 совершенно независимые 2-терабайтные файлы. Дедупать 2 терабайта конечно жестковато по ресурсам, в этом месте идея сразу при "копировании" хинтить что это полный дедуп (reflink) как раз очень круто получается.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #64

100. Сообщение от Аноним (-), 29-Ноя-22, 20:02	+/–
И даже можно сделать ридонли базу, например оформив как seed-девайс. Или просто флаг readonly на снапшоте который считаем основой. Смотря насколько близко поведение сквоша имитировать хотелось.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #39

101. Сообщение от Аноним (-), 29-Ноя-22, 20:04	+/–
Охренеть, список зависимостей на экран не лезет, и они имеют наглость вперев все вплоть до питонов себя с сквошом сравнивать. Жэсть!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #90 Ответы: #114

102. Сообщение от Пахом (?), 29-Ноя-22, 20:34	+5 +/–
Речь не про твоё старьё на SATA интерфейсе. Речь про нормальный человеческий NVMe.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #95

103. Сообщение от Аноним (-), 29-Ноя-22, 20:35	–1 +/–
Она не постоянно их считает. Почитайте про принцип contrnt-adressable, в этом подходе мы заранее знаем что хотим, и запрашиваем вот именно это самое, окончательным идентификатором является хэш контента. Ну то-есть abcd.so -> (имя файла) a1b2c3....ef -> данные. А то что кто-то там сто лет назад посчитал хэш(данные) и разложил его в файло с именем a1b2c3....ef потому что хэш такой, не обязывает его пересчитывать постоянно.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #88

104. Сообщение от Admino (ok), 29-Ноя-22, 20:42	+/–
Да, в описании flatpak.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #52

105. Сообщение от Admino (ok), 29-Ноя-22, 20:43	+/–
Так не бывает.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #58

106. Сообщение от Admino (ok), 29-Ноя-22, 20:45	+2 +/–
И ты для этого собираешься использовать файловую систему, сделанную специально для использования в readonly. Ну, наверное. Верни мне веру в опеннетовских аналитиков, напиши просто, что ты не прочитал исходное сообщение.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19

107. Сообщение от Admino (ok), 29-Ноя-22, 20:48	+1 +/–
А ext4 тут причём, если диск сдох? Ты можешь доказать, что ext4 убила диск? Ждём твои сенсационные заявления в багтрекере ядра.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #74

108. Сообщение от T (?), 29-Ноя-22, 21:26	+/–
Используй Borg. Без шуток.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #30

110. Сообщение от Анонимский Аноним (?), 30-Ноя-22, 00:00	+/–
>[оверквотинг удален] > Это не тебе решать, а энтерпрайзу, которому чем больше потребление памяти у > быдла, тем лучше, ибо тем больше прибыли получат производители памяти (а > куда быдло денется с подводной лодки, побежит в магаз как миленькое!), > тем больше они смогут инвестировать в R&D, тем больше будет прогресс > в росте объёмов памяти, тем быстрее старые компы устареют, станут неюзабельны > и пойдут на свалку, тем больше в новых будет память, тем > больше можно будет пренебречь пользователями старых компов (тех, которых ПОКА ЧТО > выбросить нельзя, а не тех, кого уже выбросили на свалку к > бомжам), тем более дешёвых макак можно будет нанять для написания программ > на Электроне. Именно так. Приятно видеть адекватного брата Анонима на опеннете, я бы поставил плюс, но Анонимов тут угнетают, поэтому только так: +
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #71

111. Сообщение от Некто (??), 30-Ноя-22, 02:54	+1 +/–
Ты криворучка. Ехт4 вполне тупая фс, которую можно вручную без драйвера разобрать, не говоря уже о  photorec. Ещё у неё суперблок бекапится в разных частях диска. Зная где, можно примонтировать с бекапом.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #74 Ответы: #119

112. Сообщение от Аноним (112), 30-Ноя-22, 03:33	+3 +/–
Очередной эксперт опеннет, отрицающий реальность.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #86 Ответы: #130

113. Сообщение от Аноним (112), 30-Ноя-22, 03:43	+/–
> для монтирования образов в режиме только для чтения > обновил мету в фильме Новость не читай, сразу коммент пиши! Эксперды опеннета в своём обычном амплуа.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #93

114. Сообщение от qetuo (?), 30-Ноя-22, 05:40	+1 +/–
> Охренеть, список зависимостей на экран не лезет, и они имеют наглость вперев > все вплоть до питонов себя с сквошом сравнивать. Жэсть! Сравнение с squashfs проводится по производительности и степени сжатия данных. Метрика "количество зависимостей" информативной не является, особенно без разделения на зависимости времени сборки и зависимости времени исполнения, и последних там совсем немного. Хотя кому я это рассказываю, местные клоуны новость прочитать не в состоянии.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #101 Ответы: #148

115. Сообщение от mos87 (ok), 30-Ноя-22, 06:44	+/–
а ты не в кол-ве пользователей меряй, в доходах от продажи продуктов, для которых сабж нужен клиентам.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2

118. Сообщение от какая разница (?), 30-Ноя-22, 07:05	+/–
Точно! Диск виноват. Только под windows и с ntfs диск работал без проблем, а в linux и с ext4 через раз определялся. Но виноват диск, конечно..
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #94 Ответы: #120

119. Сообщение от какая разница (?), 30-Ноя-22, 07:56	+/–
Диск не определяется в этих ваших "супер программах" типа photorec и testdisk! Как узнать где этот суперблок? Ты лучше бы читать научился..
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #111

120. Сообщение от _kp (ok), 30-Ноя-22, 13:07	+/–
> Только под windows и с ntfs диск работал без проблем, а в linux и с ext4 через раз определялся. Говорили мне не выноси мусор на ночь, примета плохая. Не послушал. Теперь и войны и санкции. Ну, совпадение же. Вот если бы у Вас, или у кого то то же самое массово с ССД повторялось, то об проблеме давно бы знали. А пока подобное не подтверждается, и SSD с ext4 работают хорошо. Да и упомянутый ресурс мизерный для любого использования, даже для дешевого SSD. Остается только думать на брак.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #118 Ответы: #123

121. Сообщение от Аноним (121), 30-Ноя-22, 13:57	+2 +/–
>Теперь диск, отработавший всего 1022 часа, отправится в мусор Т.е., в основе проблема аппаратная? Тогда вопросы к произодителю диска.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #74 Ответы: #125

122. Сообщение от Аноним (121), 30-Ноя-22, 14:00	+/–
>А без файловой системы Вы файлы то куда деваете? Раз SSD в качестве RAM, то в RAM создаётся рамдиск :)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #95 Ответы: #124, #127

123. Сообщение от какая разница (?), 30-Ноя-22, 15:28	+/–
Давно ли WD стала выпускать SSD под маркой WD Purple?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #120 Ответы: #156

124. Сообщение от Пахом (?), 30-Ноя-22, 15:29	+2 +/–
Не стыдно сидеть на компьютерном форуме и не знать как компьютер работает с памятью? Наверное все твои знания сводятся к командам git и npm.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #122 Ответы: #144

125. Сообщение от какая разница (?), 30-Ноя-22, 15:32	–1 +/–
Диск отработавший 1022 часа через "безопасное отключение" стал raw вместо ext4 и теперь программами testdisk и dmde не находится даже суперблок, не говоря уж о резервном загрузчике..
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #121 Ответы: #162

126. Сообщение от анон (?), 30-Ноя-22, 15:35	+/–
ссзб кмк, wd пихают хлам как диски для видеонаблюдения (маленьким шрифтом подписано что для холодного хранения), а железо там обычная блюшка с другой прошивкой. Надо брать ынтерпрайз диски.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #92

127. Сообщение от _kp (ok), 30-Ноя-22, 16:04	–1 +/–
>>А без файловой системы Вы файлы то куда деваете? > Раз SSD в качестве RAM, то в RAM создаётся рамдиск :) Рамдиск тоже  требует созданния на нём какой нибудь файловой системы. И требует файловой системы везде, и на Linux, Windows, и на микроконтроллере, и даже на древнем ZX Spectrum. Иначе останется блочным устройством для RAW операций :)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #122

128. Сообщение от Брат Анон (ok), 30-Ноя-22, 16:21	+/–
Ты понимаешь как работает хэш? Например, SHA-256?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #145

129. Сообщение от Брат Анон (ok), 30-Ноя-22, 16:23	+/–
Нет. Не шаред мемори. Речь идёт про дедупликацию файлов с одинаковым содержимым, где вместо имени -- хэш. Файлы могут быть чем угодно -- например, пять электронов, десять хромов и 20 фарефоксов. По факту -- всё будет в одном экземляре. Но к хэшу будет прикручено соответствующее количество ссылок.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #52

130. Сообщение от Брат Анон (ok), 30-Ноя-22, 16:25	+1 +/–
Отменяющий реальность.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #112

131. Сообщение от Брат Анон (ok), 30-Ноя-22, 16:27	+1 +/–
Про сквошФС ты, конечно, строку пропустил?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19

132. Сообщение от Брат Анон (ok), 30-Ноя-22, 16:29	+1 +/–
Т.е. у тебя умер контроллер, но виновата ext4?.... Ок
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #74

133. Сообщение от Брат Анон (ok), 30-Ноя-22, 16:33	+4 +/–
Объясняю школьному одскульщику: ФС в режиме "только для чтения" не имеет изменяющихся частей. Хэш посчитали за тебя и даже не на твоём компьютере. Твои затраты минимальны. А выигрышь по занимаемому месту -- может оказаться от десятков процентов до кратных величин. ИМХО, не плохая прибавка к пенсии.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #88 Ответы: #141

134. Сообщение от Аноним (112), 30-Ноя-22, 16:57	+/–
Да. Например, в NixOS (оптимизируется хардлинками), да и в любой OSTree-like иерархии. Для дистрибутивов родом из 90х это, конечно же, не актуально.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #79

135. Сообщение от Аномин (?), 30-Ноя-22, 17:09	+/–
Flatpak критиковали за прожерливость диска, вот решение. И мне нравятся контейнеры, когда приложение не "размазывается" по всей системе и можно ограничить доступ, к сети, каталогам, дискам и тд. Тот же Steam по этим соображениям лучше ставить в контейнер, чтобы игры не шарились где непоподя. У меня 2 стима, один из пакетов, второй во flatpak, там устанавливаю все подряд, ибо встроенные зловреды в игры вполне реальная вещь.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #139, #142

136. Сообщение от Аноним (136), 30-Ноя-22, 20:29	+/–
Просто отлично сказано! Это просто убогий человек, озлобленный на жизнь.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #70

137. Сообщение от Аноним (136), 30-Ноя-22, 20:30	+/–
Какой же убогий со своей злостью.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #66

138. Сообщение от Аноним (138), 30-Ноя-22, 20:31	+/–
Зачем, если есть exet4?
Ответить | Правка | Наверх | Cообщить модератору

139. Сообщение от Jxtym (?), 01-Дек-22, 10:25	+/–
На размер данных на диске это никак не повлияет.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #135 Ответы: #140

140. Сообщение от Jxtym (?), 01-Дек-22, 10:26	+/–
*для флатпака
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #139

141. Сообщение от Jxtym (?), 01-Дек-22, 10:27	–2 +/–
Только вот сделана эта фс специально под fs-verify который будет хэши считать постоянно.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #133 Ответы: #167

142. Сообщение от Аноним (142), 01-Дек-22, 14:23	+/–
Проблема всяких паков не только в том, что место транжирится, но и в том что либы не обновляются.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #135

143. Сообщение от Аноним (142), 01-Дек-22, 14:24	+/–
Круто. Давно пора. И с торрентами скрестить чтобы публично-доступные файлы было можно искать и качать по хэшу.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #151

144. Сообщение от Аноним (144), 01-Дек-22, 15:13	–1 +/–
А тебе лень глаза вверх на несколько постов поднять, чтоб сообразить, на какую заяву был ответ?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #124

145. Сообщение от Аноним (-), 01-Дек-22, 18:17	+/–
> Ты понимаешь как работает хэш? Например, SHA-256? Да. Можно делать независимый хэш на каждый блок ФС. При обнаружении совпадения с другим заменять на реф. Чем дедубликаторы и занимаются в ФС которые умеют в cow. Отсюда жор памяти онлайн дедупом: для скорости записи список хешей известных блоков должен быть в RAM. Офлайн дедубликаторы могут позволить себе хранить это в скоростной БД, . Когда у файла 80% блоков совпадает, эти блоки БУДУТ заменены на референсы. Это прекрасно работает с образами виртуалок из 1 шаблона, разными версиями данных с общим предком и проч. А если в имени файла закодирован весь хэш всего файла - глобальный sha файлов все же разный, вон то уже не сработает. Будет 2 полностью разных файла.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #128 Ответы: #168

146. Сообщение от Аноним (-), 01-Дек-22, 18:37	+/–
В btrfs по минимуму можно и 4К блоками офлайн дедуп сделать. Если вас не задолбает столько хешей хранить и процессить конечно, это некий выбор между полнотой дедупликации и ресурсов потраченых на процедуру, чем точнее тем больше ресурсов надо просадить на это. Ну и куча рефов на 4К блоки с именно такой размерностью адресации не очень эффективно по оверхеду может быть. В зависимости от глупизны дедубликатора он может слить идентичные регионы вместе но даже так есть риск получить кучу мелочи и метаданных на вот это все.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #47 Ответы: #153

147. Сообщение от Аноним (-), 01-Дек-22, 18:38	–1 +/–
> И спроси себя сам: а нахрена для этого нужна новая ФС на стороне ядра? Для скорости и минимума оверхеда. Файловые операции реализует ядро.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #82

148. Сообщение от Аноним (-), 01-Дек-22, 18:44	+/–
> Сравнение с squashfs проводится по производительности и степени сжатия данных. Метрика > "количество зависимостей" информативной не является, особенно без разделения на зависимости > времени сборки и зависимости времени исполнения, и последних там совсем немного. Вообще-то очень информативно: squashfs мы прикрутить к вон тому роутеру можем, и это будет компактно, просто и эффективно. А вон тот переросток с питонами-электронами в фузе туда чисто технически не уместится и благодать не наступит. Да и фуз на файловых операциях проц грузит мама не горюй, естественно, от паттернов доступа очень зависит.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #114

149. Сообщение от Аноним (-), 01-Дек-22, 18:52	+/–
> Зачем? Вы ext4 надёжней сделайте. И запретите производить сыпучие диски, да? > Есть терабайтный диск с ext4, которая стала raw. Testdisk не нашел даже > загрузочной записи, И как тебе ext4, интересно, виноват в том что у тебя, буратины, таблица разделов слетела? Это проблема на твоей стороне, либо на стороне девайса. То-есть либо у тебя железо фигню творит и вот так вот запросто может таблицу разделов снести, либо это был SSD и ты очень глупо разложил ФС на нем - не сделав отступ от таблицы разделов хотя-бы мега на 32, чтобы оставить партишн в "холодном" блоке флеша который ФС при нормальной работе не трогает. А когда контроллер SSD полез ворочать огромный блок флеша и облажался, он не только что-то от ФС продолбал но и таблицу разделов заодно. EXT4 про это все вообще ничего не знал, разумеется. Вариантов у тебя немного. Ты либо можешь пересоздать таблицу разделов ручками, точно угадав границы. Или если кишка тонка, развлекайся photorec'ом или коммерческими утилитами выковыривая уже продвинутым сканированием. В любом случае это косяк тебя и твоего железа. Таблица разделов слетать не должна и от надежности EXT4 это не зависит - EXT4 сам по себе таблицу разделов не трогает вообще. > Теперь диск, отработавший всего 1022 часа, отправится в мусор, а вы так > и будете клепать новые файловые системы.. И что характерно, файловые системы вообще таблицы разделов не трогают в общем случае. Не их прерогатива.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #74 Ответы: #152, #154

150. Сообщение от Аноним (-), 01-Дек-22, 18:56	+/–
> Файловые системы в век SSD не нужны! SSD вполне себе может работать > по принципу RAM. А отсылать в конкретный файл как предлагается? Прямо по физическому/логическому адресу? Даешь hexspeak в массы! :)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #75

151. Сообщение от Аноним (-), 01-Дек-22, 18:58	+/–
> Круто. Давно пора. И с торрентами скрестить чтобы публично-доступные файлы было можно > искать и качать по хэшу. Это eMule/aMule называлось и вот именно публиковало файло из дир по вот именно их хэшу, при том все кто с одинаковыми файлами автоматически находились :)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #143

152. Сообщение от какая разница (?), 02-Дек-22, 07:04	+/–
WD не изобрела ещё SSD под маркой Purple.. Это все, что нужно знать о местных экспертах..
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #149 Ответы: #157

153. Сообщение от Минона (ok), 02-Дек-22, 07:05	+/–
> В btrfs по минимуму можно и 4К блоками офлайн дедуп сделать. Ну и зачем ты всё это писал. Речь идёт про zfs.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #146 Ответы: #155

154. Сообщение от какая разница (?), 02-Дек-22, 07:07	+/–
А чё с лицом? https://www.cnews.ru/news/top/razrabotchiki_ubuntu_priznali_...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #149

155. Сообщение от Аноним (-), 03-Дек-22, 00:58	+/–
Захайлайтить достоинства дизайна относительно ZFS - пойдет? :)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #153 Ответы: #165

156. Сообщение от Аноним (-), 03-Дек-22, 01:09	+/–
> Давно ли WD стала выпускать SSD под маркой WD Purple? Он поди был видным представителем черепичных, как большинство современных винчей с соблазнительной ценой за гиг. И, вероятно, отступить от партишн тэйбла немного чтобы оставить его в покое гражданин не догадался. Ну а при факапе GC наверное и улетел партишн заодно. Вот чего-чего а такое счастье при неумном раскладывании ФС бывает довольно регулярно. Если повезет - можно вернуть партишн и недурно восстановится, если улетело только это. Если что-то еще - смотря что улетело. Ну вон у btrfs допустим суперблоков как правило 3 копии, все сразу все же не улетают, а если еще и DUP метаданных был (чаще всего есть) есть нехилый шанс это смонтировать потом. А ext4 никогда и не делали с прицелом на надежность, там как повезет. Хотя вот именно совсем наповал его убить еще постараться надо.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #123 Ответы: #158

157. Сообщение от Аноним (-), 03-Дек-22, 01:11	+/–
> WD не изобрела ещё SSD под маркой Purple.. Увы, сообщения нельзя редактировать, я про Purple позже нашел. Оно, вроде, черепица, так что идея почему оно могло слететь - похожая. Неудачный GC в области с партишном - и гудбай партишн. > Это все, что нужно знать о местных экспертах.. Ну вы то покажете мастеркласс?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #152 Ответы: #159

158. Сообщение от какая разница (?), 03-Дек-22, 06:52	+/–
> Он поди был видным представителем черепичных WD Purple никогда не были с записью SMR, подробнее здесь https://u.to/5CJ4HA > отступить от партишн тэйбла немного чтобы оставить его в покое гражданин не догадался NTFS это не требует и все работает > ext4 никогда и не делали с прицелом на надежность Из версии в версию постоянные улучшения в ядре по файловым системам, а как ломается - "это вы сами"..
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #156 Ответы: #160

159. Сообщение от какая разница (?), 03-Дек-22, 06:57	+/–
> Оно, вроде, черепица Все ответы здесь https://u.to/5CJ4HA > Ну вы то покажете мастеркласс? Ну если вы не знаете, что WD никогда не выпускала SSD под маркой Purple и что WD Purple не выпускались с записью SMR, то это говорит, что вы не очень-то и разбираетесь - все на предположениях..
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #157 Ответы: #163

160. Сообщение от Аноним (-), 04-Дек-22, 04:17	+/–
> WD Purple никогда не были с записью SMR, подробнее здесь Забавный зверек. Если бы не было написано CMR я бы подумал что ОНО именно черепица: здоровенный буфер, солидная емкость, характерные атрибуты черепичных на месте. Отдельный тролфейс на уточнение про окисление компонентов. Я знаю о чем WD говорит, экономисты фиговы, теперь вот даже в буклетиках отмазываются :) > NTFS это не требует и все работает Вобще-то в винде не так давно был клевый баг, когда оно как раз могло урыть файлуху в хлам. И кстати, по-моему, партишн как раз прекрасно выносило, заодно с MFT - чтобы не скучно было. Так что-то типа wrap после хвоста накопителя было, со всеми вытекающими. А вот для линуха я такого никогда не встречал, там подобные грабли оказываются именно проблемами оборудования. > Из версии в версию постоянные улучшения в ядре по файловым системам, а > как ломается - "это вы сами".. В дизайне EXT4 просто нет каких-то специальных фич против разрушения. Если сравнивать с другими, типа btrfs'а какого. В самых последних версиях правда сделали чексумы журнала, кажется, чтобы оно совсем уж вдрызг не дестроило ФС при отклонении от идеала. Но если у кого партишн слетел, там дело явно не в ФС. Ну вот не трогают ФС партишн при нормальной работе. Незачем оно им. Значит что-то пошло сильно не так на другом уровне.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #158

162. Сообщение от Аноним (-), 04-Дек-22, 04:31	+/–
> Диск отработавший 1022 часа через "безопасное отключение" стал raw вместо ext4 и > теперь программами testdisk и dmde не находится даже суперблок, не говоря > уж о резервном загрузчике.. Так на диске то что в результате? Таблица разделов есть? Какие-то правдоподобные данные остались? Если б вы NTFS сказали - окей, для него MS не так давно признавал такой факап, требующий определенных условий, их дожали после того как у юзеров сыпучка стала массово случаться. Но в линухе вот именно такой грабли не припоминается. Там откровенная сыпучка разве что у вон тех энтерпрайзников бездумно кладущие кеши на SSD, а когда тот протирается и продалбывает несколько крупных блоков - ну, ок, это превышает допущения большинства ФС и там это еще можно понять.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #125 Ответы: #164

163. Сообщение от Аноним (-), 04-Дек-22, 04:35	+/–
Теоретически, оттуда следует что это обычный диск с 4К секторами. Не очень понятно как и почему он партишн потерял, или что под "raw диском" имелось в виду? > то это говорит, что вы не очень-то и разбираетесь - все на предположениях.. WD понаплодили линеек, да. А то было похоже на "крупноблочный облом". Но видимо не оно. В природе много странной ерунды, однако я уверен что слет партишна не является нормальным состоянием дел и EXT4 в этом не замечен. Как и вообще в внезапных харакири без причин. Если б вы это про NTFS сказали - там MS удалось вычислить в определенном случае, после начала массовых осыпонов. Но вон то является чем-то довольно нетипичным. И больше всего похоже на кривую работу железа.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #159

164. Сообщение от какая разница (?), 04-Дек-22, 08:34	+/–
> MS не так давно признавал такой факап, требующий определенных условий Ссылка на источник тоже имеется? > откровенная сыпучка разве что у вон тех энтерпрайзников бездумно кладущие кеши на SSD WD никогда не выпускала SSD под маркой Purple. Пометь уже там в своей методичке..
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #162

165. Сообщение от Минона (ok), 05-Дек-22, 10:51	+/–
не пойдёт, в ZFS и 512 байт можно.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #155

166. Сообщение от Котофалк (?), 05-Дек-22, 11:46	+/–
внутривенно
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23

167. Сообщение от Брат Анон (ok), 05-Дек-22, 13:34	+3 +/–
> Только вот сделана эта фс специально под fs-verify который будет хэши считать > постоянно. Для чего хэши считать постоянно? Ещё раз: эта файловая система монтируется в режиме "только для чтения".
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #141 Ответы: #169

168. Сообщение от Брат Анон (ok), 05-Дек-22, 13:37	+1 +/–
> Когда у файла 80% блоков совпадает, эти блоки БУДУТ заменены на референсы. > Это прекрасно работает с образами виртуалок из 1 шаблона, разными версиями > данных с общим предком и проч. А если в имени файла > закодирован весь хэш всего файла - глобальный sha файлов все же > разный, вон то уже не сработает. Будет 2 полностью разных файла. Читай внимательно: хэш считается у блоков. Если меняется какая-то часть -- только это блок будет посчитан заново и ссылка будет заменена новым хэшем. Все остальные блоки (и хэши) останутся прежними). Если 80% блоков общие -- откуда жор памяти? А таблица страниц памяти -- жор в памяти не устраивает?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #145

169. Сообщение от Jxtym (?), 06-Дек-22, 13:25	–1 +/–
>> Только вот сделана эта фс специально под fs-verify который будет хэши считать >> постоянно. > Для чего хэши считать постоянно? Ещё раз: эта файловая система монтируется в > режиме "только для чтения". Для валидации данных очевидно. Все данные на оригинальной фс остаются в режиме записи. Посмотрев на авторов становится очевидно что composefs скрестят с ostree хранилищем и получат подписанные образы на базе произвольного стора, которые можно будет встроить в secureboot цепочку(тут валидация и становится актуальной). Всё это актуально для silverblue подобных дистров.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #167

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема