Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Rad Hat развивает новую ФС NVFS для NVM-памяти"	+/–
Сообщение от opennews (?), 18-Сен-20, 23:13
Микулаш Патокка (Mikulas Patocka), один из разработчиков LVM и  автор ряда изобретений, связанных с оптимизацией работы систем хранения, работающий в компании Red Hat, представил в списке рассылки разработчиков ядра Linux новую файловую систему NVFS, нацеленную на создание компактной и быстрой ФС для чипов энергонезависимой памяти (NVM, non-volatile memory, например NVDIMM), сочетающих производительность ОЗУ с возможностью постоянного хранения содержимого... Подробнее: https://www.opennet.dev/opennews/art.shtml?num=53743
Ответить | Правка | Cообщить модератору

Сообщения

[Сортировка по ответам | RSS]

2. Сообщение от VINRARUS (ok), 18-Сен-20, 23:21	–22 +/–
>не принятой в состав ядра Linux из-за своей усложнённости Пфф, ещо чего не хватало! Не дай Бог ламповые глюки ядра обойдут, а без них Linux не Linux. Не вы ямы копали — не вам их и закапывать.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #19, #57

3. Сообщение от 79 (?), 18-Сен-20, 23:28	+5 +/–
Нехватает пожатия на лету в lz4.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #5, #9, #12

4. Сообщение от Аноним (4), 18-Сен-20, 23:34	–2 +/–
> NVM-память обеспечивает доступ на уровне отдельных байтов А может не надо лапшу на уши вешать?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #38, #42, #49

5. Сообщение от Аноним (5), 18-Сен-20, 23:44	+3 +/–
для таких хранилок лучше сжимать в zstd, ибо распаковка не будет замедлена (но места станет больше).
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #3 Ответы: #8

6. Сообщение от лох (?), 18-Сен-20, 23:48	+5 +/–
Ребят, у них количество айнодов в фс задаётся при форматировании: > -N inodes    - the number of inodes (by default, there is one > inode for 20480 bytes) 2020 год не перестаёт удивлять
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #7, #10, #16, #90

7. Сообщение от Аноним (5), 18-Сен-20, 23:49	+/–
Нет нормальных алгоритмов, все файловые системы это помойка. Btree тоже на свалку!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6 Ответы: #14

8. Сообщение от Аноним (8), 18-Сен-20, 23:55	+/–
Zstd топчик, на сильном сжатии он даже может обходить lzma без вопросов, но всё ещё быстрее. А главное распаковка быстрая -- у lzma распаковка адово тормозная, хуже lzma только bz2.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5 Ответы: #15, #28, #43

9. Сообщение от Аноним (9), 18-Сен-20, 23:58	+2 +/–
В EXT4 не смогли вкатить. Подозреваю с NVFS ситуация будет аналогична.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #3 Ответы: #11, #104

10. Сообщение от Аноним (8), 18-Сен-20, 23:58	+/–
Ну ext4 как-то живёт, какие проблемы? Хм, сейчас посмотрел, на забитом диске 1% используется. Нда, с запасом отсыпает. На корне с хомяком 10% использовано.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6 Ответы: #23

11. Сообщение от Аноним (8), 19-Сен-20, 00:00	+1 +/–
Куда его там вкатывать и зачем? По принципу по-файлового шифрования? Я думаю, можно реализовать похожим образом. Нужно ли?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #9

12. Сообщение от VINRARUS (ok), 19-Сен-20, 00:07	–2 +/–
Жать данные с побайтовой спецыфикой доступа так же умно как хранение последнего рулона туалетной бумаги в правой холошне щерстяных штанов, которые внутри 2х пакетов разного цвета, которые в дальнем левом угле нижнего ящика, который внутри огромного шкафа, перед которым стоит стул и на котором спит кот.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #3 Ответы: #59

14. Сообщение от Аноним (14), 19-Сен-20, 00:35	+5 +/–
Не помойка, а база данных.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7 Ответы: #25

15. Сообщение от б.б. (?), 19-Сен-20, 00:48	+/–
процитирую себя =========== мобильный ryzen 5 2500 zstd --ultra -22 = 16 сек, xz -9 = 12 сек. при этом xz пожал лучше. один файл, конечно, не показатель zstd -9 1.4 сек, итоговый файл 10.4 мб. gzip -9 - 6.6 сек, итоговый файл 11.1 мб ========= вообще, на чём я пробовал, zstd --ultra был медленнее xz, и жал хуже
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #8 Ответы: #21

16. Сообщение от Annoynymous (ok), 19-Сен-20, 00:51	+3 +/–
Проблема была бы, если бы это количество нельзя было потом изменить.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6 Ответы: #91

18. Сообщение от Аноним Первый (?), 19-Сен-20, 01:04	+/–
А сравнения btrfs где? И с ntfs   до кучи
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #35

19. Сообщение от commiethebeastie (ok), 19-Сен-20, 01:12	–4 +/–
Ну как бы сложные ReFS и BTRFS так и не вышли из стадии игрушек.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #54

20. Сообщение от Аноним (50), 19-Сен-20, 01:14	+/–
Ну и чем оно лучше bcachefs?
Ответить | Правка | Наверх | Cообщить модератору

21. Сообщение от Аноним (8), 19-Сен-20, 01:42	+/–
Ну такое, да. В прошлый раз, zstd был быстрее (разница доходила до 15%), и файлы меньше выдавал (примерно на 0.5%), но там другие, менее скучные датасеты были. Равноценно, в принципе. Зато распаковка быстрее. === префикс вайна === zstd-22:.wine-64 real    4m24.891s user    10m11.530s sys     0m7.929s -rw-r--r-- 1 anon anon 416M Sep 19 01:10 winedrive.tzst xz-9:.wine-64 real    4m12.598s user    13m13.847s sys     0m6.941s -rw-r--r-- 1 anon anon 413M Sep 19 01:20 winedrive.txz === пара текстовых файлов === zstd-22:txtdata real    1m31.187s user    1m30.307s sys     0m0.657s -rw-r--r-- 1 anon anon 23356543 Sep 19 01:28 txtdata.tzst xz-9:txtdata real    1m32.539s user    1m32.019s sys     0m0.483s -rw-r--r-- 1 anon anon 23125096 Sep 19 01:26 txtdata.txz
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #15 Ответы: #22, #33, #134

22. Сообщение от Аноним (8), 19-Сен-20, 01:50	+/–
Распаковка в… Ну у меня получилось в 5 раз быстрее, но вообще там очень медленно и тут просто мелких файлов много наверно, 0.3с сложно с 1.5с сравнивать.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #21

23. Сообщение от Аноним (5), 19-Сен-20, 02:03	–3 +/–
Не скелиться если в одной папке много файлов, оно их физически выделяет в ОЗУ
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #10 Ответы: #24

24. Сообщение от Тюринг (?), 19-Сен-20, 02:04	+/–
Используйте ZFS, кому нужны эти ретроградские ext4 и xfs.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23 Ответы: #27, #32, #44

25. Сообщение от Аноним (5), 19-Сен-20, 02:15	+/–
https://blocksandfiles.com/2019/09/05/samsungs-potentially-g.../ https://github.com/OpenMPDK/uNVMe
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14

27. Сообщение от Бздуньк (?), 19-Сен-20, 02:37	+5 +/–
Лучше ext4, чем сын бсдшник.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #24 Ответы: #36, #61, #137

28. Сообщение от Аноним (5), 19-Сен-20, 04:09	+/–
pigz и lbzip2/pbzip2 должно быть тоже быстро
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #8

29. Сообщение от Аноним (29), 19-Сен-20, 05:14	–6 +/–
NVFS = NTFS У меня какие-то нездоровые аналогии. РеДГад является тайным поклонником Майкрософта?
Ответить | Правка | Наверх | Cообщить модератору

31. Сообщение от Аноним (32), 19-Сен-20, 05:22	–1 +/–
>  но не поддерживает снапшоты. так а зачем оно тогда вообще нужно? Бред же, ну.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #64

32. Сообщение от Аноним (32), 19-Сен-20, 05:24	+2 +/–
а почему не HAMMER2? Серьёзно. Жду развёрнутого ответа.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #24 Ответы: #140

33. Сообщение от Аноним (33), 19-Сен-20, 05:39	–3 +/–
zstd никогда не был быстрее lzma2, а уж тем более непрерывного архива rar5. zstd быстр на распаковке ценой меньшей степени сжатия за короткое время. не нужно при помощи него сжимать данные на хранение! для этих целей есть rar5.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #21 Ответы: #41

35. Сообщение от Аноним (35), 19-Сен-20, 06:33	–3 +/–
btrfs труп, а ntfs онли винда, какие еще сравнения?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #18 Ответы: #48, #50

36. Сообщение от Stanislavvv (?), 19-Сен-20, 06:59	+/–
Нынче в бздю кладут реализацию с zfs on linux, а не то, что было ранее. Так что даже если использовать zfs - не факт, что будет бздишник.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #27

37. Сообщение от Аноним (37), 19-Сен-20, 07:23	+/–
Да, давайте для каждого типа памяти наплодим кучу своих ФС, а затем забьем на них болт и оставим без сопровождения для того чтобы придумать еще одну ФС
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #40, #46, #92

38. Сообщение от YetAnotherOnanym (ok), 19-Сен-20, 07:33	+/–
Прояви гибкость и широту мышдения. Абстрагируйся от подробностей работы flash-памяти, они сковывают твой разум. Если ты будешь постоянно напоминать себе, что flash-память перед записью стирается блоками, ты не сможешь проникнуться осознанием необыкновенных преимуществ NVM перед HDD и проявишь неуважение к усилиям маркетологов самых крупных чипмейкеров планеты. И вообще, совать нос под капот в современном IT-мире - неприлично.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #45, #94

39. Сообщение от Аноним (39), 19-Сен-20, 07:37	+/–
Исправьте название в канале, а то позор ведь)
Ответить | Правка | Наверх | Cообщить модератору

40. Сообщение от YetAnotherOnanym (ok), 19-Сен-20, 07:44	–1 +/–
> Да, давайте для каждого типа памяти наплодим кучу своих ФС, а затем > забьем на них болт и оставим без сопровождения для того чтобы > придумать еще одну ФС Ты ухватил самую суть современных создателей ФС.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #37

41. Сообщение от Аноним (5), 19-Сен-20, 07:47	+2 +/–
Вы видимо анонимный эксперт, вам скорость или время?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #33 Ответы: #133

42. Сообщение от Аноним (42), 19-Сен-20, 07:50	+/–
Ну есть же Optane
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4

43. Сообщение от Аноним (93), 19-Сен-20, 08:48	+/–
1. У zstd упаковка адово тормозная на высоком сжатии. 2. Степень сжатия сильно зависит от datasetа и от способа применения. У меня в black-box сценарии lzma2 пожал лучше, чем zstd, оба на максималках, а лучше обоих пожал ... brotli.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #8 Ответы: #76

44. Сообщение от Аноним (93), 19-Сен-20, 08:51	–1 +/–
ECC RAM и материнку для неё и камень серверный уже купил?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #24 Ответы: #47, #52

45. Сообщение от Crazy Alex (ok), 19-Сен-20, 09:05	+/–
А при чём тут флеш?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #38 Ответы: #71

46. Сообщение от Crazy Alex (ok), 19-Сен-20, 09:08	+/–
Ну сюрприз - под байтовую адресацию нынешние ФС никто не делал. Ты ж tar не пытаешься как фс на дисках использовать.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #37 Ответы: #65

47. Сообщение от Аноним (5), 19-Сен-20, 09:10	+1 +/–
Других просто нету в стойках кроме ECC
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #44

48. Сообщение от anonymous (??), 19-Сен-20, 09:15	–1 +/–
> btrfs труп Откуда у вас такая информация?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #35 Ответы: #55

49. Сообщение от Аноним (49), 19-Сен-20, 09:20	+2 +/–
Речь не про M.2 NVMe, а про nvdimm. Это обычные плашки оперативной памяти с возможностью сохранения содержимого DDR на flash при неожиданном отключении питания. Хотя они конечно наврали, поскольку оперативка тоже читается блоками больше одного байта.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #60, #67

50. Сообщение от Аноним (50), 19-Сен-20, 09:21	+/–
А пацаны из пейсбука и не знали.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #35 Ответы: #56

51. Сообщение от Аноним (51), 19-Сен-20, 09:34	+/–
Покойся с миром старая шляпа.
Ответить | Правка | Наверх | Cообщить модератору

52. Сообщение от Аноним (52), 19-Сен-20, 09:44	–1 +/–
Опять этот миф про необходимость ECC-памяти...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #44 Ответы: #63

53. Сообщение от Иваня (?), 19-Сен-20, 09:44	+/–
Ещё одна ФС :( В ядре уже > 20 FS, лучше бы улучшали старые FS!!!
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #83, #105

54. Сообщение от сложные (?), 19-Сен-20, 09:47	+10 +/–
Facebook использует Btrfs по полной программe плюс коммитит в ядро, но типический ваня сидящий на диване в мухосранскe вещает: нет, это игрушка!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19 Ответы: #58, #73, #142

55. Сообщение от Аноним (52), 19-Сен-20, 09:51	+/–
Мое знакомство с ней закончилось после того, когда каждый запуск виндовой виртуалки заканчивалось записью 2гб на ссд. Уж не знаю что с ней не так, но zfs пишет лишь сотню мегабайт при размере записи в 64к. Обе тестировались с компрессией.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #48 Ответы: #66, #74

56. Сообщение от Аноним (52), 19-Сен-20, 09:52	+2 +/–
Юзкейс пацанов из Фейсбука навряд ли совпадает с типовым.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #50

57. Сообщение от пох. (?), 19-Сен-20, 10:10	–1 +/–
Подрывом пуканов - удовлетворен! P.S. а вообще брали бы пример с г-на Комарова - смотрите, смотрите - уже в шестой раз с поклонами переподает. Еще пара лет - и в ведре (помойном, потому что затрахает же ж переподавать и его). Правда, директорская зарплата хотя бы позволяет ему все это время жевать хлеб с маслом, а не хер без соли...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #82

58. Сообщение от пох. (?), 19-Сен-20, 10:12	–1 +/–
да некоторые и петабайтные кластеры на refs уже понасобирали (нет, не знаю, зачем - возможно, просто редбиэму платить не хотят, а ms уже заплачено сполна) - и комитить в ведро им незачем при этом.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #54

59. Сообщение от пох. (?), 19-Сен-20, 10:15	–2 +/–
> Жать данные с побайтовой спецыфикой доступа стильно, модно и молодежно! Ведь "так в винде"! (а что платить при этом за nvmem ценник, как будто она из цельного брильянта выточена, а не из обычного песка, как всегда, не имело никакого смысла - индусам похрен, насяльника павелела, джамшут капай!)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #12 Ответы: #89

60. Сообщение от пох. (?), 19-Сен-20, 10:17	+/–
угу, возможность сохранения же обеспечивается прямым подключением в ноосферу, а не тем что это тот же самый флэш, только без диско-эмулирующего интерфейса. Читается, насколько я понимаю, хоть побайтно. Пишется как обычно - страницами. Еще один, кстати, повод, не страдать херней со сжатием.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #49 Ответы: #62, #70, #131, #132

61. Сообщение от пох. (?), 19-Сен-20, 10:19	+/–
Не сифилитик, а филателист, не бсдшник, а бдсмщик. bsd-версия zfs нимодна, нималадежна и уже выпиливают. А "разработчики" из дельфикса уже пришли к вам, с огромным чемоданом садо-мазо инвентаря.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #27

62. Сообщение от Аноним (49), 19-Сен-20, 10:21	+/–
Там батейка стоит и её хватает, чтобы сохранить всю RAM в flash при внезапном отключении питания. А в обычной ситуации в flash запись не происходит никогда.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #60 Ответы: #68

63. Сообщение от пох. (?), 19-Сен-20, 10:22	+2 +/–
Тебе скриншотик этого "мифа" из консоли показать? (Да, внезапно, энтерпрайзные железки не только исправляют ошибки, но и внятно намекают, что раз исправил, два исправил - и хватит, давайте на всякий случай поменяем этот димм нахрен) Понятное дело, тебе, васян, не надо - если и перевернулся битик в твоем проне с лолями, ты никак этого не заметишь. Но, боюсь, ты расстроишься, если битик вот так перевернется в транзакции с твоей зарплатой (причем - знаковый, и ты ее всю банку вдруг должен). Начнешь же визжать, требовать сатисfuckций и гору золота за моральный ущерб - нет бы вздохнуть, сказать "ну че, бывает, зато компьютеры нынче дешовенькие", и денег банке отдать, как честный человек.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #52 Ответы: #69

64. Сообщение от пох. (?), 19-Сен-20, 10:25	+/–
> так а зачем оно тогда вообще нужно? ну вдруг тебе этих данных не так чтоб и жалко? > Бред же, ну. тебе ж сказали - скопипащено с ext4, потому что других идей в пропитанных карри головах не было. Нет бы с fat скопипастить, хотя бы работало бы побыстрее...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #31 Ответы: #98

65. Сообщение от пох. (?), 19-Сен-20, 10:27	+/–
пользователи mc недоумевают, почему? Прекрасно ж работает. Только вот к произвольной записи немного плохо пригодна.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #46

66. Сообщение от пох. (?), 19-Сен-20, 10:28	+/–
Поздравляю со встречей с write amplification. Хотя и странно, почему с zfs она у тебя настолько мала.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #55 Ответы: #80

67. Сообщение от n00by (ok), 19-Сен-20, 10:29	+/–
> Речь не про M.2 NVMe, а про nvdimm. Это обычные плашки оперативной > памяти Так вот в обычную память процессоры, имеющие кеш-память, и не пишет по байту. Пишут и читают линейками.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #49 Ответы: #84

68. Сообщение от пох. (?), 19-Сен-20, 10:32	+/–
sure? Потому что в верченных мной в руках модулях как-то не очень видно было место для батареек и отдельного flash размером с весь модуль, плюс собственный процессор, поскольку кто-то же должен производить всю эту интересную процедуру, да еще и восстанавливать обратно при включении питания. Не то чтобы не могли, конечно, хитро спрятать, но не проще ли ларчик открывается?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #62 Ответы: #106

69. Сообщение от Аноним (122), 19-Сен-20, 10:54	+2 +/–
ЕСС является желательной и в это плане zfs ничем не отличается от других файловых систем. При ее отсутствии работать она будет нехуже других. "Перевернутый битик" это проблема памяти, а не файловой системы. Завязывание с веществами - читать противно!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #63 Ответы: #72, #78

70. Сообщение от None (??), 19-Сен-20, 11:02	+/–
Ну вы в поисковике наберите nvdimm, там ж всё налицо, и флэш, и блок конденсаторов, который подключается через отдельный разъём. А если вам кто-то дал подержать в руках "nvdimm", а отличия от обычного вы не увидели - так может вам в уши этот кто-то нассал, что это nvdimm, а не обычный модуль оперативки?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #60

71. Сообщение от YetAnotherOnanym (ok), 19-Сен-20, 11:09	+1 +/–
> А при чём тут флеш? Хмм... действительно. Казалось бы, при чём он здесь?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #45

72. Сообщение от Anonim1234 (?), 19-Сен-20, 11:24	+/–
Действительно, ведь бд сейчас обрабатывают данные сразу в фс без промежуточной загрузки в ОП. А ОП нужна только ОС...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #69

73. Сообщение от 98 (?), 19-Сен-20, 11:31	+4 +/–
Фэйсбук может хоть фат12 использовать, там армия спецов есть и многа денег на это, а то что бтрфс глюкоташная рулетка факт, о котором знает и Линус и Ваня и редхат, тока тебя и фейсбук не умедомили.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #54 Ответы: #81

74. Сообщение от Аноним (74), 19-Сен-20, 11:36	–1 +/–
У BTRFS на большие файлы со случайным доступом на запись (базы данных и образы виртуалок) надо ставить атрибут nodatacow, как раз, чтобы твоей проблемы не было. Если бы ты хоть чуть-чуть ознакомился с документацией на ФС, которой пользуешься - у тебя бы не возникло таких вопросов. BTRFS по дефолту делает copy-on-write, поэтому на мелкие записи он не пишет в тот же блок, а создаёт новый модифицированный и меняет поинтер. Отсюда write amplification. Очевидно, это не желательно на образах ВМок, поэтому можно попросить ФС писать данные in-place. Во всех гайдах по BTRFS есть инфа, что на образы виртуалок надо ставить nodatacow.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #55 Ответы: #77

75. Сообщение от EnemyOfDemocracy (?), 19-Сен-20, 12:00	+/–
Сегодня суббота. В линуксе есть ФС, позволяющая эффективно использовать субботу?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #79, #95, #127

76. Сообщение от Аноним (5), 19-Сен-20, 12:41	+/–
Как насчет потребление ресурсов ЦПУ в многопотоке на SSD/NVMe I/O?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #43

77. Сообщение от Аноним (122), 19-Сен-20, 13:08	–1 +/–
Даже не знаю как это комментировать. Прежде чем что-то написать - вы бы потрудились вникнуть в прочитанное. Неловкая ситуация получилась.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #74 Ответы: #107

78. Сообщение от пох. (?), 19-Сен-20, 13:14	+/–
А, ну в этом плане - да, не то чтоб сильно. Но таки отличается в том моменте, что у этих "других" скорее всего все поправит fsck. С потерями поврежденных файлов (или сразу каталога, если прилетело не в файл - ну, зато файлы найдутся в lost+found, целенькие, только без имен), но без фатальных последствий. А у тебя "unable to import zpool" или повисший scrub, а то и вовсе kernel panic notabug. Не просто так документация фринаса ну ооочень настоятельно рекомендует. У этих ребят есть статистика (но, разумеется, она не для вас). Впрочем, посмотри на кластерную moose - и посмейся. Ага, ВСЯ метаинформация в оперативе _всегда_ (то есть с максимальными шансами поиметь bit flip) - и при этом "а от контроля целостности мы отказались, потомушта тормозило [отдельный вопрос - КАК вы этого, блжад, добились на своем пентиуме 72?]" И ничего, люди в этой фигне петабайты без бэкапа хранят.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #69

79. Сообщение от пох. (?), 19-Сен-20, 13:29	+1 +/–
Если это предложение поучаствовать в разработке - где твой проект на гитхаб? У меня уже почти готовый CoC.md для нее есть. Ну там про "почитай день субботний" и все такое.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #75

80. Сообщение от Аноним (122), 19-Сен-20, 13:36	+/–
Проблема ведь не в том, что WA имеет место быть. Проблем WA в непонятно каком месте и образом. Btrfs с компрессией записывает блоками по 128кб, а следовательно при сравнении с zfs с записью размером в 64кб WA должно быть ровно в 2 раза выше, но по факту - на порядок выше. И это просто запуск виртуалки с виндой и завершение ее работы, и больше ничего.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #66 Ответы: #87

81. Сообщение от wefnwu (?), 19-Сен-20, 14:38	+/–
> бтрфс глюкоташная рулетка факт, о котором знает и Линус и Ваня и редхат и именно поэтому редхат внедряет бтрфс по дефолту в федоре??? ЛОЛ, у тебя логика порвалась. > хоть фат12 использовать, там армия спецов есть и многа денег на это фейсбук коммитит открытый код в ядро ВНИЗАПНО, весь код открыт, проверить слабо ибо чукчa не читатель? либо в криокамере застрял?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #73 Ответы: #93, #103, #118

82. Сообщение от Аноним (-), 19-Сен-20, 15:15	+/–
Ссылочку дайте.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #57 Ответы: #85

83. Сообщение от Аноним (4), 19-Сен-20, 15:56	+/–
(существует 15 форматов) - Надо сделать универсальный! (существует 16 форматов)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #53

84. Сообщение от Annoynymous (ok), 19-Сен-20, 16:00	–3 +/–
Тем не менее, интерфейс позволяет читать и писать по одному байту.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #67

85. Сообщение от пох. (?), 19-Сен-20, 16:24	+/–
Subscribe by sending subscribe linux-fsdevel in the message body to majordomo@vger.kernel.org Каких тебе еще ссылочек, смузихлеб опоздавший родиться? Правильные пацаны вот так с кодом работают! (а что там два патча из десяти теряет древняя кривая софтина из времен, когда компьютеры были большие, так это похрен, перепошлют)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #82 Ответы: #88

87. Сообщение от пох. (?), 19-Сен-20, 16:33	+/–
> Проблема ведь не в том, что WA имеет место быть. Проблем WA в непонятно каком месте и образом. да в целом-то понятно, непонятно что с этим делать теперь. > а следовательно при сравнении с zfs с записью размером в 64кб WA АААА! Вот где тебя кидают, надо было мне сразу сообразить. У тебя ж zfs тоже с компрессией и compressed arc до кучи, ты ж не отключал ничего руками? Ну так вот и поздравляю: при этом используется _переменный_ recordsize, а те твои 64 - это ограничение сверху.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #80 Ответы: #97

88. Сообщение от Аноним (88), 19-Сен-20, 16:35	+3 +/–
Что-то ты часто укоряешь других в поздем рождении. А сам-то ты в каком веке родился?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #85

89. Сообщение от Аноним (88), 19-Сен-20, 16:40	+/–
Эк, тебя понесло, уже индусов с ближним зарубежьем путаешь ;)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #59

90. Сообщение от Аноним (88), 19-Сен-20, 16:46	+/–
>Ребят, у них количество айнодов в фс задаётся при форматировании: Я, когда увидел эту фразу: "Aрхитектура NVFS близка к ФС Ext4", тоже об этом подумал.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6

91. Сообщение от Аноним (88), 19-Сен-20, 16:51	–1 +/–
Переформатированием?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #16

92. Сообщение от Аноним (92), 19-Сен-20, 17:05	+/–
Линуксоиды, сэр.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #37

93. Сообщение от Аноним (93), 19-Сен-20, 17:17	+6 +/–
Именно поэтому. Была бы не игрушкой - была бы в RHEL. А пользователи федоры - официально подопытные кролики.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #81 Ответы: #112

94. Сообщение от Чипмейкер (?), 19-Сен-20, 17:22	+1 +/–
Ты свой нос в наш бизнес не суй, плз, спс
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #38 Ответы: #99

95. Сообщение от Аноним (95), 19-Сен-20, 17:24	+/–
В Новогоднюю субботу Рош ха-Шана нельзя не то что в память что-то писать, но даже кнопки нажимать.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #75 Ответы: #96

96. Сообщение от пох. (?), 19-Сен-20, 17:31	+/–
Только правой рукой. Носом или хером - пожалуйста.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #95 Ответы: #136

97. Сообщение от Аноним (97), 19-Сен-20, 18:34	+/–
Ошибаетесь, хотя при включенной компрессии действительно включается переменный размер записи, но так как образ - это один большой файл, то и пишется от максимальным размером. Файл 256М в уже  упакованном виде при размере записи в 1М будет иметь 256 блока и любое изменение даже одного бай приведет к полной перезаписи этого 1М блока . О переменном размере блока речи уже не идет - файл размером с запись или выше уже записывается блоком максимального размера.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #87 Ответы: #101

98. Сообщение от Annoynymous (ok), 19-Сен-20, 18:36	+/–
>> так а зачем оно тогда вообще нужно? > ну вдруг тебе этих данных не так чтоб и жалко? >> Бред же, ну. > тебе ж сказали - скопипащено с ext4, потому что других идей в > пропитанных карри головах не было. > Нет бы с fat скопипастить, хотя бы работало бы побыстрее... Ну да, FAT-то снапшоты поддерживает с первой версии.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #64

99. Сообщение от YetAnotherOnanym (ok), 19-Сен-20, 18:42	–3 +/–
> Ты свой нос в наш бизнес не суй, плз, спс Ты мне не указывай куда нос совать или не совать, плз, спс.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #94

100. Сообщение от Annoynymous (ok), 19-Сен-20, 18:43	+2 +/–
А они в курсе, что NVFS уже изобрели примерно в 2002-м? https://en.wikipedia.org/wiki/Non-Volatile_File_System
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #139

101. Сообщение от пох. (?), 19-Сен-20, 19:54	+/–
> в уже  упакованном виде при размере записи в 1М будет иметь 256 блока Там размер записи 64k, во-первых, и нет, там все блоки переменной длины, не только у коротких файлов. Подумайте что происходит при попытке записи в середину пакованного файла из одних нулей килобайта из /dev/random. И наоборот. Собственно, именно из-за этого и пришлось вводить блоки переменной длинны, а не ради возможности сэкономить три копейки на сверхкоротких файлах. А вот btrfs, по всей видимости, может в этом случае только из одного блока сделать два, ибо нивлызло. Записали мы килобайт, на диск записалось 2x128, вот это красота, 256x write amplification на ровном месте. (все, естественно, чисто умозрительно, я не знаю как она на самом деле устроена. Но имеющиеся чудеса объявняет довольно правдоподобно. Кстати, легко проверяемо автором.)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #97 Ответы: #108, #110

102. Сообщение от Аноним (5), 19-Сен-20, 20:01	+/–
Когда уже сделают интерфейсы к samsung ssd для работы inline шифрование (linux kernel 5.8+) на самой ssd?
Ответить | Правка | Наверх | Cообщить модератору

103. Сообщение от Аноним (103), 19-Сен-20, 20:04	+/–
>и именно поэтому редхат внедряет бтрфс по дефолту в федоре??? ну а на ком тестировать, на тех кто деньги заплатил? btrfs они объявили deprecated и стали развивать другие. А сейчас прошло несколько лет, почему бы не потыкать палочкой? Вдруг фейсбук таки сделал чудо
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #81

104. Сообщение от Аноним (103), 19-Сен-20, 20:07	+/–
там где-то катается vdo, со сжатием и дедупликацией
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #9 Ответы: #122

105. Сообщение от Fracta1L (ok), 19-Сен-20, 20:37	+/–
Надо просто ненужное старьё повыкидывать, вроде ReiserFS и JFS
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #53 Ответы: #126

106. Сообщение от Аноним (103), 19-Сен-20, 20:51	+/–
шуре. Только там не батарейки, а ионисторы. Отдельный флэш размером с весь модуль не нужен, т.к. можно использовать эти, как их MLC, V-NAND и прочее. > плюс собственный процессор там же не core-i9, контроллер может быть на том же кристалле, что и флеш
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #68

107. Сообщение от Аноним (74), 19-Сен-20, 21:44	–1 +/–
Если человек не хочет, чтобы у него была активная запись на BTRFS по причине copy-on-write может этот самый copy-on-write отключить для файлика, где это вызывает у него проблемы. Если человек не хочет отключать copy-on-write для этого файлика, но при этом ноет, что ФС плохая - то у меня для него плохие новости - это уже забагованность его генетического кода. БД и виртуальные диски слишком большие и у них слишком случайные паттерны доступа, поэтому они плохо вписываются в механизм работы CoW. И не так сложно сделать `chattr +C` и отключить CoW на пару-тройку файлов, где это реально мешает (а пользы от CoW в целом так-то больше, если, конечно, на томе лежат не только имиджи виртуалок). Это не проблема файловой системы. Просто нужно знать сильные и слабые стороны ФС, с которой работаешь. Тем более, что ФС умеет хорошо работать с нагрузками такого типа, нужно просто дёрнуть за нужную ручку. Если это слишком сложно - то да, таким людям лучше просто не пользоваться BTRFS, т.к. это слишком сложная ФС, которая находится за гранью их интеллектуальных способностей. Если же у вас только образы виртуалок на BTRFS лежат - то это ещё более странная претензия к ФС. Ибо для вас и микроскоп будет слишком плохим молотком. Каждой задаче - свой инструмент. И либо отводите какой-нибудь ext4/XFS под виртуалки, либо проставляйте правильно атрибуты на BTRFS.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #77 Ответы: #109, #113, #117

108. Сообщение от Аноним (108), 20-Сен-20, 01:17	+/–
Файл с блоками в 1М был лишь примером. Каким будет оптимальным размер блока для одного большого файла? Разумеется максимальный. Вот откуда возникается WA и почему для образов виртуальных машин рек.размер записи как можно ближе к 4К.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #101 Ответы: #115

109. Сообщение от Аноним (108), 20-Сен-20, 01:21	–1 +/–
Вам бы к врачу обратиться.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #107 Ответы: #116

110. Сообщение от Аноним (108), 20-Сен-20, 01:25	+/–
Да что я. Вы можете в этом убедиться с помощью утилиты zdb!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #101

111. Сообщение от Аноньимъ (?), 20-Сен-20, 02:10	+/–
Правильно ли я понимаю что UFS и FFS должны показывать отличные результаты на флеш накопителях?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #125

112. Сообщение от Nemton (?), 20-Сен-20, 09:49	+1 +/–
Но она по дефолту в SUSE
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #93

113. Сообщение от Легивон (?), 20-Сен-20, 09:52	+/–
Вас не смущает что самый распространенный формат дисков виртуалок qCOW2? И он сделает то же самое, только уровнем выше. Его тоже отключать? Имхо главное чтобы COW не работал дважды, а где его отключать не так важно. Но я бы конечно на уровне настройки приложения отключал (и отключаю), тоесть у qcow2.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #107 Ответы: #114

114. Сообщение от Аноним (74), 20-Сен-20, 10:57	+/–
Нет, не смущает. В QCOW2 CoW используется только при наличии снапшотов образов. Если вы не пользуетесь снапшотами ВМок - то у вас и так нет copy-on-write в образах ВМки. Запись в QCOW2 идёт in-place, а CoW происходит исключительно если у вас есть read-only снапшот и гипервизор пытается записать в read-only блок. При этом исходный блок копируется и копия становится read/write. Если вы "отключаете" CoW в QCOW2 - значит вы снапшотами не пользуетесь и всё равно у вас бы не было CoW на уровне приложения. В случае с BTRFS по умолчанию всегда происходит copy-on-write блока, вне зависимости от того, есть ли снапшоты у данного файла или нет. Это by-design заложено в архитектуре ФС. Я не предлагаю отключать глобально на всей ФС CoW, это действительно плохо (хотя и можно), но вполне можно помочь файловой системе и себе и поставить атрибут +C на имиджи виртуалок.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #113

115. Сообщение от Аноним (115), 20-Сен-20, 11:19	+/–
> Файл с блоками в 1М был лишь примером. Каким будет оптимальным размер блока для одного большого > файла? _до_ первой мелкой (!) операции записи в середину этого файла. Что и есть основной процесс, происходящий когда этот файл - виртуальный диск. После чего с переменным размером блока мы перезапишем пострадавший блок и небольшой непоместившийся туда хвост отдельным мелким блоком (для простоты опустим чего и сколько помимо того придется писать), а с постоянным - два блока полного размера 128k, второй из которых при этом будет почти пустым, но еще и при чтении будет нам префетч загаживать ненужными нулями. > для образов виртуальных машин рек.размер записи как можно ближе к 4К. видимо, для btrfs это действительно лучший выбор. И еще хорошо бы внутри vm попасть границами разделов на эти 4k, а не мимо. cow, кстати, как какие-то дятлы насоветовали, выключать не надо, совсем.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #108

116. Сообщение от Аноним (74), 20-Сен-20, 11:22	+1 +/–
Не читаете доки вы, а обратиться ко врачу надо мне?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #109 Ответы: #123

117. Сообщение от Аноним (115), 20-Сен-20, 11:28	–1 +/–
> Если человек не хочет, чтобы у него была активная запись на BTRFS по причине copy-on-write то ему надо наконец перестать в голову есть и включить мозг - как именно copy-on-write может вызвать 256x write amplification. И быстренько сообразить, что он тут не то что не причем, а еще и вполне может улучшить жизнь если на fs включена компрессия. "На старое место" у вас _все_равно_ не влезет. > Каждой задаче - свой инструмент. а btrfs инструмент ни для какой задачи, так и запишем. > И либо отводите какой-нибудь ext4/XFS под виртуалки, либо просто не пользуйтесь недоделком. У человека с zfs нет никакой проблемы, при том что там, о ужас, ужас - страшный _неотключаемый_ CoW. А если еще он и zvol осилит, вместо бессмысленных для этой цели файлов...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #107 Ответы: #120, #121

118. Сообщение от 98 (?), 20-Сен-20, 11:35	+/–
>  весь код открыт, проверить слабо Проверенно, месяца три назад, на только что отформатированный диск слил гигов 500, выдернул и все, ни данных ни фс. > бтрфс по дефолту в федоре Че там в федоре хз, но из редхата это действительно удалили, так что кого с разморозкой еще вопрос
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #81

120. Сообщение от Аноним (122), 20-Сен-20, 13:12	+/–
Dataset вместо zvol был выбран вполне сознательно. Разумеется были проведены все необходимые тесты и dataset победил с завидным отрывом.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #117 Ответы: #130

121. Сообщение от Аноним (121), 20-Сен-20, 13:27	+/–
Вполне может быть. Как раз если очередь записи неглубокая - страницы в page cache не задерживаются, и на каждые пару байт записи коммитится целый блок, который сразу же пишется на диск. И в итоге, вместо одной записи блока будут десятки CoW записей. Тут, конечно, проблема комплексная, надо разбираться, явно где-то кэширование неправильно работает. В госте, в гипервизоре или на хосте. Я не говорил, что CoW тут единственная проблема, но отключение его для образов виртуалки должно было существенно уменьшить write amplification. А дальше нужно уже искать, где у вас корявые кэши.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #117

122. Сообщение от Аноним (122), 20-Сен-20, 13:39	+/–
Если кратко: очень медленно.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #104 Ответы: #128

123. Сообщение от Аноним (122), 20-Сен-20, 14:16	+/–
У вас проблемы с пониманием прочитанного. Все что могу предложить ещё раз прочитать и попытаться вникнуть в суть или обратиться к врачу.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #116

125. Сообщение от Аноним (-), 20-Сен-20, 15:05	+/–
> Правильно ли я понимаю что UFS и FFS должны показывать отличные результаты  на флеш накопителях? А они не показывают?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #111

126. Сообщение от Аноним (88), 20-Сен-20, 17:33	+1 +/–
Я использую ReiserFS из-за её умения экономно хранить мелкие файлы.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #105 Ответы: #129

127. Сообщение от Аноним (88), 20-Сен-20, 17:35	+/–
ШабатФС :)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #75

128. Сообщение от Аноним (103), 20-Сен-20, 18:37	+/–
я и не говорил, что быстро, да и есть/было не везде. Зато не зависит от ФС подождем еще сколько-то лет :)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #122

129. Сообщение от Fracta1L (ok), 20-Сен-20, 18:49	+/–
Перестань её использовать
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #126

130. Сообщение от пох. (?), 20-Сен-20, 19:31	+/–
А в чем именно заключались тесты и в чем 'отрыв'-то? И что лежит на fs - qemu'овский qcow2 ?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #120

131. Сообщение от Аноним (131), 20-Сен-20, 20:36	+/–
>Читается, насколько я понимаю, хоть побайтно. Пишется как обычно - страницами. На уровне железа все пишется блоками в 64 байта (cache line, ага).
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #60

132. Сообщение от Аноним (131), 20-Сен-20, 20:37	+/–
>Читается, насколько я понимаю, хоть побайтно. Пишется как обычно - страницами. На уровне железа все пишется и читается блоками в 64 байта (cache line, ага).
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #60

133. Сообщение от Аноним (133), 21-Сен-20, 09:00	–1 +/–
вы видимо админ локалхоста, попробуй сохрани в облаке пожатый архив размером в 100ТБ, посчитай сколько бабла тебе это встанет, и поймеш зачем нужен РАР5.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #41

134. Сообщение от Аноним (133), 21-Сен-20, 09:04	–1 +/–
а оно в мультипоточность умеет, или такое же как и gzip, однопоточное гв-но? даже pigz легко обходит тот-же gzip ровно в Х-раз, где Х это количество доступных ядер.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #21 Ответы: #135

135. Сообщение от Аноним (135), 21-Сен-20, 12:50	+/–
> а оно в мультипоточность умеет, или такое же как и gzip, однопоточное > гв-но? даже pigz легко обходит тот-же gzip ровно в Х-раз, где Х это количество доступных ядер. >> Сжатие и распаковка блока ФС в ядре >> мультипоточность >> pigz А гонору-то, гонору сколько было *рукалицо*
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #134

136. Сообщение от Аноним (136), 21-Сен-20, 14:13	+/–
>> В Новогоднюю субботу Рош ха-Шана нельзя не то что в память что-то писать, но даже кнопки нажимать. > Только правой рукой. Носом или хером - пожалуйста. Вы оба недопонимаете смысл Шаббата. И правой рукой можно и носом и хером и гою задиктовывать. Главное чтобы ничего путного не получилось что можно было бы назвать словом "работа". Сходить с ума в Шаббат священное писание не запрещает.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #96

137. Сообщение от PnD (??), 21-Сен-20, 17:21	+/–
"Лучше пи́дор на рее, чем акула в трюме". ©2 капитана-2.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #27

138. Сообщение от аноним12345 (?), 22-Сен-20, 16:47	+1 +/–
А как обстоит дело с выделением CO2 ?
Ответить | Правка | Наверх | Cообщить модератору

139. Сообщение от Аноним (4), 22-Сен-20, 18:13	+/–
Лёня там постоянно что-то переизобретает и переписывает.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #100

140. Сообщение от Аноним (140), 22-Сен-20, 19:41	+1 +/–
Серьёзно?! Здесь ждешь?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #32

141. Сообщение от Аноним (-), 25-Сен-20, 09:28	+/–
Вот сейчас выйдет Рейзер он запилит РейзерФС и держитесь...
Ответить | Правка | Наверх | Cообщить модератору

142. Сообщение от Дерьмократ (?), 14-Дек-20, 10:08	+/–
Смешные вы. Мало ли что использует фейсбук. Давайте теперь на пахе писать тогда
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #54

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема