The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Представлены патчи, существенно ускоряющие работу SquashFS"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Представлены патчи, существенно ускоряющие работу SquashFS"  +/
Сообщение от opennews on 21-Ноя-13, 11:02 
Для SquashFS представлены (http://lkml.org/lkml/2013/11/19/630) патчи, существенно ускоряющие работу данной файловой системы. Squashfs является специализированной файловой системой, работающей в режиме "только для чтения". Отличительной особенностью данной файловой системы является очень компактное представление метаданных и хранение данных в сжатом виде. Наиболее востребованным применением SquashFS является использование в качестве файловой системы для установочных образов, Live-систем и прошивок. Пока не ясно, войдет ли данный патч в состав ядра 3.13, окно приёма изменений для которого будет закрыто на днях.


В данной серии патчей представлено множество оптимизаций производительности. В ряде случаев скорость работы Squashfs может увеличиться в несколько раз. Наиболее заметными изменениями являются реализация многопоточной распаковки сжатых данных и параллельного ввода вывода. Если в системе с несколькими ядрами смонтировано несколько образов squashfs, работа с ними может существенно ускориться. Кроме того, реализована распаковка сразу в кэш страниц (page cache), что также может существенно ускорить ряд операций с файловой системой. В зависимости от конфигурации, выигрыш в скорости может составлять до нескольких раз (в одном из тестов скорость возросла с  13 MB/s до 67 MB/s).

URL: http://www.phoronix.com/scan.php?page=news_item&px=MTUyMDQ
Новость: http://www.opennet.dev/opennews/art.shtml?num=38484

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Представлены патчи, существенно ускоряющие работу SquashFS"  –2 +/
Сообщение от Наивный чукотский юноша on 21-Ноя-13, 11:02 
Опять похороникс. И опять сравнивали скорость последовательного чтения данных (схем, графиков и примеров по ссылке не вижу).
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

13. "Представлены патчи, существенно ускоряющие работу SquashFS"  +/
Сообщение от Аноним (??) on 21-Ноя-13, 14:34 
А пофиг что фороникс. Там реально изменения которые дадут профит. Многопоточная декомпрессия по любому свое возьмет в ряде конфиг, декомпрессия в page cache - тоже.
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

2. "Представлены патчи, существенно ускоряющие работу SquashFS"  –1 +/
Сообщение от alex789 email on 21-Ноя-13, 12:24 
и как оно по сравнению с clicfs? по прежнему тормозит?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

14. "Представлены патчи, существенно ускоряющие работу SquashFS"  +1 +/
Сообщение от Аноним (??) on 21-Ноя-13, 14:36 
> и как оно по сравнению с clicfs? по прежнему тормозит?

А clicfs вроде как не ФС [хранящая данные на блочном устройстве или в файле] а лишь какой-то оверлей [объединяющий несколько ФС для фэйковых записей]. Или я чего-то не понял?

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

5. "Представлены патчи, существенно ускоряющие работу SquashFS"  +/
Сообщение от Аноним (??) on 21-Ноя-13, 12:38 
А файловые системы кроме точек /var /home стоит использовать SquashFS? Реально получить прибавку в скорости?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

7. "Представлены патчи, существенно ускоряющие работу SquashFS"  –1 +/
Сообщение от гость on 21-Ноя-13, 13:45 
Это файловая система только для чтения.
Её имеет смысл использовать только для initrd, ну максимум - /usr:/opt:/etc
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

9. "Представлены патчи, существенно ускоряющие работу SquashFS"  +5 +/
Сообщение от Michael Shigorin email(ok) on 21-Ноя-13, 13:51 
> Это файловая система только для чтения.

Это по сути тарбол. (PS: как и iso9660)

> Её имеет смысл использовать только для initrd

Да можно и на голову надевать, но лучше не надо. :)

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

16. "Представлены патчи, существенно ускоряющие работу SquashFS"  +1 +/
Сообщение от Аноним (??) on 21-Ноя-13, 14:41 
> Это по сути тарбол. (PS: как и iso9660)

Только с быстрым доступом к оглавлению и файлам "на лету", без декомпрессии немеряных гигазов. И даже запуском программ прямо так (XIP - execution in place). Тарболам ничего подобного и не снилось. Некое подобие можно сгородить через FUSE, но будет намного кривее и грабельнее.

>> Её имеет смысл использовать только для initrd
> Да можно и на голову надевать, но лучше не надо. :)

Интересно, почему именно initrd. Ее обычно пользуют как readonly базу. На ливсидюках, например. Или как failsafe режим openwrt например. Далее к этому через оверлей (unionfs, minifo, ...) цепляют writeable файловую систему (ливсидюки обычно рам-диски, openwrt - как правило JFFS) и получается гибридная ФС, где есть неубиваемая база и временный/опциональный оверлей с изменениями относительно нее.

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

19. "Представлены патчи, существенно ускоряющие работу SquashFS"  –1 +/
Сообщение от Michael Shigorin email(ok) on 21-Ноя-13, 14:45 
>> Это по сути тарбол. (PS: как и iso9660)
> Только с быстрым доступом к оглавлению и файлам "на лету"

В том плане, что rw не предусмотрено.

>>> Её имеет смысл использовать только для initrd
>> Да можно и на голову надевать, но лучше не надо. :)
> Интересно, почему именно initrd. Ее обычно пользуют как readonly базу.

Именно.  Для initrd в том же альте когда-то применяли romfs и экономили на том чуточку памяти, но с появлением initramfs перебрались на неё.

[угу]

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

35. "Представлены патчи, существенно ускоряющие работу SquashFS"  +/
Сообщение от Аноним (??) on 21-Ноя-13, 23:15 
> В том плане, что rw не предусмотрено.

Ну да, там упор на простой и максимально компактный дизайн. Поэтому squashfs при прочих равных заметно компактнее например JFFS с теми же данными.

> экономили на том чуточку памяти, но с появлением initramfs перебрались на неё.

Не, ну в принципе делать начальный rootfs на squash ничему не противоречит, openwrt как-то так и делают, но это все-таки не рамдиск. Рамдиск может быть подгружен в память бутлоадером или даже приаттачен к ядру, etc - так что ядру не надо знать как и где это брать, в чем собственно и пойнт: взлетевшая оттуда система уже займется продвинутым монтированием всякой экзотики. А squashfs для такого никогда не создавался. Хотя наверное и можно как-то так заюзать при должном желании.

Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

39. "Представлены патчи, существенно ускоряющие работу SquashFS"  +/
Сообщение от Led (ok) on 22-Ноя-13, 01:33 
>В том плане, что rw не предусмотрено.

Это у тебя не предусмотрено.
А у меня предусмотрено:

mount -o remount,rv ...

и можешь "писАть".

Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

41. "Представлены патчи, существенно ускоряющие работу SquashFS"  +/
Сообщение от Led (ok) on 22-Ноя-13, 02:43 
> mount -o remount,rv ...

Опечатка. Правильно:

mount -o remount,rw ...

конечно же:)

Ответить | Правка | ^ к родителю #39 | Наверх | Cообщить модератору

45. "Представлены патчи, существенно ускоряющие работу SquashFS"  +/
Сообщение от Аноним (??) on 22-Ноя-13, 06:14 
> и можешь "писАть".

В squashfs то? Ну да, удачи в нее записать что-нибудь таким макаром :)

Ответить | Правка | ^ к родителю #39 | Наверх | Cообщить модератору

15. "Представлены патчи, существенно ускоряющие работу SquashFS"  +/
Сообщение от anonymous (??) on 21-Ноя-13, 14:38 
> Это файловая система только для чтения.

Если под "Это" подразумевалось squashfs то спасибо вам капитан!

Но вот только сам по себе squashfs нужен гораздо реже чем squashfs+{unionfs,funionfs,unionfs-fuse,aufs,overlayfs} а это уже ВНЕЗАПНО никак не ro а rw такие дела.

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

47. "Представлены патчи, существенно ускоряющие работу SquashFS"  –1 +/
Сообщение от daevy (??) on 22-Ноя-13, 08:36 
Есть пример использования squashfs для раздачи portage. Раз в сутки делается squashfs-образ дерева портеджей и раз в сутки этот образ копируют себе клиентские машины и монтируют локально. Работает довольно быстро и очень удобно.
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

23. "Представлены патчи, существенно ускоряющие работу SquashFS"  –1 +/
Сообщение от Аноним (??) on 21-Ноя-13, 16:22 
Использую для дерева portage. ~170 тысяч файлов умещаются в 90 МБ, с lzo сжатием. При обновлении, правда, чуть больше операций выполнять надо: rsync'нуть в tmpfs, отмонтировать /usr/portage, mount -o bind *** /usr/portage и т. п.
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

32. "Представлены патчи, существенно ускоряющие работу SquashFS"  –1 +/
Сообщение от selivan (ok) on 21-Ноя-13, 22:26 
Зачем? Несжатый portage займёт на диске не намного больше места, но доступ к нему будет сильно быстрее. Или ты образ squashfs копируешь в tmpfs, и монтируешь уже оттуда?
Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

36. "Представлены патчи, существенно ускоряющие работу SquashFS"  +/
Сообщение от Аноним (??) on 21-Ноя-13, 23:17 
> будет сильно быстрее.

А вот не факт. LZO быстро декомпрессуется, оглавление в squashfs доступно как и в любой иной ФС, т.е. довольно быстро. На не очень быстром диске можно даже по скорости выиграть за счет LZO сжатия, если все в диск упиралось.

Ответить | Правка | ^ к родителю #32 | Наверх | Cообщить модератору

42. "Представлены патчи, существенно ускоряющие работу SquashFS"  +/
Сообщение от selivan (ok) on 22-Ноя-13, 03:11 
>> будет сильно быстрее.
> А вот не факт. LZO быстро декомпрессуется, оглавление в squashfs доступно как
> и в любой иной ФС, т.е. довольно быстро. На не очень
> быстром диске можно даже по скорости выиграть за счет LZO сжатия,
> если все в диск упиралось.

Да, пожалуй зависит от соотношения проц/диск.

Ответить | Правка | ^ к родителю #36 | Наверх | Cообщить модератору

44. "Представлены патчи, существенно ускоряющие работу SquashFS"  +/
Сообщение от Аноним (??) on 22-Ноя-13, 03:43 
Именно. Разница во времени выполнения "emerge -evp @world" раза в 3-4 сокращается, но разве что пока кеш пустой. Вобщем, это из разряда "хочется странного".
Ответить | Правка | ^ к родителю #42 | Наверх | Cообщить модератору

6. "Представлены патчи, существенно ускоряющие работу SquashFS"  –1 +/
Сообщение от slowpoke on 21-Ноя-13, 12:52 
теперь будем ждать чтобы это попало в ядро, потом попало в популярные livecd, потом чтобы руки дошли запустить это и МОЖЕТ БЫТЬ увидеть разницу в пару секунд
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

11. "Представлены патчи, существенно ускоряющие работу SquashFS"  +1 +/
Сообщение от annulen (ok) on 21-Ноя-13, 14:12 
Успокойся, эти доработки сделаны не для тебя.
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

12. "Представлены патчи, существенно ускоряющие работу SquashFS"  –1 +/
Сообщение от slowpoke on 21-Ноя-13, 14:15 
да я только за, вот только для чего это на практике?
Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

18. "Представлены патчи, существенно ускоряющие работу SquashFS"  +1 +/
Сообщение от anonymous (??) on 21-Ноя-13, 14:45 
> да я только за, вот только для чего это на практике?

На практике это для тех мест где нужно одновременно сжатие кучи файлов с сохранением всех posix прав и с возможностью простого монтирования на ro либо немного более сложнее организуемого монтирования на rw.

Конкретно для "корня" в чуть менее чем во ВСЕХ live cd/dvd/usb дистрибутивах используется squashfs и во многих можно даже сохранять свои изменения т.е. есть и то самое rw.

Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

20. "Представлены патчи, существенно ускоряющие работу SquashFS"  +/
Сообщение от Michael Shigorin email(ok) on 21-Ноя-13, 14:47 
> Конкретно для "корня" в чуть менее чем во ВСЕХ live cd/dvd/usb дистрибутивах
> используется squashfs

Кажется, в openSUSE свой совмещённый clicfs.

> и во многих можно даже сохранять свои изменения т.е. есть и то самое rw.

Как уже отмечали, это реализуется оверлейными ФС => на другом уровне.

Впрочем, все и так всё знают. :)

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

40. "Представлены патчи, существенно ускоряющие работу SquashFS"  +1 +/
Сообщение от Led (ok) on 22-Ноя-13, 01:37 
>Как уже отмечали, это реализуется оверлейными ФС => на другом уровне.

Или стандартными "оверлейными" (вернее, CoW-over-md) блок-девайсами (как в федоре).

Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

22. "Представлены патчи, существенно ускоряющие работу SquashFS"  –1 +/
Сообщение от slowpoke on 21-Ноя-13, 15:43 
я не о файловой системе, а конкретно об этом улучшающем патче.
Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

24. "Представлены патчи, существенно ускоряющие работу SquashFS"  +1 +/
Сообщение от anonymous (??) on 21-Ноя-13, 16:43 
> я не о файловой системе, а конкретно об этом улучшающем патче.

А что плохого в более эффективной параллелизации во время когда однопроцессорные системы еще нужно поискать?

Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

25. "Представлены патчи, существенно ускоряющие работу SquashFS"  –1 +/
Сообщение от slowpoke on 21-Ноя-13, 17:04 
плохого то ничего, вот только кому на практике это нужно, кто на практике заметит разницу?
Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

26. "Представлены патчи, существенно ускоряющие работу SquashFS"  +2 +/
Сообщение от anonymous (??) on 21-Ноя-13, 17:55 
> плохого то ничего, вот только кому на практике это нужно, кто на практике заметит разницу?

На практике разницу увидит тот кто это реально использует а не фантазирует на тему "кому же оно нужно? и нужно ли оно вообще?".

Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

46. "Представлены патчи, существенно ускоряющие работу SquashFS"  +/
Сообщение от б.б. on 22-Ноя-13, 07:33 
Но в САМОМ ГЛАВНОМ, в knoppix, используется cloop :)
Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

31. "Представлены патчи, существенно ускоряющие работу SquashFS"  +/
Сообщение от annulen (ok) on 21-Ноя-13, 22:22 
Для embedded-систем, конечно же
Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

37. "Представлены патчи, существенно ускоряющие работу SquashFS"  +/
Сообщение от Аноним (??) on 21-Ноя-13, 23:18 
> Для embedded-систем, конечно же

Также находит применение для ливцд и прочая.

Ответить | Правка | ^ к родителю #31 | Наверх | Cообщить модератору

33. "Представлены патчи, существенно ускоряющие работу SquashFS"  –1 +/
Сообщение от selivan (ok) on 21-Ноя-13, 22:28 
> да я только за, вот только для чего это на практике?

Например у меня из корня в squashfs, загружаемого по tftp, тонкие клиенты работают.

Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

17. "Представлены патчи, существенно ускоряющие работу SquashFS"  +/
Сообщение от Аноним (??) on 21-Ноя-13, 14:42 
> разницу в пару секунд

Ну так хуже никому не станет. А лучше - запросто.

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

21. "Представлены патчи, существенно ускоряющие работу SquashFS"  –1 +/
Сообщение от Xaionaro (ok) on 21-Ноя-13, 15:07 
Я держу backup-образы используя squashfs с xz. Лично для меня этот патч весьма полезен :)
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

27. "Представлены патчи, существенно ускоряющие работу SquashFS"  +/
Сообщение от Аноним (??) on 21-Ноя-13, 18:11 
А ведь не самый плохой способ применения. Заморачивался на дельты? или просто монтируемый через -o loop date-hour:mm:sec.fileext ?
Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

28. "Представлены патчи, существенно ускоряющие работу SquashFS"  +/
Сообщение от anonymous (??) on 21-Ноя-13, 18:40 
> А ведь не самый плохой способ применения. Заморачивался на дельты? или просто
> монтируемый через -o loop date-hour:mm:sec.fileext ?

А зачем там заморочки с дельтами? Если для экономии места то это глупость потому что сжатие {gzip,LZMA,LZO,xz} решает эту проблему и кроме при такой потребности того любой бекап можно просто взять и примонтировать. Так что я вангую что там никаких дельт и близко нет.

Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

48. "Представлены патчи, существенно ускоряющие работу SquashFS"  +/
Сообщение от Аноним (??) on 22-Ноя-13, 09:10 
> глупость потому что сжатие {gzip,LZMA,LZO,xz} решает эту проблему

Ну да, попробуй сжать .avi/.mkv/... хоть чем-то из этого и выиграть более ~десятка процентов в лучшем случае. А вот при использовании бэкапа с дельтами второй раз сохраняться одно и то же не будет.

> такой потребности того любой бекап можно просто взять и примонтировать.

Только места на хранение потребуется вагон.

Ответить | Правка | ^ к родителю #28 | Наверх | Cообщить модератору

29. "Представлены патчи, существенно ускоряющие работу SquashFS"  +/
Сообщение от Сталин on 21-Ноя-13, 19:02 
на openwrt, тот же SquashFSЖдем ускорения иницилизации роутера!
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

30. "Представлены патчи, существенно ускоряющие работу SquashFS"  +/
Сообщение от el torito on 21-Ноя-13, 21:05 
Заодно расскажите, где прикупить роутер с многоядерным процессором за разумные деньги. ;)
P1020EWLAN не предлагать: в наших пердях не продаётся и стоит неразумно.
Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

34. "Представлены патчи, существенно ускоряющие работу SquashFS"  +1 +/
Сообщение от Аноним (??) on 21-Ноя-13, 22:49 
>Кроме того, реализована распаковка сразу в кэш страниц (page cache), что также может >существенно ускорить ряд операций с файловой системой.

Читай целиком новость.

Ответить | Правка | ^ к родителю #30 | Наверх | Cообщить модератору

38. "Представлены патчи, существенно ускоряющие работу SquashFS"  +1 +/
Сообщение от Аноним (??) on 21-Ноя-13, 23:18 
> в наших пердях не продаётся

И почту в ваших пердях не принимают?


Ответить | Правка | ^ к родителю #30 | Наверх | Cообщить модератору

43. "Представлены патчи, существенно ускоряющие работу SquashFS"  +/
Сообщение от Led (ok) on 22-Ноя-13, 03:20 
> Пока не ясно, войдет ли данный патч в состав ядра 3.13

Всё это УЖЕ в мэйнлайне.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

49. "Представлены патчи, существенно ускоряющие работу SquashFS"  –1 +/
Сообщение от Fracta1L (ok) on 23-Ноя-13, 07:59 
ну и где брать эти патчи? я как раз упаковал дерево портежа в squashfs, но паковка очень уж медленная
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

50. "Представлены патчи, существенно ускоряющие работу SquashFS"  +1 +/
Сообщение от Andrey Mitrofanov on 23-Ноя-13, 09:58 
> ну и где брать эти патчи? я как раз упаковал дерево портежа

"Портаджи распаковывать" научился, а по ссылкам ходить - нет?

> в squashfs, но паковка очень уж медленная

Наверное, ещё и новость не прочитал, торопыга? Там не про это.

Ответить | Правка | ^ к родителю #49 | Наверх | Cообщить модератору

51. "Представлены патчи, существенно ускоряющие работу SquashFS"  –1 +/
Сообщение от Fracta1L (ok) on 23-Ноя-13, 11:18 
Ну сходи по ссылкам и найди мне там патчи.
Ответить | Правка | ^ к родителю #50 | Наверх | Cообщить модератору

52. "Представлены патчи, существенно ускоряющие работу SquashFS"  +2 +/
Сообщение от Andrey Mitrofanov on 23-Ноя-13, 11:53 
> Ну сходи по ссылкам и найди мне там патчи.

lkml.org/lkml/2013/11/19/627 На, убогий, пользуйся. Я сегодня добрый.

Ответить | Правка | ^ к родителю #51 | Наверх | Cообщить модератору

53. "Представлены патчи, существенно ускоряющие работу SquashFS"  +/
Сообщение от Led (ok) on 23-Ноя-13, 22:56 
> ну и где брать эти патчи? я как раз упаковал дерево портежа
> в squashfs, но паковка очень уж медленная

git://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux-2.6.git

Ответить | Правка | ^ к родителю #49 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру