The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Arch Linux перешёл на использование алгоритма zstd для сжати..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от opennews (??), 05-Янв-20, 09:59 
Разработчики Arch Linux сообщили о переводе схемы упаковки пакетов с алгоритма xz (.pkg.tar.xz) на  zstd (.pkg.tar.zst). Пересборка пакетов в формат zstd привела к суммарному увеличению  размера всех пакетов на 0.8%, но обеспечило сокращение времени распаковки на 1300%. Как следствие, переход на zstd приведёт к заметному увеличению скорости установки пакетов. В настоящее время в репозитории с использованием алгоритма zstd уже сжато 545 пакетов, остальные пакеты будут переведены на zstd по мере формирования для них обновлений...

Подробнее: https://www.opennet.dev/opennews/art.shtml?num=52139

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  –7 +/
Сообщение от Аноним (-), 05-Янв-20, 09:59 
молодцы фейсбуковцы, красавчики
Ответить | Правка | Наверх | Cообщить модератору

3. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (3), 05-Янв-20, 10:50 
NSA с вами согласно.
Ответить | Правка | Наверх | Cообщить модератору

6. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (6), 05-Янв-20, 11:22 
Безопасности много не бывает.
Ответить | Правка | Наверх | Cообщить модератору

97. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от sgv (??), 11-Янв-20, 08:24 
How does using free software, written by Facebook employees, for compressing data - affect the privacy of its users?
Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

12. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +10 +/
Сообщение от Аноним (12), 05-Янв-20, 12:36 
Yann Collet - молодец, остальные не при чем)
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

55. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Anonn (?), 05-Янв-20, 21:15 
нИ при чём
Ответить | Правка | Наверх | Cообщить модератору

66. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +2 +/
Сообщение от S_Paul (??), 06-Янв-20, 09:59 
Здесь "не".
Ответить | Правка | Наверх | Cообщить модератору

68. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от anonymous (??), 06-Янв-20, 11:02 
То есть Yann Collet делал это не за зарплату Facebook-а (а как личный проект)?
Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

82. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (82), 06-Янв-20, 19:56 
Тогда ему стоит присмотреться к опыту Игоря Сысоева.
Ответить | Правка | Наверх | Cообщить модератору

2. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  –6 +/
Сообщение от Аноним (2), 05-Янв-20, 10:39 
А когда на openrc перейдет?
Ответить | Правка | Наверх | Cообщить модератору

49. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от burjui (ok), 05-Янв-20, 18:37 
А зачем?
Ответить | Правка | Наверх | Cообщить модератору

51. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от N (?), 05-Янв-20, 20:10 
А где тогда читать нормальные доки по systemd с примерами?
Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

53. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +1 +/
Сообщение от Аноним (82), 05-Янв-20, 20:54 
> А когда на openrc перейдет?

Как только он перестанет виснуть https://bugs.gentoo.org/391945
> 2011-11-26 09:15:19 UTC
> After installing sys-apps/openrc-0.9.6 and rebooting system boot process stops after attempting to start the /etc/init.d/modules (most likely the other services are waiting for this service will fulfill).
> Reproducible: Always
> Modified:     2019-07-09 10:41 UTC
> Status:     CONFIRMED

За 8 лет так и не починили. Хорошо у генты с разработчиками.

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

67. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от anonymous (??), 06-Янв-20, 10:59 
Исправление готово было в 2014-ом году и до сих пор используется в Debian (и успешно работает). В upstream оно не включено так как на Gentoo эта проблема проявляется крайне редко, и рассмотрение патча и его merge откладываются. Но никто не мешает в Arch Linux просто наложить патч (можно тупо из Debian-а взять, ибо там он поддерживается в актуальном состоянии).
Ответить | Правка | Наверх | Cообщить модератору

80. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (82), 06-Янв-20, 19:52 
> Исправление готово было в 2014-ом году

И с тех пор не нашлось ни одного разработчика openrc, имеющего достаточную квалификацию, чтобы его интегрировать.
Потому что изначальный разработчик openrc свалил из генты больше 10 лет назад, а нынешние мейнтейнеры умеют только в скрипты.

> до сих пор используется в Debian (и успешно работает)

В Debian — вряд ли, там systemd. Написанный человеком, который изучал теорию графов.

> В upstream оно не включено так как на Gentoo эта проблема проявляется крайне редко

Редко, потому что rc_parallel по умолчанию выключен. А выключен он из-за этого бага.

> рассмотрение патча и его merge откладываются

До появления первого разработчика openrc, способного разобраться, как работает этот патч.
Что произойдёт примерно никогда.

Ответить | Правка | Наверх | Cообщить модератору

89. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от anonymous (??), 07-Янв-20, 10:20 
> В Debian — вряд ли, там systemd

Что значит "вряд ли"? Это факт, пойдите и посмотрите сами.

> Редко, потому что rc_parallel по умолчанию выключен. А выключен он из-за этого бага.

Знакомые мне гунтушники держат этот флаг включённым.

Ответить | Правка | Наверх | Cообщить модератору

4. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  –7 +/
Сообщение от Аноним (4), 05-Янв-20, 10:53 
>Пересборка пакетов в формат zstd привела к суммарному увеличению размера пакетов на 0.8%, но обеспечило сокращение времени распаковки на 1300%.

Вот нафиг.

В 7zip, кстати, поддержки zstd до сих пор нет. Как и многого другого. Форк есть, но его что-то не влили в апстрим.

Ответить | Правка | Наверх | Cообщить модератору

5. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +6 +/
Сообщение от Аноним (5), 05-Янв-20, 11:16 
Вам же написали: время распаковки (при установке) пакетов уменьшилось в 13 раз.
Ответить | Правка | Наверх | Cообщить модератору

8. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +48 +/
Сообщение от Аноним (8), 05-Янв-20, 11:57 
Не "в 13 раз", а "на 1300%", то есть, если раньше пакет распаковывался за 10 секунд, то сейчас за 10 - 10 * (1300%/100%) = -120 секунд. За две минуты до начала его распаковки он уже распакован! Это вам не какое-то жалкое "пятилетку за 4 года".
Ответить | Правка | Наверх | Cообщить модератору

11. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +11 +/
Сообщение от Омоним (?), 05-Янв-20, 12:26 
Очень не хватало логичного объяснения. Спасибо.
Ответить | Правка | Наверх | Cообщить модератору

17. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (17), 05-Янв-20, 13:09 
перевод "хороший" просто, deepl и то лучше переводит

> Recompressing all packages to zstd with our options yields a total ~0.8% increase in package size on all of our packages combined, but the decompression time for all packages saw a ~1300% speedup.

Перекомпрессия всех пакетов в zstd с нашими опциями дает общее ~0.8% увеличение размера пакета на всех наших пакетах вместе взятых, но время распаковки для всех пакетов показало ускорение ~1300%.

Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору

26. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +1 +/
Сообщение от Аноним (17), 05-Янв-20, 15:03 
если было 10 сек то стало меньше секунды, а точнее (10с*100%)/1300% = 10/13 с
из за кривого перевода всё смешалось
Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору

28. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (17), 05-Янв-20, 15:07 
обновился, реально заметно быстрее установка(распаковка) пакетов прошла чем раньше
Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору

45. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (45), 05-Янв-20, 17:29 
Может сложиться впечатление, что "быстрее" не то же самое что "меньше времени", но на самом деле это типичная ошибка с процентами.
Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору

73. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Адекват (ok), 06-Янв-20, 14:26 
потом будет новость опровержение, что не 1300% а 130%, просто опечатка мол была, приносим извинения.
Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору

19. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +1 +/
Сообщение от Аноним (19), 05-Янв-20, 13:39 
На 1300% - это в 14 раз
Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

27. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (17), 05-Янв-20, 15:06 
обновился, реально заметно быстрее установка(распаковка) пакетов прошла чем раньше
Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

39. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +1 +/
Сообщение от Минона (ok), 05-Янв-20, 16:50 
В 14
Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

7. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  –3 +/
Сообщение от Аноним (6), 05-Янв-20, 11:23 
Никто и не говорил что 7zip нужен.
Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

9. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +1 +/
Сообщение от Аноним (9), 05-Янв-20, 12:08 
Ну если стоит вопрос обмена с вендокомпами, то нужен. Не пропретарный же RAR и не неумеющий в Юникод ZIP использовать.
Ответить | Правка | Наверх | Cообщить модератору

14. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +1 +/
Сообщение от Аноним (14), 05-Янв-20, 12:42 
Что-то я прозреваю, что для пакетов арчлялексп вопрос распаковки под виндовсом не стоит.
Ответить | Правка | Наверх | Cообщить модератору

20. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +1 +/
Сообщение от Аноним (20), 05-Янв-20, 14:07 
> не неумеющий в Юникод ZIP

Недавно пришлось разбираться с этим вопросом, и могу точно сказать: зим (формат) поддерживает уникод. Для этого при запаковке нужно установить в поле флагов бит 11. https://github.com/gildas-lormeau/zip.js/issues/131

Ответить | Правка | К родителю #9 | Наверх | Cообщить модератору

21. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (20), 05-Янв-20, 14:12 
> зим (формат)

*зип

Ответить | Правка | Наверх | Cообщить модератору

40. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +3 +/
Сообщение от Dzen Python (ok), 05-Янв-20, 16:51 
Файл?
Ответить | Правка | Наверх | Cообщить модератору

57. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (20), 05-Янв-20, 21:48 
Что?
Ответить | Правка | Наверх | Cообщить модератору

61. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (61), 05-Янв-20, 23:40 
Где?
Ответить | Правка | Наверх | Cообщить модератору

64. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (20), 06-Янв-20, 00:42 
Что "Файл?"?

Да, зип-архив, в котором имена файлов содержат юникод. Эмоджей, возможно, не будет, но кириллицу допускает, причём все проверенные утилиты распаковывают корректно.

Ответить | Правка | Наверх | Cообщить модератору

65. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от maximnik0 (?), 06-Янв-20, 03:36 
>Форк есть, но его что-то не влили в апстрим.

Читал ответ автора 7зипа.Форк зделан не по фен-шую,использует костыли :-)
А если серьезно форк неправильно сделан-автор предлагает систему плагинов для внешней обработки контейнеров, что то неправильно в формате контейнера в форке,ломаеться совместимость с стандартом архивов.

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

93. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Онаним (?), 07-Янв-20, 23:43 
Так и есть там в форке код глючный и лучше им вообще не пользоваться, одни баги.
Ответить | Правка | Наверх | Cообщить модератору

10. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  –3 +/
Сообщение от Аноним (10), 05-Янв-20, 12:21 
Арч лучший дистр, нодискасс
Ответить | Правка | Наверх | Cообщить модератору

18. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от N (?), 05-Янв-20, 13:33 
возвращайся в /s/ с такими возгласами
Ответить | Правка | Наверх | Cообщить модератору

13. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +2 +/
Сообщение от Аноним (12), 05-Янв-20, 12:38 
остались ядро и initramfs перевести на zstd
Ответить | Правка | Наверх | Cообщить модератору

16. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (17), 05-Янв-20, 13:00 
да вроде уже пилять поддержку zstd, да и тот же dracut вроде как умеет
Ответить | Правка | Наверх | Cообщить модератору

85. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  –1 +/
Сообщение от анонимуслинус (?), 06-Янв-20, 20:50 
странно я всегда думал что арчеводам нравится все кампелять, а они решили сократить время распаковки. этож не по "экспертному"))) или они решили увеличить время для кампеляния с разными флагами?))
Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

15. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +5 +/
Сообщение от Аноним (15), 05-Янв-20, 12:57 
Отрицательное время - это новое слово в сжатии.
Ответить | Правка | Наверх | Cообщить модератору

43. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (4), 05-Янв-20, 17:24 
Алексей Б. одобряет.
Ответить | Правка | Наверх | Cообщить модератору

46. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (45), 05-Янв-20, 17:35 
Вот поэтому детей нужно учить не процентам, а дробям.
Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

95. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (95), 09-Янв-20, 00:46 
Детей учат и тому, и другому.
Ответить | Правка | Наверх | Cообщить модератору

22. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +3 +/
Сообщение от Аноним (22), 05-Янв-20, 14:23 
А исключительно автономные разработчики ROSA ожидаемо не осилили прикрутить поддержку zstd к rpm5. Теперь переходят на rpm4, где это сделали за них.
Ответить | Правка | Наверх | Cообщить модератору

24. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +10 +/
Сообщение от Аноним (24), 05-Янв-20, 14:43 
Неужели кто-то в здравом уме и доброй памяти будет пользоваться ROSA?
Ответить | Правка | Наверх | Cообщить модератору

25. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  –1 +/
Сообщение от Аноним (22), 05-Янв-20, 15:01 
Что бы можно было говорить о "будет", она перед тем должна выйти.))) Там лаг с выпуском в полтора года, и это только цветочки.
Ответить | Правка | Наверх | Cообщить модератору

48. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от burjui (ok), 05-Янв-20, 18:35 
Если навяжут на работе, но тогда уже встанет вопрос о здравомыслии сисадмина.
Ответить | Правка | К родителю #24 | Наверх | Cообщить модератору

69. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (69), 06-Янв-20, 12:08 
Если и обяжут то тут прежде всего речь о начальстве. Хотя если обяжут то есть выбор брать феншуйный Альт. Там из заскоков только rpm4 через apt.
Ответить | Правка | Наверх | Cообщить модератору

71. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от mumu (ok), 06-Янв-20, 12:27 
Заставят. Или становишься иностранным агентом, или переходишь на скрепную росу.
Ответить | Правка | К родителю #24 | Наверх | Cообщить модератору

74. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (22), 06-Янв-20, 14:31 
Вообще-то так называемая "скрепа" той ROSA "люди - неблагодарный свиньи" не имеет ничего общего с Россией. Разве что, в известное время был отдан приказ о её носителях: "эсэсовцев в плен не брать".
Ответить | Правка | Наверх | Cообщить модератору

76. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от mumu (ok), 06-Янв-20, 15:57 
На тендерах уже сейчас часто запрещается играть ОС, не соответствующие приказам фстэк.
Вот и выбираешь между росой, мсвс (она ещё жива?) и ещё чем похуже.
Вот прямо сейчас мы используем отечественные файрволы (т.к. обязаны), а за ними уже ставим нормальные. Так и живём.
Ответить | Правка | Наверх | Cообщить модератору

77. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (22), 06-Янв-20, 16:15 
Есть же ALT, Astra. Та ROSA, которая с сертификатами, это CentOS. Не знаю, кто её делает. Разрабы сертифицированных версий не были замечены в попытках реанимировать трупик ROSA Fresh в тяжелые для той времена.
Ответить | Правка | Наверх | Cообщить модератору

86. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от анонимуслинус (?), 06-Янв-20, 20:59 
вообще да та роса , что фстек это точно центось. та что фри это уже та самая купленная мандрива(бренд). к слову сказать опенмандрива слилась почти полностью, магея... ну о ней я мало что слышу в последнее время и к слову ничего хорошего. впрочем роса р12 была вполне себе рабочей системой. а вот последние 1.5, 2 года у них застой реально. что то делают а дистра все нет. кстати попробовал линукс минт с синамоном . он жрет как не в себя. со старта 800-900 мб. при чем плавает то к 800, то 900 мб. что он там делает пока не понял. кеды 5 пока лучше всех , не считая тайловых wm. у них тольк 420-440 мб со старта. а zstd считаю лишним пока он не оттестирован, а то получится что один и тот же пакет а проги разные)))) то есть то что от них осталось.
Ответить | Правка | Наверх | Cообщить модератору

94. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (22), 08-Янв-20, 18:01 
Если так хотите форк Mandriva, обратите внимание на ALT. Там действительно спецы и занимаются делом, полностью заменили своей разработкой *drak-скрипты, которые в ROSA протухли и теперь тормозят развитие. Только там apt вместо urpmi (что лучше, как по мне).
Ответить | Правка | Наверх | Cообщить модератору

81. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  –1 +/
Сообщение от Аноним (82), 06-Янв-20, 19:55 
> Заставят. Или становишься иностранным агентом, или переходишь на скрепную росу.

Намекаете, что на либерально-демократичной винде жить лучше?

Ответить | Правка | К родителю #71 | Наверх | Cообщить модератору

23. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  –2 +/
Сообщение от EuPhobos (ok), 05-Янв-20, 14:28 
xz ведь может в многопоточности распаковываться. Стоило ли того, этот переход?
Ответить | Правка | Наверх | Cообщить модератору

30. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +1 +/
Сообщение от Анонец (?), 05-Янв-20, 15:21 
А сколько нужно потоков, чтобы получить ускорение в 13 раз?
Ответить | Правка | Наверх | Cообщить модератору

32. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (22), 05-Янв-20, 15:40 
> А сколько нужно потоков, чтобы получить ускорение в 13 раз?

18. В первом приближении.

Ответить | Правка | Наверх | Cообщить модератору

56. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  –3 +/
Сообщение от фёдор (?), 05-Янв-20, 21:36 
13?
Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

31. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +2 +/
Сообщение от Аноним (31), 05-Янв-20, 15:39 
Дело в том, что у xz нет преимуществ. Скажем, на максимальном уровне сжатия zstd сжимает лучше xz на максимальном уровне, и быстрее при этом. Время распаковки это конечно основное (что вы там распаковывать в несколько потоков собираетесь?), но всё же. А как формат, xz тоже не очень подходит для архивного хранения, поскольку менее устойчив к повреждениям, чем тот же gz.
Ответить | Правка | К родителю #23 | Наверх | Cообщить модератору

35. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (35), 05-Янв-20, 15:48 
>Скажем, на максимальном уровне сжатия zstd сжимает лучше xz на максимальном уровне

та ладно! где пруфы? что он лучше жмет? бинарники?

Ответить | Правка | Наверх | Cообщить модератору

36. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (31), 05-Янв-20, 16:01 
Бинарники лучше сжимает zpaq, но вообще да, я сравнивал их на профиле вайна, так что бинарники.
Ответить | Правка | Наверх | Cообщить модератору

70. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (69), 06-Янв-20, 12:09 
Спасибо теперь все запаковал теперь ничего не распаковывается что делать?
Ответить | Правка | Наверх | Cообщить модератору

79. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (31), 06-Янв-20, 17:44 
> Спасибо теперь все запаковал теперь ничего не распаковывается что делать?

Запаковал zpaq? Как именно то? Там у разных фильтров разная эффективность, поэтому я возможно не сталкивался с битыми файлами (использовал только наиболее эффективные). А он точно целый, а не побился в процессе? Сам zpaq собран из исходников?

Ответить | Правка | Наверх | Cообщить модератору

37. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (4), 05-Янв-20, 16:03 
>Скажем, на максимальном уровне сжатия zstd сжимает лучше xz на максимальном уровне, и быстрее при этом.

Это не так. zstd очень тормозной. Особенно если использовать расшаренный словарь. Использую его только потому, что в других либах нет API для создания оптимального словаря.

Ответить | Правка | К родителю #31 | Наверх | Cообщить модератору

38. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (31), 05-Янв-20, 16:08 
>>Скажем, на максимальном уровне сжатия zstd сжимает лучше xz на максимальном уровне, и быстрее при этом.
> Это не так. zstd очень тормозной. Особенно если использовать расшаренный словарь. Использую
> его только потому, что в других либах нет API для создания
> оптимального словаря.

Разве? 22 уровня уже не достаточно? Может у вас там памяти не хватает и оно свопится, в таком случае используйте однопоточный режим.

Ответить | Правка | Наверх | Cообщить модератору

42. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  –1 +/
Сообщение от Аноним (4), 05-Янв-20, 17:23 
>Может у вас там памяти не хватает и оно свопится, в таком случае используйте однопоточный режим.

8 гигов не хватает для сжатия жалких 100 мегов?

>22 уровня уже не достаточно

Недостаточное. лзма 2 лучше.

Ответить | Правка | Наверх | Cообщить модератору

44. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (31), 05-Янв-20, 17:26 
>не хватает

Мне не хватало для сжатия 600, так что это вполне вероятно. 1 поток 6 гигабайт что ли был.

Ответить | Правка | Наверх | Cообщить модератору

58. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +2 +/
Сообщение от НяшМяш (ok), 05-Янв-20, 22:08 
Глянул на оффтопике в 7-Zip требования по памяти для упаковки с алгоритмом LZMA2 на "нормальном" уровне сжатия.

Стандартный 16-мегабайтный словарь требует 1376 мегабайт для упаковки.
Словарю в 128 мегабайт уже нужно 7456 мегабайт оперативки.

Ответить | Правка | К родителю #42 | Наверх | Cообщить модератору

33. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +4 +/
Сообщение от Shevchuk (ok), 05-Янв-20, 15:47 
Стоило. При прочих равных xz, может, и сжимает чуть-чуть лучше, но сильно медленнее в распаковке. Когда сжимаешь один раз, а распаковываешь много раз — очевидно, что оптимизмровать стоит именно последнее.

Та же проблема у snap, кстати, из-за чего все ругают его за медленный первый запуск приложений — уверен, они в итоге тоже придут к zstd по дефолту или как минимум в качестве опции.

Ответить | Правка | К родителю #23 | Наверх | Cообщить модератору

62. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  –3 +/
Сообщение от Аноним (61), 06-Янв-20, 00:21 
сжимаешь 1 раз дистрибутив, распаковываешь 1 раз дистрибутив. да ты интеллектуал.
Ответить | Правка | Наверх | Cообщить модератору

63. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +1 +/
Сообщение от Shevchuk (ok), 06-Янв-20, 00:32 
Сколько пользователей ставят/обновляют пакет, столько раз и распаковывается. Если у вашего дистрибутива один пользователь, то вам лично разрешаю распаковывать один раз, да.
Ответить | Правка | Наверх | Cообщить модератору

41. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +2 +/
Сообщение от Аноним84701 (ok), 05-Янв-20, 17:16 
> xz ведь может в многопоточности распаковываться. Стоило ли того, этот переход?

"Да. Но пока нет." ©

man xz из xz-utils
> Threaded decompression hasn't been  implemented  yet. It will only work on files that contain multiple blocks with size information in block headers.  

Ну и есть некоторые сомнения, что запуск 18 (как тут советовали выше) потоков на 2-4-8 физ. ядрах выдаст ожидаемый 13+ кратный "буст".

Ответить | Правка | К родителю #23 | Наверх | Cообщить модератору

50. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (22), 05-Янв-20, 19:01 
>> xz ведь может в многопоточности распаковываться. Стоило ли того, этот переход?
> "Да. Но пока нет." ©
> man xz из xz-utils
>> Threaded decompression hasn't been  implemented  yet. It will only work on files that contain multiple blocks with size information in block headers.

И ещё там же интересен предшествующий абзац о сжатии, из которого следует вывод, что при разбивке на блоки сжатие ухудшится (насколько -- это другой вопрос).

> Ну и есть некоторые сомнения, что запуск 18 (как тут советовали выше)
> потоков на 2-4-8 физ. ядрах выдаст ожидаемый 13+ кратный "буст".

Это там имелось ввиду 18 аппаратных потоков, конечно же. Виноват, что непонятно написал. То есть 13-ти (ядер) недостаточно для 13-ти кратного ускорения -- из-за нелинейности роста производительности при распараллеливании.

Ответить | Правка | Наверх | Cообщить модератору

52. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +1 +/
Сообщение от Аноним (31), 05-Янв-20, 20:14 
Оно действительно ухудшается, в этом можно убедится лично. Самое неприятное конечно, что файл будет отличаться от другого такого же файла и они не воспроизводимые. При кодировании в 1 поток хотя бы можно быть уверенным, что из одинаковых файлов получится одинаковый результат.
Ответить | Правка | Наверх | Cообщить модератору

34. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +1 +/
Сообщение от Аноним (35), 05-Янв-20, 15:47 
>Скажем, на максимальном уровне сжатия zstd сжимает лучше xz на максимальном уровне

та ладно. где пруфы? что он лучше жмет? бинарники?

Ответить | Правка | Наверх | Cообщить модератору

47. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  –7 +/
Сообщение от Анонимчик (?), 05-Янв-20, 18:22 
Арч похоже дикий тормоз на самом деле, интересно сколько мильенов пакетов каждый из этих сумасшедших арчеров их там себе выкачивает и распаковывает. Винда быстрее ставится похоже) Слава Генту. Мухаха.
Ответить | Правка | Наверх | Cообщить модератору

54. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (82), 05-Янв-20, 20:57 
То, что гентушники сидят на винде, уже давно не новость. Одна ОС — для компеляния, другая — для работы. Накомпелять себе что-то рабочее они так и не смогли.
Ответить | Правка | Наверх | Cообщить модератору

59. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от timur.davletshin (ok), 05-Янв-20, 22:15 
У арчика на самом деле проблемы с лицензиями в пакетах. Оппортунистически всё доступное в Сети пакуют. Это какое-то неуважение к оупенсорсу.
Ответить | Правка | К родителю #47 | Наверх | Cообщить модератору

60. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +2 +/
Сообщение от Аноним (4), 05-Янв-20, 22:40 
Это скорее к копирастам, чем к опенсорсу.
Ответить | Правка | Наверх | Cообщить модератору

83. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (82), 06-Янв-20, 19:59 
Респект ребятам, всё правильно делают. Уважать копирастов — не уважать себя.
Ответить | Правка | Наверх | Cообщить модератору

84. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (82), 06-Янв-20, 20:01 
> арчика на самом деле проблемы
> всё доступное
> пакуют

Не вижу в этом никакой проблемы.

Ответить | Правка | К родителю #59 | Наверх | Cообщить модератору

78. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от username993 (?), 06-Янв-20, 16:55 
что круто в линуксе после перехода с винды так это обновления. особенно знаменитые обновления десятки, которые, когда начинают самовольно ставиться, особенно весело когда не ssd.. особенно весело когда после 40 минут  ожидания "что-то пошло не так" и откат обновлений.. арч из бэкапа, сделанного год назад, обновился за 10 минут (хоть и пришлось пару раз глянуть из-за изменений с некоторыми пакетами).
Ответить | Правка | К родителю #47 | Наверх | Cообщить модератору

72. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (72), 06-Янв-20, 13:14 
Подскажите где в mc (midnight commander) добавить просмотр zst архивов?
Ответить | Правка | Наверх | Cообщить модератору

75. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (75), 06-Янв-20, 14:58 
Обновить?

https://midnight-commander.org/ticket/3906

Ответить | Правка | Наверх | Cообщить модератору

87. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +1 +/
Сообщение от Онаним (?), 07-Янв-20, 08:32 
>  0.8%

Ложь. Чтобы потерять 1% в объеме они должны были использовать --long=31 --ultra сжатие с которыми работает очень долго даже против lzma2, и жрет в разы больше рамы.


193 МБ firefox.tar виндовый nightly

59с, 630мб рамы, 51.8 МБ firefox.tar.xz ультра lzma2

1м 44с, 900мб рамы, 55,5 МБ zstd --long=31 -22 -T4 --ultra firefox.tar -o firefox.tar.zstd

Ответить | Правка | Наверх | Cообщить модератору

88. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Онаним (?), 07-Янв-20, 08:43 
По скорости сжатия/объему результата, zstd тоже проигрывает
61,1 МБ lzma2 quick
63,6 МБ zstd -9 --long=31

Сами поиграйтесь в терминале, например на бинарном архиве firefox, libreoffice, steam. Преимущество zstd в быстром сжатии при низкой степени в ущерб размеру, и конечно же очень быстрой распаковке.

Но говорить 0.8% потеря наглая ложь.

Ответить | Правка | Наверх | Cообщить модератору

92. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (31), 07-Янв-20, 22:10 
>ложь

Я сравнивал на разных смешанных датасетах xz -9 и zstd -22, так zstd был на 25% быстрее, хоть и больше памяти требовал. И файлы на несколько процентов меньше выходили, главное только словарь побольше обоим (пока памяти хватает). А ведь есть ещё и xz -9e который вообще нецелесообразно использовать, и долгая распаковка сводит на нет 0.1% выигрыш в сжатии.

И поскольку zstd распаковывает в тысячи раз быстрее, я не понимаю почему lzma вообще кто-то пользуется сегодня (в век быстрого интернета и бесконечных дисков).

Ответить | Правка | Наверх | Cообщить модератору

96. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (96), 09-Янв-20, 02:45 
Дык если 90% репозитория это python, perl опакеченые скрипты то 10% полностью бинарных данных не делают погоды. Я же просто констатирую факт что их математика идентична той что применяют в расчете средней зарплаты по РФ.
Ответить | Правка | Наверх | Cообщить модератору

90. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Главный Ананим (ok), 07-Янв-20, 14:36 
Так что Арчеведы наврали всё таки? Manual intervention required.
Ответить | Правка | К родителю #87 | Наверх | Cообщить модератору

91. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  –1 +/
Сообщение от Главный Ананим (ok), 07-Янв-20, 14:38 
2019-08-26 astyle>=3.1-2 update requires manual intervention
2019-08-20 tensorflow>=1.14.0-5 update requires manual intervention
2019-07-11 libbloom>=1.6-2 update requires manual intervention
2019-06-27 mariadb 10.4.x update requires manual intervention
2018-07-14 libutf8proc>=2.1.1-3 update requires manual intervention
2018-05-04 js52 52.7.3-2 upgrade requires intervention
2018-04-20 glibc 2.27-2 and pam 1.3.0-2 may require manual intervention
2018-02-22 zita-resampler 1.6.0-1 -> 2 update requires manual intervention
Я всё сказал.
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру