URL: https://www.opennet.dev/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 118743
[ Назад ]
Исходное сообщение
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено opennews , 16-Окт-19 22:32 
Разработчики Arch Linux предупредили о намерении задействовать поддержку алгоритма сжатия zstd в пакетном менеджере pacman. По сравнению с алгоритмом xz, использование zstd позволит ускорить операции сжатия и распаковки пакетов, сохранив при этом уровень сжатия. Как следствие, переход на zstd приведёт к увеличению скорости установки пакетов...

Подробнее: https://www.opennet.dev/opennews/art.shtml?num=51687

Содержание
Сообщения в этом обсуждении
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Анонимарчевод , 16-Окт-19 22:32 
libarchive-3.4.0-2 is up to date
Надеюсь, не развалится ничего)
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено анонн , 16-Окт-19 22:53 
> libarchive-3.4.0-2 is up to date
> Надеюсь, не развалится ничего)

Главное, чтобы "опоздавшим" не предлагали потом качать обновление либы исключительно в новом формате ))

"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено бородатый анекдот , 17-Окт-19 00:08 
pkunzip.zip
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 17-Окт-19 05:18 
да ладно, когда еще представится возможность арчь заново засетапить.
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Адекват , 17-Окт-19 10:02 
Это у них регулярно бывает, но только для "ретроградов", кто не любит обмазываться обновлениями.
Арч не для слоупоков ! Не успел обновится вовремя - будь готов, что система поломается после обновления.
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 19-Окт-19 18:39 
Чушь.
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 16-Окт-19 22:32 
Давно пора. Объективно у xz не осталось преимуществ.
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено лох , 16-Окт-19 22:41 
Жмёт лучше, но это ведь в компрессоре не главное.
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 16-Окт-19 22:50 
Кстати, на максимальном уровне (-22) zstd почти догоняет xz, ценой более низкой скорости сжатия
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 16-Окт-19 22:54 
Но BCJ-фильтров у zstd, конечно, нет
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Licha Morada , 17-Окт-19 01:14 
Именно, и для данного кейса скорость распаковки гораздо важнее скорости сжатия. Сжимают один раз в центральной локации. Распаковывают N раз много где.
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 17-Окт-19 06:09 
Когда я сравнивал, zstd22 сжатие было на ~25% быстрее xz9 и размер файла чуть меньше (не твикал словари, фильтры не применял).

Ладно, вот. Датасет - профиль вайна 910 мегабайт: шрифты, x86 бинарники, картиночки с музыкой и прочее такое.

ztsd упаковка-lvl22 2 ядра (я просил 4):
  real    3m29.279s
  user    6m32.582s
  sys     0m3.763s
xz упаковка-lvl9 4 ядра:
  real    2m42.224s
  user    7m48.491s
  sys     0m3.690s
ztsd распаковка-lvl22:
  real    0m2.015s
  user    0m1.488s
  sys     0m1.003s
xz распаковка-lvl9:
  real    0m29.189s
  user    0m28.903s
  sys     0m1.653s
ls:
  size: 536M wine64.txz
  size: 520M wine64.tzst

  
равноценное сравнение в 1 поток

ztsd упаковка-lvl22 1 ядро:
  real    6m2.871s
  user    6m1.840s
  sys     0m1.518s
xz упаковка-lvl9 1 ядро:
  real    7m4.353s
  user    7m3.221s
  sys     0m3.845s
xz упаковка-lvl9 1 ядро, словарь 512мб (это чуточку не реалистично, для справки):
  real    7m16.507s
  user    7m13.261s
  sys     0m6.403s

size: 506M wine64_(dict-512).txz
size: 535M wine64.txz
size: 520M wine64.tzst

Скорость распаковки в 15 раз быстрее в любом случае однозначно перевешивает в пользу zstd. Вероятно, разница может быть связана с тем, что компрессор не дедуплицирует одинаковые файлы, попавшие за "окно", и в словарь 512 попадают все данные в данном случае. Как поменять размер словаря для zstd я не нашёл, памяти потребляет zstd22 примерно одинаково с xz9

"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 17-Окт-19 06:13 
zstdmt --ultra -22 --zstd=hashLog=26,chainLog=28,searchLog=26

это все равно потребляет памяти меньше, чем

env XZ_OPT="-T1 -9e --lzma2=dict=512M,lc=2,pb=0,nice=273 --block-size=512M" xz

"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 17-Окт-19 06:29 
zstd -T1 --ultra -22 --zstd=hashLog=26,chainLog=28,searchLog=26:
  real    5m44.810s
  user    5m43.517s
  sys     0m1.692s

ls:
  519M wine64.tzst

чуть быстрее и файл незначительно меньше, но памяти больше необходимо.

"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено asdasds , 17-Окт-19 10:15 
А вы после запаковки / распаковки sync то вызывали?
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 17-Окт-19 11:09 
Я думаю, это не имеет значения. У меня ссд, он только удаляет файлы медленно.
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено X4asd , 17-Окт-19 12:42 
> А вы после запаковки / распаковки sync то вызывали?

я вообще надеялся что тесты проводили в tmpfs..

это ведь кем нужно быть чтобы помимо сжатия ещё и жёсткий диск замерять :-)

"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 17-Окт-19 16:50 
>кем нужно быть

Cкорее кем нужно не быть: нужно не быть хомячком, чтобы не мерять синтетику. ;)

"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 17-Окт-19 11:09 
У xz распаковка в один поток.
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 17-Окт-19 17:04 
Не совсем понимаю, что ты хочешь сказать. У них у всех распаковка в один поток.
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено ievoochielaPh5Ph , 19-Окт-19 15:52 
pixz просил тебе передать, что бы ты его не ставил :-D
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 16-Окт-19 22:51 
Заодно потестите. Люблю Arch пользователей.
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 16-Окт-19 23:23 
А что по этому поводу думают научные инженеры ALT Linux?
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 16-Окт-19 23:31 
С переменным успехом использую zstd в своей библиотеке для кэширования. Жмёт лучше чем всё остальное - но это только потому, что я не нашёл функции построения оптимального словаря в питоних биндингах для lzma, поэтому пока чтт lzma словарь не шарит, а zstd - шарит. Но если будет функция для lzma, то скорее всего zstd будет порвано.

Для этого биндинги zstd к питону пришлось пропатчить: старая функция генерации словаря работает чертовски медленно, а новую в биндинги не завезли. Ещё недостаток - крайне отвратительная документация zstd и генерация словаря не всегда успешна.

"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено DerRoteBaron , 17-Окт-19 00:00 
Это при том, что у них в арче используется однопоточный xz и в репозиториях даже нет параллельного аналога -- pxz, который на современных многоядерных машинах существенно быстрее однопоточного xz, а пакеты все равно распаковываются последовательно
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 17-Окт-19 05:06 
не трындите, --threads=0 выручает
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено helloworld , 17-Окт-19 09:55 
Многопоточный xz выдаёт разные архивы для разного числа ядер. Считается, что это неприемлемо, должна быть полная повторяемость.
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 17-Окт-19 06:15 
однопоточный xz лучше жмёт
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено helloworld , 17-Окт-19 09:57 
Какие только легенды про арч не услышишь.

https://www.archlinux.org/packages/community/x86_64/pixz/

"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 17-Окт-19 00:03 
Там нельзя указать, что сначала должен такой-то пакет быть установлен и сконфигурирован? Как страшно жить в арчемирке.
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено feresey , 17-Окт-19 00:29 
При обновлении все необходимые пакеты сами притянутся
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 17-Окт-19 00:36 
Если ты, вдруг, не заметил - новость для дико опаздавших с обновлением, которые застрянут с новыми пакетами и старым parchive. Никакие хуки здесь не помогут
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 17-Окт-19 06:38 
Это не хуки должны сделать, родной, а нормальное описание пакетов.
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено ig0r , 17-Окт-19 10:34 
Зависимости пакетов хранятся внутри пакетов, если формат пакета поменяется, а пакетный менеджер не сможет его прочитать, то и зависимости он установить не сможет. Я удивлён что есть люди которым это нужно объяснять.
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Анонимус2 , 18-Окт-19 23:10 
Т.е. сначала ты качаешь пакет, распаковывешь, потом понимаешь что нужно скачать ещё 2, качаешь их, распаковываешь. Потом на 5 итерации понимаешь что одной из зависимостей не хватает и шлешь пользователя после получаса ожидания?
Переходи на нормальный пакетный менеджер, где мета-информация о всех пакетах дублируется в отдельном файле в репозитории и для разрешения зависимостей не надо качать пол-репозитория.
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Uchiya , 19-Окт-19 05:04 
О Господи,  все зависимости на этапе установки рекурсивно из кэша подсчитываются, даже доступ в сеть не нужен. При синхронизации репозитория pacman -Syy все зависимости уже заранее известны, ещё до фактической установки пакета.
Люблю этих ананимусов которые не знают, но мнение имеют.
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Анонимус2 , 29-Окт-19 09:50 
> О Господи,  все зависимости на этапе установки рекурсивно из кэша подсчитываются,
> даже доступ в сеть не нужен. При синхронизации репозитория pacman -Syy
> все зависимости уже заранее известны, ещё до фактической установки пакета.
> Люблю этих ананимусов которые не знают, но мнение имеют.

Да нет, это кто-то выше по треду говорил что все зависимости хранятся внутри пакета, я всего лишь показал что это либо бред автора сообщения либо тупость авторов pacman.

"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Анонимус2 , 29-Окт-19 09:55 
Или вы хотели сказать что pacman в кеше всегда держит все пакеты из репозитория?
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Stoned Jesus , 17-Окт-19 00:35 
Арч - это Федора с установкой на скриптах.
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Fracta1L , 17-Окт-19 07:46 
Арч как всегда впереди!
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено danominous , 17-Окт-19 12:50 
Начал читать как "Arch Linux готовится к замене системы инициализации на...". Надо лучше высыпаться.
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 17-Окт-19 13:00 
Ура, теперь детище фейсбука в каждой установке Арча!
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 17-Окт-19 13:21 
неюзеров Arch раздражают юзеры Arch
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено анонн , 17-Окт-19 13:38 
> неюзеров Arch раздражают юзеры Arch

Все из-за первых двух пунктов в "Правилах Арчевода":
> 1. Сообщи всем, что у тебя Арч!
> 2. Пиши (в любой теме, по любому вопросу) что у тебя Арч и все работает!
> 3. На любом скриншоте должен быть виден логотип или хотя бы упоминание Арч!

"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 17-Окт-19 13:52 
Правильно, потому что есть Арч, а есть остальная серая масса безликих ничем не примечательных дистров, которыми хвастаться не хочется :-)
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 17-Окт-19 13:57 
2 пункта добавилось, ещё будут правки?
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 17-Окт-19 15:27 
>> неюзеров Arch раздражают юзеры Arch
> Все из-за первых двух пунктов в "Правилах Арчевода":
>> 1. Сообщи всем, что у тебя Арч!
>> 2. Пиши (в любой теме, по любому вопросу) что у тебя Арч и все работает!
>> 3. На любом скриншоте должен быть виден логотип или хотя бы упоминание Арч!

Симптомы человека, вовлеченного в секту:

    изменение поведения, манеры одеваться, словарного состава, интересов;
    повторяющиеся и непривычные цитирования;
    заученные речи или впечатление проигрываемой пластинки;

"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 17-Окт-19 20:04 
>Симптомы человека, вовлеченного в секту:

Прям

>Симптомы человека, читающего OpenNet

"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 17-Окт-19 13:31 
... и вообще:
$ sudo pacman -Qi libarchive
Название             : libarchive
Версия               : 3.4.0-2
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 17-Окт-19 16:01 
А почему не lzip?
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Простой парень , 17-Окт-19 20:03 
Всем арчеводам, могу выразить своё сочувствие. Больше у меня для этих людей ничего нет.
> manual intervention required

Вы серьёзно? Что мешает это делать внутри установочного скрипта, или на худой конец завести специальный пакет который только и будет заниматься тем самым что "manual intervention required"? Единственный ответ на этот вопрос - то что решения этой проблемы на самом деле нет, или арчеведы плохо понимают свой предмет. Прим. ред.: 1. арчеводы - операторы ЭВМ находящейся под управлением ОС Archlinux. 2. арчеведы - инженеры программисты ответственные за разработку, выпуск и публикацию ОС Archlinux.

"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено X4asd , 17-Окт-19 20:17 
> Всем арчеводам, могу выразить своё сочувствие. Больше у меня для этих людей
> ничего нет.
>> manual intervention required
> Вы серьёзно? Что мешает это делать внутри установочного скрипта, или на худой
> конец завести специальный пакет который только и будет заниматься тем самым
> что "manual intervention required"?

какой дуурак будет запускать этот твой "установочный скрипт"?

думаешь пользователи Арчлинукса обновляют свою систему из установочных скриптов? кто по твоему захочет подчищать огрехи после этих твоих якобы-автоматических установочных скриптов? скрипты которые привнесут больше проблем чем пользы (так как всё равно не смогут отработать все всевозможные сценарии).

в 99.999% случаев каждое "manual intervention required" обозначает "делайте всё как обычно, вас с-высокой-вероятностью это не коснётся. но если вдруг коснётся то будте на готове -- вот рецепт!".

при этом пакетный манагер pacman остаётся постым и логичным инсрументом (а не монструозным скриптованным гоовном).

"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Фананим , 17-Окт-19 20:48 
"плохо понимают свой предмет" преподаватели освоившие Дебиан, их подопечные освоившие Минт и далее уже осваивать ничего не хотящие.
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Ordu , 17-Окт-19 22:49 
> Единственный ответ на этот вопрос - то что решения этой проблемы на самом деле нет, или арчеведы плохо понимают свой предмет.

Я не знаю как в арче, а в генте есть замечательный способ разрешать любые особенности апгрейдов такого рода, называется он eselect news. Вовсе не нужно переусложнять emerge сверх меры и пихать туда вообще все возможности, чтобы тот мог бы справиться с любым случаем, можно сообщить пользователю об изменениях, пояснить в каких случаях и что нужно сделать, чтобы чего-то там не случилось. Пользователь он гибче чем любой скрипт, он может выполнять сложные инструкции, подстраивая их при необходимости под локальные условия, решая многие возникающие проблемы.

> Всем арчеводам, могу выразить своё сочувствие.

Оставь его себе. Если разработчики твоего дистрибутива не верят в тебя, то оставь сочувствие для себя.

"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено ig0r , 20-Окт-19 10:10 
manual intervention В данном случае означает обновить пакеты как обычно, хотя бы раз за последний год, если вы этого не поняли, тогда archlinux не для вас.
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Простой парень , 20-Окт-19 23:58 
> если вы этого не поняли, тогда archlinux не для вас

И слава Богу! Когда ушёл с Арча, я понял как прекрасен удивительный мир линукса!

"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 18-Окт-19 00:47 
Arch + xfce - это единственно верная система для десктопа. Работает как часы, все летает, ничего не глючит. До арча перепробовал кучу дистрибутивов, для серверов они может и ничего, но как рабочий компьютер - глючное древнее гуано. Года три на арче уже сижу, это идеал.
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 18-Окт-19 21:24 
Я сидел на раче с крысой пару лет. Потом установил кеды и оказалось что плазма жрёт меньше памяти, а квин куда лучше работает с проприетарным драйвером.

>глючное древнее

попробуй нормальные дистры, например opensuse или gentoo.

"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 18-Окт-19 01:20 
>  Пакеты, сжатые zstd, будут поставляться с расширением ".pkg.tar.zst"

Почему не .zstd?

"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 18-Окт-19 09:49 
RADIX-50
"Arch Linux готовится к применению алгоритма сжатия zstd в pa..."
Отправлено Аноним , 19-Окт-19 11:43 
Arch Linux поддерживает PDP-11? Ясно, понятно.