The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Arch Linux готовится к применению алгоритма сжатия zstd в pacman

16.10.2019 20:20

Разработчики Arch Linux предупредили о намерении задействовать поддержку алгоритма сжатия zstd в пакетном менеджере pacman. По сравнению с алгоритмом xz, использование zstd позволит ускорить операции сжатия и распаковки пакетов, сохранив при этом уровень сжатия. Как следствие, переход на zstd приведёт к увеличению скорости установки пакетов.

Поддержка сжатия пакетов с использованием zstd появится в выпуске pacman 5.2, но для установки подобных пакетов потребуется версия libarchive с поддержкой zstd. Поэтому перед началом распространения пакетов, сжатых при помощи zstd, пользователям предписано установить libarchive как минимум версии 3.3.3-1 (пакет с данной версией был подготовлен год назад, поэтому скорее всего нужный выпуск libarchive уже установлен). Пакеты, сжатые zstd, будут поставляться с расширением ".pkg.tar.zst".

  1. Главная ссылка к новости (https://www.archlinux.org/news...)
  2. OpenNews: Дистрибутив Fedora 31 перешёл на стадию бета-тестирования
  3. OpenNews: Релиз Debian 10 "Buster"
  4. OpenNews: Релиз менеджера загрузки GNU GRUB 2.04
  5. OpenNews: Автор LZ4 представил новый быстрый и эффективный алгоритм сжатия ZSTD
  6. OpenNews: Distri - дистрибутив для обкатки технологий быстрого управления пакетами
Лицензия: CC BY 3.0
Наводку на новость прислал Павел Павлов
Короткая ссылка: https://opennet.ru/51687-zstd
Ключевые слова: zstd, arch, packet
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (61) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Анонимарчевод (?), 22:32, 16/10/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    libarchive-3.4.0-2 is up to date
    Надеюсь, не развалится ничего)
     
     
  • 2.7, анонн (ok), 22:53, 16/10/2019 [^] [^^] [^^^] [ответить]  
  • +9 +/
    > libarchive-3.4.0-2 is up to date
    > Надеюсь, не развалится ничего)

    Главное, чтобы "опоздавшим" не предлагали потом качать обновление либы исключительно в новом формате ))

     
     
  • 3.19, бородатый анекдот (?), 00:08, 17/10/2019 [^] [^^] [^^^] [ответить]  
  • +19 +/
    pkunzip.zip
     
  • 2.32, Аноним (32), 05:18, 17/10/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    да ладно, когда еще представится возможность арчь заново засетапить.
     
     
  • 3.43, Адекват (ok), 10:02, 17/10/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Это у них регулярно бывает, но только для "ретроградов", кто не любит обмазываться обновлениями.
    Арч не для слоупоков ! Не успел обновится вовремя - будь готов, что система поломается после обновления.
     
     
  • 4.73, Аноним (73), 18:39, 19/10/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Чушь.
     

  • 1.2, Аноним (2), 22:32, 16/10/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –6 +/
    Давно пора. Объективно у xz не осталось преимуществ.
     
     
  • 2.3, лох (?), 22:41, 16/10/2019 [^] [^^] [^^^] [ответить]  
  • +7 +/
    Жмёт лучше, но это ведь в компрессоре не главное.
     
     
  • 3.5, Аноним (5), 22:50, 16/10/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Кстати, на максимальном уровне (-22) zstd почти догоняет xz, ценой более низкой скорости сжатия
     
     
  • 4.8, Аноним (5), 22:54, 16/10/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Но BCJ-фильтров у zstd, конечно, нет
     
  • 4.25, Licha Morada (?), 01:14, 17/10/2019 [^] [^^] [^^^] [ответить]  
  • +11 +/
    Именно, и для данного кейса скорость распаковки гораздо важнее скорости сжатия. Сжимают один раз в центральной локации. Распаковывают N раз много где.
     
  • 4.35, Аноним (2), 06:09, 17/10/2019 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Когда я сравнивал, zstd22 сжатие было на 25 быстрее xz9 и размер файла чуть ме... большой текст свёрнут, показать
     
     
  • 5.36, Аноним (36), 06:13, 17/10/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    zstdmt --ultra -22 --zstd=hashLog=26,chainLog=28,searchLog=26

    это все равно потребляет памяти меньше, чем

    env XZ_OPT="-T1 -9e --lzma2=dict=512M,lc=2,pb=0,nice=273 --block-size=512M" xz

     
     
  • 6.38, Аноним (2), 06:29, 17/10/2019 [^] [^^] [^^^] [ответить]  
  • +/
    zstd -T1 --ultra -22 --zstd=hashLog=26,chainLog=28,searchLog=26:
      real    5m44.810s
      user    5m43.517s
      sys     0m1.692s

    ls:
      519M wine64.tzst

    чуть быстрее и файл незначительно меньше, но памяти больше необходимо.

     
  • 5.44, asdasds (?), 10:15, 17/10/2019 [^] [^^] [^^^] [ответить]  
  • +/
    А вы после запаковки / распаковки sync то вызывали?
     
     
  • 6.46, Аноним (2), 11:09, 17/10/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Я думаю, это не имеет значения. У меня ссд, он только удаляет файлы медленно.
     
  • 6.48, X4asd (ok), 12:42, 17/10/2019 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > А вы после запаковки / распаковки sync то вызывали?

    я вообще надеялся что тесты проводили в tmpfs..

    это ведь кем нужно быть чтобы помимо сжатия ещё и жёсткий диск замерять :-)

     
     
  • 7.58, Аноним (2), 16:50, 17/10/2019 [^] [^^] [^^^] [ответить]  
  • +/
    >кем нужно быть

    Cкорее кем нужно не быть: нужно не быть хомячком, чтобы не мерять синтетику. ;)

     
  • 5.47, Аноним (47), 11:09, 17/10/2019 [^] [^^] [^^^] [ответить]  
  • +/
    У xz распаковка в один поток.
     
     
  • 6.59, Аноним (2), 17:04, 17/10/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Не совсем понимаю, что ты хочешь сказать. У них у всех распаковка в один поток.
     
  • 6.72, ievoochielaPh5Ph (ok), 15:52, 19/10/2019 [^] [^^] [^^^] [ответить]  
  • +/
    pixz просил тебе передать, что бы ты его не ставил :-D
     

  • 1.6, Аноним (6), 22:51, 16/10/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –8 +/
    Заодно потестите. Люблю Arch пользователей.
     
  • 1.10, Аноним (10), 23:23, 16/10/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +17 +/
    А что по этому поводу думают научные инженеры ALT Linux?
     
  • 1.14, Аноним (14), 23:31, 16/10/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    С переменным успехом использую zstd в своей библиотеке для кэширования. Жмёт лучше чем всё остальное - но это только потому, что я не нашёл функции построения оптимального словаря в питоних биндингах для lzma, поэтому пока чтт lzma словарь не шарит, а zstd - шарит. Но если будет функция для lzma, то скорее всего zstd будет порвано.

    Для этого биндинги zstd к питону пришлось пропатчить: старая функция генерации словаря работает чертовски медленно, а новую в биндинги не завезли. Ещё недостаток - крайне отвратительная документация zstd и генерация словаря не всегда успешна.

     
  • 1.17, DerRoteBaron (ok), 00:00, 17/10/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Это при том, что у них в арче используется однопоточный xz и в репозиториях даже нет параллельного аналога -- pxz, который на современных многоядерных машинах существенно быстрее однопоточного xz, а пакеты все равно распаковываются последовательно
     
     
  • 2.30, Аноним (32), 05:06, 17/10/2019 [^] [^^] [^^^] [ответить]  
  • +2 +/
    не трындите, --threads=0 выручает
     
     
  • 3.41, helloworld (?), 09:55, 17/10/2019 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Многопоточный xz выдаёт разные архивы для разного числа ядер. Считается, что это неприемлемо, должна быть полная повторяемость.
     
  • 2.37, Аноним (36), 06:15, 17/10/2019 [^] [^^] [^^^] [ответить]  
  • +2 +/
    однопоточный xz лучше жмёт
     
  • 2.42, helloworld (?), 09:57, 17/10/2019 [^] [^^] [^^^] [ответить]  
  • +8 +/
    Какие только легенды про арч не услышишь.

    https://www.archlinux.org/packages/community/x86_64/pixz/

     

  • 1.18, Аноним (18), 00:03, 17/10/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    Там нельзя указать, что сначала должен такой-то пакет быть установлен и сконфигурирован? Как страшно жить в арчемирке.
     
     
  • 2.20, feresey (?), 00:29, 17/10/2019 [^] [^^] [^^^] [ответить]  
  • +/
    При обновлении все необходимые пакеты сами притянутся
     
  • 2.22, Аноним (22), 00:36, 17/10/2019 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Если ты, вдруг, не заметил - новость для дико опаздавших с обновлением, которые застрянут с новыми пакетами и старым parchive. Никакие хуки здесь не помогут
     
     
  • 3.39, Аноним (39), 06:38, 17/10/2019 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Это не хуки должны сделать, родной, а нормальное описание пакетов.
     
  • 2.45, ig0r (??), 10:34, 17/10/2019 [^] [^^] [^^^] [ответить]  
  • +6 +/
    Зависимости пакетов хранятся внутри пакетов, если формат пакета поменяется, а пакетный менеджер не сможет его прочитать, то и зависимости он установить не сможет. Я удивлён что есть люди которым это нужно объяснять.
     
     
  • 3.69, Анонимус2 (?), 23:10, 18/10/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Т.е. сначала ты качаешь пакет, распаковывешь, потом понимаешь что нужно скачать ещё 2, качаешь их, распаковываешь. Потом на 5 итерации понимаешь что одной из зависимостей не хватает и шлешь пользователя после получаса ожидания?
    Переходи на нормальный пакетный менеджер, где мета-информация о всех пакетах дублируется в отдельном файле в репозитории и для разрешения зависимостей не надо качать пол-репозитория.
     
     
  • 4.70, Uchiya (?), 05:04, 19/10/2019 [^] [^^] [^^^] [ответить]  
  • +/
    О Господи,  все зависимости на этапе установки рекурсивно из кэша подсчитываются, даже доступ в сеть не нужен. При синхронизации репозитория pacman -Syy все зависимости уже заранее известны, ещё до фактической установки пакета.
    Люблю этих ананимусов которые не знают, но мнение имеют.
     
     
  • 5.76, Анонимус2 (?), 09:50, 29/10/2019 [^] [^^] [^^^] [ответить]  
  • +/
    > О Господи,  все зависимости на этапе установки рекурсивно из кэша подсчитываются,
    > даже доступ в сеть не нужен. При синхронизации репозитория pacman -Syy
    > все зависимости уже заранее известны, ещё до фактической установки пакета.
    > Люблю этих ананимусов которые не знают, но мнение имеют.

    Да нет, это кто-то выше по треду говорил что все зависимости хранятся внутри пакета, я всего лишь показал что это либо бред автора сообщения либо тупость авторов pacman.

     
     
  • 6.77, Анонимус2 (?), 09:55, 29/10/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Или вы хотели сказать что pacman в кеше всегда держит все пакеты из репозитория?
     

  • 1.21, Stoned Jesus (?), 00:35, 17/10/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –6 +/
    Арч - это Федора с установкой на скриптах.
     
  • 1.40, Fracta1L (ok), 07:46, 17/10/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Арч как всегда впереди!
     
  • 1.49, danominous (?), 12:50, 17/10/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Начал читать как "Arch Linux готовится к замене системы инициализации на...". Надо лучше высыпаться.
     
  • 1.50, Аноним (50), 13:00, 17/10/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Ура, теперь детище фейсбука в каждой установке Арча!
     
  • 1.51, Аноним (51), 13:21, 17/10/2019 Скрыто ботом-модератором [﹢﹢﹢] [ · · · ]     [к модератору]
  • +1 +/
     

     ....ответы скрыты (5)

  • 1.52, Аноним (52), 13:31, 17/10/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    ... и вообще:
    $ sudo pacman -Qi libarchive
    Название             : libarchive
    Версия               : 3.4.0-2
     
  • 1.57, Аноним (57), 16:01, 17/10/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А почему не lzip?
     
  • 1.60, Простой парень (?), 20:03, 17/10/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –4 +/
    Всем арчеводам, могу выразить своё сочувствие. Больше у меня для этих людей ничего нет.
    > manual intervention required

    Вы серьёзно? Что мешает это делать внутри установочного скрипта, или на худой конец завести специальный пакет который только и будет заниматься тем самым что "manual intervention required"? Единственный ответ на этот вопрос - то что решения этой проблемы на самом деле нет, или арчеведы плохо понимают свой предмет. Прим. ред.: 1. арчеводы - операторы ЭВМ находящейся под управлением ОС Archlinux. 2. арчеведы - инженеры программисты ответственные за разработку, выпуск и публикацию ОС Archlinux.

     
     
  • 2.62, X4asd (ok), 20:17, 17/10/2019 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > Всем арчеводам, могу выразить своё сочувствие. Больше у меня для этих людей
    > ничего нет.
    >> manual intervention required
    > Вы серьёзно? Что мешает это делать внутри установочного скрипта, или на худой
    > конец завести специальный пакет который только и будет заниматься тем самым
    > что "manual intervention required"?

    какой дуурак будет запускать этот твой "установочный скрипт"?

    думаешь пользователи Арчлинукса обновляют свою систему из установочных скриптов? кто по твоему захочет подчищать огрехи после этих твоих якобы-автоматических установочных скриптов? скрипты которые привнесут больше проблем чем пользы (так как всё равно не смогут отработать все всевозможные сценарии).

    в 99.999% случаев каждое "manual intervention required" обозначает "делайте всё как обычно, вас с-высокой-вероятностью это не коснётся. но если вдруг коснётся то будте на готове -- вот рецепт!".

    при этом пакетный манагер pacman остаётся постым и логичным инсрументом (а не монструозным скриптованным гоовном).

     
  • 2.63, Фананим (?), 20:48, 17/10/2019 [^] [^^] [^^^] [ответить]  
  • +/
    "плохо понимают свой предмет" преподаватели освоившие Дебиан, их подопечные освоившие Минт и далее уже осваивать ничего не хотящие.
     
  • 2.64, Ordu (ok), 22:49, 17/10/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Единственный ответ на этот вопрос - то что решения этой проблемы на самом деле нет, или арчеведы плохо понимают свой предмет.

    Я не знаю как в арче, а в генте есть замечательный способ разрешать любые особенности апгрейдов такого рода, называется он eselect news. Вовсе не нужно переусложнять emerge сверх меры и пихать туда вообще все возможности, чтобы тот мог бы справиться с любым случаем, можно сообщить пользователю об изменениях, пояснить в каких случаях и что нужно сделать, чтобы чего-то там не случилось. Пользователь он гибче чем любой скрипт, он может выполнять сложные инструкции, подстраивая их при необходимости под локальные условия, решая многие возникающие проблемы.

    > Всем арчеводам, могу выразить своё сочувствие.

    Оставь его себе. Если разработчики твоего дистрибутива не верят в тебя, то оставь сочувствие для себя.

     
  • 2.74, ig0r (??), 10:10, 20/10/2019 [^] [^^] [^^^] [ответить]  
  • +/
    manual intervention В данном случае означает обновить пакеты как обычно, хотя бы раз за последний год, если вы этого не поняли, тогда archlinux не для вас.
     
     
  • 3.75, Простой парень (?), 23:58, 20/10/2019 [^] [^^] [^^^] [ответить]  
  • +/
    > если вы этого не поняли, тогда archlinux не для вас

    И слава Богу! Когда ушёл с Арча, я понял как прекрасен удивительный мир линукса!

     

  • 1.65, Аноним (65), 00:47, 18/10/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Arch + xfce - это единственно верная система для десктопа. Работает как часы, все летает, ничего не глючит. До арча перепробовал кучу дистрибутивов, для серверов они может и ничего, но как рабочий компьютер - глючное древнее гуано. Года три на арче уже сижу, это идеал.
     
     
  • 2.68, Аноним (2), 21:24, 18/10/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Я сидел на раче с крысой пару лет. Потом установил кеды и оказалось что плазма жрёт меньше памяти, а квин куда лучше работает с проприетарным драйвером.

    >глючное древнее

    попробуй нормальные дистры, например opensuse или gentoo.

     

  • 1.66, Аноним (66), 01:20, 18/10/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >  Пакеты, сжатые zstd, будут поставляться с расширением ".pkg.tar.zst"

    Почему не .zstd?

     
     
  • 2.67, Аноним (67), 09:49, 18/10/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    RADIX-50
     
     
  • 3.71, Аноним (71), 11:43, 19/10/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Arch Linux поддерживает PDP-11? Ясно, понятно.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру