https://mobile.opennet.me/openforum/vsluhforumID3/108969.html Facebook опубликовал (https://code.facebook.com/posts/1658392934479273/smaller-and-faster-data-compression-with-zstandard/) библиотеку и инструментарий для работы с новым эффективным алгоритмом сжатия данных Zstandard (http://www.zstd.net/), по сравнению с zlib/Deflate демонстрирующим в 3-5 раз более высокую скорость сжатия и в два раза более быструю распаковку, при уровне сжатия выше на 10-15%. Zstandard подходит для организации сжатия в режиме реального времени и может рассматриваться как оптимальный компромисс, между быстрым но неэффективым lz4 и медленным но хорошо сжимающим xz. Код написан на языке Си и распространяется (https://github.com/facebook/zstd) под лицензией BSD.<br><br><br><br><br> В Zstandard задействован метод кодирования конечного состояния энтропии (Finite State Entropy (https://github.com/Cyan4973/FiniteStateEntropy)), в котором для кодирования энтропии применяется теория асимметричных численных систем (http://arxiv.org/abs/1311.2540) (Asymmetric Numeral Systems (http://www.ezcodesample.com/abs/a https://mobile.opennet.me/openforum/vsluhforumID3/108969.html#64 Thu, 03 Jan 2019 11:34:12 GMT Месье долгожитель что пользуется pifs?<br> https://mobile.opennet.me/openforum/vsluhforumID3/108969.html#63 Mon, 05 Sep 2016 07:37:07 GMT дык я не говорил, что оно всё плохо. я сказал, что оно скучное читерство. лично мне хватает zlib, который всё равно уже есть в любой системе, а нет &#8212; так разжиматель после deflate пишется в несколько килобайт. поэтому я интересуюсь остальным чисто с точки зрения: &#171;а это интересно?&#187; неа, неинтересно: и не ново, и не особо впечатляет, и к тому же для лучшего сжатия рекомендуют читерить. скука.<br><br>p.s. zlib, кстати, тоже умеет в `deflateSetDictionary()` и `inflateSetDictionary()`.<br> https://mobile.opennet.me/openforum/vsluhforumID3/108969.html#62 Mon, 05 Sep 2016 07:02:45 GMT &gt; словари рулят. берёшь, значит, весь исходный файл, и засовываешь его в словарь<br><br>если вы внимательно прочитали статью - там именно так и сделано (только не файл, а файлы)<br>Сам словарь предусмотрительно вынесен в ../, поэтому к размеру сжатых данных не отнесен.<br>То есть не как у гугля - потренировали на своих данных, и потом жмем любые похожие (и фейлимся на похожих, но недостаточно похожих), а именно словарь под эти конкретные.<br><br>&gt; вообще, многопроходное сжатие &#8212; скучное читерство.<br><br>вообще - нет. Читерство начинается, когда размер такого словаря и время на его создание "как-то вот забыли учесть".<br><br>Для данных которые "сжимаются один раз, распаковываются тыщу" нет ничего ужасного в том, что при сжатии тратится время на словарь. До тех пор, пока однопроходное сжатие не оказывается только на пару процентов хуже ;-)<br><br>В общем, совершенно загадочно, зачем им это понадобилось - когда и честное сравнение в их пользу.<br><br> https://mobile.opennet.me/openforum/vsluhforumID3/108969.html#60 Sat, 03 Sep 2016 15:54:33 GMT &gt;&gt; вообще, многопроходное сжатие &#8212; скучное читерство.<br>&gt; А в каком месте optimal parsing например - читерство?<br><br>именно в том. читерство и есть, к тому же ещё и тормозное.<br> https://mobile.opennet.me/openforum/vsluhforumID3/108969.html#59 Sat, 03 Sep 2016 15:25:58 GMT &gt; а я нигде не писал, что сабж плохой, если что. я просто <br>&gt; немного потоптался на форме презентации.<br><br>Топтаться на презентации маркетолога занятие неблагодарное. Маркетологи это умеют. А то что одним маркетологом меньше и одним програмером больше - вообще фича :P.<br> https://mobile.opennet.me/openforum/vsluhforumID3/108969.html#58 Sat, 03 Sep 2016 15:24:05 GMT &gt; тогда уж AV1 и Daaala, Thor ;) <br>&gt; Theora-у ванильную - тоже вяло(но ощутимо)допиливают да и VP8, VP9 для "внутреннего <br>&gt; использования" гугль юзает вовсю ) <br><br>На VP8 почти забили. Из него сильно больше уже не выжмешь. VP9 достаточно активно пилят и фиксят. Daala частично внедрили в AV1, который в первом приближении смесь VP10 с Daala, может и из Thor чего-то выдрали. Основные коммитеры - из daala и vp10.<br> https://mobile.opennet.me/openforum/vsluhforumID3/108969.html#57 Sat, 03 Sep 2016 15:21:53 GMT &gt; вообще, многопроходное сжатие &#8212; скучное читерство.<br><br>А в каком месте optimal parsing например - читерство?<br> https://mobile.opennet.me/openforum/vsluhforumID3/108969.html#56 Sat, 03 Sep 2016 15:20:43 GMT &gt; Скорее уж H.265.<br><br>Наздоровье, гугл и ко задались целью его уделать. И уже уделывают существующие реализации. Они взяли лучшее из всех. В будущий VP10 заинтегрили части из Daala. Кодирование энтропии - новомодный FSE. Который на распаковку быстрый, есть надежды что несмотря на круть кодека он не будет тормозным в проигрывании, в отличие от.<br><br>Благодаря запчастям от Daala - артефакты неназойливые, поэтому фулхдец на 500 кбит и катит: сложно заметить где на..бка :). На...бка не похожа на мпеговские квадратики.<br><br>Алсо, в вебе H.265 не будет. Там ТРИ акулы мочатся за право лицензировать это. Поэтому за перспективы H.265 никто ломанного гроша не даст. Даже MS подписался в это - значит лиса хром и ишак будут уметь AV1 сразу как его сделают. И эта толпа таки анализирует патенты до того как вываливать "типа, стандарты". H.265 ну никак не конкурент AV1. Вокруг него нет такой task force, которые не только формат подгоняют но и референсный кодер-декодер сразу пишут под открытой лицензией.<br> https://mobile.opennet.me/openforum/vsluhforumID3/108969.html#55 Sat, 03 Sep 2016 14:30:47 GMT а я нигде не писал, что сабж плохой, если что. я просто немного потоптался на форме презентации.<br>