The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +/
Сообщение от opennews (ok) on 25-Янв-15, 21:40 
Следом за анонсированным (http://www.opennet.dev/opennews/art.shtml?num=41534) алгоритмом сжатия  ZSTD, Рич Гелдридж (Rich Geldreich (https://www.blogger.com/profile/14358203173986928600)), работавший в компании Valve, принимавший участие в разработке ряда известных компьютерных игр и развивающий несколько проектов по сжатию текстур, представил (http://richg42.blogspot.ru/2015/01/lzham-v10-released-on-git...) первый стабильный релиз собственной системы сжатия LZHAM 1.0 (https://github.com/richgel999/lzham_codec), созданной в рамках проекта по разработке эффективного кодека для сжатия ресурсов, поставляемых в составе игровых приложений.  Код реализации LZHAM написан на языке С++ и поставляется под лицензией MIT.

LZHAM предназначен для достижения как можно более высокой степени сжатия и обеспечения высокой скорости распаковки, за счёт требующей интенсивных вычислений стадии сжатия. По уровню сжатия и скорости упаковки реализация LZHAM сравнима с LZMA (https://ru.wikipedia.org/wiki/LZMA), но по скорости распаковки опережает LZMA в 1.5-8 раз. Упаковка производится достаточно медленно и требует больших ресурсов, что ограничивает алгоритм применением для областей, в которых необходимо часто и очень быстро распаковывать один раз упакованные данные.

<center><a href="http://2.bp.blogspot.com/-wWmNkWXrrWs/VLw30RTFGqI/AAAAAAAAAh... src="http://www.opennet.dev/opennews/pics_base/0_1422210609.png" style="border-style: solid; border-color: #606060; border-width: 1px;max-width:100%;" title="" border=0></a></center>


Попытки сравнения LZHAM с ZSTD Рич Гелдридж прокомментировал (http://fastcompression.blogspot.ru/2015/01/zstd-stronger-com...) тем, что данные методы нацелены на разные области применения и занимают разные ниши. LZHAM ориентирован на обеспечение максимально возможного уровня сжатия, в то время как ZSTD пытается найти оптимальный баланс между эффективностью и скоростью. Обе системы поддерживают совместимый с zlib API. По эффективности сжатия LZHAM опережает ZSTD, а по скорости декодирования немного отстаёт от ZSTD. По скорости кодирования LZHAM в 8 раз отстаёт от ZSTD и не может использоваться для сжатия потоков на лету, подходя лишь для offline-применения. При этом Рич Гелдридж намерен перейти на использование созданного автором ZSTD кода обработки энтропии FSE (https://github.com/Cyan4973/FiniteStateEntropy) (Finite State Entropy), реализация которого значительно проще.

<center><a href="http://1.bp.blogspot.com/-mDFy_87-59Q/VL3clWADU_I/AAAAAAAAAj... src="http://www.opennet.dev/opennews/pics_base/0_1422210670.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;max-width:100%;" title="" border=0></a></center>


URL: http://richg42.blogspot.ru/2015/01/lzham-v10-released-on-git...
Новость: http://www.opennet.dev/opennews/art.shtml?num=41536

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +21 +/
Сообщение от Fracta1L (ok) on 25-Янв-15, 21:40 
Неделя алгоритмов сжатия?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +5 +/
Сообщение от Аноним (??) on 25-Янв-15, 21:56 
Астрологи объявили и т.д. и т.п.
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  –2 +/
Сообщение от Аноним (??) on 25-Янв-15, 22:13 
Автору LZHAM просто обидно стало, что он три года альфа-версии выпускал и готовился к релизу, а Ян взял и без лишних прелюдий выпустил новый кодек-бомбу, который не намного хуже сжимает, быстрее разжимает и кардинально быстрее сжимает.


Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

12. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +5 +/
Сообщение от Аноним (??) on 26-Янв-15, 01:44 
Да вообще-то Рик никогда за скоростью сжатия и не гонялся - он это для игрушечников в основном делает. Этим роялит скорость загрузки сцен и времена даунлоада, но совершенно пофигу сколько оно там сжиматься будет.
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

4. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  –31 +/
Сообщение от Kodir (ok) on 25-Янв-15, 22:25 
Все чёта бегают с этими сжимальщиками, будто у них винда на дискетку не помещается! Люди, вы чо? :) Диски уже ТЕРАБАЙТНЫЕ, места - хоть *опой ешь!
Это крупным датацентрам нужны сжатия, а мы можем не беспокоиться.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

5. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +4 +/
Сообщение от Аноним (??) on 25-Янв-15, 22:30 
Да ну? А как вам игры по 50 гигов? Это же пипец и унижение моего интернета.
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

19. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +/
Сообщение от Pahanivo (ok) on 26-Янв-15, 10:26 
> Да ну? А как вам игры по 50 гигов? Это же пипец
> и унижение моего интернета.

С моим полторамегабитом домашним это васчеее издевательство! ))

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

28. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +/
Сообщение от RiseOfDeath on 26-Янв-15, 16:38 
Завидую. У меня 450 кбит.
Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

29. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +1 +/
Сообщение от Pahanivo (ok) on 26-Янв-15, 18:14 
> Завидую. У меня 450 кбит.

а лет 7-8 назад у мну сидел один офис 10 человек на 128к с активным серфингом, почтой и т.д. И хватало... а ща титул почти любого сайта полметра не меньше ...

Ответить | Правка | ^ к родителю #28 | Наверх | Cообщить модератору

31. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +/
Сообщение от Аноним (??) on 26-Янв-15, 22:02 
Ага... скорости  растут, а сайты грузятся медленнее чем 20 лет назад на диалапе.
Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

32. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  –1 +/
Сообщение от Pahanivo (ok) on 27-Янв-15, 07:37 
> Ага... скорости  растут, а сайты грузятся медленнее чем 20 лет назад
> на диалапе.

вот и я о том же ... потому что быдлокодерам пофег, им бы побольше говна на сайте типа банеров и т.д. ))

Ответить | Правка | ^ к родителю #31 | Наверх | Cообщить модератору

38. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +1 +/
Сообщение от Аноним (??) on 27-Янв-15, 22:24 
>> Ага... скорости  растут, а сайты грузятся медленнее чем 20 лет назад
>> на диалапе.
> вот и я о том же ... потому что быдлoкодерам пофег, им
> бы побольше гoвна на сайте типа банеров и т.д. ))

Баннеров?! Секи сюда!

/data/cache/d3/01/79/0001790C   0    93354 http://venturecdn.com/favicon.ico

Это размер в БАЙТАХ favicon!

Ответить | Правка | ^ к родителю #32 | Наверх | Cообщить модератору

40. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +/
Сообщение от Pahanivo (ok) on 28-Янв-15, 07:33 
> Баннеров?! Секи сюда!
> /data/cache/d3/01/79/0001790C   0    93354 http://venturecdn.com/favicon.ico
> Это размер в БАЙТАХ favicon!

OMG, да уж, куда там этим банерам после такого ... хорошо было когда тайтлы столько весели

Ответить | Правка | ^ к родителю #38 | Наверх | Cообщить модератору

37. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  –2 +/
Сообщение от Аноним (??) on 27-Янв-15, 22:23 
> Да ну? А как вам игры по 50 гигов? Это же пипец
> и унижение моего интернета.

Не ты ли вопил, что с безлимитной оптикой тебе все пофигу, а кэширующие прокси вообще в пень не впёрлись? М?

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

6. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  –1 +/
Сообщение от Нанобот (ok) on 25-Янв-15, 22:42 
>мы можем не беспокоиться

ну так для тебя^W вашего виличиства это и не предназначалось

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

8. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +3 +/
Сообщение от Аноним (??) on 25-Янв-15, 22:48 
> Все чёта бегают с этими сжимальщиками, будто у них винда на дискетку не помещается! Люди, вы чо? :) Диски уже ТЕРАБАЙТНЫЕ, места - хоть *опой ешь!

Во-первых, "все" это не ты, который компьютер использует как печатную машинку. Понятно что тебе терабайта для пасьянса и очередного романа про мопсов хватает с лихвой.
Во-вторых, если уж мы о дисках, они более медленные чем мелкие по объёму. Ферштейн? Это значит что сжатый раздел работает быстрее. И будет ещё быстрее с новыми алгоритмами.

> Это крупным датацентрам нужны сжатия, а мы можем не беспокоиться.

В-третьих, кто тебе вообще сказал что речь о тебе?

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

9. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +1 +/
Сообщение от Аноним (??) on 25-Янв-15, 22:56 
Про сеть не слышали? Там, говорят, какие-то протоколы есть, загрузка канала, пропускная способность? Не слышали? Ну и хорошо, спите, не беспокойтесь. Алгоритмы сжатия - да, пустое место, не обращайте внимания.
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

36. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  –1 +/
Сообщение от Himik (ok) on 27-Янв-15, 21:05 
Задача сети - передать что дают, а не изображать из себя архиватор, брать на себя чужие роли. Сжимать могут и отправители/получатели, если им это действительно нужнО.
Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

39. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +1 +/
Сообщение от Аноним (??) on 27-Янв-15, 22:25 
> Задача сети - передать что дают, а не изображать из себя архиватор,
> брать на себя чужие роли. Сжимать могут и отправители/получатели, если им
> это действительно нужнО.

Иди, заяви это разрабам mod_gzip. Намякнуто ясно?

Ответить | Правка | ^ к родителю #36 | Наверх | Cообщить модератору

10. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +/
Сообщение от Softfire email on 26-Янв-15, 01:06 
Минусую и присоединяюсь к выше высказавшимся критикам.
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

11. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  –1 +/
Сообщение от Аноним (??) on 26-Янв-15, 01:14 
Esli u tebya gigabaytnie dannie kazdiy den  i ix nuzno szimat u arxiwirowat - to tut uz tebe nuzno chto to pobistree

I eshe, na serverax netakie uz i deshewie diski stoyat i ne te samie kotorie u tebya w kompe stoit.

W danniy moment archive zanimaet bolshe mesta chem uze sami realnie dannie za den, a archivirowat nuzno bistro i silno.

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

23. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +2 +/
Сообщение от Аноним (??) on 26-Янв-15, 10:40 
Граммар-наци, убейте поциена!
Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

13. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +4 +/
Сообщение от Аноним (??) on 26-Янв-15, 01:46 
> Это крупным датацентрам нужны сжатия, а мы можем не беспокоиться.

Ну вот вы и не бегайте. Стойте в стойле, кушайте сено. Чего вы сюда то пишете? Тут народ поумнее вас - алгоритмами интересуются и думать пытаются. Как минимум некоторые.

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

14. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +/
Сообщение от Аноним (??) on 26-Янв-15, 07:22 
Прозвучало как оскорбление.
Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

16. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +1 +/
Сообщение от Аноним (??) on 26-Янв-15, 08:19 
>Прозвучало как оскорбление.

Тебе показалось.

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

15. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +7 +/
Сообщение от Xaionaro (ok) on 26-Янв-15, 07:43 
1. ТБ -- это не так много (всего 10 раз по ~100ГБ).
2. Чем сильнее сжат файл, тем с меньшей нагрузкой на диск можно его полностью прочесть. Вы когда-нибудь пробовали смотреть "несжатые фильмы"?
3. Чем сильнее сжат файл, тем быстрее его можно будет передать по сети.
4. <captain>Чем меньше жрёт CPU, тем лучше.</captain>
5. Поддержка delta-изменений интересна мне для большой ниши проблем (как и по работе, так и для дома).
6. Почему только крупным датацентрам? IMHO, любым это интересно. Да и не только датацентрам.
7. Как будто среди пользователей OpenNet нет сотрудников крупных датацентров.

Думаю хватит, пока.

А вообще я удивляюсь. Вы во всех своих комментариях такую ахинею несёте. Это какой-то новый вид троллинга?

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

21. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +/
Сообщение от Pahanivo (ok) on 26-Янв-15, 10:29 
> А вообще я удивляюсь. Вы во всех своих комментариях такую ахинею несёте.
> Это какой-то новый вид троллинга?

Нет, новый вид медицинской психиатрии ...

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

17. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +1 +/
Сообщение от trdm (ok) on 26-Янв-15, 08:36 
Комп нужен не только для того, что-бы фигню постить.
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

18. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +/
Сообщение от Анонимко on 26-Янв-15, 08:40 
На чтение и распаковку сжатого файла с винчестера тратится ощутимо меньше времени, чем на чтение несжатого файла. Сжатый в 2 раза файл скачается в 2 раза быстрее несжатого. И тут не важно какая скорость интернета у пользователя - качество услуги повышается за бесплатно. Вот все и бугают с "этими сжимальщиками".
Более того, сейчас всё идет к сжатию данных в оперативной памяти, доступ к которой по прежнему очень медленный и занимает сотни тактов процессора.
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

22. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +/
Сообщение от Pahanivo (ok) on 26-Янв-15, 10:31 
> Более того, сейчас всё идет к сжатию данных в оперативной памяти, доступ
> к которой по прежнему очень медленный и занимает сотни тактов процессора.

Пардонте, но куда при этом вы поместите РАСПАКОВАННЫЕ данные?


Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

24. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +/
Сообщение от Аноним (??) on 26-Янв-15, 10:47 
Распаковка прозрачно выполняется при чтении аппаратно, а сжание, соотв-но, при записи. В последних GPU Nvidia таким образом сжимается фреймбуфер, например.
Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

20. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +/
Сообщение от Аноним (??) on 26-Янв-15, 10:28 
Причем тут диски?
Эти алгоритмы для игр заточены, что бы как можно быстрей текстуры в память выбрасывать, что бы у игрунов fps высоким был, а не слайд-шоу.
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

25. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +/
Сообщение от Аноним (??) on 26-Янв-15, 10:49 
> Причем тут диски?
> Эти алгоритмы для игр заточены, что бы как можно быстрей текстуры в
> память выбрасывать, что бы у игрунов fps высоким был, а не
> слайд-шоу.

Нет, это другое сжатие. То, что в сабже - это действительно для дисков и сети.

Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

27. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  –1 +/
Сообщение от анонко on 26-Янв-15, 11:43 
> Нет, это другое сжатие. То, что в сабже - это действительно для
> дисков и сети.

За алгоритмом сжатия для игр - это вам к Линусу.

Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

26. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +/
Сообщение от tensor on 26-Янв-15, 11:30 
Диски-то терабайтные, а вот каналы - нет.
Когда передаёшь /etc по EDGE куда-нибудь в Тюхтет, разница между 50 МБ и 5 МБ ощущается очень сильно.
А ещё я знаю историю о том, как syslog-сервер таки не поместился в терабайт.
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

30. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +/
Сообщение от Аноним (??) on 26-Янв-15, 21:25 
Вас, опенсорсников, не понять.

Вышел новый релиз Sysvinit. "Выкинуть, нет существенных изменений!"

Вышел новый релиз tinyinit 0.01 "Ух ты как бурно развивается, скоро уже сможет загружать что-нибудь сложнее сервера печати. Однозначно нужно для всякой там эмбедевшины!"

Вышел новый релиз LZMA. "Не нужно, выкинуть, XZ жмёт на 0,00001% лучше при всего лишь трёхкратном использовании CPU!"

Вышел новый релиз LZMAM. "Однозначно нужно, сейчас очень важно жать быстро! И пофиг что низкая эффективность, жёсткие диски сейчас большие!"

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

33. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +1 +/
Сообщение от Xaionaro (ok) on 27-Янв-15, 07:46 
> Вас, опенсорсников, не понять.
> Вышел новый релиз Sysvinit. "Выкинуть, нет существенных изменений!"
> Вышел новый релиз tinyinit 0.01 "Ух ты как бурно развивается, скоро уже
> сможет загружать что-нибудь сложнее сервера печати. Однозначно нужно для всякой там
> эмбедевшины!"
> Вышел новый релиз LZMA. "Не нужно, выкинуть, XZ жмёт на 0,00001% лучше
> при всего лишь трёхкратном использовании CPU!"
> Вышел новый релиз LZMAM. "Однозначно нужно, сейчас очень важно жать быстро! И
> пофиг что низкая эффективность, жёсткие диски сейчас большие!"

К чему вы это всё? Не знаю, удивит ли это, но каждый имеет какое-то своё мнение. А вы тупо в кучу перемешали какие-то случайные (или даже выдуманные) позиции по разным вопросам. Что именно вы не можете понять?

Ответить | Правка | ^ к родителю #30 | Наверх | Cообщить модератору

34. "Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание б..."  +/
Сообщение от тоже Аноним email(ok) on 27-Янв-15, 09:45 
Уже по вводному понятно, что: "почему вы такие умные, а строем не ходите?"
Ответить | Правка | ^ к родителю #33 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру