The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Инженеры Dropbox представили новый алгоритм сжатия видео и изображений без потерь

29.08.2015 11:05

Группа из десяти инженеров, работающих в компании Dropbox, в рамках мероприятия "Hack Week" разработала новый алгоритм Pied Piper для сжатия видео и изображений без потери качества. Особенностью Pied Piper является проведение обратимого кодирования, при котором из меньшего по размеру закодированного варианта можно воссоздать исходное изображение, бит в бит совпадающее с вариантом до кодирования. При этом алгоритм рассчитан на дополнительную упаковку контента, уже сжатого при помощи JPEG и H.264.

Для Dropbox внедрение Pied Piper позволит дополнительно сократить расходование дискового пространства, расходуемого на хранение видео и изображений. При тестировании алгоритм демонстрирует уменьшение размера на 13% для видео, записанного на мобильный телефон с использованием кодека H.264. Для JPEG-изображений уровень дополнительного сжатия оценен в 22%, при тестировании набора фотографий снятых на различные мобильные устройства.

Из преимуществ Pied Piper по сравнению с H.264 отмечается небольшой расход памяти, отсутствие привязки к 4-мегабайтным блокам и исключение сбросов состояния декодера каждые несколько микроблоков (слайсов). В Pied Piper изменения кодируются непрерывно, без разбиения потока на сгруппированные наборы кадров. Окно декодирования в Pied Piper включает только текущий и предыдущий кадры, что позволяет оставлять в прошлых кадрах информацию о неизменных микроблоках, не дублируя её в последующем. При этом Pied Piper позволяет перемещаться по потоку и декодировать его с произвольной позиции.

Код реализации Pied Piper опубликован под лицензией BSD. Компоненты Pied Piper реализованы в форме ответвления от библиотеки OpenH264, в рамках которой компанией Cisco развивается свободная реализация кодека H.264.



  1. Главная ссылка к новости (http://science.slashdot.org/st...)
  2. OpenNews: В видеокодеке OpenH264 выявлена опасная уязвимость, которая не затронула Firefox
  3. OpenNews: Поддержка VP8 и H.264 становится обязательной для браузеров с WebRTC
  4. OpenNews: Компания Cisco опубликовала исходные тексты видеокодека OpenH264
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/42873-video
Ключевые слова: video, compress
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (48) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, G.NercY.uR (?), 11:54, 29/08/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +5 +/
    Гениальные картинки!
     
     
  • 2.2, A.Stahl (ok), 11:58, 29/08/2015 [^] [^^] [^^^] [ответить]  
  • +27 +/
    Если ты понял их суть, то ты тоже, вероятно, гений -- я нихрена не понял.
     
     
  • 3.12, Анонимк (?), 12:59, 29/08/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Уже несколько раз встречал упоминания дудочника в контексте алгоритмов сжатия. Это совпадение или нет?
     
     
  • 4.21, A (?), 14:29, 29/08/2015 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Это сериал Silicon Valley
     
     
  • 5.37, SubGun (??), 03:31, 30/08/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Иногда дудочник - это просто дудочник)
     
  • 4.45, shadekhv (?), 10:09, 31/08/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Если не дунуть - чуда не произойдёт.
     
     
  • 5.47, Kostya (??), 13:29, 31/08/2015 [^] [^^] [^^^] [ответить]  
  • +/
    На четвёртом квадранте должен быть изображён FFFUUU
     
  • 3.18, G.NercY.uR (?), 13:49, 29/08/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Не, у меня маловато знаний чтобы хоть в картинки, хоть просто в описанную текстом математику этого алгоритма вникнуть. Но картинки один фиг гениальны :)
     
  • 3.23, irinat (ok), 16:30, 29/08/2015 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Похоже на объяснение арифметического кодирования.
     
     
  • 4.44, Аноним (-), 02:59, 31/08/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Скорее на предсказание по частичному совпадению (PPM).

    PPM - метод моделирования. Согласно нему строится вероятностная модель. Модель определяет, какой вес присвоить вероятности появлению следующего символа.

    Арифметическое кодирование - метод кодирования. Определяет, как закодировать реально встретившийся символ (символом может быть бит, байт, слово и т.п.) из входных данных, согласно вероятности, присвоенной моделью.

     
  • 3.38, Аноним (-), 04:12, 30/08/2015 [^] [^^] [^^^] [ответить]  
  • +/
    >Если ты понял их суть, то ты тоже, вероятно, гений -- я нихрена не понял.

    Как я понял, это что-то типо кодирования, когда более частым последовательностям присваиваются более короткие коды.

     
     
  • 4.39, arisu (ok), 06:01, 30/08/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > Как я понял, это что-то типо кодирования, когда более частым последовательностям присваиваются
    > более короткие коды.

    Шеннон фэйспалмит же.

     
  • 2.34, Аноним (-), 22:17, 29/08/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Похоже на какой-то развод. Сжали сжатое с потерями "без потерь" и получили еще 20%. Фантастиш. Это специализированное архивирование уже получается, а не кодирование ихображений.
     
     
  • 3.41, Michael Shigorin (ok), 18:11, 30/08/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Похоже на какой-то развод. Сжали сжатое с потерями "без потерь" и получили
    > еще 20%. Фантастиш.

    Если исходник сделан прошивкой устройства, у которого мало ресурсов (особенно батарейки) -- такое не исключено.

     

  • 1.3, chinarulezzz (ok), 12:11, 29/08/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Аххах) Кремниевая долина?
     
  • 1.4, Аноним (-), 12:16, 29/08/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • –4 +/
    весь этот алгоритм сделан по сериалу силиконовая долина. это вообще похоже на шутку. http://www.bigbangtv.ru/silicon_valley.php
     
     
  • 2.7, Аноним (-), 12:32, 29/08/2015 [^] [^^] [^^^] [ответить]  
  • +9 +/
    > силиконовая долина

    Про пластических хирургов?

     
     
  • 3.48, Аноним (-), 13:01, 01/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Про певицу
     

  • 1.5, Аноним (-), 12:17, 29/08/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • –6 +/
    > Особенностью Pied Piper является проведение обратимого кодирования, при котором из меньшего по размеру закодированного варианта можно воссоздать исходное изображение, бит в бит совпадающее с вариантом до кодирования. При этом алгоритм рассчитан на дополнительную упаковку контента, уже сжатого при помощи JPEG и H.264.

    Для этого нужно сначала распаковать JPEG и H.264 в пиксели, а "бит в бит совпадающее с вариантом до кодирования" не означает совпадение бит в бит с исходным _файлом_.

    > Для Dropbox внедрение Pied Piper позволит дополнительно сократить расходование дискового пространств

    В результате получается что исходные файлы после загрузки в Dropbox будут потеряны.

     
     
  • 2.14, Аноним (-), 13:01, 29/08/2015 [^] [^^] [^^^] [ответить]  
  • +/
    >В результате получается что исходные файлы после загрузки в Dropbox будут потеряны.

    Надо же как-то бороться с стеганографией.

     
     
  • 3.42, Michael Shigorin (ok), 18:13, 30/08/2015 [^] [^^] [^^^] [ответить]  
  • +2 +/
    >>В результате получается что исходные файлы после загрузки в Dropbox будут потеряны.
    > Надо же как-то бороться с стеганографией.

    Если восстанавливается побитово совпадающее изображение, то что именно не так?

     
  • 2.26, Аноним (-), 18:28, 29/08/2015 [^] [^^] [^^^] [ответить]  
  • +5 +/
    > Для этого нужно сначала распаковать JPEG и H.264 в пиксели, а "бит в бит совпадающее с вариантом до кодирования" не означает совпадение бит в бит с исходным _файлом_.

    Но ведь в случае кодирования JPEG и H.264 исходным файлами, внимание, будут JPEG и H.264!

     

  • 1.6, dr Equivalent (ok), 12:24, 29/08/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    Пегий Дудочник? Серьезно?
     
     
  • 2.9, mrd (??), 12:53, 29/08/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Название взято из сериала Silicon Valley, где как раз компания так называется, которая там придумала эффективный алгоритм.
     
     
  • 3.13, dr Equivalent (ok), 13:00, 29/08/2015 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Так да, я знаю, но все равно - рилли?
     
  • 2.10, fox_mulder (?), 12:56, 29/08/2015 [^] [^^] [^^^] [ответить]  
  • +/
    укуренный же
     
  • 2.29, allez (ok), 19:21, 29/08/2015 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Пегий Дудочник? Серьезно?

    "Пегий дудочник" - таки ни разу не серьезно. Серьезно - "Pied piper of Hamelin" или
    "Пестрый флейтист из Гаммельна", он же "Гаммельнский крысолов". Это персонаж из
    давней легенды и сказки, одетый в разноцветную одежду (потому и "pied"). Дальнейшие
    подробности вы при желании легко найдете сами.

     
     
  • 3.35, dr Equivalent (ok), 22:30, 29/08/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    А то я это все не знаю.
     

  • 1.8, Аноним (-), 12:32, 29/08/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    То ли опоздали с новостью к 1 апреля, то ли поспешили...
     
     
  • 2.33, Аноним (-), 21:05, 29/08/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Может быть Бабушкин со своим архиватором перебрался в США?
     

  • 1.11, Аноним (-), 12:56, 29/08/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +7 +/
    Но может ли их алгоритм эффективно сжимать 3D-видео?
     
  • 1.15, anonymous (??), 13:05, 29/08/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    Самый лучший архиватор видео - это ed2k hash
     
  • 1.16, th3m3 (ok), 13:17, 29/08/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Интересно, а они таким образом не нарушают авторских прав на крысолова/дудочника из сериала "Кремниевая долина"?
     
     
  • 2.31, anonymous (??), 19:46, 29/08/2015 [^] [^^] [^^^] [ответить]  
  • +/
    В случае чего можно будет заменить на шакала
     

  • 1.17, chinarulezzz (ok), 13:30, 29/08/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    http://www.piedpiper.com/
     
  • 1.19, ANONYM (?), 13:49, 29/08/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Алгоритм сжатия без потерь поверх алгоритмов сжатия с потерями.
     
  • 1.20, KOT040188 (?), 14:03, 29/08/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Dropbox рулит! Кто-нибудь понял картинки?
     
     
  • 2.28, Зенитарка (?), 18:59, 29/08/2015 [^] [^^] [^^^] [ответить]  
  • +7 +/
    Похоже, перец в зеленой шляпе с это M$, а [s]большой длинный xer[/s] флейта - это OpenSource!
     
     
  • 3.30, Аноним (-), 19:36, 29/08/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Ещё один он заначил за ухом!
     

  • 1.22, arisu (ok), 15:15, 29/08/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +4 +/
    кто‐нибудь, кому не лень: прочитайте код и сделайте внятное пояснение вместо зелёного упорыша.

    inb4: неграмотный.

     
  • 1.24, Сержан очевидность (?), 16:35, 29/08/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Новый, хорошо забытый старый
     
  • 1.25, Омский линуксоид (ok), 17:44, 29/08/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • –5 +/
    Я думаю, тут место этой ссылке: http://xkcd.ru/927/
     
     
  • 2.43, Michael Shigorin (ok), 18:16, 30/08/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > Я думаю, тут место этой ссылке:

    Не-а, не о том.  У них, очень грубо говоря, про .zip.xz речь.

     

  • 1.27, Зенитарка (?), 18:55, 29/08/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +6 +/
    Щас это модное направление! Щас каждый обязательно должен представить свой эффективный алгоритм сжатия без потерь. Я вот тоже в питоне ковыряю новую реализацию, представлю, пожалуй, в декабре!
     
  • 1.32, Аноним (-), 20:39, 29/08/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Архитектор Xz фото в jpeg жмест с 2.1мб до 1.4мб.
     
  • 1.36, AlFoX (ok), 23:31, 29/08/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Это все фигня. Динис Попов сжал весь интернет на одну флешку.
     
     
  • 2.40, A.Stahl (ok), 09:16, 30/08/2015 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Попов -- неуч. Раньше интернет вполне помещался на дискету.
     

  • 1.46, Аноним (-), 10:40, 31/08/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Pied Piper, без потерь, картинки с человечком (с отсасывающим - как сказали автору в сериале). Вам не кажется, что всё это было в сериале Кремниевая долина?
     
     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру