The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Выпуск Gyroflow 1.5.1, программы для стабилизации видео

19.06.2023 15:08

Доступен новый выпуск системы стабилизации видео Gyroflow, работающей на стадии постобработки и использующей данные с гироскопа и акселерометра для компенсации искажений, появляющихся из-за дрожания и неравномерного движения камеры. Код проекта написан на языке Rust (для интерфейса задействована библиотека Qt) и распространяется под лицензией GPLv3. Сборки публикуются для Linux (AppImage), Windows и macOS.

Поддерживается как использование лога с данными от встроенных в камеру гироскопа или акселерометра (например, имеются в камерах GoPro, Insta360, Runcam, DJI Action, Hawkeye, Blackmagic и Sony серий α, FX, RX и ZV), так и синхронизация с данными, отдельно полученными с внешних устройств (например, данные с дронов, к которым закреплена камера, на базе Betaflight и ArduPilot, или логи, собранные при помощи мобильных приложений для Android/iOS). Поддерживается внушительный список форматов для данных с датчиков, профилей объективов, импортируемых и экспортируемых видео.

В программе предлагается несколько алгоритмов для коррекции дисторсии, временного параллакса и заваливания горизонта, а также сглаживания рывков от неравномерного движения камеры. Корректировка производится через наглядный графический интерфейс, обеспечивающий предпросмотр в полном разрешении, тонкую настройку различных параметров и автоматическую калибровку объектива. Также доступны интерфейс командной строки, библиотека с движком корректировки, OpenFX-плагин для DaVinci Resolve и эффект для Final Cut Pro. Для ускорения обработки и вывода видео привлекаются возможности GPU.



  1. Главная ссылка к новости (https://github.com/gyroflow/gy...)
  2. OpenNews: Использование датчиков движения смартфона для прослушивания разговоров
  3. OpenNews: Выпуск OpenBot 0.5, платформы для создания роботов на базе смартфона
  4. OpenNews: Представлена открытая плата управления ракетой Cygnus-X1
  5. OpenNews: NoiseTorch, приложение для подавления шумов микрофона
  6. OpenNews: Intel опубликовал библиотеку устранения шума на изображениях Open Image Denoise 2.0
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/59315-gyroflow
Ключевые слова: gyroflow
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (54) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.2, Аноним (2), 16:18, 19/06/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • –4 +/
    >стабилизации видео
    >коррекции дисторсии, временного параллакса и заваливания горизонта

    Как это возможно? При рывках часть нужной картинки уезжает с матрицы, вместо неё приезжает другая часть. При заваливании  мало того что значительная часть картинки уезжает с матрицы, так ещё и поворот идёт. При размытии теряются высокие частоты в изображении (да, используя данные с акселерометра можно лучше сделать начальное приближение для ядра, но слепая деконволюция всё равно процесс lossy), и размытое изображение опять обрезается границами матрицы.

     
     
  • 2.3, Евгений (??), 16:27, 19/06/2023 [^] [^^] [^^^] [ответить]  
  • +7 +/
    безбожным кадрированием, как показано на 36-й секунде демонстрации
     
     
  • 3.4, Аноним (2), 17:00, 19/06/2023 [^] [^^] [^^^] [ответить]  
  • –4 +/
    Ну и нахрен мне такое "улучшение".
     
     
  • 4.5, Аноним (5), 17:33, 19/06/2023 [^] [^^] [^^^] [ответить]  
  • +7 +/
    А ты мимо проходи
     
  • 4.11, _kp (ok), 18:53, 19/06/2023 [^] [^^] [^^^] [ответить]  
  • +4 +/
    А смотреть на трясущуюся картинку не иначе и эргономичней и информативней?
    Так, меньшее зло.
     
  • 4.27, Аноним (-), 08:42, 20/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Вроде у NVIDIA есть точно не помню о чём читал, что-то вроде если чего-то не хватает мы дорисуем. Вроде это относится к частоте кадров. Если низкая частота кадров мы дорисуем кадры до нужной частоты. Но, не точно. Уже в фильмах доделывают или переделывают, или снимают без живых людей. Токов прогресс который прёт. И что с этим будем делать? Кино без живых актёров? Да так дешевле. И кого-то это устроит.
     
  • 4.28, Аноним (-), 08:45, 20/06/2023 Скрыто ботом-модератором     [к модератору]
  • +/
     
  • 2.9, Аноним (9), 17:58, 19/06/2023 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Когда речь идёт о том, чтобы сделать уже отснятое при удачных условиях, но слегка дефектное технически видео смотрибельным, все средства хороши. Во многих случаях кропом и даже смазом на одном кадре можно пренебречь - не голливуд же, с идеальной картинкой, да лажовыми сценариями. Заново переснять можно менее чем 1% случаев: обстоятельства, погода, нужные люди - всё, как правило, практически уникально.
     

  • 1.6, whoami (??), 17:35, 19/06/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +4 +/
    В пакете ffmpeg есть неплохой vidstab, несколькими параметрами результат стабилизации регулируется хорошо.
     
     
  • 2.7, Аноним (9), 17:53, 19/06/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Насколько знаю, эффект "желе" он так и не умеет исправлять. Как и большинство программных стабилизаторов вообще.
     
  • 2.17, pashev.ru (?), 20:19, 19/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Да, он хорошо. Кроме двух случаев: движение на переднем плане (например, чья-то голова мелькнула); ведение объекта на переднем плане (например камера следует за проходящим мимо человеком).
     

  • 1.8, grayich (ok), 17:58, 19/06/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +4 +/
    Нейросети ещё не прикрутили?
    для дорисовывания дырок, уменьшения размытия и т.п. ?
      
     
     
  • 2.16, Аноним (16), 19:49, 19/06/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >для дорисовывания дырок

    Для вызывания трипофобии?

     
  • 2.18, Аноним (18), 21:14, 19/06/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Зачем выдумывать кадры? Если что всё это умело делать OpenCV и с данными гиросков и без уже очень давно.
     
     
  • 3.35, Marximizer (ok), 12:00, 20/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Чтобы не нужно было обрезать картинку и терять резкость, необходимо дорисовывать то, что не попало в кадр. Простые алгоритмы с этим справляются очень плохо.
     
     
  • 4.46, Аноним (9), 18:00, 20/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Оно дорисовывает то, что ему кажется. А когда кажется, надо креститься. В общем, сами понимаете. Сейчас ИИ-хайп зашкаливает просто, но кто сам с ним работал, тот часто оказывается, мягко говоря, разочарован (хотя, спустя какое-то время, возвращается к нему находит ему довольно скромное применение).
     
  • 3.54, grayich (ok), 03:25, 21/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Чтоб не уменьшать поле зрения
     

  • 1.10, Аноним (10), 18:28, 19/06/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А под ARM соберётся?
     
  • 1.13, YetAnotherOnanym (ok), 19:09, 19/06/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Проще курице к голове смартфон прикрутить и так снимать.
     
     
  • 2.21, Аноним (21), 00:18, 20/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Дороого выйдет. Грузоподъемность придётся дрону сильно поднимать. Да и не выживет она при маневрировании или аварийной посадке.
     

  • 1.14, Аноним (14), 19:25, 19/06/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Отлично подойдёт для ремейка Братьев Фриков.
     
  • 1.20, Marximizer (?), 22:41, 19/06/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • –8 +/
    Крутое приложение! Работает шустро, аппаратное ускорение используется по полной, стабилизирует реально плавно.

    Итересно, насколько использование Rust в таких приложениях позволяет экономить время разработчика из-за отсутствия багов, приводящих к падениям?

     
     
  • 2.22, мяя (?), 01:12, 20/06/2023 [^] [^^] [^^^] [ответить]  
  • +3 +/
    https://github.com/gyroflow/gyroflow/issues?q=crash
    https://github.com/gyroflow/gyroflow/issues?q=panic
     
     
  • 3.24, Аноним (24), 01:54, 20/06/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    "А вот если бы у рыб была шерсть, то были бы и блохи"
     
     
  • 4.25, аноним2 (?), 03:54, 20/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Рыбам шерсть заменяет чешуя, а вместо блох есть рачки-паразиты.
     
  • 3.31, Marximizer (ok), 10:43, 20/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    И? Я где-то спрашивал, исключает ли Rust падения полностью? Мне интересно мнение тех, кто пробовал разразбатывать полноценное приложение на Rust.
     
  • 3.36, Анонимусс (?), 12:58, 20/06/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Хорошая попытка набросить, вот только не все креши из-за раста
    Если пойти сверху вниз по закрытым крешам:

    https://github.com/gyroflow/gyroflow/issues/638
    "malloc(): unsorted double linked list corrupted and this looks like some issue inside the GPU driver, VA-API or ffmpeg"

    https://github.com/gyroflow/gyroflow/issues/628
    "This looks like a bug in either wayland or Qt, there's not much I can do in Gyroflow about it."

    https://github.com/gyroflow/gyroflow/issues/605
    "That's a bug in ffmpeg, I reported it here"

     
     
  • 4.43, мяя (?), 15:27, 20/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Почему попытка набросить? Где я говорил что все креши из-за раста?

    > Если пойти сверху вниз по закрытым крешам

    Ну поздравляю ты показал 3 примера, а остальные?

    > "malloc(): unsorted double linked list corrupted and this looks like some issue inside the GPU driver, VA-API or ffmpeg"

    В биндингах могли чего-то не учесть, даже более того, учитывая что раст не даёт изоляции, насрать в память могли случайно и из ансейф блоков где-то в сторонке, тем более в расте же без либси нельзя, а эта ошибка оттуда.
    Пример: https://rustmagazine.github.io/rust_magazine_2021/chapter_7/dynamic_analyzing_

    > "That's a bug in ffmpeg, I reported it here"

    А где порт ffmpeg на раст? А как же RIIR?

     
     
  • 5.44, Анонимусс (?), 15:42, 20/06/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Вопрос стоял
    > насколько использование Rust [...] позволяет экономить время разработчика из-за отсутствия багов

    Т.е. логично кидать список всех крешей, правда?
    Вместо того, чтобы поделиться списком тех крешей, причиной которых была кодовая база на расте.

    > Ну поздравляю ты показал 3 примера, а остальные?

    Разумеется ниже по списку. Можешь пооткрывать их и посмотреть. А заодно и нам рассказать.

    > раст не даёт изоляции

    Вообще это кажется настолько очевидным, что разве есть смысл об этом писать?
    В любом случае виноват тот код, который память испортил, а не тот который об нее споткнулся.

    > А где порт ffmpeg на раст?

    Пока вроде нет, но все может случиться. Хотя я уже предвижу вой "зачем переписывать??"

     
     
  • 6.61, мяя (?), 22:37, 21/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Т.е. логично кидать список всех крешей, правда?
    > Вместо того, чтобы поделиться списком тех крешей, причиной которых была кодовая база на расте.

    А что я должен все креши за него обходить? Ему надо пусть ищет и делает выводы, моё дело направить.

    > Разумеется ниже по списку. Можешь пооткрывать их и посмотреть. А заодно и нам рассказать.

    Не, мне лень, а ты занимался черрипикингом.

    > Вообще это кажется настолько очевидным, что разве есть смысл об этом писать?

    Конечно, потому что евангелисты/фанаты внушают обратное.

    > В любом случае виноват тот код, который память испортил, а не тот который об нее споткнулся.

    Ну хоть в чём-то мы нашли общий язык.

    > Пока вроде нет, но все может случиться. Хотя я уже предвижу вой "зачем переписывать??"

    Вряд ли случится, так слишком много пастить придётся. Почему вой? Хотят писать на расте ради безопасности памяти, пусть пишут всё на расте, иначе получается что основную работу делает "небезопасный код" и в чём тогда преимущество раста? Ошибиться в тривиальной логике гораздо сложнее.

     
  • 2.23, Аноним (24), 01:45, 20/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Какой ненавязчивый маркетинг раста, прямо умиление берет.
    А по теме, развитие нейросетей в делает этот проект бесперспективным, как и множества аналогичных. Будет сервис с одной большой кнопкой "Сделать видео хорошо" и это уже не шутка как прежде, а самая настоящая реальность. Скорее всего первым такое будет от Apple, это в ее духе и к нейросетям они относятся серьезно.
     
     
  • 3.26, Аноним (21), 07:06, 20/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Сегмент съемки видео и фото всегда останется. До сих пор есть народ, который снимает на плёнку. Когда снимаешь какой-нибудь лихой проход FPV-дроном, кайф не в том, что потом получаешь красивое видео, а в том, что сделал это ты сам. И кто-то другой, не факт, что даже приблизится к этому, потому как не умеет летать. Этот стабилизатор в первую очередь на этот сегмент рассчитан. И это совсем не то, что DJI со стабилизованным подвесом камеры, бытовые видео с которого, действительно, можно получить кнопкой "сделай красиво".
     
     
  • 4.30, Аноним (30), 10:09, 20/06/2023 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Этих стабилизаторов на этот сегмент целая гора, хоть платных, хоть бесплатных. Хоть с открытым, хоть с закрытым. Сабж человек сделал, просто потому что может.
     
     
  • 5.48, Аноним (21), 18:09, 20/06/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ну вот про гору не надо. Основная масса работает с оптическим потоком, а не с данными от акселерометров и гироскопов.
     
  • 3.33, Marximizer (ok), 11:09, 20/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Нейросети тут могут быть полезны только для постобработки - удаления смаза от движения, эффекта параллакса, дорисовки того, что осталось за кадром. Непосредственно в самой стабилизации, где всё давно математически изучено, особенно при наличии данных о движении камеры, они бесполезны, ибо жрут кучу ресурсов там, где достаточно простых формул.

    Умиляет тут ваша паранойя. Вы путаете маркетинг и рекламу. Вам мерещится реклама везде, где она могла бы быть.

     
     
  • 4.41, Аноним (41), 15:06, 20/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Какие-то невнятные оправдания вперемешку с оригинальными теориями насчет нейронных сетей, попробуй в следующий раз продвигать свой Раст как-то потоньше, а то выглядит смешно и по-детски.
     
  • 2.29, Аноним (30), 10:07, 20/06/2023 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Ни на сколько раст только мешает. Это всё равно что сделать что-то на Хаскеле потому что можешь.
     
     
  • 3.34, Marximizer (ok), 11:28, 20/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Ну вот я вижу стабильное полноценное приложение на Rust с кучей функционала, написанное одним человеком, что воодушевляет. Поэтому и интересуюсь у тех, кто ещё пробовал. Вдруг я зря воодушевился? Насколько сложные приложения вы разрабатывали на Rust и C++?
     

  • 1.32, Аноним (32), 10:52, 20/06/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    >на языке Rust
    >для интерфейса задействована библиотека Qt

    Я что-то пропустил?

     

  • 1.42, Аноним (41), 15:15, 20/06/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Десятка альтернативного ПО для стабилизации только с первой страницы поисковика

    1. VideoProc Converter
    2. Windows Movie Maker
    3. iMovie
    4. Adobe Premiere Pro
    5. DaVinci Resolve
    6. VSDC
    7. Shotcut
    8. Virtualdub Deshaker
    9. Sony Catalyst Browse
    10. Adobe After Effects

    и еще существует не менее нескольки десятков.

    Т.е. например у Apple уже есть стабилизатор в iMovie, который бесплатен и стоит у каждого, кто работает с видео.

    Уровень необходимости СРОЧНО ПЕРЕПИСАТЬ НА РАСТЕ можете оценить сами.

     
     
  • 2.45, Marximizer (ok), 16:34, 20/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    1, 2, 3, 4, 5, 6 - проприетарщина
    7 - вы это серьёзно?
    8 - проприетарщина с очень своеобразным интерфейсом, данные с датчиков не умеет, ускорение видеокартой не умеет
    9, 10 - проприетарщина
     
     
  • 3.47, Аноним (47), 18:01, 20/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Вот ещё можете опробовать: https://github.com/Efenstor/Rolling-Shutter-Video-Stabilization
     
  • 3.49, Аноним (21), 19:45, 20/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    5-й хоть и проприетарщина, но имеет бесплатную версию. Но без гироскопов. Чисто по картинке.
     
     
  • 4.50, Аноним (9), 21:39, 20/06/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Толку-то от бесплатности в наше время. Сейчас проприетарный софт даже за деньги только арендуется, а не продаётся, как в доинтернетную эпоху. Ибо без активации он превращается в тыкву. А значит как только софт сдепрекейтят, вы со своими проектами окажетесь в интересном положении. По принципу "пользуйтся, но систему не переустанавливай". Да даже если и не сдепрекейтят, у вас банально может кончиться некое дозволенное количество активаций. Отсюда вывод: фьючерпруфны только кряки и опенсорс.
     
     
  • 5.52, Аноним (21), 00:15, 21/06/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ну зайдите хоть на сайт DaVinci Resolve. И бесплатная версия есть с некоторыми ограничениями по функциям, и полноценная платная без подписки. И даже вариант с активацией по флешке. Это же не Адобе какая-нибудь.
     
     
  • 6.55, Аноним (47), 10:01, 21/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    И всё равно будущее за всемирным краудфандингом для оперсорса, а не за корпрорациями.
     
     
  • 7.56, Аноним (47), 10:02, 21/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Опенсорса ) Но прикольная описка получилась.
     
  • 7.58, Аноним (21), 18:53, 21/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    краудфандинг - очень нестабильная штука Если я, например, хочу начать делать ка... большой текст свёрнут, показать
     
  • 3.51, Аноним (51), 21:49, 20/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Для профессионала не стоит вопрос, проприетарщина или нет Впрочем, я одобряю вы... большой текст свёрнут, показать
     
     
  • 4.53, Аноним (21), 00:16, 21/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Зачем так оскорблять Blender? Он на C и C++ написан.
     
     
  • 5.60, мяя (?), 22:31, 21/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Судя по всему это ответ от чатгпт.
     
  • 4.57, Аноним (57), 15:16, 21/06/2023 [^] [^^] [^^^] [ответить]  
  • +/
    SmoothVideo Project (SVP) - проприетарная с закрытыми исходниками
     

  • 1.59, robo228 (?), 22:02, 21/06/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Чем это лучше скриптов для Sony Vegas?
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру