Компания Google сообщила об изменении модели разработки системы объёмного звучания Resonance Audio и преобразования в проект, управляемый сообществом. Помимо опубликованного осенью открытого SDK, под лицензией Apache 2.0 открыт код применяемого в YouTube эталонного декодировщика объёмного звука на базе технологии Ambisonic, совместимый с форматами Ambix ACN/SN3D, набор кодировщиков, фильтров, ресемплеров, эффекта спектральной реверберации, библиотеки функций для цифровой обработки сигналов, набора плагинов для поддержки различных игровых движков (Unity, Unreal Engine, FMOD, Wwise, Epic, Firelight Technologies и Audiokinetic), VST-плагина, руководств и примеров.

Кроме того, сняты ограничения по использованию Resonance Audio в любых проектах, без необходимости выплаты патентных отчислений. В дальнейшем проект будет развиваться в рамках открытой модели разработки, позволяющей любому желающему отправлять свои изменения и участвовать в разработке. Управление проектом будет находится в руках сообщества, а решения приниматься группой активных коммитеров.

Напомним, что система Resonance Audio нацелена на обеспечение реалистичного объёмного звучания с моделированием сложных звуковых окружений, в которых присутствует множество источников звука. Например, Resonance Audio можно применять в системах виртуальной и дополненной реальности, играх и видео в режиме 360 градусов. Благодаря задействованию оптимизированных алгоритмов обработки сигналов, производительности компонентов моделирования звука достаточно для расчета окружений с сотнями источников звука в реальном времени даже на мобильных устройствах.

В основе технологии заложена симуляция процессов взаимодействия звуковых волн с человеческими ушами. Система адаптивно изменяет положение источников звука в зависимости от поворота и наклона головы, манипулируя задержками прихода волны в разные уши для определения направления звука, изменением формы сигнала при помощи HRTFs, эффектами затухания мощности звуковой волны при изменении расстояния и особенностями отражения звука от ушной раковины для распознавания вертикальных смещений звука.

Кроме того, Resonance Audio учитывает возможные первичные и многократные отражения звука от поверхностей, обтекание звуком препятствий и прохождение через предметы, учитывая при этом геометрию и тип материалов для находящихся в окружении объектов. Учитываются также особенности направленных источников звука, например, при симуляции игры на гитаре звук впереди будет громче, чем при прослушивании со спины играющего. Характер звука также изменится, если отвернуться во время прослушивания или зайти за препятствие. В итоге удаётся добиться полной реалистичности и точного сопоставления источника звука с позицией в виртуальном окружении.