Компания Stability AI опубликовала готовые модели для системы машинного обучения Stable Diffusion, способной синтезировать и изменять изображения на основе текстового описания на естественном языке. Модели открыты под пермиссивной лицензией Creative ML OpenRAIL-M, допускающей использование в коммерческих целях. Для обучения системы использовался кластер из 4000 GPU NVIDIA A100 Ezra-1 и коллекция LAION-5B, включающая 5.85 миллиардов изображений с текстовыми описаниями. Ранее под лицензией MIT был открыт код инструментов для обучения нейронной сети и генерации изображений.

Доступность готовой модели и достаточно скромные системные требования, позволяющие начать эксперименты на ПК с типовыми GPU, привела к появлению ряда смежных проектов:

• textual-inversion (код) - надстройка, позволяющая синтезировать изображения с заданным персонажем, объектом или стилем. В оригинальном Stable Diffusion объекты в синтезируемых изображениях случайны и не контролируемы. Предложенная надстройка позволяет добавить собственные визуальные объекты, привязать их к ключевым словам и использовать при синтезе.

  Например, в обычном Stable Diffusion можно попросить систему сформировать изображение с "кошкой в лодке". Дополнительно можно уточнить характеристики кошки и лодки, но непредсказуемо, какая именно кошка и лодка будут синтезированы. Textual-inversion позволяет обучить систему изображению своей кошки или лодки и синтезировать изображение с конкретной кошкой или лодкой. Подобным образом также может заменять элементы изображения на определённые объекты, задавать пример визуального стиля для синтеза и конкретизировать понятия (например, из всего многообразия докторов можно использовать более точную и качественную выборку в нужном стиле).

  
• stable-diffusion-animation - создание анимированных (движущихся) изображений на основе интерполяции между картинками, сформированными в Stable Diffusion.
• stable_diffusion.openvino (код) - порт Stable Diffusion, в котором для вычислений используется только CPU, что позволяет экспериментировать на системах без мощных GPU. Для работы требуется процессор, поддерживаемый в библиотеке OpenVINO. Официально в OpenVINO предоставлены плагины для процессоров Intel с расширениями AVX2, AVX-512, AVX512_BF16 и SSE, а также для плат Raspberry Pi 4 Model B, Apple Mac mini и NVIDIA Jetson Nano. Неофициально возможно использование OpenVINO и на процессорах AMD Ryzen.
• sdamd - порт для GPU AMD.
• Начальная реализация синтеза видео.
• stable-diffusion-gui, stable-diffusion-ui, Artbreeder Collage, diffuse-the-rest - графические интерфейсы для генерации изображений при помощи Stable Diffusion.
• beta.dreamstudio.ai, Hugging Face Spaces, hlky Stable Diffusion WebUI - web-интерфейсы для синтеза изображений при помощи Stable Diffusion.
• Плагины для интеграции Stable Diffusion с GIMP, Figma, Blender и Photoshop.
• STAV - эксперимент с созданием шуточной системы сжатия изображений, которая при упаковке преобразует изображение в текстовое описание, а при распаковке синтезирует новое изображения при помощи Stable Diffusion. Отмечается, что метод позволяет не только сжать многомегабайтную картинку в несколько байт, но и превзойти оригинал по качеству.
• Оптимизации, позволившие обеспечить генерацию изображений с разрешением 576x1280 на системах с 6 ГБ видеопамяти (в оригинальном Stable Diffusion для изрбражений 512x512 требовалось 10 ГБ VRAM, но затем потребление было снижено до 4 ГБ).

Дополнительно можно отметить публикацию компанией Google кода системы машинного обучения RawNeRF (RAW Neural Radiance Fields), позволяющей на основе данных из нескольких RAW-изображений, повышать качество сильно зашумленных снимков, снятых в темноте и при плохом освещении. Кроме устранения шумов развиваемые проектом инструменты позволяют повышать детализацию, устранять блики, синтезировать HDR и изменять общее освещение на фотографиях, а также по нескольким снимкам c разными ракурсами воссоздавать трёхмерное положение объектов, сдвигать точку обзора, манипулировать фокусом и генерировать движущиеся картинки.