Разработчики открытой модели машинного обучения Stable Diffusion представили Stable Video Diffusion — решение для генерации коротких видео.
Код и все необходимые материалы Stable Video Diffusion опубликованы в GitHub-репозитории.
Stable Video Diffusion может генерировать короткие видеоролики на 14 и 25 кадров с настраиваемой частотой от 3 до 30 кадров в секунду.
Разработчики опубликовали всё необходимое для локального запуска, включая веса модели. Для генерации необходимо задать текстовое описание для итогового видео.
Модель можно адаптировать для использования в собственных проекта.