Стартап Moonvalley выпустил модель для генерации видео Marey, которая понимает физическое устройство реального мира.
Нейросеть впервые открыли для бета-тестирования в марте. Теперь разработчики запустили платную подписку: базовый тариф стоит $14,99 в месяц, также доступны планы за $34,99 и $149,99.
Marey позволяет создавать ролики длинной до пяти секунд.
Основатели компании, ранее работавшие в DeepMind над моделью для генерации видео, утверждают, что их новый продукт обучен полностью открыто на лицензированных данных. Подход сочетается с интересами клиентов стартапа — кинематографистами, стремящимися избежать возможных судебных исков из-за защищенного авторским правом ИИ-контента.
По заявлению разработчиков, Marey учитывает физические свойства реального мира и воспроизводит движения с опорой на законы природы. В дальнейшем эту возможность планируют развивать, чтобы добавить более интерактивные элементы в повествование.
Например, видео с бегущим бизоном по прериям можно преобразовать в ролик с мчащимся Cadillac в том же окружении, где трава и земля реалистично реагируют на движение автомобиля. Или модель способна наложить образ Джорджа Вашингтона на актера, точно передавая мимику лица, движения мышц предплечий и жестикуляцию оригинала.
Среди других особенностей Marey: поддержка свободного движения камеры. Это позволяет изменять траекторию съемки с помощью мыши. Модель также умеет заменять фон на видео, позволяя режиссерам использовать исходные кадры как базу для построения нужной сцены.
В ближайшие месяцы планируется добавление следующих функций:
- настройка освещения;
- расширенные траектории движения объектов;
- библиотеки персонажей.
Публичный релиз Marey выводит ее в прямую конкуренцию с растущим числом ИИ-моделей генерации видео — Runway Gen-3, Luma Dream Machine, Pika и Haiper.
Напомним, в мае Google выпустила генератор видео Veo 3, который умеет создавать звук.