Представлен MotionStream — первая система генерации видео с управлением движением в реальном времениИсследователи из Adobe Research, Carnegie Mellon University и Seoul National University создали систему, которая генерирует видео на лету с интерактивным управлением движением объектов и камеры.
Работает в реальном времени на одной NVIDIA H100 GPU29 FPS при задержке всего 0.4 секундыМожет генерировать видео бесконечной длины без замедленияВ 100 раз быстрее существующих методов генерации видео с motion control 
Пользователи могут в реальном времени рисовать траектории движения объектов, управлять камерой или переносить движение — результат появляется мгновенно, создавая полностью интерактивный опыт.
Исходный код находится на внутреннем рассмотрении Adobe для открытия доступа. Выход в open source возможен, но сроки пока не определены.Проект опубликован в виде научной статьи на arXiv.
================
👁 News | 👁 Soft | 👁 Gear |
Links