Материнская компания TikTok, ByteDance, анонсировала инновационную AI-систему INFP, которая способна «оживлять» статичные портретные фотографии, реагируя на звук.Уникальность модели заключается в автоматическом распознавании ролей говорящего и слушающего без необходимости предварительной настройки.
Процесс работы INFP проходит в два этапа: сначала фотографии анимируются с использованием движений из видео, а затем звук синхронизируется с этими движениями, создавая плавную и естественную анимацию.
Система обучалась на базе данных DyConv, которая включает более 200 часов разговоров, что обеспечивает высокую точность в движениях губ и реалистичность анимации.🗣
В ближайших планах команды — расширить функционал INFP для работы с изображениями и текстом, что откроет новые горизонты для создания анимаций целых тел.
Доступ к основной технологии будет ограничен только для исследовательских учреждений.
Эта разработка является частью широкой AI-стратегии ByteDance, включающей использование таких моделей для TikTok и CapCut.
================
👁 News | 👁 Software | 👁 Hardware