Сервис CapCut обновил свой инструмент Dreamina — теперь он поддерживает липсинк и анимацию движений тела.
Достаточно загрузить изображение, текст или звуковую дорожку, и нейросеть создаст видео, где персонаж говорит синхронно с голосом.
Платформа распознаёт и русский язык. В тестах с фото Тима Кука синхронизация движений губ получилась реалистичной.
Сервис доступен по адресу dreamina.capcut.com, но требует подключение с IP США.
Что такое липсинк
Липсинк — это автоматическая синхронизация движения губ на видео с аудиозаписью.
В AI-инструментах используется генерация анимации на основе анализа звука и изображения, что позволяет добиться эффекта «говорящего лица» на статичном фото.