Разработчики выпустили модель Krilliin AI, которая автоматически озвучивает видео и добавляет субтитры.
Поддерживается 56 языков, в том числе русский.
Нейросеть сохраняет голос оригинального диктора, делая перевод ближе к реальной речи.
Krilliin AI можно использовать бесплатно и без ограничений.
Пользователю достаточно загрузить видео, и система сгенерирует дублированную аудиодорожку и субтитры на выбранном языке.
Проект с открытым кодом размещён на GitHub.
Он работает на базе современных мультимодальных моделей и использует голосовой синтез, распознавание речи и перевод. Входной файл может быть в любом популярном видеоформате.
Krilliin AI особенно удобен для перевода интервью, презентаций, лекций и видеоконтента с живой речью.
Скачать можно тут.
Что такое мультимодальная модель
Это искусственный интеллект, способный обрабатывать и комбинировать разные типы данных — текст, аудио и видео. Такие системы лучше справляются с задачами, где важен контекст и взаимодействие между формами информации.
Что такое GitHub
Это крупнейшая платформа для размещения и совместной работы над кодом. Здесь разработчики публикуют проекты с открытым исходным кодом и инструкции по установке и использованию.