08.12.2024

Нейросеть сделает дубляж фильмов естественнее [ВИДЕО]

Компания Flawless выпустила
инструмент, улучшающий пользовательский опыт во время просмотра иностранных
фильмов в дубляже. Программное обеспечение основано на алгоритмах Deepfake и заменяет движения губ на
экране в зависимости от языка озвучки.

Flawless

По мнению представителей
компании Flawless, дублирование фильма на другой язык приводит к
рассинхронизации мимики и речи. Всё дело в том, что слова часто не соответствуют
движениям губ, а это вызывает неприятные ощущения у зрителей. Программа TrueSync
создана на основе известной нейросети Deepfake и позволяет корректировать мимику в реальном времени.

[embedded content]

Работа технологии
основана на анализе движений губ актёра, говорящего на том или ином языке. После
этого ИИ анализирует мимику и заменяет её на ту, что соответствует одному из поддерживаемых
программой языков. Сейчас ПО умеет генерировать картинку в соответствии с японским и
немецким, но в будущем разработчики обещают расширить возможности нейросети.

Стоит отметить, что пока результат выглядит сомнительно. Если в оригинале зритель замечал небольшое несоответствие, то сейчас обработанная ИИ мимика актёров
меняется до неузнаваемости. Изучить примеры можно на официальном сайте
разработчика.

Источник: gizmodo.com

Поделиться ссылкой: