Инновации в дубляже: ИИ синхронизирует губы актёров с переводом
Компания Amazon представила новую технологию для своей стриминговой платформы Prime Video, использующую искусственный интеллект (ИИ) для более реалистичной синхронизации движений губ актёров с дублированным аудио. Эта функция призвана значительно улучшить впечатления от просмотра иностранного контента, делая переведённые диалоги более естественными.
Первый проект с ИИ-липсинком: немецкий сериал «Макстон-холл»
На данный момент новая ИИ-технология доступна исключительно для английского дубляжа немецкого сериала «Макстон-холл» (Maxton Hall). Это пилотное внедрение позволит оценить эффективность и приемлемость функции перед её более широким распространением.
Планы на будущее
Prime Video подтверждает намерения расширить поддержку данной функции на «дополнительные тайтлы» в будущем. Это указывает на долгосрочную стратегию Amazon по применению ИИ-липсинка для повышения качества локализации контента на своей платформе.
Очень жду, когда это доберется до русского! Сам пробовал пару open-source решений для липсинка, и результат был так себе – часто бывают артефакты, да и мимика страдает. Но если Amazon сможет сделать это качественно, это будет прорыв. Главное, чтобы не было эффекта «зловещей долины». Надеюсь, они учтут культурные особенности и не будут просто натягивать английские движения на другие языки.