Технология удаляет слова-паразиты и запинки или вовсе переводит речь на другой язык, корректируя движение губ.
Microsoft подала заявку на патент на ИИ, который может менять речь человека прямо во время трансляции. Система слушает его голос, находит слова, которые нужно заменить, и подставляет другие. Затем ИИ корректирует движения губ говорящего, чтобы они совпадали с новой речью. Технологию планируют использовать в видеотрансляциях и дополненной реальности.
Среди заявленных сценариев использования, удаление слов-паразитов и пауз, сглаживание запинок, а также перевод речи на другой язык, когда зритель не понимает исходный язык трансляции. Во всех случаях система заменяет не только звук, но и подрисовывает движения губ под новые слова, а исправленное видео показывается зрителю с задержкой примерно от одной до десяти секунд по сравнению с реальным временем.
Статус заявки пока неясен до конца, разные источники описывают его по-разному. По данным одних, экспертиза Патентного ведомства США отклонила заявленную формулу изобретения 29 июля 2026 года, но это обычный рабочий этап, после которого заявитель может доработать и переподать документы.
Другие источники утверждают, что заявка уже одобрена и ждет уплаты итоговой пошлины. Сама Microsoft пока не сообщала, планирует ли она на самом деле создавать такую систему, или патент подан просто про запас, что для крупных технологических компаний обычная практика.
Технологии подмены речи и подрисовки губ уже применяются для дубляжа фильмов на другие языки с сохранением мимики актеров, а также лежат в основе некоторых дипфейков, поддельных видео, где лицо или голос человека заменяют без его согласия. Если Microsoft действительно реализует такую систему, прямые эфиры и трансляции станет опасно доверять ИИ без дополнительной проверки, поскольку увиденное и услышанное зрителем может отличаться от того, что реально произнес говорящий.
Источник: hi-tech.mail.ru