Microsoft подала патентную заявку на необычную технологию, которая должна позволить искусственному интеллекту менять слова людей во время прямых эфиров и корректировать движения губ в кадре. Зритель будет слышать отредактированную речь ведущего трансляции и видеть соответствующее ей изображение — так, словно человек действительно произнёс эти слова.
Внимание на заявку US 2026/0341309 A1 обратил портал Patentlyze. Описанный в документе инструмент называют «обработкой и улучшением прямого эфира с небольшой задержкой». Предполагается, что ИИ потребуется от одной до десяти секунд для внесения нужных изменений.
Работать система должна следующим образом. Сначала искусственный интеллект анализирует речь и определяет, какие слова необходимо удалить или заменить. Затем генеративная модель создаёт новые фрагменты звуковой дорожки и изменяет изображение говорящего, включая движения губ. Переходы между исходными и обработанными фрагментами сглаживаются, чтобы речь звучала естественно, а монтаж не бросался в глаза.
Для чего это всё вообще нужно? Microsoft описывает несколько сценариев использования. Одно из них — более качественный перевод прямых трансляций. Например, зритель сможет слушать разговор зарубежного стримера на своём языке, а движения его губ будут соответствовать переводу. Систему также предлагается использовать для удаления слов-паразитов, запинок и ненормативной лексики, а также исправления неправильно произнесённых слов.
Обработка может учитывать индивидуальный профиль зрителя, в том числе его возраст, язык и местоположение. В результате разные зрители потенциально смогут получать отличные друг от друга версии одного стрима. Например, одному пользователю система переведёт речь, а другому уберёт из неё нежелательные выражения. Среди возможных устройств для работы технологии названы компьютеры, смартфоны, планшеты, камеры и очки дополненной реальности. Виды контента — онлайн-лекции и презентации, подкасты, концерты, церемонии награждения, телевизионные шоу, спортивные трансляции, обучающие видео и эфиры про игры. Помимо этого, упоминается возможность перевода катсцен в рамках облачного гейминга.
В заявке предусмотрено сохранение исходной записи без правок ИИ, однако не уточняется, смогут ли зрители получить к ней доступ после завершения трансляции и на каких платформах Microsoft вообще хотела бы развернуть такую систему.
В сети находку поспешили раскритиковать. Пользователи пишут, что сама по себе опция незаметно менять чужую речь ставит вопрос о доверии к трансляциям в интернете в принципе, не говоря уже о возможных злоупотреблениях цензурой. Например, технология могла бы использоваться для подмены смысла заявлений — зритель услышал бы слова, которых ведущий трансляции не произносил, а изменённые движения губ позволили бы сделать фейк убедительнее.
Впрочем, пока это просто патентная заявка, и, как обычно бывает в таких случаях, не факт, что систему реализуют. По данным Patentlyze, при первом рассмотрении документа эксперт американского патентного ведомства вообще отклонил изложенное в представленном виде. Microsoft может ответить на замечания и внести изменения.
Ранее Microsoft запатентовала ИИ-систему, способную менять сюжет игры прямо во время прохождения.
Читайте также; «Мощности уже достаточно»: Шон Лейден призвал Sony сделать ставку на доступность PlayStation 6.
Модерирование комментария
Редактирование комментария