Нейросети шагают по планете: Идеальный редактор персонажей не за горами?

На прошлой неделе интернет взорвало китайское приложение для смартфонов Zao. Задействовав возможности нейросетей, пользователи смогли заменить лицо другого человека на свое. По факту это вариация программы Deepfake, но доведенная до ума и более удобная в обращении.

Поприветствуйте азиатского Неро

Zao оказалось востребовано среди китайцев. Сеть заполонили фрагменты из культовых фильмов, в которых вместо Леонардо Ди Каприо, Хью Джекмана и других голливудских знаменитостей красуются азиатские лица.

Более того, приложение переваривает и CGI-ролики, а также фрагменты из игр. Например, можно налепить свое лицо на мордашку Неро из Devil May Cry V.

Согласно заявлениям разработчиков, из-за наплыва пользователей они были вынуждены ограничить скорость регистрации аккаунтов.

Проблемы с технологией все те же: если голова персонажа активно двигается, то изображение начинает дрожать. Кроме того, видны недостатки наложения в области подбородка (распространённая проблема Deepfake), а также в том случае, если герой слишком сильно повернет голову.

Также возникает вопрос о конфиденциальности, ибо в сеть можно залить ролик без разрешения участвующих в нем лиц. Администрация мессенджера WeChat уже начала блокировать подобные видео, что делает будущее Zao туманным.

Как создать себя любимого в игре?

Существует и другой аспект. Как уже говорилось, китайцы смогли наложить свои лица на персонажей игр, что заставляет задуматься: а как эту технологию применить в играх?

Желание создать персонажа в видеоигре, похожего на себя любимого, понятно. Особенно если речь идёт об RPG. Однако долгое время возможности были ограничены. Проще всего было на PC: выдрать текстуры и заменить плоское лицо героя на свое.

На помощь также приходили и сами разработчики, стараясь предложить продвинутый редактор персонажа с кучей параметров. Благодаря этому некоторым удавалось создать свою виртуальную копию. Однако это долгий и муторный процесс, который не всегда заканчивается успехом.

Хорошим примером является культовая The Elder Scrolls IV: Oblivion. Вроде бы параметров много, однако добиться приемлемого результата крайне сложно без костылей в виде модов.  Да и проблема с цветовой палитрой и прочие ограничения не давали спокойно настроить естественный цвет кожи и растительность на лице.

Однако даже сегодня не все разработчики могут справиться с задачей, что доказывает провальная Mass Effect: Andromeda. В редакторе персонажей ME:A нормального "Путепроходца" создать было попросту невозможно - постоянно получался какой-то уродец.

Были и эксперименты с камерой. Во времена консолей шестого поколения Sony продавала для PlayStation 2 камеру Eye Toy. Похожий девайс был и у оригинального Game Boy от Nintendo.

Игрокам были доступны незамысловатые игры (например, EyeToy: Play Sports), в которых при помощи камеры позволялось налепить фото/видео своего лица на простенькие модели персонажей. Грубо и просто - как и сами игры, поддерживавшие камеру.

Серьезная попытка изменить ситуацию была предпринята только на следующем поколении систем - на Xbox 360 - отличилась компания Microsoft. У пользователей была возможность докупить камеру, в чем увидело потенциал издательство Ubisoft. В Rainbow Six: Vegas игрок мог отсканировать свое лицо и налепить на персонажа в мультиплеере. Сложности заключались в трудоемкости процесса, хотя итоговый результат выглядел пристойно, хоть и навевал воспоминания о Max Payne.

Дорога в спорт

Сканирование фотографий сейчас активно используется в спортивных играх. Так, у издательства Electronic Arts есть портал EA Game Face, на который вы можете загрузить фото и перенести свое лицо в игры из серии EA Sports (FIFA, NFL и так далее). Результат выглядит не идеально (особенно на стадии прототипа), но опрятно.

На видео ниже можно увидеть, как блогер сделал себе персонального Владимира Кличко в UFC 2.

Другой пример - NBA 2K15, куда также интегрировали функцию сканирования лиц посредством камеры. На моменте релиза Сеть заполонили сотни роликов, в которых игроки всячески издеваются над моделями персонажей.

Проблема в том, что запороть лицо персонажа было очень легко - достаточно напялить шапку, отрастить усы, надеть очки или просто открыть рот. Да и сам процесс сканирования мог прерваться на середине.

В последующих играх серии нужно использовать уже приложения на телефоне. И в большинстве случаев итоговый результат выглядит приемлемо, хотя шанс сотворить персонального монстра Франкенштейна остается.

Интересные вещи делала и сама Microsoft. Если вы помните Kinect, то одной из фич продвинутой камеры было сканирование тела. В реальности это нормально почти не использовалось, однако попытку предприняла студия Rare в своем провальном проекте Kinect Sports Rivals для Xbox One.

Так на свет появился редактор персонажа Champion Creator, который был лучше, чем сама игра. При создании героя система считывала параметры вашего тела и черты лица. На их основе генерировалась моделька героя. 

Несмотря на ограниченное количество пресетов, итоговый результат действительно отдаленно напоминал игрока - с поправкой на карикатурность модели.

Что нас ждет в будущем?

Столь длинное отступление призвано продемонстрировать, насколько слабо развивалась данная технология. И это понятно, ибо во многих играх используется продвинутая лицевая анимация, которая считывается с конкретного актера. Если натянуть текстуру без ведома разработчиков, итоговый результат может получиться просто ужасным.

Другая крайность - разработчики предлагают заранее подготовленный набор готовых моделей или продвинутый редактор персонажа.  А сканирование лиц больше используют спортивные игры, в которых бегают герои-бревна.

Однако развитие нейросетей может изменить ситуацию. Уже сейчас студии и энтузиасты активно с ними экспериментируют. Некоторые с помощью нейросетей улучшают текстуры, обучают игровой ИИ, рассчитывают модель освещения, сглаживание и так далее.

Учитывая достигнутый за последние годы прогресс, можно надеяться на то, что в итоге в играх появится система уровня Zao или даже лучше.

Читайте также: Почему Хидео Кодзима гений - пользователи спрашивали и мы подробно объясняем.

Добавляйтесь в наш Telegram-канал по ссылке или ищите его вручную в поиске по названию gmradost. Там мы публикуем в том числе и то, что не попадает в новостную ленту.