EA продемонстрировала самообучающийся искусственный интеллект на примере Battlefield 1

Компания EA продемонстрировала наработку команды SEED, специализирующейся на исследовании, изучении и определении будущего интерактивных развлечений, в рамках которой самообучающийся ИИ-агент с нуля научился играть в Battlefield 1.

Технический директор Магнус Нордин рассказал о том, чем его команда занимается и что ожидать в будущем. Вот некоторые выдержки из интервью с ним:

Мы в SEED исследуем долгосрочные перспективы развития интерактивных развлечений. Хоть мы и проводим некоторые академические исследования, нас нельзя назвать чисто исследовательским отделом. Попытки предугадать далекое будущее порой уходят в абстракцию, а поэтому мы пытаемся быть как можно более практичными и смотрим лишь на те технологиями, которые, по нашему мнению, будут влиять на интерактивные развлечения через три-пять лет.

Наш подход — создание функционирующих прототипов и создание реальных возможностей для настоящего креативного опыта использования новейших технологий, таких как искусственный интеллект, машинное обучение, виртуальная и дополненная реальность и крупномасштабные динамические виртуальные миры.

Один из ваших последних проектов - тренировка самообучающегося агента многопользовательской игре в Battlefield 1. Как возникла идея этого проекта?

Узнав, как ИИ, созданный компанией DeepMind, самостоятельно научился играть в старые игры от Atari, я был просто поражен. Это было в 2015 году и уже тогда я задумался о том, сколько усилий потребуется, чтобы самообучающийся агент смог играть в современную и более сложную игру ААА-класса от первого лица - такую, как Battlefield. Поэтому, перейдя в SEED, я основал нашу собственную команду по глубинному обучению и начал нанимать соответствующих специалистов.

Сперва мы сформулировали основные требования и создали простой трехмерный FPS, чтобы протестировать свои алгоритмы и натренировать сеть. Добившись хороших результатов в нашей простой игре, мы начали сотрудничать с командой из DICE, чтобы интегрировать агента в окружение Battlefield.

Честно говоря, в игре бывает заметно, что ИИ-боты как будто дурачатся и бегают кругами. Как это объяснить?

Сейчас у агентов не очень хорошо получается планировать действия наперед. Если агент видит некую цель - скажем, вражеского игрока - он будет действовать. Но если в пределах видимости ничего нет, агент начнет крутиться в поисках цели. Здесь правильней было бы идти и искать соперников на карте или подходящее укрытие, но пока что агенты не достигли такой степени развития. Я уверен, что в будущем, по мере обучения, они будут глупить меньше.

Сколько времени ушло на тренировку самообучающегося агента?

В Battlefield нельзя играть, нажимая одну клавишу. Необходимо одновременно выполнять много действий. И чтобы помочь ИИ ознакомиться с основными действиями, мы дали ему понаблюдать за игрой настоящего игрока, а затем он начал тренироваться самостоятельно. Мы называем это имитационным обучением.

Агенты, которых мы показываем в своей демонстрации, впоследствии тренировались шесть дней против версий самих себя и разных обычных ботов, параллельно играя на нескольких машинах. В итоге это равняется примерно 300 дням игрового времени. Они постоянно развиваются, но учатся не очень быстро.

Поле зрения у агента такое же, как у живого игрока, и он пользуется мини-картой. Впрочем, мы быстро поняли, что Battlefield слишком сложен для визуального восприятия агента. Следовательно, нам надо было упростить картинку.

Мы видели, как агенты самостоятельно обучались игре в старые аркадные игры, такие как оригинальный Doom. Чем ваша работа отличается от этих проектов?

Насколько мне известно, это первая реализация глубинного обучения с подкреплением в сложной и многоплановой игре-шутере класса AAA. Кроме того, наш агент играет в Battlefield, игру, известную своей детально проработанной механикой.

Каково сейчас практическое применение этой технологии?

Краткосрочная задача проекта - помочь команде DICE улучшить эффективность тестирования, что позволит студии собрать больше отчетов об ошибках и найти больше багов.

Я ожидаю, что в будущих играх по мере развития технологии глубокого обучения самообучающиеся агенты станут частью игр, из них получатся по-настоящему интеллектуальные NPC, умеющие выполнять разные задачи, приспосабливаться и эволюционировать со временем, накапливая опыт при взаимодействии с игроками.

Читайте также: Слух. Утекший баннер EA Play 2018 подтвердил название следующей части Battlefield.