Уоррен Спектор поделился своим мнением о Metacritic, рецензиях и успехе

Уоррен Спектор опубликовал статью на GamesIndustry International, в которой попытался разобраться в вопросе по поводу влияния Metacritic на гейминдустрию:

Чтобы написать и опубликовать статью здесь, она должна содержать что-то, о чём я не перестаю думать - проблему, которую не могу решить, или вопрос, на который у меня нет ответа. На этот раз, я начал с вопроса, который преследует меня в течение многих лет (да... и до того, как начали публиковать рецензии на Disney Epic Mickey!). Этот вопрос: "Почему всем так важен Metacritic?"

Но только я начал думать о том, как превратить этот вопрос в статью, интересную для чтения - во что-то, что не будет похоже на кислый виноград или обычное нытьё разработчика - я осознал, что вещь, которая так меня беспокоит, которая, скорее всего, нас всех беспокоит, была больше, чем этот вопрос. Тема, о которой стоило говорить, касается того, как мы определяем успех в гейминдустрии, как измеряем его и как используем эту систему мер, во благо или во зло.

Да, я начал думать о рейтингах, но также и о том, как рецензии связаны с критическим анализом и о том, как различные части игрового бизнеса уравновешивают искусство и коммерцию. Естественно, Metacritic  - это часть ответа, но только часть. Я буду о нём говорить по ходу статьи, но это не единственная вещь, о которой я буду писать, как первоначально намеревался.

Давайте поговорим об успехе.

Очевидно, что есть личный, индивидуальный успех. Например, такие вещи, как слава (люди узнают тебя), уважение или значимость (люди знают о вашем статусе и признают ваш вклад в определённой области), благосостояние (люди видят, что вы имеете дорогую машину или ...гм... несколько домов)...Это интересная тема, но для терапевта, а не для разработчика. Это не тот успех, о котором я хочу поговорить.

Меня интересует, как мы определяем успех конкретной игры. Когда каждый год создаются и предлагаются игроку тысячи игр, это жизненно важный вопрос - для разработчиков, издателей, игроков и даже для критиков и историков, чья работа - объяснять значение медиа нам и будущим поколениям. Как нам сбалансировать и описать коммерческий успех и критический, и что можно назвать значимым? Как игры связаны с другими медиа? И как мы определяем, является ли игра частью  - или выделяется из - континуума игр и медиа?

Само собой разумеется, это огромные вопросы, и их обширность позволяет мне понять тот факт, что я, определённо, не близок к ответу на любой из них. Здесь включаетесь вы:  я начинаю выкладывать свои мысли, они могут быть туманными, ну а вы должны сказать мне, где я ошибся. Не подведите меня!

Игры как коммерческое искусство.

Определённо, игры - это коммерческое искусство, и успех в коммерческой сфере требует, чтобы мы сосредотачивались на "коммерческой" части уравнения. Игра должна приносить некоторое количество дохода и, что более важно, прибыль.

Но как же та часть, которая называется "искусством"? Мой персональный подход в геймдизайне заключается в том, чтобы предлагать игроку различные способы действия и затем, на сколько это возможно, позволить определять им успех самим. Почему бы другим заинтересованным сторонам в создании игры не желать того же? Ну, конечно, они не должны. Термин "коммерческое искусство" по-хорошему неоднозначен, охватывая идею, что различные заинтересованные стороны могут иметь различные понятия "успеха".

Например, многие, если не все, издатели в первую очередь думают о прибыли и доходе - неудивительно, это их работа. Это относительно простая мера успеха, верно? Принесла ли игра деньги - да/нет? (В реальности определение прибыльности - на удивление сложная вещь; ничего не бывает простым, если замешены таблицы Excel, но концептуально, я думаю, вы меня поняли...)

Игроки имеют различные понятия, часто помещая на вершину своих списков всевозможные трудно определяемые характеристики -"фановость" (что бы это, чёрт возьми, не значило), "продолжительность" (продолжительность игры и соотношение цены и качества), одобрение приятелей (мы играем в одни и те же игры, можем  говорить об одном игровом опыте).

Многие разработчики, также как издатели, ставят прибыль и доход на вершину своего списка. Другие помещают туда творчество и самовыражение.

Я хочу сказать, что, начиная любой проект, вы должны понимать, чего хотите добиться. Кто-то должен определить это. Если это вы, то ваши спонсоры должны знать, что вы делаете. Если это люди, финансирующие проект, то вы должны знать, какую отдачу от инвестиций они ожидают. Пожалуй, команда разработчиков тоже должна знать. Это минное поле, которое нужно пройти чётко и внимательно.  Ваша карьера (есть у вас карьера или нет) зависит от понимания этого. Вы должны вести  переговоры со всеми заинтересованными сторонами до тех пор, пока не придёте к единому решению.

Мне повезло - или я достаточно глуп -  я был в состоянии определить, что является для меня успехом. И моё определение редко начиналось со слов "коммерческий успех", "продажи", "прибыль" или "доход". (Хорошо, если честно, оно никогда так не начиналось...) Перед тем, как заключить соглашение о разработке, я говорил всем финансирующим проект людям и издателям, с которыми я работал (или даже думал работать) следующую вещь:

"Моя обязанность заключается в продаже такого количества копий игры, чтобы найти кого-нибудь, кто профинансируют мой следующий проект." (Заявляя это публично, не обеспечил ли я себе безработное будущее? Почему я делаю такие вещи?)

Я не говорю, что коммерческие соображения ниже моего достоинства. Ты должен заработать сколько-то денег, или действительно твоей карьере придёт конец. Но если вы посмотрите на формулировку задач, стоявших перед Ion Storm и Junction Point, вы увидите, что определённые вещи  были приоритетнее, чем несвятая троица Продажи, Прибыль, Доход.

Скажем, в проекте, который я выбрал для работы, акцент делается на "творчестве игрока". Если игроки не рассказывают свои собственные истории, не создают уникальный опыт, принимая решения по ходу игры, то такая игра не стоит того, чтобы её делали. Не имеет значения, сколько денег могут заработать различные типы игр. Приоритеты в моём определении успеха находятся выше этого.

Точно также для меня важна "инновационность", то есть, содержание в игре элементов, которые никто не использовал прежде. По моему мнению, лучше потерпеть неудачу делая что-то новое(и стоящее того, чтобы его делали), чем преуспеть в решении понятных и хорошо известных проблем.

Начинать делать игру, не пытаясь добиться наивысшей планки качества, унизительно и смертельно скучно, хотя достижение того, что называется "качество Игры Года" - вещь редкая и удивительная. Получать высокий рейтинг от критиков всегда приятно. Но это идёт после самовыражения игрока и инноваций, и перед зарабатыванием денег. Для меня. Ваша оценка этих критериев может быть другой.

В конце концов, мы все хотим, чтобы наша работа была "успешной" во всех отношениях, на всех уровнях, для всех людей. Мы все хотим создать произведение искусства, которое будет продаваться, как горячие пирожки, принося кучу денег, восхищая как потребителей, так и критиков. Любой, кто говорит: "Я хочу делать игры, которые достигают наименьшей возможной аудитории", скорее всего врёт, и любой, кто говорит: "Плевать на искусство - я хочу заработать кучу денег", наверное, не имеет шансов на что-то другое.

Дело в том, что немногие из нас достигают платонического идеала сочетания искусства, коммерции и признания критиков. И это означает, что каждый из нас должен решать для себя, как определять успех. Для меня, это значит получить своего рода самоудовлетворение, когда я знаю, что моя команда выполнила поставленные цели настолько эффективно, насколько позволяют наши способности и обстоятельства. Для меня, это значит действовать в соответствии с приоритетами, которые я установил для себя в жизни. Для меня, это значит сделать достаточно хорошо коммерчески, чтобы кто-нибудь профинансировал мою следующую игру.

Но с годами, оценки в рецензиях - даже проценты ожидания в превью и особенно послерелизный средний бал - всё больше и больше признаются как наиболее значимая мера успеха. Издатели используют их, определяя маркетинговый и PR бюджеты, тиражи и планы дистрибуции и даже роялти разработчиков.

Издатели нанимают консультантов для беспристрастной оценки игры, находящейся в разработке. Эти консультанты оценивают геймплей, сюжет и графику, а также прогнозируют оценки в рецензиях. Эту услугу обычно предлагают экс-рецензенты, чьё личное мнение имело намного меньше веса, когда они писали обзоры, чем сейчас, когда перестали это делать (этого я никогда не пойму). Если честно, судя по моему опыту, эти люди редко рассказывают что-то о геймплее, сюжете или графике, чего не знают разработчики.

Но издатели, которые должны верить себе и своему опыту немного больше, придают слишком большой вес этим прогнозам, предполагая, что они на самом деле отражают то, какими будут оценки в рецензиях после выхода игры. Но, что более важно, они используют эти оценки для прогнозирования коммерческого успеха готовой игры.

Почему это имеет значение? Ну, как я уже сказал, эти предсказания управляют бюджетами и PR планами, а также расходами, определяющими количество копий на полках в магазинах и.т.д. Иными словами, прогнозы оценок становятся самоисполняющимися пророчествами, игры добиваются ожидаемого  результата, потому что издатели используют эти предсказания для составления планов.

После релиза, оценивание успеха игры переходит из рук консультантов - и даже из рук внутренних ресурсов по тестирования и оценке качества - в руки двух групп с разными, но взаимосвязанными задачами.

Во-первых, оценка качества игры переходит в руки геймеров, которым повезло или не очень иметь возможность выражать своё мнение на форумах и в разговорах с друзьями.

А также, конечно, игру оценивают рецензенты, чьи мнения появляются в популярных или специализированных журналах, газетах, веб-сайтах и телевизионных программах.

В конечном итоге, все оценки собираются в совокупный рейтинг, высчитываемый такими сайтами, как Metacritic.

Безусловно, игроки имеют полное право оценивать игры и делиться своим мнением с другими геймерами. Будет безумием запрещать им это делать, или даже слишком много думать об этом.

Рецензии и рецензенты? Это уже другая история. Мы - игроки, разработчики, издатели и сами критики - должны больше думать о назначении рецензий. Только с помощью этого мы улучшим рецензии и поймём, как лучше истолковывать их.

В игровой индустрии широко распространено мнение, что функция рецензий - рассказывать игрокам, "хорошая" это игра или "плохая". В статье обычно бывает достаточно описания жанра, истории и геймплея, чтобы сообщить игрокам, с какого рода игрой они имеют дело. Рецензенты, в большинстве случаев, предлагают читателю причины, по которым им игра нравится или не нравится.

Но, в сущности, игровые обозреватели существуют, по видимому, для того, чтобы они говорили, игра хорошая или плохая, мало заботясь о критериях успеха, о которых я говорил ранее. Конечный результат - оценка какого-либо типа: 96 из 100... 8 из 10... B+... 3,5 звёздочки... Игра хорошая или плохая.

На мой взгляд, это неправильно, и в результате теряется сам смысл рецензии.

Когда я читаю рецензии пионеров кинокритики (таких как Роджер Эберт, Полин Кейл, Джудит Крайст и др.) или некоторых более современных обозревателей кино, я, конечно,  интересуюсь выставленной ими хорошей/плохой оценкой. В конце концов, это умные люди, чей статус, основанный на опыте, делает их мнение стоящим. Так или иначе, значение их обзоров заключается в другом, в чём-то более ценном - в чём-то, что, по моему убеждению, в значительной степени теряется в сегодняшних рецензиях на игры.

Эта ценность - последовательное критическое мнение. Сильные критики не сосредотачиваются на вопросе: "Хорошо или плохо?" Их суждение об успехе или неудаче подкреплено скрытой философией, которую они применяют ко всем фильмам. Не имеет значение, согласны вы или нет с их оценкой конкретного фильма - чёрт возьми, они часто не соглашаются друг с другом. Важно то, что, читая их, соизмеряя свои симпатии и антипатии, вы можете определить, понравится вам фильм или нет, основываясь на обзоре.

Если честно, лучшим для меня рецензентом кино был человек, писавший для Austin American-Statesman  много лет назад. Он был плохим писателем, и я очень часто не соглашался с его рецензиями. Но в этом и был смысл - я мог сказать, читая его обзор, понравится мне фильм или нет. У него было последовательное мнение. Он любил  фильмы, которые мне не нравились, и ненавидел те, которые я любил. Он не говорил хороший или плохой фильм - он сообщал, был ли этот фильм для меня, чего не сделает оценка или численный рейтинг. Это была чрезвычайно ценная услуга.

Чтобы оказать такую помощь, критик должен обладать последовательным мнением, философией, которую он будет применять ко всем играм - его критерии должны быть ясны читателю. И всё это я не вижу в современных рецензиях на игры. Увлечённые крики: "Эта игра - отстой" или "AI плохой" или "Эта игра получает 4 из 5", ничего не сообщают, из того что мне нужно.

Какое отношение к этому имеет Metacritic - вещь, заставившая меня начать думать обо всём этом.

Нет ничего плохого, в том, чтобы высчитывать средний балл индивидуальных рецензий для создания стандартной системы измерения этой субъективной вещи, которую мы называем "качество". В сегодняшнюю эру Больших Данных, многие люди думают, что всё может быть измерено, подсчитано и научно исследовано. В какой-то степени, они правы.

Как сказал один разработчик (он просил его не называть), Metacritic -"это поперечный срез признанных мнений и существующих трендов, но он часто упускает то, что достигают другие, и не меняется. Слишком многие источники поощряют только те вещи, которые безопасны для них... Мы продолжаем верить, что это показатель  единственно-верного эстетического вкуса. Это не способствует появлению чего-то нового, и плохо для многообразия."

По этой логике, Metacritic, в лучшем случае, поощряет игры, которые традиционны и  понятны игрокам и критикам. Новые вещи, которые бросают вызов, по своей сути, разрушительны и легко могут оказаться неправильно понятыми. Усреднённое мнение, в лучшем случае, предлагает надежду и руководство людям, чья цель - увеличить прибыльность, но не тем, чьи приоритеты лежат в другой области (смотри рассуждения об определении успеха).

Если мы верим в Metacritic как в беспристрастную, научную меру качества, мы должны, вероятно, спросить себя, действительно ли толпа - толпа журналистов или толпа геймеров - на самом деле обладает мудростью или она посредственна и неспособна к распознаванию или вознаграждению чего-то нового и отличного от традиционного. (Прежде чем вы вернётесь ко мне с аргументами, посмотрите на самые высоко оценённые игры, и тогда мы поговорим...)

Помимо вопросов о полезности этих данных, существуют две особенности методов Metacritic, которые подрывают его авторитет в моих глазах, и должны, по моему мнению, ставить под вопрос аккуратность и даже обоснованность их данных.

Во-первых, определение среднего балла искажается выбором определённых изданий. Например, насколько мне известно, несколько изданий поставили Disney Epic Mickey очень высокие оценки (даже выше, чем поставил бы я!), которые не были использованы при подсчёте среднего балла. И мы говорим об уважаемой профильной прессе. В противоположность этому, наши самые низкие оценки, обычно от Какого-то парня с веб-сайта, были интегрированы немедленно. Я знаю, это звучит как обида, и, если вы хотите, то можете интерпретировать мои слова таким образом. Но с учётом будущих игр, бонусов для команды разработчиков, и других вещей, зависящих от этого, я не думаю, что будет неправильно просить о публичной дискуссии по поводу причин, по которым те или иные рецензии включаются в подсчёты Metacritic или нет.

Во-вторых, данные искажаются обрабатывающей и преобразовывающей системой, которую использует Metacritic. Хотя я не имею ни малейшей идеи, какие критерии применялись или какие  принимались решения, но, как я понимаю, определённым рецензиям придаётся больший вес при высчитывании средней оценки игры. Я приветствую эту концепцию, но без знания, каким образом производится это взвешивание, обоснованность этой оценки ставится под сомнение.

Кроме того, широко обсуждаемая конвертация оценок, использующих буквенную систему, в числовой рейтинг, весьма произвольна. Также перевод оценок по шкале от 1 до 10 и 5-и звёздочных рейтингов в оценку от 1 до 100, используемую Metacritic, привносит множество ошибок. Разве B - это 80? Кто решает? Три звёздочки  - это 60? Опять, кто это сказал? И каковы последствия этого решения?

Теперь я понимаю, что все эти вопросы по данным, в определённой степени, спадают, если учесть, что процедурные ограничения применяются ко всем играм одинаково (по крайней мере, я надеюсь на это...). Но мы возвращаемся к вопросу: "Даёт ли нам усреднённая оценка нескольких рецензий что-либо ценное?" Что на самом деле она измеряет, и отражает ли один, несколько или ни одного критерия успеха, которые мы можем применить к игре?

Вновь, используя мои собственные игры в качестве примера, можно увидеть некоторые интересные результаты.

Самые высоко оценённые игры из тех, над которыми я работал - Deus Ex и Thief. Это здорово. Я очень горжусь командами, сделавшими эти отличные игры (по крайней мере, на мой взгляд!). Кому могут не нравиться высокие оценки и вытекающие из них награды, а также доверие издателей, которое они обеспечивают?

Напротив, игры из серии Disney Epic Mickey имеют самые низкие рейтинги из всех игр, над которыми я работал. Я также горжусь командами и самими играми.

И знаете что? Несмотря на значительно более низкие баллы на Metacritic, Disney Epic Mickey - самая продаваемая игра, в разработке которой я участвовал, причём с большим перевесом. Сиквел Disney Epic Mickey: The Power of Two - вторая по продажам игра в моей тридцатилетней карьере.

Критики и некоторые геймеры предпочитают Deus Ex и Thief (и у меня есть письма, доказывающие это), но я получил в значительной степени больше фанатских писем - и больше искренних писем благодарности... больше фан-арта... и многого другого - по поводу игр из серии DEM, чем по поводу DX игр.

Будь проклят Metacritic, я предпочту эмоциональную связь с игроками и поклонниками Disney. Моё определение успеха - давать возможность игрокам создавать уникальный опыт и предлагать им вещи, которые они не видели или не делали раньше - что делают многие игры, имеющие на Metacritic низкие рейтинги.

Так что в результате? Я, думаю, скажу следующее:

Убедитесь, что  определили, что является успехом для каждого проекта, за который вы берётесь, настолько же точно, насколько вы определяете ваши геймплейные, технические и бюджетные рамки. Определение успеха будет направлять вас в принятии решений, по крайней мере, в той же степени, что и ваши презентация для лифта или девиз.

Если вам повезёт, и/или вы упрямы, решите, что для вас успех, и не обращайте внимание на желания других или критику усреднённой аудитории.

Если не повезёт (я предполагаю, быть упрямым - не проблема для разработчика!), то вам придётся сотрудничать с заинтересованными людьми; но не отступайте от своей цели, даже если вам придётся скрывать её. Личное удовлетворение зависит от личных целей, и создавать игры тяжело, пожертвовав им.

Лично вами это определяется или совместно, убедитесь, чтобы все люди, принимающие участие в проекте, понимали критерии успеха, чтобы результат мог быть измерен. И убедитесь, что будут использоваться правильные средства измерения. Если это будет Metacritic, или другой подобный сайт, знайте, что результат может быть непредсказуем. Знайте это, если инструмент - внимательное чтение фанатских писем для понимания мнения игроков или эмоциональной связи; знайте это, если ваша задача - оказать влияние на других разработчиков, и подбирайте подходящие показатели успеха (цитирование другими разработчиками, мнение доверенного критика, и.т.д.).

В конце концов, поймите, что "успех" - это слово, имеющее столько же значений, сколько и людей, определяющих его. Выбирайте ваше значение осторожно и живите с радостью - и  последствиями - вашего выбора. Жизнь похожа на игру. Если бы только больше игр были похожи на жизнь. Достижение этой цели, делая игры более похожими на жизнь и воодушевляя других делать тоже самое - это моё определение успеха. А какое ваше?