Читать книгу - "Игра в цифры. Как аналитика позволяет видеоиграм жить лучше - Василий Сабиров"

второй-третьей странице в книжках про метод Байеса появляется понятие «вероятность вероятности»). Вероятность в нем определяется субъективно и считается до теста и после теста – так называемые априорная и апостериорная вероятности.

Байесовский метод труднее в расчетах и понимании, там очень сложные формулы, но зато он прост в трактовке результатов теста: мы просто получаем на выходе вероятность «победы» каждого варианта.

Также преимуществами байесовского метода является нетребовательность (в отличие от частотного подхода) к распределению данных. Вообще, для него обычно достаточно выборки меньшего размера.

Выбирайте сами, что вам ближе.

Но я сразу скажу, что для обоих методов существуют онлайн-калькуляторы, и я вовсе не против, чтобы вы ими пользовались. Главное – держать в голове все вышеупомянутые нюансы.

Устали от статистики? Подождите уходить!

Мы еще не поговорили о биномиальных и небиномиальных метриках. Но тут все просто: биномиальные – это те метрики, которые, грубо говоря, «либо да, либо нет». Пользователь либо вернется на седьмой день, либо нет – метрика Retention биномиальная. Пользователь либо заплатит, либо нет – метрика конверсии в платеж также биномиальная.

Небиномиальные – это такие метрики, которые измеряются не в процентах, а в деньгах, минутах, какой-то непрерывной единице измерения. Например, это метрики ARPU, LTV и длины сессии.

Нам важно понимать про каждую метрику, биномиальная она или нет, потому что для них требуются разные статистические методы.

Итого статистика A/B-тестов сводится к двум классификациям: частотный и байесовский подходы, биномиальные и небиномиальные метрики.

Как видим, самый сложный случай – это байесовский подход с небиномиальными метриками, и на момент написания этой книги по нему почти нет материалов на русском языке. Зато есть пакет PyMC3 на Python.

Резюмируем статистическую часть: решаем про то, какой подход нам использовать, классифицируем метрики на биномиальные и небиномиальные, а дальше идем и ищем онлайн-калькулятор. Либо (если умеете) идем и подгружаем нужный нам пакет в Python – не руками же нам это считать?

Ошибки, которые можно допустить

В A/B-тестах можно много где ошибиться, и я призываю вас не делать этого.

Какие могут быть ошибки?

– Неправильные гипотезы и недостаточно заметные изменения. Вы уже поняли, что чем меньшее изменение мы хотим поймать, тем больше пользователей нам нужно. А чем меньше у нас пользователей в тесте, тем бóльшие изменения мы должны закладывать в тест. Но далеко не всегда вы можете придумать что-то такое, что по щелчку поднимет вам Retention с 30 до 40 %. А значит, надо искать баланс, и вот тут можно ошибиться в ту или иную сторону.

– Выгодная трактовка результатов эксперимента. Тут чаще всего случается та самая ошибка подглядывания: «И так все понятно». Чтобы не ошибиться, дождитесь окончания теста. И да, здесь лучше забыть про интуицию!

– Ошибки с аудиторией. Слишком мало пользователей, либо пользователи не те (например, они уже видели этот функционал), либо аудитории доверять нельзя, а вы не проверили это AA-тестом.

Еще пара нюансов.

Можно ли запускать несколько тестов одновременно?

Вообще говоря, ошибкой это не является, и я встречал компании, которые гоняли по 12 тестов одновременно, но надо быть осторожным. Иногда изменения, которые вы тестируете, могут накладываться друг на друга, меняя для игрока игру в совершенно новую, не предсказанную вами, сторону. И отследить это изменение статистическим инструментом A/B-тестов очень трудно. А потому, если хотите запустить несколько тестов, то запускайте, но постарайтесь, чтобы они меняли разные, логически как можно более удаленные друг от друга элементы игры.

Красна ли кнопка, пока мы ее не видим? Точнее, не так. Если сегодня в тесте победила красная кнопка, значит ли это, что через месяц победит она же? Вообще говоря, не факт, и периодически (когда аудитория игры поменяется этак на 90 %) есть смысл перепроверять результаты теста. Если что-то сработало у кого-то одного, то нет гарантии, что это сработает и у вас. Более того, нет гарантии, что у вас сработает то же, что срабатывало у вас раньше, – слишком быстро меняются и игра, и аудитория.

Что можно сказать по итогу анализа 6700 тестов

В интернете можно найти немало информации про успешные и неуспешные A/B-тесты. И группа исследователей заморочилась и изучила, какие изменения в тестах работают чаще всего. Получилось интересно, хоть и касается в большей степени электронной коммерции, а не игр.

Итак, лучше всего работают следующие механизмы.

– Дефицит (отображение количества доступных единиц товара): на сайте осталось лишь 10 холодильников!

– Социальное доказательство (обзоры и комментарии покупателей): ваш друг Вася уже играет в эту игру.

– Срочность (таймер, Countdown): акция закончится через 59 минут, ой, уже 58!

Интересно, что на некоторых сайтах, например на booking.com, все эти механизмы работают одновременно. Но если работают, то почему бы и нет.

A/B-тесты – это хорошо, но!

Нужно понимать, что у A/B-тестов как инструмента есть несколько обратных сторон медали:

– бóльшая часть A/B-тестов проваливается – выше я объяснял почему, – и надо быть к этому готовым;

– если их делать «по уму», то возникает очень много нюансов. И поверьте, далеко не обо всех я рассказал в попытке сделать книгу более «казуальной» для восприятия;

– а если делать «не по уму», то можно прийти к ошибочным решениям – и это правда;

– тесты требуют большой аудитории;

– прирост от одного теста, как правило, невелик. Трудно сделать такое изменение, которое единомоментно изменит игру и ее метрики до неузнаваемости;

– спустя время тестам требуется перепроверка;

– и да, это затягивает. A/B-тесты – это непрерывный процесс, целая культура и образ мышления.

Альтернативы A/B-тестам

Окей, вы поняли, что A/B-тесты – это не для вас. Куда вам идти? Вообще говоря, в начало главы про A/B-тесты и data driven-подход. Но если вы и после этого верны своему мнению, то вот вам несколько альтернатив.

– Опросы – иногда проще и быстрее попросить игроков заполнить опросную форму, но имейте в виду, что у опросов есть своя медицинская книга нюансов. В частности, смотрите мои рассуждения про Net Promoter Score.

– Customer development – это широкое понятие, но я использую его в смысле глубинных интервью с вашими пользователями. Могу порекомендовать книгу Фитцпатрика «Спроси маму» – в ней он рассуждает о том, как непредвзято общаться с пользователями и принимать решения по итогам этого общения.

– Детальная аналитика имеющейся аудитории. Иногда и тестов делать не надо, а можно просто углубиться в существующие данные и найти в них ответ. Сегментирование вам в помощь!

Корреляция и причинно-следственная связь

Корреляция не подразумевает причинно-следственную связь. Для аналитика эта мысль кажется очень простой и даже банальной, однако на практике люди часто