Как провести A/B-тестирование

Давайте разберемся, как провести A/B-тестирование. Для примера возьмем классический сплит-тест. Многовариантное и A/B/n-тестирование проводят по такому же алгоритму, меняется только количество переменных и их сочетаний.

• Сначала определяем, чего мы хотим достичь — например увеличения конверсий. Затем выбираем метрики, которые помогут измерить эффективность изменений, например количество заказов.

• Четко формулируем, что и как проверяем. Нам нужно описание исследуемого объекта, предполагаемые изменения и ожидаемые результаты. Гипотеза делится на две части: нулевая, предполагающая, что изменения не внесут существенной разницы, и альтернативная, где ожидается результат.

• Выбираем переменные. Из всех элементов, влияющих на пользовательский опыт, выбираем только один, который будем тестировать, и создаем несколько вариаций этого элемента.

• Распределяем трафик — равномерно и случайным образом. Пользователю должна быть доступна либо контрольная, либо тестируемая версия. Если продукт уже используется и поверх него внедряются улучшения, лучше разделить трафик на три группы: две с контрольной версией и одну с тестируемой.

• Рассчитываем необходимый размер выборки для получения статистически значимых результатов. Он зависит от различных факторов, и может быть рассчитан вручную или с помощью специальных инструментов (Driverback или Optimizely).

• Устанавливаем порог значимости — он позволяет определить, насколько убедительными должны быть результаты тестирования, чтобы считать их доказательством влияния внесенных изменений. В онлайн-сервисах для проведения сплит-тестов этот параметр обычно выбирается автоматически. Стандартный показатель — 0,05, что означает, что в 5% случаев различия не считаются значимыми для эксперимента.

• Рассчитываем, сколько времени потребуется для проведения теста. Обычно для надежных результатов требуется как минимум две недели. Контрольную и экспериментальную версии следует проверять одновременно, чтобы исключить влияние внешних факторов.