Анализ результатов A/B-тестирования

После завершения A/B-тестирования, нужно понять, какие результаты получились.

Вот как это делается:

• Сравниваем. Смотрим, есть ли разница между результатами групп А и В и насколько она важна. Также сравниваем эту разницу с порогом значимости, чтобы понять, стоит ли обращать на нее внимание.

• Анализируем. Если тест не показал больших различий между полученными результатами, можно разбить данные на части. Например посмотреть, как изменения влияют на разные сегменты пользователей, такие как женщины и мужчины, или пользователи из разных стран.
• Оцениваем важность. Рассматриваем результаты в контексте внесенных изменений — другой цвет кнопки не повысит конверсию на 200%, но свой маленький кнопочный вклад может внести.
• Проверяем статистическую значимость. Используем статистику, чтобы определить — результаты случайные или вызваны изменениями. Если разница статистически значима, это означает, что изменения действительно влияют на результаты.

Результаты после A/B-тестирования:

Контрольная версия A лучше или примерно такая же, как B. Если B не принесла улучшений, это может быть связано с другими факторами, такими как неправильное сообщение или конкурентное предложение.

Версия B лучше. Если B показала лучшие результаты, можно выкатить ее в продакшен.