A/B-тестирование
Эксперимент · A/B-тест
Помогает отделить влияние изменения от обычных колебаний.
Когда пригодится
Есть спор о новом экране, сообщении или сценарии и достаточно наблюдений для сравнения.
Как использовать
- Задайте основную метрику, ожидаемый эффект и показатели, которые нельзя испортить.
- Выберите единицу распределения и случайным образом распределите её между вариантами. В B2B такой единицей может быть компания, а не отдельный сотрудник. Сравнение произвольно выбранных групп само по себе не является рандомизированным A/B-тестом.
- До запуска оцените нужный объём данных и длительность с учётом цикла покупки.
- Проверьте сбор событий и сопоставимость групп.
- Разберите эффект, неопределённость, побочные последствия и решение.
Что учесть
Если несколько сотрудников одной компании влияют друг на друга, раздача вариантов по людям может исказить B2B-проверку. При малом потоке используйте наблюдения и последовательные пробы, но не называйте их доказанным A/B-эффектом.
A/B-тест не дал результата
Разделите техническую ошибку, недостаток данных, отсутствие убедительных оснований и ухудшение результата. «Не доказали эффект» не означает «эффекта точно нет».
| Что получили | Что решить |
|---|---|
| Сбой событий или распределения | Не интерпретировать как продуктовый эффект. Исправить проверку; определить, какие данные пригодны. |
| Слишком широкая неопределённость | Уточнить практически важный эффект и допустимые затраты продолжения. Не собирать данные бесконечно. |
| Оценка несовместима с ожидаемым полезным эффектом при пригодном дизайне | Не масштабировать на основании прежней гипотезы; разобрать механизм и альтернативы. |
| Основная метрика лучше, защитная хуже | Разобрать цену улучшения: например, оплаты выросли вместе с возвратами. |
| Эффект различается по сегментам | Проверить основания сегментации и риск случайных находок; не выбирать удобную группу задним числом без новой проверки. |
Учебный пример: короткий тест показал небольшое изменение оплат с широкой неопределённостью. Возвраты ещё не успели проявиться. Решение — результат неопределённый, масштабирование не обосновано. Команда оценивает, имеет ли смысл продолжение и когда созреет защитный показатель.
Когда A/B-тест помогает принять решение
Нужны возможность распределить участников по группам, корректно измерить результат и дождаться данных для выбранного решения. Основную метрику и ограничения задают заранее, вместе с подходом к длительности и оценке неопределённости. В малом B2B-потоке формальный A/B-тест может быть непрактичным: интервью, наблюдение или ограниченный пилот ответят на другой, более ранний вопрос. Они не дают той же оценки причинного эффекта.
Что зафиксировать до старта
Опишите проверяемое изменение, единицу распределения, основную метрику, защитные показатели и правило принятия решения. Изменение критерия после просмотра результата делает вывод менее надёжным.