Выбор между АБ-тестом и другой проверкой

Кому подойдёт: новичкам с сайтом или первым потоком обращений и фрилансерам, которые хотят сравнить варианты привлечения и продажи. Категории Start и System.

Вы меняете заголовок страницы, через неделю получаете две заявки вместо одной и решаете оставить новый вариант. Это может быть разумным временным выбором, но само по себе не доказывает, что заголовок удвоил результат. Могли измениться аудитория, день недели, источник переходов или просто обстоятельства нескольких людей.

АБ-тест нужен, когда вы хотите оценить влияние определённого изменения и можете организовать сравнение подходящим способом. Он требует больше, чем двух версий и таблицы процентов. На раннем этапе иногда полезнее другая проверка, которая отвечает на ваш реальный вопрос быстрее и понятнее.

Что отличает контролируемое сравнение

В простом варианте участников случайно распределяют между контрольной и новой версией, наблюдают один и тот же определённый результат и анализируют различие по заранее выбранному плану. Случайное распределение помогает уменьшить систематические различия между группами, но не гарантирует идеального совпадения каждой характеристики в конкретной маленькой выборке.

В руководстве GOV.UK по АБ-тестированию выделены контрольный вариант, случайное распределение, планирование объёма и длительности. Это общие принципы; конкретный дизайн зависит от задачи и используемых данных.

Если вы показываете вариант А знакомым, а Б новой аудитории, группы отличаются уже до воздействия. Если один вариант работает в январе, а другой в марте, появляется влияние времени. Такие наблюдения могут помогать работе, но вывод об эффекте именно изменения требует дополнительных оснований.

Сначала определите полезную для бизнеса разницу

Не любая обнаруживаемая разница оправдывает изменение. Дополнительные заявки могут стоить больше поддержки, ухудшить качество покупателей или потребовать дорогой разработки. Заранее решите, какой эффект имеет практический смысл и какие побочные последствия будете отслеживать.

Например, вы хотите улучшить долю посетителей, отправляющих подходящую заявку, а не любые формы, включая спам. Тогда заранее определите «подходящую» и убедитесь, что проверка не меняется в зависимости от варианта. Иначе результат начнёт зависеть от оценки наблюдателя.

Microsoft Research подчёркивает необходимость учитывать мощность эксперимента — способность обнаружить ожидаемое изменение при заданном дизайне. Для практики это означает: нужный объём зависит от исходной частоты события и размера эффекта, который вы собираетесь различить.

Посчитайте доступность нужного объёма

Учебный расчёт: исходная доля заявок 2%, вы хотите обнаружить рост до 3%. Это увеличение на один процентный пункт, или на 50% относительно исходного значения. При стандартном приближённом расчёте для двух независимых долей, равных групп, двустороннего уровня значимости 5% и мощности 80% потребуется около 3 800 наблюдений на вариант.

Итого примерно 7 600 подходящих независимых наблюдений. Если их сто в день на весь тест, только набор займёт около 76 дней. Точный расчёт зависит от метода и предпосылок; пример показывает масштаб, а не даёт универсальную норму. Повторные визиты одного человека нельзя автоматически считать независимыми участниками.

За столь долгий период могут измениться продукт, каналы и условия. Поэтому до настройки теста полезно спросить, доступен ли нужный поток и останется ли вопрос актуальным. Если нет, не стоит изображать статистическую проверку на нескольких десятках посетителей.

Подберите метод под свой вопрос

Если непонятно, понимают ли люди предложение, проведите несколько содержательных исследований понятности. Если неизвестно, сможете ли вы выполнить обещание, сделайте техническую проверку или ограниченный пилот. Если пока неясно, кто покупатель, сначала изучите рабочие ситуации и способы покупки.

Такие методы не заменяют друг друга полностью. Разговор может объяснить затруднение, но не измерить точный рост конверсии. АБ-тест может оценить разницу в поведении, но не всегда объясняет её причину. Выбирайте метод по неизвестному, которое мешает следующему решению.

Зафиксируйте правила до запуска теста

Опишите гипотезу, основную метрику, единицу распределения, ожидаемый объём, длительность, проверку качества данных и ограничения по нежелательным последствиям. В некоторых задачах единицей будет человек, в других — компания. Если участники влияют друг на друга, простой индивидуальный дизайн может не подходить.

Не меняйте посреди проверки определение успеха только потому, что другая цифра выглядит привлекательнее. И не объявляйте победителя при первом случайном преимуществе без метода, который корректно учитывает последовательный просмотр результатов. Если статистическая часть пока непонятна, имеет смысл привлечь специалиста к дизайну до запуска, а не к оправданию уже полученных чисел.

Следить за поломками и серьёзным ухудшением нужно и во время теста. Это отличается от поиска удобного момента объявить успех. Техническая ошибка может потребовать остановки независимо от планового объёма, но тогда результат следует описывать с учётом нарушенных условий.

Оставьте возможность неопределённого результата

Тест может не дать достаточно точного ответа. Это не доказывает равенства вариантов и не означает, что обязательно нужно собирать данные бесконечно. Решение зависит от диапазона возможного эффекта, стоимости дальнейшей проверки и обратимости изменения.

Для небольшого проекта допустимо выбрать более понятный или дешёвый вариант и продолжать наблюдение, прямо указав основание. Перед следующим сравнением напишите: какой вопрос задаёте, какая разница важна и сколько наблюдений реально доступны. Если ответы не складываются в полноценный тест, используйте более подходящую проверку и не требуйте от неё выводов, которых она не может дать.