После нового объявления обращений стало вдвое больше, но заказов меньше. Или предложение, которое казалось слабым, неожиданно понравилось самой требовательной группе клиентов. Первая реакция — быстро придумать объяснение. Однако правдоподобная история ещё не показывает, что именно произошло.

Неожиданный результат полезен, если вы сохраняете исходный вопрос и последовательно проверяете несколько объяснений. Тогда он становится источником следующего решения, а не поводом объявить успех или выбросить идею.

Вернитесь к исходному протоколу

Запишите рядом ожидаемый и наблюдаемый результат. Что меняли? У кого? Какое действие считали важным? Какой срок наблюдения предполагали? Если исходные условия существовали только в памяти, сначала восстановите их по документам и переписке, отмечая пробелы.

Разделите само событие и ваше удивление. Факт: после изменения пришло больше обращений от компаний другого размера. Интерпретация: новый текст привлёк другую аудиторию. Пока это объяснение, которое нужно проверить по источникам переходов, содержанию запросов и версии предложения.

Не переписывайте задним числом первоначальную цель. Если хотели проверить оплату, а получили много просмотров, просмотры можно изучать как отдельное наблюдение. Они не превращают исходную проверку покупки в успешную.

Сначала проверьте, правильно ли собраны данные

Посмотрите, не изменился ли способ учёта: повторные отправки формы, собственные тестовые заявки, дубли в таблице, новая классификация обращений. Уточните даты и часовые пояса, если события приходят из нескольких систем. Иногда необычный скачок объясняется тем, что раньше часть событий терялась.

Проверьте знаменатель. Доля заказов может снизиться при росте числа слабых обращений, хотя количество подходящих клиентов не изменилось. Microsoft Research при разборе экспериментов отдельно рекомендует проверять качество измерений и изменения состава наблюдений. Для небольшого бизнеса практический смысл тот же: сначала понять, что посчитано, затем объяснять движение цифры.

Если учёт сломан, обозначьте период как непригодный для соответствующего вывода. Не достраивайте недостающие результаты из предположений. Иногда часть сведений можно восстановить по первичным документам; укажите, какую именно и с какой полнотой.

Разложите общий итог на содержательные случаи

Учебный пример: прежде было двадцать обращений и четыре заказа. После изменения стало сорок обращений и четыре заказа. Общая доля заказов снизилась с 20% до 10%, но абсолютное число заказов осталось прежним.

При разборе выяснилось: добавились запросы на разовую бесплатную консультацию, тогда как предложение рассчитано на платное сопровождение. Теперь есть проверяемое предположение о неправильном ожидании. Однако без сопоставимых условий ещё нельзя утверждать, что именно новый текст вызвал изменение: могли поменяться канал или период спроса.

Используйте деление на группы, которое имеет деловой смысл: источник обращения, задача, размер клиента, версия предложения. Бесконечный поиск удачного сочетания возраста, дня недели и устройства легко рождает случайные «открытия». Неожиданную закономерность, найденную после просмотра результатов, отмечайте как новую гипотезу для отдельной проверки.

Составьте несколько конкурирующих объяснений

Для каждого объяснения укажите, какое наблюдение отличит его от остальных. «Клиенты не поняли платность» проверяется разбором ожиданий и формулировки. «Пришла другая аудитория» — сопоставлением источников и признаков обращений. «Заказы появятся позже» — наблюдением за теми же сделками в течение обоснованного срока.

Было 4 заказа из 20 обращений, стало 4 заказа из 40. Доля упала с 20% до 10%.
Абсолютное число заказов не изменилось. Снизилась доля, потому что обращений стало больше.
Итог
Было 4 заказа из 20 обращений, доля 20%. Стало 4 заказа из 40 обращений, доля 10%. Число заказов не изменилось.

Оценивайте объяснения по данным, а не по удобству для команды. Версия «люди пока не доросли до продукта» почти бесполезна, если не позволяет назвать наблюдаемое препятствие и способ проверки. Гораздо полезнее выяснить, какой рабочий шаг человеку непонятен или недоступен.

Выберите одно следующее действие

Если обнаружена ошибка измерения, исправьте учёт и повторите подходящую часть проверки. Если найдено новое применение, проведите отдельный опыт с этой аудиторией. Если результат может быть случайным, оцените возможность повторения в сопоставимых условиях. Не вкладывайте весь бюджет в объяснение, появившееся только после одного удивительного случая.

Сохраните итоговую запись даже при неудаче: исходное ожидание, наблюдения, отброшенные объяснения, оставшаяся неопределённость и принятое решение. Она защитит следующий эксперимент от повторения той же ошибки.

Практическое задание

Возьмите один неожиданный результат. Выпишите три возможных объяснения, включая ошибку учёта, если она правдоподобна. Для каждого найдите различающее наблюдение. Выберите самый полезный следующий шаг и укажите, какое решение вы отложите до его результата.