Сравнение результатов до и после изменения

Кому подойдёт: новичкам и фрилансерам, которые меняют цену, предложение, процесс продажи или способ выполнения работы. Категории Start и System.

После изменения описания услуги заявок стало больше. Хочется записать: новый текст повысил продажи. Но в ту же неделю вас рекомендовал партнёр, начался сезон и вы стали быстрее отвечать. Наблюдение «после стало лучше» верно, а объяснение «лучше стало из-за текста» пока требует проверки.

Сравнение до и после полезно как первый взгляд на изменение. Оно показывает, что произошло во времени. Чтобы приписать разницу конкретному действию, нужно рассмотреть другие причины и по возможности организовать более убедительное сравнение.

Запишите изменение и ожидаемый механизм

Не ограничивайтесь фразой «улучшили продажи». Укажите, что сделали: сократили время ответа, добавили понятное описание результата, убрали обязательную регистрацию, изменили цену. Затем объясните, почему это может повлиять на нужное действие клиента.

Например: «Мы будем отвечать на подходящие обращения в пределах согласованного рабочего окна; предполагаем, что меньше людей уйдёт к другому исполнителю до первого разговора». Здесь есть действие и предполагаемая связь. Можно наблюдать не только оплаты, но и время ответа, долю состоявшихся разговоров и причины потери контакта.

Если одновременно меняете пять элементов, общий результат всё ещё можно оценить, но вклад каждого будет неясен. Иногда комплексное изменение оправданно. Тогда так и формулируйте вопрос: что произошло после внедрения набора изменений, а не какое отдельное слово увеличило конверсию.

Сделайте периоды сопоставимыми

Выберите одинаковые определения показателей, достаточное окно для завершения действий и понятные даты. Сравнение неполной текущей недели с полной прошлой почти наверняка потребует поправки. Для длинных продаж учитывайте возраст групп обращений, как описано в статье 143.

Проверьте сезон, рабочие дни, источники клиентов, состав услуг, цену, доступную мощность и качество учёта. Необязательно математически скорректировать всё. Уже список значимых изменений помогает не делать слишком сильного вывода.

В Magenta Book различаются наблюдаемые результаты и оценка воздействия: для причинного вывода важно понимать, что могло бы произойти без вмешательства. Обычное сравнение двух периодов часто не даёт такого ответа само по себе.

Проверьте влияние состава аудитории

Рассмотрим учебный пример с двумя источниками. Из незнакомой аудитории покупают 10%, по рекомендациям — 50%. В первом периоде большинство обращений пришло из первого источника, во втором — из второго. Внутри каждого источника доля покупок осталась прежней.

Общая доля выросла с 14% до 46%, хотя внутри двух групп не изменилась. Если в этот момент вы переписали страницу, общий процент не позволяет приписать рост тексту. В примере достаточно изменения состава обращений, чтобы объяснить всю разницу.

	До	После
Незнакомая аудитория	9 из 90, 10%	1 из 10, 10%
Рекомендации	5 из 10, 50%	45 из 90, 50%
Все обращения	14 из 100, 14%	46 из 100, 46%

Внутри источников доли не изменились. Рост с 14% до 46% объясняется составом обращений, а не текстом страницы. Рост рекомендаций может быть хорошим результатом по другой причине.

Это не означает, что текст точно бесполезен. Возможно, эффект есть, но эти данные его не выделяют. Для бизнеса рост рекомендаций сам по себе может быть отличным результатом — просто причина и последующие действия будут другими.

Найдите более убедительное сравнение

Если условия позволяют, используйте одновременно существующую сопоставимую группу, которую изменение не затронуло, или контролируемый эксперимент. Но само наличие второй группы не гарантирует корректности. Нужно понимать, почему её динамика подходит как ориентир и не воздействует ли на неё то же изменение косвенно.

Для небольшого бизнеса иногда разумнее собирать ряд наблюдений до и после, отмечать события и разбирать конкретные случаи. Это слабее для причинного вывода, но полезнее одной пары чисел. Например, несколько недель можно наблюдать сроки ответа и продвижение похожих обращений, сохраняя источник и тип заказа.

Не вводите сложный статистический метод только ради убедительного названия. Если данных мало, группы несопоставимы или учёт менялся, модель не создаст недостающие сведения. Важнее ясно описать ограничения и выбрать обратимое действие.

Проверяйте нежелательные последствия

Снижение цены может увеличить число покупок и одновременно уменьшить остаток после затрат. Ускорение исполнения может повысить выпуск и увеличить переделки. Новый канал может приносить больше запросов, но требовать слишком много вашего времени.

Поэтому вместе с основным результатом выберите один–два показателя, которые не должны неприемлемо ухудшиться. Для услуги это могут быть трудоёмкость, качество, сроки и вклад после прямых затрат. Не нужно собирать всё: выбирайте последствия, которые правдоподобно связаны с изменением.

Если решение временно сохраняете, назначьте дату пересмотра и условия остановки. Например, новый формат действует ещё месяц, после чего вы проверяете фактические часы и качество. Такая договорённость помогает учиться без необходимости сразу объявлять изменение окончательно успешным.

Формулируйте вывод по силе данных

Можно написать: «После изменения доля заявок выросла; одновременно увеличилась доля рекомендаций, поэтому вклад нового текста пока неизвестен». Или: «В сопоставимых небольших группах результат выглядит лучше, но наблюдений мало; сохраняем вариант как рабочий и продолжаем проверку».

Это полезные управленческие выводы. Они не требуют притворяться, что причинность доказана, и не запрещают действовать. Возьмите последнее улучшение, которым вы довольны, и перечислите, что ещё изменилось в тот же период. Затем решите, какие дополнительные наблюдения действительно повлияют на ваш следующий шаг.