Команда исправила формулу, и конверсия внезапно выросла вдвое. Продажи при этом не изменились. Если просто заменить старые числа новыми, в истории появится ложный успех, а люди не поймут, какие прошлые решения опирались на ошибочные сведения.

Исправление метрики включает две задачи: получить более подходящее число и объяснить переход. Для этого нужно сохранить определения, исходные данные, выпущенные отчёты и основание изменения. История ошибки тоже является частью рабочей информации.

Определите, что именно произошло

Разделите ошибку расчёта и изменение смысла показателя. Неверная ссылка в формуле, двойной учёт платежа или пропущенная строка — ошибки относительно уже принятого правила. Замена числа сообщений числом уникальных покупателей меняет саму единицу измерения, если прежде сообщения считали намеренно.

ONS различает исправления ошибок и пересмотры, связанные, например, с новыми данными или улучшением метода. Для внутреннего отчёта это полезная основа честного объяснения: исправляем нарушение прежнего определения либо вводим другое определение.

Возможна и смешанная ситуация. Показатель назывался «конверсия покупателей», но фактически знаменатель содержал сообщения. Тогда нужно признать несоответствие названия расчёту и отдельно описать новое правило. Не называйте обнаруженную ошибку улучшением методики только ради более удобного впечатления.

Сохраните исходное состояние до пересчёта

Сделайте копию выпущенного отчёта, формулы и использованных исходных данных с датой. Рабочий исправленный вариант должен быть явно обозначен как актуальный, а прежний — как архивный и содержащий известную проблему. Сохранение истории не означает продолжение использования ошибки.

Определите затронутый период и места использования: отчёт владельца, оценку рекламы, расчёт премий, планирование закупки. Одна формула может питать несколько документов. Исправление только красивого графика не устраняет ошибку в зависимых решениях.

Назначьте ответственного за изменение и проверку. Для существенного показателя полезно, чтобы расчёт проверил человек, который не вносил исправление. Это помогает обнаружить вторую ошибку, возникшую при ремонте первой.

Напишите новое определение до изменения чисел

Укажите событие, единицу учёта, числитель, знаменатель, период и исключения. Для конверсии особенно важно, чтобы покупки и потенциальные покупатели относились к одной понятной группе и имели сопоставимое время для завершения сделки.

Учебный пример: в завершившейся группе десять разных покупателей оплатили заказы. От них и других участников получено 50 сообщений, которым соответствуют 25 уникальных подходящих потенциальных покупателей. Старое отношение 10 / 50 равно 20%; новое 10 / 25 — 40%.

Доля выросла из-за смены знаменателя. Это не рост продаж и не доказательство улучшения работы менеджера. В примере все десять покупателей входят в те же 25 человек, а результаты группы уже известны; без этих условий даже новый расчёт потребовал бы уточнения.

Пересчитайте прошлое только там, где это возможно

Если первичные записи позволяют восстановить уникальных участников по единому правилу, пересчитайте сопоставимый исторический период. Сохраните обе версии и пояснение, какая используется для анализа теперь. Старые опубликованные значения не должны исчезать без следа.

Если исходных сведений нет, не создавайте восстановленную историю умножением старых процентов на случайный коэффициент. Можно начать новую серию с определённой даты и обозначить разрыв сопоставимости. Неполная честная история полезнее гладкой выдуманной линии.

При возможности некоторое время считайте оба варианта на одних данных. Такое параллельное наблюдение показывает различия и помогает найти зависимые процессы. Оно не гарантирует, что соотношение двух метрик будет постоянным в будущем.

Объясните изменение пользователям отчёта

Короткое уведомление отвечает на четыре вопроса: что было неверно или изменено, какие периоды затронуты, насколько поменялись значения и как теперь сравнивать результаты. Укажите ссылку на определение и дату вступления новой версии в действие.

В учебном примере пояснение может звучать так: «С этой версии считаем долю покупателей среди уникальных подходящих обращавшихся. Ранее использовалось число сообщений. Значения до и после изменения напрямую не сравниваются; пересчитанные периоды отмечены отдельно».

Если показатель участвовал в значимом решении, вернитесь к этому решению. Возможно, необходимо пересмотреть оценку канала или план расходов. Вопросы выплат и других обязательств решаются с учётом действующих условий; одной заменой числа нельзя автоматически изменить уже возникшие права и обязанности.

Десять покупателей из 50 сообщений — это 20%. Те же десять из 25 уникальных обращавшихся — это 40%.
Доля выросла из-за знаменателя. Это не рост продаж и не оценка работы менеджера.
Было
10 покупателей из 50 сообщений, 20%.
Стало
10 покупателей из 25 уникальных подходящих обращавшихся, 40%. Знаменатель сменился. Это не рост продаж.

Все десять покупателей входят в те же 25 человек, результаты группы уже известны.

Проверьте расчёт на понятных случаях

Возьмите небольшой набор, где можно вручную проследить каждого участника, включая повторные сообщения, отмену и отсутствие покупки. Сопоставьте результат формулы с новым определением. Затем проверьте связанные отчёты и отметьте завершение перехода.

Сохраните версию определения и причину изменения рядом с показателем. Следующему сотруднику должно быть понятно, почему исторические значения различаются. Эта запись предотвращает повторное «исправление» метрики обратно к прежней ошибке.

Практическое задание

Подготовьте план исправления одной метрики: тип изменения, затронутый период, новое определение, возможность пересчёта и список зависимых решений. Напишите уведомление для читателя отчёта. Если историю восстановить нельзя, обозначьте дату начала новой серии и правило сравнения, не заполняя отсутствующие данные предположениями.