Длительность бизнес-эксперимента

Кому подойдёт: новичкам, которые проверяют идею параллельно с наймом, и фрилансерам, которым нужно ограничить время на новое предложение. Категории Start и System.

«Проверю спрос за неделю» звучит удобно. Но если покупатель согласует даже небольшую услугу с руководителем две недели, к воскресенью вы получите в основном незавершённые разговоры. Обратная крайность — проверять предложение до тех пор, пока не появится желаемый результат. Тогда эксперимент может незаметно занять всё свободное время.

Срок проверки нужно связывать с тем, что вы наблюдаете, как быстро получаете доступ к аудитории и когда у участников появляется возможность выполнить нужное действие. У эксперимента есть календарь, но одного календаря недостаточно. Разберём, какие ещё ограничения нужны.

Разделите набор участников и ожидание результата

У проверки обычно как минимум два временных отрезка. Сначала вы находите людей и показываете предложение. Затем ждёте действие: ответ, согласование, оплату, использование результата или повторный заказ. Эти отрезки могут частично совпадать, но не исчезают из-за того, что вы поставили дедлайн.

Допустим, вы обращаетесь к компаниям с понедельника по пятницу и даёте каждой пять рабочих дней на ответ. У компании, которой написали в пятницу, к вечеру того же дня ещё не было пяти дней. Если в воскресенье сравнить её с компанией, получившей письмо в понедельник, условия окажутся разными.

Письмо в понедельник

К воскресенью пять рабочих дней на ответ уже прошли.

Письмо в пятницу

К вечеру пятницы пяти рабочих дней ещё не было. В воскресенье срок у двух компаний разный.

Истечение вашего срока не превращает открытый разговор в отказ.

В таблице полезно хранить дату первого контакта, дату конкретного предложения и дату, после которой можно подводить итог по этому участнику. Если разговор перешёл в согласование, отмечайте это отдельно. Истечение вашего срока не превращает открытый разговор в отказ клиента.

Опирайтесь на реальную последовательность покупки

Спросите себя, что должно произойти между знакомством с предложением и нужным действием. Для недорогого шаблона путь может занимать минуты. Для услуги компании — включать встречу, уточнение задачи, внутреннее обсуждение и оформление. Проверяя повторную покупку, нужно дождаться момента, когда такая потребность вообще возникает.

На старте точных данных может не быть. Тогда используйте предварительную оценку и явно пометьте её как предположение. Узнайте у потенциальных клиентов, как они недавно покупали похожую услугу, посмотрите сроки своих первых разговоров. По мере накопления наблюдений оценку можно уточнять.

Не переносите срок из чужого кейса только потому, что у вас похожая тема. Консультация частному человеку и внедрение в компании могут называться одинаково, но продаваться по разной процедуре. Значение имеет путь вашего покупателя, а не привлекательность обещания «быстрый тест».

Задайте объём работы и предел ресурсов

Кроме даты запишите, сколько действий вы реально выполните. Например: найти и проверить двенадцать подходящих контактов, провести согласованные разговоры, предложить один и тот же ограниченный пилот. Такой план помогает заметить, что неделя прошла, а сама проверка почти не началась.

Отдельно установите предел затрат: сколько часов, денег и обещаний вы готовы вложить. В учебном примере специалист в найме выделяет три недели и девять часов собственной работы. Первую неделю использует для приглашений, вторую — для разговоров, третью — для уточнений и разбора. Это его организационный выбор, а не научно установленная длительность проверки.

Если за это время к аудитории не удалось добраться, вывод будет о доступе и канале. Если люди получили предложение, но срок согласования ещё не завершился, часть результата остаётся открытой. Можно прекратить активные вложения, сохранить контакты и назначить дату следующего среза. Необязательно выбирать между бесконечным ожиданием и искусственным закрытием всех сделок.

Учтите ритм аудитории

Проверка, проведённая только в выходные, может плохо описывать поведение покупателей, которые решают рабочие вопросы по будням. Сезонный пик, праздники или разовая публикация партнёра тоже меняют условия. Это не делает наблюдения бесполезными, но ограничивает их перенос на обычный период.

Команда Microsoft, исследующая онлайн-эксперименты, отдельно обращает внимание на различия по дням и на временные эффекты, включая реакцию на новизну. Для небольшого проекта практический вывод скромнее: фиксируйте условия периода и не считайте один необычный день устойчивой нормой.

Если сезонность важна, сравнивайте сопоставимые отрезки или хотя бы отмечайте её в выводе. «За неделю перед профессиональной конференцией получили четыре запроса» — точнее, чем «получаем четыре запроса каждую неделю». Во втором предложении уже появился прогноз, которого вы пока не проверяли.

Обоснуйте продление проверки

Продление оправданно, когда вы знаете, какой пробел собираетесь закрыть. Например, закончить одинаковое окно наблюдения для поздно приглашённых участников или проверить исправленную форму. Запишите причину, новый предел и то, какие результаты будут относиться к исходному варианту, а какие — к изменённому.

Если продление объясняется только тем, что результат не нравится, вернитесь к первоначальному вопросу. Возможно, данных уже достаточно, чтобы отказаться от следующего вложения, хотя недостаточно для вывода обо всём рынке. Это нормальное различие. Решение о собственном времени не требует универсального доказательства.

Для полноценного статистического АБ-теста срок и объём рассчитываются иначе: учитываются частота целевого события, ожидаемая разница и дизайн анализа. Просто ждать «пока один вариант победит» нельзя считать полноценным планом. Подробнее этот выбор разобран в статье 147.

Перед ближайшей проверкой запишите пять дат: начало набора, конец набора, последний срок наблюдения, разбор результата и следующий возможный шаг. Рядом укажите предел часов и расходов. Такой календарь оставляет место для реального поведения покупателей и одновременно защищает вашу неделю от бесконечного эксперимента.