Не меняйте все сразу: честный A/B-тест осенней рекламы в Яндекс Директе

В начале сентября маркетолог меняет заголовок, фотографию, ставку и посадочную страницу. Продажи растут на двадцать процентов. Что сработало? Честный ответ - неизвестно. Возможно, новый текст оказался убедительнее. Возможно, закончились каникулы, пришла зарплата или один крупный заказ случайно попал в отчет. Когда одновременно изменены четыре элемента, реклама дает результат, но не дает знания.

В актуальном интерфейсе Яндекс Директа A/B-эксперименты доступны для Единой перфоманс-кампании при продвижении сайтов и приложений, кроме показов в мессенджерах, а также для медийных кампаний. Официальная инструкция начинает не с кнопки, а с гипотезы и советует проверять в одном эксперименте один параметр. Это главное правило, которое экономит бюджет.

Сформулируйте вопрос так, чтобы на него можно было ответить

Плохая гипотеза звучит так: "Сделаем рекламу современнее и повысим эффективность". В ней нет конкретного изменения, метрики и аудитории. Рабочий вариант: "Для новых посетителей фотография товара в использовании снизит стоимость оформленного заказа по сравнению с фотографией на белом фоне".

Запишите три элемента: что меняется, для кого и по какой метрике принимается решение. Не подменяйте основную метрику вспомогательной. Если бизнесу нужны заявки, высокий CTR сам по себе не доказывает успех. Объявление может собирать любопытные клики и приводить людей, которые не собираются покупать.

Соберите контрольную копию до творческого спора

Вариант A - действующая версия, вариант B - копия с одним изменением. Если тестируется изображение, оставьте одинаковыми заголовок, текст, аудиторию, расписание, стратегию, посадочную страницу и цель. Если проверяется акция, креативы должны отличаться только предложением, а не одновременно цветом и формулировкой.

Яндекс Директ позволяет сравнивать разные кампании или разные настройки одной кампании. В официальной инструкции указано, что остановленная кампания после добавления в эксперимент запускается автоматически. Поэтому перед подтверждением еще раз проверьте даты, лимиты, географию и посадочные адреса. Техническая мелочь способна потратить бюджет раньше запланированного старта.

Разделите не только аудиторию, но и деньги

Для двух вариантов логично начать с равного распределения 50 на 50. Яндекс рекомендует делить выборку поровну и следить, чтобы бюджеты были пропорциональны долям. Если вариант B получает половину пользователей, но вдвое меньший бюджет, условия перестают быть сопоставимыми.

Не запускайте A в понедельник, а B в пятницу. День недели, погода, новости отрасли и остатки товара влияют на поведение. Встроенный эксперимент нужен именно для одновременного распределения аудитории. Обычное сравнение двух соседних недель полезно для наблюдения, но слабее отвечает на причинный вопрос.

До старта назначьте дату, когда можно смотреть вывод

В настройках указывается ожидаемая длительность, однако эксперимент будет идти до ручной остановки. Яндекс отмечает, что кампаниям требуется период обучения, в среднем 7-14 дней. Для каждого варианта рекомендуется накопить не менее 10 конверсий в неделю. Если новая кампания сравнивается с давно работающей, у старой уже есть накопленная статистика; инструкция предлагает увеличить общий период, например до четырех недель, и внимательнее смотреть на последние сегменты.

Назначьте в календаре промежуточную техническую проверку и финальную дату анализа. В техническую проверку разрешено смотреть, нет ли битой ссылки, остановки показов или резкого перерасхода. Нельзя объявлять победителя после первых трех конверсий только потому, что зеленая строка радует глаз.

Не трогайте сцену во время спектакля

Во время теста не меняйте ставки, тексты и посадочную страницу только в одном варианте. Если магазин внезапно отменил акцию или на странице сломалась форма, остановите эксперимент, исправьте проблему и зафиксируйте, почему данные непригодны. Пытаться спасти красивый график опаснее, чем честно начать заново.

Ведите короткий журнал: дата запуска, изменения, сбои сайта, отсутствие товара, крупная рассылка, изменение цены. Через три недели память подскажет удобную, но не обязательно правдивую историю. Пять строк журнала объяснят аномалию лучше длинного совещания.

Читайте отчет от бизнес-метрики к кликам

Отчет Директа показывает метрики каждого варианта и использует цветовое выделение с учетом p-value. Это помогает оценить, насколько наблюдаемое различие похоже на устойчивое, но цвет не заменяет здравый смысл. Сначала смотрите основную цель: число и стоимость заказов, заявок или другой выбранной конверсии. Затем проверяйте расход, конверсию, клики и показы.

Представим, что B получил больше заявок, но стоимость заявки почти не изменилась. Если задача была увеличить объем при доступном бюджете, результат может быть полезным. Если гипотеза обещала снизить стоимость, она не подтверждена. Не переписывайте вопрос после получения цифр.

Три возможных итога, а не два

Первый итог - B уверенно лучше по заранее выбранной метрике и не ухудшает критические показатели. Изменение можно перенести в основную кампанию. Второй - A лучше, новая идея отклоняется. Это не провал: бизнес купил знание и не раскатал слабый вариант на весь трафик.

Третий и самый частый итог - данных недостаточно или различие практически неважно. Тогда можно продлить тест при сохранении условий, упростить гипотезу или признать варианты равноценными. Не выбирайте B только потому, что дизайнер потратил на него больше времени.

Посчитайте ценность эксперимента после завершения

Сохраните гипотезу, даты, варианты, объем выборки, основную метрику, результат и принятое решение в одном реестре. Через полгода команда не будет снова проверять синюю кнопку против зеленой под другим названием. Отрицательные результаты особенно ценны: они закрывают тупиковые идеи.

Хороший A/B-тест не обязан дать сенсацию. Его работа - отделить эффект одного изменения от сезонного шума. Осенняя кампания заканчивается, а знание остается: какой образ, оффер или настройка действительно влияет на нужное действие и в каких условиях результат был получен.