Готовясь к созданию теста в Optimizely Web Experimentation, мы часто знаем, что и где мы хотим изменить. Даже знание того, на кого мы хотим нацелиться, может прийти на ум довольно легко. Однако точное знание того, какие показатели мы хотим отслеживать и измерять, часто может заставить нас задуматься на этапе планирования.
Основная метрика
Подумайте о своем первичная метрика как ключевую информацию, которая вам нужна, чтобы определить, даст ли ваш тест желаемый эффект вашей гипотезы. Эта точка данных действует как ваша метрика проверки или «точка доказательства», которая либо подтвердит, либо опровергнет вашу тестовую гипотезу.
- Совет: посмотрите на свою тестовую гипотезу, чтобы найти подсказки.
В идеале ваш основной показатель можно отслеживать на странице таргетинга, чтобы гарантировать, что успех (или неудача) вашего теста может быть напрямую связан с результатами этого показателя. Другими словами, чем дальше ваша основная метрика от страницы таргетинга, тем больше другие переменные могут влиять на поведение пользователей до достижения основной метрики вашего теста.
Если между страницей, на которой пользователь видит изменение (целевая страница), и страницей, на которой пользователь должен совершить действие (основной показатель), создается расстояние, существует вероятность того, что между этими двумя точками на поведение пользователя могут повлиять дополнительные факторы.
Другими словами, действие пользователя, соответствующее вашей основной метрике, должно присутствовать на тестируемой странице, чтобы избежать влияния других внешних переменных.
Давайте возьмем, к примеру, тест, в котором мы меняем текст кнопки «Добавить в корзину» (ATC) в варианте с «Купить сейчас» на «Получить сейчас», чтобы увидеть, побудит ли эта формулировка больше пользователей нажать на эту кнопку. (После некоторых семантических исследований нам интересно узнать, будет ли слово «получить» как слово, намекающее на скорость получения продукта, более привлекательным для пользователей, чем слово «купить» как слово, более связанное с покупкой продукта. )
Теперь, хотя мы в конечном итоге хотим, чтобы пользователи завершили свой путь к покупке, основная цель этого A/B-теста — увидеть, нажмет ли больше пользователей кнопку «Добавить в корзину» в варианте по сравнению с контрольным вариантом. Поэтому нашей основной метрикой для отслеживания будут клики по кнопке «Добавить в корзину».
Обратите внимание, что этот основной показатель также существует на странице «Таргетинг», где происходит действие пользователя (нажатие кнопки ATC) для прямой атрибуции неудачи/успеха тестирования.
Как видно из этого примера, основной метрикой тестов на веб-сайте электронной коммерции не всегда является метрика дохода. Несмотря на то доход на посетителя (RPV) может быть основной метрикой для веб-сайта электронной коммерции и поддерживать бизнес-цели, мы не можем предполагать, что эта метрика всегда будет основной метрикой тестов, выполняемых на этом веб-сайте.
- Совет: Учитывайте желаемый результат, который ожидается от варианта этого теста, чтобы определить основной показатель теста.
Вторичные метрики
Однако доход остается важным показателем, о котором следует помнить, поскольку изменения, внесенные в вариант, могут в конечном итоге повлиять на размер дохода, полученного в результате этого теста. Таким образом, хотя доход, полученный в результате этого теста, не является основным показателем для этого теста, его все равно будет интересно сравнить между контрольным и вариантом.
Это где вторичные показателиили метрики следующей важности, вступают в игру. Для этого конкретного примера электронной коммерции вторичными показателями, которые будут иметь значение для этого теста, могут быть доход на посетителя (RPV) и общий полученный доход.
Дополнительные показатели рассмотрения могут включать в себя:
- Конверсии
- Коэффициент конверсии
- Средняя стоимость заказа или AOV
Обратите внимание, что приведенные выше показатели также дают представление о различных этапах пути клиента к покупке. С того момента, как пользователь заходит на ваш сайт, до момента совершения покупки происходит несколько действий. Хотя этот конечный пункт назначения или точка конверсии на пути клиента заслуживает нашего внимания, равно как и промежуточные этапы.
Вторичные метрики дают нам возможность более внимательно изучить определенные действия и поведение пользователей, которые происходят на протяжении всего пути клиента, чтобы мы могли шаг за шагом наблюдать прогресс и спад.
Приоритизация метрик
В Optimizely Web Experimentation метрики ранжируются в соответствии с приоритетом. В верхней части списка метрик основная метрика имеет наивысший рейтинг и, следовательно, будет иметь приоритет в первую очередь. Каждому (вторичному) показателю, добавленному после этого, будет присвоен следующий приоритет. Итак, как только вы определите свою основную метрику в своем списке, подумайте, насколько важна каждая дополнительная метрика для вашего теста, а затем добавьте эти вторичные метрики в указанном порядке.
В Optimizely Web Experimentation вторичные метрики отображаются серым цветом, в отличие от основной метрики, которая отображается синим цветом. Выдающееся положение, придаваемое этой «синей» метрике, может служить напоминанием о необходимости перепроверить настройку метрик и убедиться, что самая важная метрика для этого теста расположена вверху в качестве основной метрики.
- Совет. Используйте функцию перетаскивания в разделе «Метрики», чтобы изменить положение метрики, если это необходимо. Перемещайте метрики до тех пор, пока не почувствуете удовлетворение порядком приоритетов, который вы присвоили каждой из них. Обратите внимание, как метрики автоматически меняют цвет в зависимости от их размещения. Метрика, расположенная вверху, автоматически станет синей и будет определена как основная метрика, а метрика, расположенная ниже в списке метрик, станет серой.
Хотя вам, возможно, захочется добавить в тест множество показателей, чтобы разнообразить ваши идеи, большее количество показателей не обязательно означает лучшие результаты. Большее количество метрик может замедлить скорость, с которой ваши показатели с самым высоким рейтингом смогут достичь статистической значимости, что потребует проведения вашего теста в течение более длительного периода времени.
Если в тест на платформе Optimizely Web Experimentation добавлено более пяти показателей, вы увидите предупреждающее сообщение. В этом сообщении рекомендуется не выбирать слишком много метрик для одного теста. Поэтому, как правило, старайтесь оставаться в диапазоне от одного до четырех дополнительных показателей, чтобы достичь статистической значимости показателей, которые наиболее важны для вашего теста.
Мониторинг показателей
Мониторинг показателей может также дать представление о других эффектах, которые могли возникнуть из-за различий между контролем и вариантом(ами). Хотя вариант создается с целью и намерением произвести конкретное изменение по сравнению с исходной (или контрольной) версией целевой страницы, это изменение между версиями может повлиять на другие факторы в пользовательском опыте.
Некоторые общие показатели мониторинга включают показатель отказов, показатель выхода, среднее время взаимодействия и процент отслеживания прокрутки, которые позволяют вам увидеть, увеличили или уменьшили изменения в варианте потребление контента на целевой странице. Эти показатели можно даже сочетать с другими инструментами анализа потока кликов и/или тепловых карт для более глубокого понимания поведения и вовлеченности пользователей, вызванных этим вариантом.
Вместе с первичными и вторичными метриками метрики мониторинга могут помочь вам получить целостное представление о влиянии вашего теста на общее впечатление пользователя.
Редактируйте, просматривайте и дорабатывайте свои показатели
Имея под рукой такое количество показателей, у вас может возникнуть соблазн включить в тест как можно больше показателей. Однако не забывайте ошибаться в сторону краткости, чтобы не исказить результаты вашего теста. Выбирайте важные показатели и расставьте приоритеты среди тех, которые напрямую связаны с целью вашего теста. Используйте редактирование, чтобы оставаться в пределах разумного диапазона (4–8) и включать только те, которые предоставят данные, необходимые для определения успеха вашего теста.
08 февраля 2024 г.