A/B тесты в Finteza для проверки маркетинговых гипотез

Маркетинговые ресурсы

22 апреля 2020 г.

Сложно переоценить важность A/B-тестов в борьбе за повышение конверсии. А недооценить - легко. Расскажем подробнее на собственном примере.

Мы развиваем сообщество трейдеров MQL5.com, в котором есть крупнейший маркет с торговыми роботами и техническими индикаторами для платформ MetaTrader. Более 18 000 приложений, сотни ежедневных покупок – с ним все хорошо, но всегда хочется сделать еще лучше, удобнее и прибыльнее.

Мы изучили несколько кейсов по оптимизации конверсии, посмотрели на крупнейшие онлайн-маркеты и заметили интересную особенность. У большинства крупных интернет-магазинов информация о товаре располагается в левой части, а кнопки покупки – в правой. Покопались глубже и выяснили, что такая логика обусловлена статистикой. Примерно 85% населения планеты – правши, и им удобнее потреблять информацию именно в таком виде. И вот незадача: в нашем маркете торговых приложений кнопки покупки находятся с левой стороны.

Почему так получилось, сказать сложно. Скорее всего старались сохранить преемственность с десктопных терминалов MetaTrader 4 и MetaTrader 5.

В итоге родилась теория: если перенести кнопки "Купить" вправо, то по ним будут кликать чаще. Чаще кликают – чаще покупают. Зачем нам идти в разрез с 85% населения планеты?

И все же, прежде чем принимать поспешные решения, мы провели A/B тест, чтобы выяснить: зависит ли частота кликов, и как следствие, количество покупок, от расположения кнопок.

Что мы сделали:

1. Подготовили версию страницы с кнопками с правой стороны. Ниже вы можете увидеть как выглядят оба варианта:


Не самое лучшее решение, но достижение идеала займет много времени, сил и денег. А нам важна скорость – протестировать изменение, замерить эффективность, сделать выводы и принять решение.

2. Две версии страницы готовы, теперь нужно разделить аудиторию сайта. Одним пользователям мы должны показывать кнопки покупки слева, другим – справа. Силами веб-разработчиков реализовали такой алгоритм.

Анализируется последняя цифра в уникальной куке пользователя:

  • Если она четная, то кнопки отображаются справа
  • Если нечетная, то кнопки отображаются слева

Преимущества такого подхода:

  • Можем показывать одно и то же расположение кнопок для каждого пользователя на протяжении всего времени, пока у него есть уникальная кука
  • Это будет работать как для авторизованных, так и для не авторизованных пользователей
  • Уникальная кука не поменяется после авторизации

3. Разделение аудитории настроено. Теперь осталось добавить треки для замера результатов.

Для чистоты эксперимента, завели три типа событий в Finteza:

Действие Событие для кнопок слева Событие для кнопок справа
1 Показ страницы продукта MQL5 Market Product View Left MQL5 Market Product View Right
2 Клик по кнопкам Купить или Арендовать MQL5 Market Product Buy Left MQL5 Market Product Buy Right
3 Успешное завершение покупки MQL5 Market Product Buy Finish Left MQL5 Market Product Buy Finish Right

Все приготовления завершены. Запускаем A/B тест!

Когда началось тестирование, выяснился интересный момент. Страница с правыми кнопками показывается чаще, чем с левыми. Даже Великий Рандом не гарантирует распределение аудитории ровно 50/50. И в нашем тесте получилось, что 44% пользователей видят кнопки слева, а 56% – справа. Однако на проверку теории это никак не повлияло, так как рассматриваются именно проценты конверсии. 

А/В тест завершили через 2 недели. Для определения эффективности изменений воспользовались воронками – удобным инструментом в  аналитической системе Finteza.

Построили воронки из трех этапов для каждой версии страницы. Отметим, что изменение расположения кнопок должно повысить кликабельность. То есть главное влияние идет на этап между показом страницы и кликом по кнопкам. Выделили его красной рамкой.


Как видно из построенных воронок, практически нет разницы между конверсией кликов по левым и правым кнопкам. На левой кнопке конверсия оказалось даже на 0,5% выше. В итоге теория не подтвердилась.

Мы не утверждаем, что левые кнопки работают лучше, чем правые. Мы лишь показываем, что каждый случай индивидуален. И прежде чем внедрять какие-то кардинальные изменения, их необходимо протестировать. Чтобы действовать не на основании личной уверенности, а иметь подтверждение в виде конкретных цифр. И Finteza вам в этом поможет.

Выводы:
  1. Важно постоянно работать над повышением конверсии – вы сможете эффективнее привлекать трейдеров, оптимизировать формы регистрации, получать больше прибыли. Или наоборот уберечь свою компанию от неверных решений.
  2. Finteza предоставляет все необходимые инструменты для замера эффективности ваших изменений.


Хочу попробовать Finteza бесплатно