Как A/B-тестирования помогают повысить эффективность?
Что такое A/B-тестирования и зачем они нужны?
A/B-тестирование, оно же — сплит-тестирование — это эксперимент, который позволяет сравнить две версии чего-либо, чтобы проверить гипотезы и определить, какая версия лучше. К примеру, это может быть сравнение двух вариантов посадочной страницы, которые отличаются между собой одним параметром (изображение, расположение блока, кнопка и т.д.).
Такие тестирования являются неотъемлемой частью процесса работы над продуктом. Продакт-менеджеры, продуктовые дизайнеры, маркетологи — эти специалисты должны быть знакомы с A/B-тестированиями, поскольку они позволяют принимать решения на основе данных, а не на чьем-либо личном опыте.
Как А/В помогает зарабатывать больше?
Приведу несколько примеров, которые демонстрируют важность таких тестов для бизнеса.
На рубеже 20-го века пивоваренная компания Guinness активно наращивала производство, ей требовалось снизить себестоимость продукции, сохранив привычное качество. В то время теории, позволявшей делать выводы по результатам тестирования небольшой выборки образцов, не существовало. С этой задачей отлично справился Уильям Госсет, его исследования позволяли принимать решение о выборе сырья для пивоварения, опираясь на числовые данные, полученные в ходе тестов, а не на интуицию и «показания» органов чувств. Ни один из конкурентов Guinness ничего подобного делать не умел. Подробнее об этой истории.
В 2009 году Google протестировал 41 оттенок синего цвета в рекламной выдаче, это позволило выявить вариант, имеющий наибольшую кликабельность. Вскоре из компании ушел дизайнер Дуг Боуман, прокомментировав свой уход так:
«Это правда, что команда Google не могла выбрать из двух оттенков синего, поэтому протестирован 41 оттенок, чтобы увидеть, какой из них лучше работает. Недавно у меня была дискуссия о том, должна ли граница быть шириной 3, 4 или 5 пикселей, и меня попросили доказать свою правоту. Я не могу действовать в такой обстановке. Я уже устал обсуждать такие незначительные дизайнерские решения. В этом мире есть более захватывающие проблемы дизайна».
Позже, совершенно с другой стороны этот тест объяснил Дэн Кобли, управляющий директор Google UK:
“Последствия этого теста для нас, учитывая масштаб нашего бизнеса, заключались в том, что мы зарабатывали дополнительные $200 млн в год в виде дохода от рекламы.”
Это один и примеров data-driven подхода, принятия решения на основе данных, а не на экспертном мнении. Подробнее об этом кейсе
Необходимость тестирования возникает не только у бизнес-гигантов, но и у менее крупных компаний. В интернет-магазине Bionic Gloves протестировали изменение страницы оформления заказа, убрав поле для промокода. Это принесло результат, общий доход увеличился на 24,7%, доход с каждого посетителя вырос на 17,1%. Связано это было с тем, что некоторые пользователи, видя поле для промокода, переходили в поисковик, чтобы найти код и сэкономить, но не всегда возвращались.
Как провести A/B-тестирование?
Шаги проведения тестирования могут быть сформулированы так:
1. Определите цели
2. Определите метрику
3. Разработайте гипотезу
4. Подготовьте эксперимент
5. Проведите эксперимент
6. Анализируйте результаты
Эти шаги подробно описаны, например, в этой статье , также статья переведена на русский язык Академией Яндекса.
Я же остановлюсь подробнее на использовании A/B-тестов в digital-рекламе. Объясню, с чем это связано. Для A/B-тестов критически важен размер выборки. Рассчитать размер выборки и статистическую значимость можно с помощью множества калькуляторов, к примеру, от Mindbox. Когда ваш проект только стартовал, у вас не всегда достаточно данных для таких тестов и их проведение может ничего вам не дать, либо и вовсе дать ложные результаты.
В рекламных системах данные накапливаются гораздо быстрее. Условно, из 10 000 пользователей, видевших ваше объявление в поисковой системе, лишь 700 перейдут к вам на сайт и 20–25 что-то купят. Скорее всего, A/B-тесты вы начнете с рекламы.
Еще один важный момент в A/B-тестированиях — проверяйте изменения лишь одного элемента за тест. Если вы одновременно поменяли местами блоки на сайте, перенесли кнопку заказа, изменили отображение цены товара и получили более высокую конверсию, то это хорошо, но не ясно, что именно повлияло в какой мере.
A/B-тестирования в Яндекс.Директ
В Директе предусмотрено два вида A/B-тестов:
1) Тестирование объявлений внутри группы
Таким образом можно сравнивать эффективность заголовков, текстов и других элементов объявлений. Повторюсь, важно, чтобы отличия были лишь в одном элементе, иначе вы не поймете, что именно повлияло на изменения метрик.
От вас потребуется только разместить несколько вариантов объявлений, остальное система будет делать автоматически. По мере накопления статистики Директ будет выбирать для показа более кликабельный вариант. Этот вариант тестирования подходит только для улучшения показателя CTR.
2) Тестирование кампаний
Этот вариант тестирования позволяет сравнить действия пользователей после перехода по рекламе, поэтому требует наличия счетчика Яндекс.Метрики и настроенных целей, по которым происходит не менее 200 конверсий в месяц. Меньшее число конверсий не обеспечит статистической достоверности.
Для проведения эксперимента необходимо создать копию рекламной кампании и изменить в ней один параметр, гипотезу по которому вы хотите проверить. Это может быть увеличение ставок для сегмента аудитории, влияние подключения медийной рекламы, сравнение эффективности автоматического и ручного управления ставками и многое другое.
Текущие результаты вы сможете видеть в Метрике.
Оценить статистическую значимость можно с помощью калькулятора.
A/B-тестирования в других рекламных системах, полезные инструменты
Без сплит-тестов не обходится ни одна современная рекламная система, A/B-тестирования применяются в MyTarget, Facebook, Google Ads.
Также существуют сервисы для удобной проверки гипотез по вашему сайту. Одной из таких систем является Google Optimize.
Google Optimize — это сервис для тестирования интерфейса сайта. С ним можно проводить А/В и мультиканальные тестирования, собирать и анализировать данные о поведении пользователей на сайте. О том, как использовать, вы можете узнать из этой статьи.
