История одного странного A|B теста или большинство не может ошибаться

Мы в relap.io часто получаем запросы на кастомизацию рекомендательных блоков. “Сделайте точно так же как на vc.ru, но с другим шрифтом. А, и еще цвет поменять”, — вот это все. Сверстать блок не проблема, но влияет ли внешний вид блока на кликабельность? Задавшись этим вопросом, мы сделали админку для проведения A/B тестов внешнего вида блока рекомендаций. Теперь любое СМИ, которое установило себе виджет релапа, может узнать, меняются ли ключевые показатели после реализации тех или иных идей. На цифрах, без “синий кажется более гармоничным”. Только факты и результат.

Стандартный набор тестов

Не нравится видеть в блоке с рекомендациями дату публикации статьи? Давайте проведем тест, как виджет работает без нее. 3% статистически-значимого прироста к конверсии в клик. Убираем. И так можно проверить все: шрифты, заголовки, количество статей, наличие описания, длину строк, дизайн совершенно нового виджета в сравнении с текущим.

Неожиданный результат

Недавно проводил тестирование для известного медиасайта. Нагенерил список возможных изменений, одним из которых было “открывать рекомендации в новой вкладке” на десктопной версии сайта. Хотел узнать, как поведут себя пользователи в этой ситуации. Догадки, разумеется, были. Коллеги посчитали, что открытие рекомендаций в новой вкладке окажется далеко за гранью добра и ожидали, что глубина просмотров и CTR изменятся не в лучшую сторону. Тест запустили. Оба показателя выросли. CTR у тестовой группы увеличился на 4,8%. Количество пользователей, читающих только одну-две страницы, сократилось относительно контрольной группы на 3%, количество читающих 3 страницы улучшилось незначительно, количество читающих 4+ страниц выросло на 16%.

Никогда такого не было и вот опять, снова улучшили блок с рекомендациями!

Почему пользователи стали чаще кликать и просматривать больше статей?

После теста проанализировал, почему при открытии рекомендации в новой вкладке пользователи меняют свое поведение.

Для сайта, на котором проводился тест, более 80% пользователей дочитывает статью до конца или целенаправленно скролит до рекомендательных блоков.

• Итак, представьте, пользователь читает статью, затем видит подходящую рекомендацию и кликает на нее.
• Открытую статью вместе с пользователем перебрасываем в новую вкладку.
• Пользователь дочитывает/не дочитывает статью до конца и что делает дальше? Вариантов два или снова кликнуть на рекомендацию, или закрыть вкладку.
• Если открывает новую рекомендацию — отлично. Если закрывает вкладку, то попадает на предыдущую статью, открытую где? На блоке с рекомендациями. А мы их сотнями тестами уже довели до состояния когда не нажать на них сложнее чем нажать. В тесте получилась усиливающаяся петля обратной связи.

Небольшое усложнение процесса привело к увеличению числа контактов пользователя с блоком рекомендаций, повысило кликабельность и повлияло на глубину просмотра. Для сайта, на котором проводился тест он сработал, возможно на других продуктах поведение будет другим, нужно проверять.

Выводы

Личное мнение это только личное мнение, проверяйте и перепроверяйте все сами, даже казалось бы вполне очевидные вещи требуют проверки и доказательства. Ищите неожиданные точки роста.

Понравилось?