Daily Growth Tips #65: Делайте A/B тесты ради денег, а не науки [To make more money, not to make science]

Если вы хоть немного погружались в A/B тестирование, то знаете одно из правил — “Делать только одно изменение в одном эксперименте. Благодаря этому вы будете точно знать, что влияет на конверсию”. Но эта статья будет совсем о другом: об отказе от этого правила.

Итак, если вы проводите отдельные A/B тесты и в каждом из них делаете только одно изменение, то точно знаете, что работает, а что нет. Это правильный подход, о котором пишут абсолютно везде. И на моем блоге вы найдете много статей, где говорится об этом.

Но есть и другой подход к A/B тестированию, который не о “scientific approach”, а больше о реальном бизнесе, о реальных деньгах, да просто о реальном положении вещей.

Здесь я хочу процитировать Peep Laja, основателя компании ConversionXL (самая известная компания в сфере увеличения конверсии):

Допустим, вы делаете 100 изменений на странице и благодаря этому продажи вырастают на 30%, но вы не знаете, какое именно изменение повлияло на это. Вы реально будете париться по этому поводу?
Original: Let’s say you change 100 things, and sales go up 30% — but you don’t know what caused the change. Realistically, do you care?

Очень важным преимуществом A/B тестирования является то, что мы можем узнавать о предпочтениях целевой аудитории больше. Если тестируем каждый элемент отдельно, то мы учимся подстраиваться под целевую аудиторию, в результате чего увеличивается конверсия.

Но Peep говорит немного о другом. О тестировании, которое больше направлено на увеличение продаж, а не на стопроцентно-правильный научный подход к тестированию.

Sometimes we can sacrifice “testing to learn” for testing to earn.

Если вы когда-нибудь делали A/B тесты и у вас не огромная компания, где сотни тысяч посетителей и десятки тысяч клиентов, то вы должны прекрасно понимать, о чем идет речь.

Проблема в том, что тестирование только лишь одного элемента требует очень большого количество трафика и конверсий, либо очень большого увеличения конверсии в результате эксперимента (а это противоречит друг другу, ибо небольшое изменение не может привести к большому изменению).

Тестирование только лишь одного элемента доступно только богатым (читай как сайтам с огромным трафиком и количеством конверсий)

Если у вас куча трафика, то тестируйте хоть тени цвета кнопки, как это делал Google. В вашем случае маленькое изменение в конверсии может принести большой профит. И ваши возможности не ограничены недостатком трафика.

Что делать, если нет трафика для “правильного” A/B тестирования?

Если у вас нет кучи трафика, то вы не можете соблюдать все правила тестирования. Либо вы будете делать эти гребаные тесты всю жизнь, соблюдая научный подход, но так и не начнете зарабатывать больше денег.

Кстати, не забывайте, что в среднем 8 из 10 тестов проваливаются либо просто не приносят никакого результата. А каждый такой тест — это упущенная возможность, потраченное время, силы, деньги.

Если вы что-то меняете, то это должно быть значительное изменение, а не смена цвета кнопки. Это должно быть изменение, которое сильно влияет на поведение пользователь.

Чем больше и значительнее изменение, тем больше шанс, что оно сильно повлияет на бизнес-показатели.

Да, это рискованно. Да, это может не сработать. Но только рискуя и делая что-то нестандартное, меняющее текущее поведение (user flow) пользователя, можно добиться серьезных изменений.

Либо можно всю жизнь калупаться с кнопками, цветами, заголовками, полями в форме и прочей фигней, которая то снижает конверсию на пару процентов, то повышает ее…

Если я вас не убедил, то давайте посмотрим пару расчетов из калькулятора для A/B тестирования.

#1. Представьте, что у вас средняя конверсия 2% и вы делаете одно небольшое изменение на странице.

Чтобы изменение конверсии на 5% было статистически достоверным (при показателе статистической значимости в 95%, а лучше выставлять 99%), вам понадобится 400 000 посетителей на каждый вариант страницы, т.е. в сумме 800 000 посетителей.

У вас есть столько посетителей в месяц?

Вряд ли.

#2: Представьте, что у вас средняя конверсия 2% и вы полностью меняете основную страницу на сайте (более 50 изменений).

Чтобы изменение конверсии на 50% было статистически значимым, вам понадобится всего 2900 человек на каждый вариант, т.е. 5800 посетителей в сумме.

Чувствуете разницу?

Ни один небольшой сайт не сможет сделать правильный A/B тест, если изменение в конверсии будет незначительным. Либо этот эксперимент будет длиться несколько лет.

Я вас не призываю отказываться от правильного A/B тестирования. Вы сами можете принять правильное решение.

Просто задайте сами себе вопрос:

“Если я увеличу продажи, делая не совсем правильные A/B тесты, стоит ли этого того, чтобы отказаться от последовательного подхода к изучению целевой аудитории и к тому, что на нее влияет?”

P. S. В конце концов, цель любой оптимизации — это увеличение продаж и повышение прибыли…

After all, the goal of optimization is to make more money, not to make science.

Надеюсь, что эта статья понравилась вам! Лично мне она очень понравилась :)

Источник: ConversionXL Blog

A single golf clap? Or a long standing ovation?

By clapping more or less, you can signal to us which stories really stand out.