Сколько стоит A/B-тест?

UX Курс: 28 из 30 глупых вопросов

←Предыдущий вопрос

(Вы читаете перевод нового ускоренного курса UX. На этот раз курс посвящен глупым вопросам (UX Crash Course: 30 Stupid Questions). Если вы здесь впервые, то лучше начните с первой главы).


В мире бизнеса — а именно там в основном и живет UX — у всего есть цена. И UX не исключение. Поэтому когда вы начнете говорить клиентам и руководителям, что нужно проводить A/B-тесты, они могут спросить вас:

“Сколько стоит A/B-тест?”

Когда бизнесмен задает вопрос о стоимости чего-то, обычно его интересует не сама цена, а скорее будет ли новое приобретение “стоить своих денег”. И не важно, относится это к UX или нет.

Бизнесмену важно сравнить цену и полезность. Представьте, что вы просыпаетесь с похмелья и видите пиццу. Еще вчера она была “совершенно нездоровой едой”, а сегодня кажется лучшим изобретением Бога! Ее “полезность” для вас выросла, хотя цена не изменилась.

Кстати: пиццу изобрел итальянец Рафаэль Эспозито, так что теперь вы знаете, как зовут этого Бога.

Итак… столько же на самом деле стоит A/B-тест?


Глупый ответ:

“Этот A/B-тест неделями идет! У нас просто нет на это денег”

Ну да… Не совсем так.


Настоящий ответ:

A/B-тестирование — это очень дешево. Но не бесплатно.

Как бы мне ни хотелось сказать, что это бесплатно — это не так. Тесты можно проводить в Google Analytics, и это совершенно бесплатно, но программное обеспечение — это только часть истории.

Кто-то должен настроить код. Это занимает лишь час-два, но все же это чье-то время.

Кто-то должен создать дизайн вариантов для тестирования — это тоже время, а, значит, и деньги.

Кроме того, если вы работаете в большой компании, вам придется устраивать встречу по этому поводу, а это еще 30 минут жизни, которые уже не вернуть.

Ну, в общем-то, это все. Как видите, некоторые усилия все же придется приложить. Помните: правдивая информация в UX обеспечивает доверие, так что не говорите людям, что A/B-тесты бесплатны. Их цена — время.

Время, которое проходит, пока проводится тест, не считается ценой — ведь вам не приходится ничего делать, пока вы ждете. Вам не нужно нянчиться с тестом или постоянно проверять его состояние. Тест идет сам по себе. Поэтому время проведения A/B-теста нельзя назвать его “ценой”.

Цена сидения на Facebook зачастую повыше, чем A/B-тест.


Вот почему этот вопрос совсем не глупый:

Цена НЕпроведения A/B-теста может оказаться гораздо выше.

Мы очень часто думаем о цене действия и гораздо реже — о цене бездействия. Это может быть огромной ошибкой. Вот в таком духе нужно обсудить A/B-тестирование.

Обсуждение окупаемости инвестиций в A/B-тест (то есть показателя ROI) зачастую глупая вещь. Если вы тестируете показатель конверсии, и вариант Б оказался на 5% лучше текущего, — можете считать, что вы только что навсегда увеличили количество регистраций или доход компании на 5%

За исключением случаев, когда ваш бизнес — продажа лимонада во дворе (что, кстати, очень круто!), повышение конверсии на 5% означает тысячи, а то и миллионы долларов в год. И это гораздо больше, чем разовые расходы на A/B-тест.

В бизнесе для таких случаев есть специальный термин: “да, мать вашу, мы это сделаем!”

Вы никогда не узнаете, каким будет прирост, пока не проведете тест, но 5% — это достаточно хороший результат. Бывали случаи, когда показатели увеличивались и на 20%, 50% и даже на 200%, — если удавалось правильно ухватить гипотезу.

Некоторые руководители готовы перенести бизнес на другой континент — лишь бы удвоить свой глобальный доход. А вам достаточно провести хороший A/B-тест на правильном элементе.

Час-другой времени разработчика неплохо окупается, правда ведь?

Да вы, наверное, на дизайн визиток больше времени тратите!

Именно поэтому я всегда и говорю, что лучший продажник в компании не входит в команду продаж. Лучшим (потенциально) является UX-дизайнер.


Завтра мы ответим на вопрос: “Что, если мой любимый дизайн проиграл A/B-тест?”

Если вам понравилась и статья, и перевод, дайте нам знать — нажмите кнопку Recommend.
Также мы будем благодарны за любые отзывы по поводу адекватности и понятности перевода этой книги. Нас можно найти в Facebook: Nancy Pong и Ринат Шайхутдинов.