“Что делать, если мой любимый дизайн проиграл A/B-тест?

UX Курс: 29 из 30 глупых вопросов


←Предыдущий вопрос

(Вы читаете перевод нового ускоренного курса UX. На этот раз курс посвящен глупым вопросам (UX Crash Course: 30 Stupid Questions). Если вы здесь впервые, то лучше начните с первой главы).


Предпоследний глупый вопрос! Он снова про A/B-тестирование, но вы удивитесь, узнав сколько таких вопросов мне задают в реальной жизни! Итак, сегодня мы ответим на вопрос:

“Что, если мой любимый дизайн проиграл A/B-тест?”

Ок, сценарий такой:

Вы придумали мощную гипотезу для A/B-теста. Вы убедили босса/клиента, что это может быть очень важно. Вы создали дизайн пары версий страницы, все настроили, запустили и … новый дизайн проиграл.

Вы чувствуете себя идиотом, правда?

Вы обречены и вам больше никогда ничего не доверят, да?

Не совсем так.

Так что же вам делать?


Глупый ответ:

“Продолжай пользоваться старым дизайном, глупенький!”

Да, это правильный ход. Но он не принесет вам особой пользы.


Настоящий ответ:

Да, очевидно не стоит использовать проигравший вариант просто потому, что вам он больше нравится. Если вы хотя бы задумывались об этом — остановитесь. Не будьте придурком.

Лучший вариант — он и есть лучший вариант, нравится вам это или нет. Ваши чувства по отношению к дизайну на 100% не имеют никакого значения. Распечатайте свой дизайн, возьмите его с собой домой, приклейте скотчем на стену спальни и ежедневно целуйте на ночь.

Но ради всего святого, не используйте его.


Вам нужно переосмыслить пару вещей:

  1. Насколько хороша гипотеза?

Есть вероятность, что вы просто влюбились в идею или в предположение, а тест показал, что гипотеза отстойная. Возможно, стоит еще раз все проанализировать и подумать, может ли ваша проблема (для решения которой и проводилось тестирование) быть вызвана чем-то другим.

Я обычно продумываю дополнительный A/B-тест еще до проведения основного, просто чтобы убедиться, что у меня правильное видение. Предполагайте, что проиграете!

2. Соответствует ли дизайн гипотезе?

Вы будете далеко не первым человеком, который использует классную гипотезу, чтобы оправдать появление розового единорога на сайте овощного магазина. Хотя сама гипотеза касалась яиц и молока.

Нет, на самом деле вы будете первым таким человеком.

Но убедитесь, что вы проектируете дизайн, который реально проверяет вашу гипотезу, а не просто отражает находки, которые вы хотите “испытать в деле”.


Вот почему этот вопрос совсем не глупый:

Хороший эксперимент не может провалиться.

Человеку присущ дух конкуренции. И у нас есть гордость. И мы нерациональны. Поэтому мы обычно относимся к A/B-тесту как к битве.

А это не битва.

Если сделать все правильно, то вы при любом исходе узнаете что-то полезное.

Если ваш “любимый” дизайн не победил, но тест был проведен правильно, вы сможете сделать вывод, что ваша гипотеза не отражает проблему. И это хорошо! Вы этого раньше не знали.

Вы исследуете, а не соревнуетесь! Продолжайте тестировать!

Если для вас A/B-тест это противостояние “моей крутой идеи и этой старой дерьмовой идеи”, то у вас неправильный подход. Это не наука. Это эго.

Вы одержимы идеей “победы”, и вы станете интерпретировать неудачный результат как “почти удачный”, и предложите “все-таки оставить этот клевый дизайн” — и вот вы уже мчитесь на полной скорости в Город Идиотов.

Если вы проведете несколько тестов и поймете, что существующий дизайн непобедим, — это повод задуматься. Возможно, вы просто тестируете что-то не то! Вы вообще уверены, что там есть проблема?

Проводите A/B-тесты, чтобы узнать что-то новое. Забейте на свои идеи. Суть науки не в победе.


Завтра, на нашем последнем уроке, мы одолеем самый умный из всех глупых вопросов: “Что, черт возьми, такое многомерный тест?”

Если вам понравилась и статья, и перевод, дайте нам знать — нажмите кнопку Recommend.
Также мы будем благодарны за любые отзывы по поводу адекватности и понятности перевода этой книги. Нас можно найти в Facebook: Nancy Pong и Ринат Шайхутдинов.