Руководство по опросам для UX-специалистов
Больше о проектировании интерфейсов и мемы по средам — в моем телеграм-канале Поясни за UX
Немного теории
Вы наверняка уже знаете кое-что об опросах, но давайте кратко разберемся что они такое и для чего.
Опрос — один из исследовательских методов, который широко применяется в разных сферах, в том числе и в пользовательских исследованиях при проектировании интерфейса.
Опрос хорош тем, что не требует модерации и его можно разослать на большое количество людей, получить статистически значимые результаты.
Опрос, как и другие исследования, проводится с целью получения данных о пользователе. Данные бывают двух видов: количественные и качественные.
Количественные данные представляют собой набор числовых показателей, например сколько человек выбрало тот или иной ответ, какое количество пользователей сталкивались с определенной ситуацией и т.д. Количественные данные легко анализировать, сравнивать. Они помогают увидеть закономерности и явления, ответить на вопрос “что”.
В опросах количественные данные собираются через закрытые вопросы: на них требуется ответ ДА/НЕТ или выбор варианта(ов).
Качественные данные гораздо труднее интерпретировать и сравнивать, так как информация представлена в свободной форме. Это могут быть видеозаписи наблюдений, тексты интервью, развернутый ответ на вопрос. Качественные данные помогают понять причины наблюдаемых явлений, ответить на вопрос “почему”.
В опросах качественные данные собираются через открытые вопросы, на которые требуется ответ в свободной форме.
Важно понимать, что через метод опроса невозможно собрать большое количество качественных данных, позже я объясню почему.
Когда проводить опрос
Опросы могут проводиться на разных стадиях проекта.
Если взглянуть на диаграмму UX-дизайн процесса (о ней можно почитать в прошлой статье), то наиболее эффективны опросы будут на этапах Discover (исследование), Test (проверка до разработки) и Validate (сбор обратной связи после разработки).
В зависимости от того, на каком этапе и с какой целью проводится опрос, он поможет узнать базовую информацию о целевой аудитории (ЦА), выяснить их отношение к продукту или услуге, отобрать респондентов для исследований, узнать, насколько сложно пользоваться интерфейсом и проверить удовлетворенность дизайн-решениями.
Опрос не поможет:
- Выявить глубинные цели, боли и переживания пользователей. Это — качественная информация, которую сложно добыть через опрос. Причина проста — люди не любят писать. Большинство людей очень коротко и поверхностно отвечают на открытые вопросы в письменном виде. Множество открытых вопросов раздражает и люди могут не закончить опрос. Для выявления целей и болей подойдет глубинное интервью.
- Проверить сложные гипотезы и сценарии. Допустим, мы проектируем приложение доставки продуктов. Можно предположить, что люди проходят такой сценарий: Идея ужина → подбор рецептов в интернете → составление списка покупок → поход в магазин → приготовление по рецепту. Реальный ли это сценарий или наша фантазия, при помощи опроса проверить сложно. Для проверки больше подойдет наблюдение или интервью.
- Получить 100% правду. Как и на интервью, в опросе люди часто предполагают как бы они поступили в какой-то ситуации, не могут вспомнить релевантную информацию или лгут (осознанно или нет), чтобы предстать в лучшем свете или получить вознаграждение за прохождение опроса. Это естественно и нужно делать на это поправку в любых исследованиях, кроме скрытого наблюдения, в котором респонденты не знают, что за ними наблюдают. Опустим вопрос этичности скрытого наблюдения:)
Итак, мы все же решили использовать метод опроса. Пора готовиться к исследованию.
Подготовка к исследованию
Прежде чем отправить опросник респондентам, нужно провести подготовительную работу.
- Сформулировать цель исследования
- Подобрать респондентов
- Составить вопросы, приветственный и завершающий тексты
- Провести пилотное исследование
Разберем каждый пункт подробно. Пристегнитесь, разбор будет долгим.
1. Цель исследования
Это самый важный и едва ли не самый сложный этап. Вы должны хорошо понимать что хотите узнать и на каком этапе проекта находитесь (Discover, Test или Validate). Посмотрим на каждый этап подробнее.
1.1 Цели опроса на этапе Discover
Это самое начало проекта или дизайн-задачи. На этом этапе мы зачастую мало что знаем, у нас много гипотез. Часто отсутствует понимание того, кто наши конечные пользователи, какие перед ними стоят цели, задачи, что они любят и чего боятся. Discover — этап сбора информации и “расширения сознания”.
Каких целей помогает достичь опрос на этом этапе:
🎯 Проверить простые гипотезы о целевой аудитории.
Простыми мы считаем гипотезы, на которые относительно легко получить ответ, задавая закрытые вопросы.
Пример: мы решили сделать приложение доставки продуктов, и предполагаем, что наша целевая аудитория — родители в декрете, которые не могут с ребенком ходить по магазинам. Составляем опрос:
Опрос показывает, что большинство родителей уже пробовали доставку продуктов и не хотят ею пользоваться, потому что курьеры звонят в дверь и будят ребенка, привозят незрелые фрукты и овощи, а товаров для детей не так много, как в розничных магазинах.
Мы можем либо прорабатывать возражения выбранной аудитории, либо поискать другую.
🎯 Выяснить отношение потенциальных пользователей к какой-либо услуге или сервису.
Опрос позволяет задать вопрос о том, как бы человек себя повел или как бы отнесся к тому, с чем он еще не сталкивался. Например, стал бы он пользоваться приложением или нет.
⚠️ Важная ремарка
Задавать вопросы формата “сделали БЫ вы что-либо” нужно с большой осторожностью. Я называю такие вопросы “вопрос-предсказание”. Большинство людей на самом деле понятия не имеет как бы они поступили в будущем. Лучше задавать вопросы о прошлом опыте и самостоятельно делать выводы на основе ответов.
Пример: вопрос про вероятность использования помогает узнать отношение родителей к сервису доставки, которого еще не существует.
🎯 Узнать детали о целевой аудитории.
Помимо банальных пола и возраста, мы можем выяснить интересы, привычки, используемые форм-факторы и т.д.
Пример: то же приложение доставки. Решаем поискать другую целевую аудиторию — людей, которые планируют вечеринку или большой ужин. И попадаем точно в цель: большинство положительно относится к доставке продуктов и готовы пользоваться сервисом. Теперь нам бы хотелось узнать об этих людях побольше. Мы задаем дополнительные вопросы, которые помогут спроектировать интерфейс:
🎯 Узнать, какие продукты-конкуренты используют потенциальные пользователи.
На основе количественных данных мы сможем сказать, какие конкуренты наиболее популярны, а на основе качественных ответов понять, что ценят или не очень приветствуют пользователи.
Пример: наверняка на рынке доставки существуют конкуренты. Мы можем самостоятельно искать их в интернете, а можем спросить целевую аудиторию о том, что они используют и что им нравится/не нравится в существующих решениях.
🎯 Отсортировать аудиторию.
Такой прескрининг бывает нужен в случае, если планируются дальнейшие исследования.
Пример: мы составили опрос для людей, которые готовят на большую компанию. Но через опрос мы не узнаем цели, глубинные боли, разные сценарии и ситуации. Для этого нужно интервью. Мы хотим пригласить на интервью тех, кто не любит ходить по магазинам, чтобы выяснить, откуда такая нелюбовь и превратить это в наши преимущества. Зададим вопрос и позовем на интервью только тех, кто дал релевантный ответ.
🎯 Заполучить контактные данные респондентов.
Пример: добавим последний вопрос, который виден только тем, кто ответил “нет” в предыдущем вопросе. Это поможет собрать контакты респондентов, готовых прийти на интервью.
1.2 Цели опроса на этапе Test
На этапе Test мы уже выяснили цели пользователей, продумали сценарии и отрисовали интерфейс. Самое время его проверить, в идеале на нашей целевой аудитории.
Вне зависимости от того, проводите вы коридорное или юзабилити-тестирование (о разнице этих методов можно почитать в одном из недавних постов), хорошим дополнением к тестированию будет сбор обратной связи при помощи опроса.
Каких целей помогает достичь опрос на этом этапе:
🎯 Узнать, насколько сложной респонденту кажется та или иная задача
🎯 Узнать общее впечатление респондента от интерфейса
🎯 Сравнить полученные численные оценки после нескольких тестирований и выявить динамику
Опрос можно давать после каждого задания в тестировании или по окончании всего теста. Можно использовать готовые опросники или составить свой.
Готовые опросники
Надо сказать, что готовых опросников существует множество. Я лишь упомяну самые популярные и проверенные временем, а также те, которые использую сама.
После каждого задания
Если вы хотите выявить самое сложное задание, самое проблемное место в интерфейсе, есть смысл давать короткие (1–2 вопроса) опросы после каждого задания.
- NASA Task Load Index (TLX) — опросник от Nasa, который помогает оценить когнитивную нагрузку на пользователя во время работы с интерфейсом. Делится на 2 части. Простой, универсальный, есть версия для мобильных приложений.
- After-Scenario Questionnaire (ASQ) — 3 коротких вопроса. Используется в IBM.
- Single Ease Question (SEQ) — популярный опросник, содержит всего один вопрос: оценить задачу по 7-бальной шкале от очень сложной до очень простой. Часто использую его в юзабилити-тестах.
- Subjective Mental Effort Questionnaire (SMEQ) — также содержит один вопрос, но в виде шкалы сложности.
По окончании теста
Опросник после теста помогает оценить общее впечатление респондента, что потом может конвертироваться в “верность” продукту.
- User Experience Questionnaire (UEQ) — доступен на многих языках, хорошо описан, есть готовая таблица для вноса и автоматического анализа результатов. Авторы сделали укороченную версию UEQ-S, которая занимает меньше времени, но дает менее глубокие результаты. UEQ-S в сочетании с TLX оказался достаточно эффективным для одного из моих проектов.
- System Usability Scale (SUS) — давно используется, прост и популярен, является практически стандартом индустрии. Результаты могут быть в определенной степени недостоверны, так как есть “вопросы-предсказания”.
- Net Promoter Score (NPS) — маркетологический опросник, но полезен в оценке общего впечатления от концепта интерфейса.
Свой опросник
Если готовые опросники вам по какой-то причине не подходят (слишком общие, например), вы можете составить свой.
Есть два типа шкал, которые можно использовать для формулировки самых разных вопросов:
Шкала Ликерта
5-7 вариантов ответа на вопрос, чтобы выяснить насколько респондент согласен или не согласен с утверждением.
Шкала Ликерта может измерять не только согласие но и частоту, качество или важность.
Семантический дифференциал
Шкала, в конце которой противоположные оценки. Респонденту необходимо выбрать оценку, наиболее близкую его впечатлениям. Подбирайте противоположные оценки так, чтобы они трактовались однозначно.
1.3 Цели опроса на этапе Validate
На этом этапе нас можно поздравить — мы разработали интерфейс и предоставили его пользователям. Готовый продукт позволяет оценить не только юзабилити, но и техническое качество интерфейса, что тоже влияет на UX.
Каких целей помогает достичь опрос на этом этапе:
🎯 Узнать, насколько сложно человеку выполнить задачу в реальной системе
🎯 Узнать общее впечатление респондента от сервиса
🎯 Сравнить полученные численные оценки после нескольких опросов и выявить динамику, которая коррелирует с изменениями в сервисе
Все виды опросов, которые подходят для этапа Test, можно использовать и на этапе Validate. Особенно эффективны здесь будут NPS и вопросы по шкале Ликерта.
Например, после выполнения ключевого действия в системе ( заказа доставки с продуктами для вечеринки) можно попросить пользователя оценить его опыт взаимодействия через 1–2 коротких вопроса.
Для того, чтобы встроить вопрос в готовый UI, есть специальные сервисы, например Hotjar или UX Feedback.
2. Подбор респондентов
Фух, наконец мы закончили с определением цели опроса. Теперь нужно искать тех, кто будет его проходить.
Даже если вы проектируете сервис “для всех” (социальную сеть или интернет-магазин), все равно есть наиболее приоритетные группы пользователей. Именно их необходимо разыскать. Это сложная задача, особенно на этапе Discovery, когда продукта и пользователей еще нет.
Где искать респондентов
- Спросить у заказчика/руководителя проекта. Он наверняка представляет себе конечных пользователей продукта и предполагает, где их можно найти и как к ним обратиться.
- Обратиться в отдел маркетинга (если таковой имеется). Они часто помогают и даже рассылают тесты нужным респондентам.
- Искать в тематических группах. Вы можете выложить опрос в фейсбук, вконтакте, телеграм-каналы с ЦА. Еще лучше писать в личные сообщения людям, которые в этих группах состоят. Это муторно и долго, но шанс получить ответ гораздо выше.
⚠️ Важная ремарка
Я не советую использовать группы и каналы вроде “Здесь можно опубликовать свой опрос”. В таких ресурсах большая часть — другие авторы опросов, которые не являются вашей ЦА и могут дать нерелевантные ответы. Часто они являются еще и дизайнерами и, соответственно, профессионально деформированы.
- Специализированные сервисы. В них есть пре-скрининг, что помогает найти “свою” аудиторию, большое количество респондентов.
Вот некоторые из сервисов:
Яндекс.Взгляд
UserTesting
Userbrain
Lookback
UsabilityHub
Userlytics
Userzoom
Loop11
Большинство сервисов платные. И есть вероятность столкнуться с респондентами, которые лишь притворяются вашей ЦА, так как сервис оплачивает их участие в тестированиях. С этим практически невозможно бороться, но можно иметь в виду.
Часто, в силу ограничений, непонимания ЦА или невозможности до нее дотянуться, мы проводим опросы на “рандомных” респондентах. В этом случае нужно всегда помнить, что полученные результаты лишь с долей вероятности верны для вашей ЦА.
Имея результаты таких опросов, вы, конечно, можете продолжить работу на их основе. Но это достаточно высокий риск, и решения необходимо тщательно проверять на более поздних этапах проекта с ЦА.
3. Составить вопросы, приветственный и завершающий тексты
Мы определили цель, подобрали респондентов. Можно переходить к самому опроснику. На этом шаге важно думать как респондент, стараться сделать опрос простым, понятным и недолгим.
Вопросам должно предшествовать описание опросника: зачем он, сколько займет, как поможет в создании сервиса, как будут использоваться ответы и личные данные респондентов.
Никогда не оставляйте опрос без финального слайда. На нем вы можете не только поблагодарить респондента и дать понять, что опрос подошел к концу, но и спросить контактные данные для будущих исследований, еще раз заверить, что информация не будет использоваться неподобающим образом.
Это важная часть, которая оставит положительное впечатление у респондента и побудит сотрудничать с вами в дальнейшем.
3.1 Типичные ошибки в опросах
По моим наблюдениям, каждый второй опрос содержит хотя бы одну из этих ошибок. Старайтесь их не допускать, ведь это влияет на качество данных, которые вы получаете.
- Ненужные вопросы. Такая ошибка возникает из-за плохого понимания цели проведения опроса. Не нужно спрашивать возраст или, к примеру, имя респондента, если это не отвечает цели исследования, не будет полезно вам в дальнейшем и не повлияет на интерфейс.
- Неудобный инструмент опроса. Если респондентам нужно долго логиниться в сервисе, где опубликован опрос, или они не понимают как им пользоваться, они просто не будут отвечать. Используйте специализированные платформы, Google или Microsoft Forms. Они просты, понятны и содержат необходимые инструкции.
- Непонятные формулировки. Так вы рискуете получить неверные ответы. Классический пример — вопрос с двойным отрицанием.
4. Нелогичная последовательность вопросов. Она сбивает с толку, утомляет и мешает отвечать.
Я рекомендую разбить вопросы на 2 группы: про жизнь и про интерфейс. Сначала задайте вопрос про жизнь, а затем переходите к вопросам про интерфейс. Вопросы должны следовать по сценарию из жизни или по сценарию взаимодействия с интерфейсом.
5. Большое количество открытых вопросов. Это попытка заменить глубинное интервью опросом.
В результате большинство людей просто не заполняет опрос или дает короткие поверхностные ответы. Все потому, что люди не любят писать. Лучше организуйте интервью.
6. Линейность. Бывает так, что ответ на один вопрос может иметь значение для ответа на последующие. Например, мы задаем вопрос:
Далее следует серия вопросов об этих сервисах (как называются, что нравится, что кажется неудобным). Но, если респондент еще на первый вопрос ответил отрицательно, ему совершенно ни к чему отвечать на последующие вопросы. Это раздражает и провоцирует бросить заполнение.
Продумайте сценарий появления вопросов, разбейте их на блоки и настройте отображение блоков в зависимости от выбора ответов. Это не трудно и занимает не много времени.
7. Неподходящий тип ответа. К примеру, если нужно дать однозначный ответ, не делайте ответы-чекбоксы— это путает.
8. Вопросы-предсказания.
Как я уже говорила, большинство людей на самом деле понятия не имеет как бы они поступили в будущем. Лучше задавать вопросы о прошлом опыте.
4. Пилотное исследование
Не спешите “раскатывать” свежеиспеченный опрос на респондентов из ЦА. Возможно, в вашем опросе есть непонятные формулировки или его сложно заполнять.
Покажите опрос 2–3 случайным людям из ближайшего окружения, попросите дать обратную связь по удобству заполнения.
Не пренебрегайте этим этапом, иначе вы рискуете получить невалидные результаты и все придется делать заново.
Заключение
В завершение этой длинной и изнурительной статьи хотелось бы сказать, что опрос — это лишь один из методов. Он направлен на сбор, в первую очередь, больших количественных данных и не дает глубинного понимания пользовательского поведения.
Опрос прекрасно работает в связке с другими методами, например интервью или юзабилити-тестирование.
Опрос нужно применять с умом и тщательно его планировать, проходя 4 шага:
- Сформулировать цель исследования (зависит от ваших задач и этапа проекта)
- Подобрать респондентов (лучше, чтобы это были люди из вашей ЦА)
- Составить вопросы, приветственный и завершающий тексты (не допускайте типичных ошибок, указаных в статье)
- Провести пилотное исследование (не пренебрегайте этим шагом)
Надеюсь, статья была вам полезна и ваши опросы станут лучше и эффективнее!
Если статья показалась интересной — дайте знать аплодисментами 👏
