Проверяем готовность к удаленному модерируемому юзабилити-тестированию

Чек-лист для модератора

Мы в юзабилити-агентстве Юзетикс уже более трех лет активно проводим удаленные модерируемые интервью. В последний год такие исследования заказывают все чаще. Мы обобщили наш опыт и составили чек-лист, который поможет при подготовке к удаленному юзабилити-тестированию, особенно если вы начинающий модератор. Для более опытных коллег такой чек-лист может выглядеть очевидным, но именно очевидные вещи иногда очень просто упустить из виду.

Что такое удаленное модерируемое юзабилити-тестирование

Удаленное модерируемое юзабилити-тестирование — это проверка качества интерфейса сайта или другого продукта, которая проводится с помощью приложений для видеосвязи, таких как Skype или Zoom. Модератор звонит респонденту, просит включить демонстрацию экрана, дает задания и следит за действиями респондента. При этом модератор и респондент могут находиться в разных городах, странах и даже часовых поясах.

Обычно удаленное модерируемое юзабилити-тестирование проводят, если:

• задания максимально приближены к реальным условиям (например, пользователь должен заполнить и отправить заявку на кредит или что-то купить в интернет-магазине за свой счет);
• нужно провести исследование с широким региональным охватом в сжатые сроки;
• экономически невыгодно делать очные интервью с респондентами;
• нет возможности провести очное интервью.

Рассказываем, как модератору проверить готовность респондента и оборудования, чтобы удаленное юзабилити-тестирование прошло успешно.

Что нужно проверить перед удаленным интервью с респондентом

Перед интервью наши технические специалисты проверяют готовность респондента и его оборудования. При необходимости мы можем провести такую проверку для вас.

Чтобы проверить все самостоятельно, используйте этот чек-лист.

1. Убедитесь, что респондент умеет включать демонстрацию экрана

Почему это важно

В ходе юзабилити-тестирования модератору необходимо видеть то, что происходит на экране респондента. Важно заранее убедиться, что респондент умеет включать демонстрацию экрана и может сделать это повторно, если трансляция прервется.

Если респондент не умеет включать демонстрацию экрана или долго ищет нужную кнопку, он потратит время на стандартную процедуру и не успеет выполнить все задания.

Что делать

Перед интервью созвонитесь с респондентом, чтобы настроить демонстрацию экрана. Объясните, где находится кнопка включения демонстрации и как она выглядит. Если у респондента не получается настроить демонстрацию в течение 10 минут, это может говорить о том, что ему не хватает технической грамотности. Если данный параметр важен, то, возможно, такого респондента стоит исключить из исследования.

Полезно подготовить и прислать респонденту инструкцию по подключению демонстрации экрана. В инструкции каждый шаг проиллюстрируйте скриншотами и выделите нужные элементы интерфейса.

Если настроить демонстрацию экрана так и не удалось, а респондент по каким-то причинам нужен в исследовании, то:

• модератор может включить демонстрацию своего экрана и предложить респонденту руководить его действиями;
• с помощью специального приложения, такого как Zoom, модератор может включить демонстрацию экрана тестируемого продукта и передать респонденту управление курсором мыши и клавиатурой.

Но помните, что это крайние меры, потому что в таких случаях опыт взаимодействия респондента с интерфейсом становится опосредованным, это может исказить результаты исследования.

2. Проверьте скорость интернет-соединения у респондента

Почему это важно

Чтобы интервью не прерывалось, а участники хорошо видели и слышали друг друга, необходимо хорошее интернет-соединение.

Из-за сбоев связи респондент будет тратить время на то, чтобы заново подключиться и сосредоточиться на заданиях. Кроме того, если в ходе исследования замеряется скорость выполнения заданий, то сбои связи могут привести к искажению результатов.

Что делать

Заранее убедитесь, что скорость интернет-соединения у респондента подходит для прохождения исследования.

Вы также можете самостоятельно проверить скорость интернет-соединения. После включения демонстрации экрана попросите респондента открыть тяжелый сайт с большим количеством видеорекламы, например rbc.ru или sports.ru. Убедитесь, что у респондента не зависает картинка, а его голос не пропадает. Если вы планируете тестировать тяжелый прототип, можно заранее подготовить несколько аналогичных прототипов и проверить их работу непосредственно на устройствах респондентов.

Скорость интернет-соединения может быть высокой, а качество связи — низким. Чтобы проверить качество связи, предложите респонденту измерить скорость интернета с помощью сервисов Speedtest.net или 2ip.ru. Если при проверке график скорости ровный, без провалов, то качество связи хорошее.

При плотном графике проведения интервью, скорость интернет-соединения и качество связи обычно проверяют заранее, но в таком случае есть риск, что респондент при проверке будет находиться в одних условиях, а во время интервью — в других. Чтобы этого не произошло, обратите внимание респондента на важность хорошего интернет-соединения и попытайтесь узнать о потенциальных перемещениях.

Если респондент после проверки уже переместился в другое место и там скорость интернет-соединения ниже, чем была при проверке, предложите ему переключиться с Wi-Fi на мобильный интернет — или наоборот.

3. Проверьте производительность устройства, на котором респондент будет выполнять задания

Почему это важно

Устройство, на котором респондент выполняет задания, должно быть достаточно мощным.

Если тестировать интерфейс или прототип тяжелого продукта на слабом смартфоне, то все действия будут выполняться очень долго. Это может привести к тому, что:

• респондент не успеет выполнить все задания за отведенное время;
• будут искажения при замерах скорости выполнения заданий;
• респонденты будут раздражаться и предлагать прекратить интервью раньше времени.

Что делать

Если у респондента все в порядке с качеством интернет-соединения, но есть проблемы при просмотре сайта с включенной демонстрацией экрана и веб-камерой — скорее всего, у него недостаточно мощный смартфон. Если скорость работы устройства совсем неприемлемая, то респондента лучше исключить из исследования.

Также важно предотвратить случаи, когда респондент проходит проверку на одном устройстве, а выполняет задания — на другом. Для этого заранее созвонитесь с респондентом и объясните, что для выполнения заданий нужно именно то устройство, на котором выполнялась проверка.

4. Убедитесь, что на устройстве респондента отключены уведомления

Почему это важно

Устройство респондента — это целая среда, которая может быть непредсказуемой. Всплывающие уведомления, оповещения, даже открытие браузера с загруженными страницами — все это может отвлекать респондента от выполнения заданий.

Кроме того, у респондента может появиться чувство дискомфорта, если личную информацию, которую он не хотел бы никому показывать, увидит посторонний человек — модератор.

Что делать

Перед интервью предложите респонденту включить на смартфоне режим «Не беспокоить» или перейти в режим «Инкогнито» в браузере.

5. Убедитесь, что у респондента есть работающая гарнитура

Почему это важно

Гарнитура нужна для того, чтобы исключить искажение звуков, эхо или плохую слышимость, если респондент отодвигается от устройства, на котором он участвует в исследовании.

Например, если респондент участвует в интервью на смартфоне и при обсуждении заданий начинает активно жестикулировать, то микрофон смартфона отдаляется и слышимость ухудшается.

Что делать

• До интервью, особенно если оно будет проходить на смартфоне, проинформируйте респондента о том, что ему потребуется гарнитура.
• Если при тестовом созвоне без гарнитуры звук нормальный, нет эха и респондента хорошо слышно, то можно продолжить использовать микрофон устройства. Если есть эхо, то лучше подключить гарнитуру. При использовании беспроводной гарнитуры могут быть проблемы с качеством интернет-соединения, но звук все равно будет значительно лучше, чем без гарнитуры.

6. Сообщите респонденту, что для участия в интервью нужна спокойная обстановка

Почему это важно

Иногда во время интервью выясняется, что респондент находится на работе (вокруг коллеги, нельзя громко разговаривать), в ожидании гостей (нужно открыть дверь и встретить), за рулем (!) и т. д.

Важно, чтобы респондента ничто не отвлекало от выполнения заданий.

Что делать

Заранее сообщите респонденту, что проходить интервью необходимо в спокойной обстановке. Нужна тихая комната, где он мог бы удобно расположиться в полном одиночестве.

Понятно, что не получится полностью исключить случайное вторжение домашних животных или младших членов семьи. Но важно, чтобы респондент сделал все, чтобы его не отвлекали и не прерывали.

Если ситуация некритичная, то фоновые события можно рассматривать как дополнительный источник информации о респонденте.

7. Подготовьте подходящую для работы модератора обстановку

Почему это важно

Модератору, как и респонденту, необходимо исключить отвлекающие факторы, особенно если он проводит интервью из дома. Иначе можно упустить важные моменты в ходе исследования или отвлечь респондента от интервью.

Что делать

На шум из-за ремонта у соседей повлиять не удастся, но можно нивелировать другие отвлекающие факторы. Убедитесь, что:

• на время интервью не запланированы визиты курьеров или других людей;
• закрыты окна и шум с улицы не слышен;
• члены семьи находятся в других комнатах и предупреждены о том, что вас лучше не беспокоить.

8. Установите личный контакт с респондентом

Почему это важно

Необходимо, чтобы в ходе интервью респондент открыто и честно выражал свое мнение и понимал, что тестируют не его, а вместе с ним тестируют интерфейс продукта.

Мимика, изменения положения тела, взгляд — все это может сигнализировать о том, как себя чувствует респондент при работе с интерфейсом. Но в ходе удаленных интервью сложно, а иногда и невозможно проследить за всеми невербальными сигналами респондента. Даже если у него включена веб-камера, очень много невербальной информации теряется или ее трудно интерпретировать.

При удаленном юзабилити-тестировании основным источником невербальной информации остаются паралингвистические признаки — изменения интонации, паузы в речи. Но интерпретировать их тоже непросто, так как не всегда ясно, почему респондент изменил интонацию или сделал паузу: причиной может быть и то, что ему некомфортно работать с интерфейсом или выражать свое мнение, и то, что его что-то отвлекает. Поэтому при анализе результатов исследования можно лишь отчасти учитывать паралингвистические признаки, но важно помнить об их ограничениях.

Что делать

• Перед интервью познакомьтесь с респондентом и установите с ним личный контакт. Заранее договоритесь, что в начале интервью он включит веб-камеру. Включите веб-камеру на своем устройстве, чтобы респондент видел вас. Поясните респонденту цели интервью, расскажите, чего вы от него ожидаете и как будут использоваться записи и результаты исследования.
• Обратите внимание респондента на то, что его честное мнение крайне важно. Так делают перед любым интервью, но для удаленных интервью это имеет особое значение — потому что у модератора нет возможности в полной мере получать невербальные сигналы от респондента.

Самое главное

Чтобы удаленное модерируемое юзабилити-тестирование прошло успешно:

• тщательно позаботьтесь о технической составляющей;
• проследите, чтобы в ходе интервью и респондент, и вы как модератор находились в спокойной обстановке и вас ничто не отвлекало;
• в начале интервью установите личный контакт с респондентом и объясните, чего вы от него ожидаете.

Для вашего удобства мы составили краткую версию чек-листа, где можно отмечать галочкой успешной пройденный этап подготовки.

Если вам нужно провести удаленные модерируемые интервью, проверить готовность респондентов и оборудования к исследованию, проанализировать результаты и узнать, что и как улучшить в интерфейсе, мы решим вашу задачу.

Над статьей работали: Алина Латыпова, Анна Паукова, Алена Сечина, Наталья Шмелева.
Иллюстрация: Юлия Бочарова.