11.02.2020, № 1: Дайджест мониторинга сервисов для онлайн-тестов
Мы в юзабилити-агентстве Юзетикс часто сталкиваемся с задачей найти сервис, который позволит провести удаленное немодерируемое тестирование для наших клиентов.
На рынке представлено множество сервисов для удаленных тестов. Но какой из них выбрать? Из описания на промосайте не всегда понятно, каковы функциональные возможности сервиса, не говоря уже о том, насколько он удобен в использовании. Кроме того, сервисы постоянно дорабатываются, появляются новые, а старые прекращают свое существование.
Чтобы предлагать клиентам оптимальные решения для удаленных тестов, нам нужно всегда быть в курсе актуальных разработок в этой области. Мы уже анализировали рынок таких сервисов, но сейчас решили сделать наш подход более системным, чтобы регулярно делиться новыми наблюдениями и выводами с юзабилити-сообществом.
Это статья о том, как мы оценивали платформы для удаленного немодерируемого тестирования и какие результаты получили. Наш опыт будет полезен как исследователям, подбирающим подходящую платформу, так и владельцам сервисов.
Как проводилась оценка
Для теста мы отобрали 8 платформ с достаточной функциональностью, которые смогли предоставить нам бесплатный доступ или бесплатный пробный период для настройки и проведения теста.
Дизайн теста мы сформировали на основе параметров, которые наиболее часто используются в наших реальных проектах.
Тест, который мы провели
Устройство: смартфон с ОС Android.
Набор респондентов: через внешнюю онлайн-панель и внутренние средства рекрута платформы.
Тестируемые объекты: мобильный сайт, изображение (например, скриншот страницы или отдельного блока интерфейса).
Структура теста:
1. Вступительный текст, заключительный текст.
2. 3 задания.
3. Открытые и закрытые вопросы.
Вопросы для оценки субъективной удовлетворенности по методике SUS.
Полная версия сценария (PDF, 108 Кб)
Метод оценки
Мы использовали метод экспертной оценки по эвристикам, который применяем в наших проектах для оценки цифровых продуктов.
Что такое эвристика
Эвристика — это правило, составленное на основе ожиданий пользователя или текущей практики решения тех или иных интерфейсных задач в продуктах определенной предметной области (отрасли).
Метод заключается в следующем:
- эксперты изучают, как реализованы ключевые сценарии использования продукта, моделируя поведение обычных пользователей;
- по ходу эксперты отмечают выполнение или невыполнение эвристик, которые, по сути, представляют собой пользовательские требования к реализации сценариев использования продукта.
Это позволяет оценить простоту и удобство работы с платформой для разных категорий пользователей (исследователей, респондентов и бизнес-заказчиков исследования), а также оценить все аспекты интерфейса — от наличия функциональности до качества юзабилити интерфейсных элементов.
В результате мы делаем вывод не только о том, какой продукт лучше в целом, но и какие сценарии реализованы лучше или хуже в разных системах. По некоторым моментам лидеры уступают аналогам. В зависимости от того, какие возможности важнее для ваших задач, вы можете выбрать подходящий продукт.
Как мы проводили оценку:
- составили полный список функциональности всех платформ;
- изучили, как в каждой системе реализованы 8 пользовательских сценариев. Сценарии охватывали все этапы использования платформы — от создания теста до анализа результатов;
- моделировали поведение двух групп пользователей: исследователей и респондентов;
- 2 эксперта независимо друг от друга оценили выполнение 182 эвристических правил в каждом продукте;
- для оценки использовали 3-балльную шкалу: 0 — не выполняется, 0,5 — выполняется, 1 — хорошее/уникальное решение;
Также для каждой платформы примерно оценили стоимость проведения тестирования с участием 10 респондентов.
Результаты
Результаты оценки по 182 эвристикам мы свели в таблицу, которая показывает, сколько баллов получила каждая платформа по каждому сценарию. Максимальный итоговый балл по 8 сценариям — 182.
Сравнение с другими сервисами
Для включения в рейтинг мы рассматривали 18 продуктов, но 10 из них не прошли предварительный отбор. Причины были разные. Некоторые сервисы не ответили на запрос о проведении тестового исследования, другие отказывали в бесплатном доступе, у третьих были ограничения по техническим возможностям.
В таблице представлено сравнение отобранных нами 8 систем с другими сервисами для удаленного немодерируемого тестирования.
В таблице продукты отсортированы слева направо: от самых успешных к менее успешным. Оранжевой рамкой выделены продукты, которые вошли в топ-8 для экспертной оценки по эвристикам.
Наши планы
Подобный дайджест с оценкой сервисов для удаленного тестирования мы планируем готовить периодически: будем включать в рейтинг другие сервисы, пробуя реализовать доступные в них варианты тестов.
Надеемся, что результаты наших исследований помогут юзабилити-специалистам определиться с выбором подходящей платформы.
Если вы владелец сервиса для удаленных немодерируемых тестов и хотели бы, чтобы в дальнейшем ваш продукт был включен в рейтинг, позвоните нам в компанию Юзетикс: +7 (495) 771–0088 или напишите на info@usethics.ru.
