Выбираем сервис для удаленного юзабилити-тестирования
9 сервисов для онлайн-тестов: плюсы и минусы
UPD: У нас вышла новая статья на эту тему, рекомендуем к прочтению.
В своей практике мы использовали более десяти сервисов для удаленного немодерируемого юзабилити-тестирования. В этой статье мы расскажем, на что обратить внимание при выборе сервиса для онлайн-тестов, какие плюсы и минусы есть у сервисов UsabilityHub, Loop11, CanvasFlip, Fabuza (Фабрика Юзабилити), Validately, Userlytics, Userfeel, UX Army, UX Crowd.
Недавно для приложения электронного кошелька мы тестировали дизайн SMS-уведомлений, которые получает пользователь, если в кошельке недостаточно средств для совершения платежа. Было несколько вариантов дизайна SMS-уведомлений. Клиент хотел узнать, какой из них понятнее и удобнее для пользователей, заметят ли они эту информацию в принципе.
Нужно было опросить 60 опытных и начинающих пользователей электронного кошелька по всей России. Эту задачу мы решили за 3 часа с помощью одного из сервисов для немодерируемых онлайн-тестов. Такие сервисы позволяют давать задания респондентам, собирать метрики и обратную связь в автоматическом режиме без участия модератора. Респонденты участвуют в тестировании из любой точки мира.
Подобные бизнес-запросы все чаще встречаются в нашей практике. Клиентам нужно охватить большую географию рекрутинга респондентов и быстро получить ответы на конкретные вопросы о своем сайте или приложении. Например, проверить заметность и понятность определенных элементов, сделать быстрый A/B-тест, провести другие исследования. В зависимости от задачи клиента мы формулируем критерии выбора сервиса для онлайн-тестов и подбираем оптимальный инструмент.
В этой статье мы поделимся своим опытом использования сервисов для онлайн-тестов, а также рассмотрим еще несколько платформ с хорошим потенциалом, которые мы планируем использовать на практике. Надеемся, что эта информация поможет вам выбрать подходящий сервис для своего проекта.
Содержание
- 8 критериев выбора сервиса для онлайн-тестов
- UsabilityHub, Loop11, CanvasFlip и наш опыт работы с ними
- Общие проблемы сервисов для онлайн-тестов
- Еще 6 сервисов на будущее
- Что делать, если вам не хватает возможностей выбранного сервиса
8 критериев выбора сервиса для онлайн-тестов
Выбирая сервис для онлайн-тестов, мы ориентируемся на следующие критерии:
1. Возможность тестировать большой набор объектов (веб-сайты, мобильные приложения, макеты HTML, изображения, прототипы в InVision, Axure, Marvel и др.).
2. Разные форматы заданий.
3. Возможность собрать как можно больше качественных и количественных данных.
4. Возможность получить данные о результатах тестирования в удобном для анализа формате.
5. Возможности для подбора респондентов.
6. Насколько просто респонденту начать и проходить тест.
7. Наличие интеграции с другими платформами.
8. Стоимость.
Подробнее остановимся на каждом критерии.
1. Возможность тестировать большой набор объектов
Важно, чтобы инструмент для онлайн-тестов позволял тестировать как можно больше типов стимульных материалов: веб-сайты, мобильные приложения, макеты HTML, изображения, прототипы в InVision, Axure, Marvel. Тестировать весь этот набор стимулов можно далеко не во всех сервисах. Еще меньше сервисов позволяют сопоставить в рамках одного теста разные виды стимулов, например актуальную версию сайта и варианты прототипа.
2. Разные форматы заданий
Просто посмотреть, как пользователи ведут себя на сайте (например, при помощи инструмента «Вебвизор» от Яндекс.Метрики), нам недостаточно. Должна быть возможность создавать качественный дизайн исследования:
· давать задания, которые респондент будет выполнять в тестируемом продукте;
· встраивать разные типы вопросов до и после заданий (например, вопросы с выбором одного или нескольких вариантов, открытые вопросы, составление рейтинга и др.);
· задавать промежуточные вопросы между заданиями, чтобы уточнять успешность выполнения заданий и проверять дополнительные гипотезы;
· настраивать логику переходов между заданиями в зависимости от ответов и действий респондента (к сожалению, сейчас эта функция встречается довольно редко, ее наличие становится дополнительным конкурентным преимуществом сервиса для удаленного немодерируемого тестирования).
3. Возможность собрать как можно больше качественных и количественных данных
· Запись видео и аудио. Сервис для онлайн-тестов должен как минимум делать видео- и аудиозапись тестирования: что происходит на экране устройства респондента, как он комментирует свои действия, как меняется его мимика при выполнении заданий. Поскольку онлайн-тест проходит без участия модератора, мы не можем предугадать все возможные ошибки и вопросы, которые могут возникнуть у респондента при выполнении задания, соответственно, не можем помочь ему лучше понять поставленную задачу. Поэтому приходится делать задания максимально краткими и формулировать их предельно точно. Анализ видео- и аудиозаписи тестирования позволяет частично восполнить те данные, которые пропадают из немодерируемых тестов. Прослушивая аудиозапись, на которой респондент комментирует свои действия в интерфейсе, мы можем избежать неверных выводов относительно его ошибок. Просматривая видеозапись теста, мы собираем максимально полную картину пользовательского опыта.
· Переходы по верной ссылке. Также важно оперативно оценивать успешность выполнения конкретных задач в интерфейсе. Поэтому особый интерес для нас представляют задания, в которых можно заранее задать переход по конкретной ссылке (или нескольким ссылкам) в качестве критерия успешности выполнения задания. Должна быть возможность дополнительно указать минимальное количество страниц от старта задания до страницы, которая открывается по заданной ссылке, эта информация используется при подсчете метрики потери. Метрика потери (lostness metric) позволяет оценить, насколько неэффективна навигация в тестируемом продукте, как много лишних страниц вынужден просмотреть пользователь, чтобы достичь своей цели. Эта метрика хороша в сравнительном тестировании.
· Первый клик. Должна быть возможность собирать информацию о том, куда в первую очередь нажал респондент, выполняя задание, и сколько времени он потратил на то, чтобы это сделать.
· Хитмапы. Еще важно, чтобы сервис позволял построить хитмапы, показывающие, куда и сколько респондентов кликнули во время выполнения задания. Это нужно, чтобы оценить заметность и понятность элементов на странице.
· IP-адрес респондента. Сервис должен фиксировать IP-адрес респондента, это позволит избежать повторных прохождений теста.
4. Возможность получить данные о результатах тестирования в удобном для анализа формате
В качестве результатов тестирования нам важно получить:
· сводные данные по ответам всех респондентов. Данные должны быть в таком формате, чтобы их можно было анализировать в разных разрезах, например, сопоставить ответы одного респондента по всему тесту или посмотреть, какие ответы на дополнительные вопросы дали респонденты, не справившиеся с заданием теста;
· карту кликов по всем респондентам и видеозаписи выполнения заданий по каждому респонденту.
5. Возможности для подбора респондентов
У нас должна быть возможность самостоятельно набрать респондентов для тестирования или провести качественный набор русскоязычных респондентов через сервис для онлайн-тестов. Мы используем метод «ривер-сэмплинг» (от англ. riversampling — поточная выборка): с помощью баннеров и офферов мы привлекаем представителей целевой аудитории среди всех пользователей интернета и направляем их на тест, созданный на сервисе для онлайн-тестов.
Важно, чтобы сервис помогал отбирать нужных респондентов: собирать информацию о полученных ответах на вопросы теста и отслеживать динамику сбора данных (сколько ответов получено, с каких устройств, сколько было прерванных тестовых сессий и др.). Хорошим решением, которое, как ни странно, редко встречается в сервисах для онлайн-тестов, является встроенный блок со скринирующими вопросами, которые автоматически отсеивают неподходящих респондентов.
6. Насколько просто респонденту начать и проходить тест
В большинстве сервисов для прохождения теста респонденту нужно скачать отдельное приложение и затем самостоятельно управлять процессом записи, в некоторых сервисах этот процесс управления довольно сложен. Например, в сервисе Usertesters.io респондент должен после выполнения каждого задания самостоятельно выключать видеозапись, сохранять видео (что занимает много времени), а потом включать видеозапись снова. Если у сервиса еще и англоязычный интерфейс, то все это ставит под угрозу корректное прохождение теста респондентом.
Очень важно, чтобы в процессе выполнения заданий у респондента возникало как можно меньше вопросов, а сама процедура прохождения теста не была громоздкой. Если сервис зарубежный, должна быть возможность делать инструкции и кнопки управления тестом на русском языке. Еще одно требование — для запуска и прохождения теста респондент должен сделать минимум настроек.
7. Наличие интеграции с другими платформами
Не все сервисы для удаленного немодерируемого тестирования позволяют набирать респондентов, создавать вопросы или давать сложные задания (составить рейтинг и др.). Поэтому часто для нас оказывалась принципиально важной интеграция платформы для онлайн-тестов со сторонними сервисами, такими как рекрутинговые панели и платформы для сбора данных SurveyMonkey и SurveyGizmo.
8. Стоимость
Некоторые сервисы для онлайн-тестов настроены на заключение длительных и дорогих контрактов с конечными клиентами. Нам важно, чтобы у сервиса был тариф для компаний, которые проводят удаленные немодерируемые тесты время от времени и для которых этот вид исследований не является основным.
UsabilityHub, Loop11, CanvasFlip и наш опыт работы с ними
В нашей работе мы использовали более десяти сервисов для удаленного немодерируемого тестирования. Часть из них мы применяли для решения задач наших клиентов, другие сервисы тестировали на внутренних проектах.
Вот несколько платформ, с которыми мы работали чаще всего и которые больше всего соответствуют нашим критериям выбора сервиса для онлайн-тестов.
UsabilityHub
Сервис UsabilityHub мы использовали на многих проектах. Например, он хорошо подошел для тестирования вариантов дизайна SMS-уведомлений для приложения электронного кошелька, о котором мы говорили в начале статьи. Среди множества типов заданий для наших целей оказались полезными два: 5-секундный тест (в течение 5 секунд мы показывали респонденту вариант интерфейса, затем спрашивали, что он в нем увидел или запомнил) и тест предпочтений (респондент выбирал один из двух или более вариантов интерфейса по заданному критерию).
Плюсы
· В тест можно автоматически добавить блок с вопросами для уточнения демографических и других данных респондента (возраст, пол, уровень образования, уровень технической грамотности и др.). Это большой плюс, потому что результаты можно будет фильтровать. Например, мы сравнивали ответы, полученные от респондентов из разных возрастных групп.
· Есть своя рекрутинговая платформа. Но мы набирали респондентов с помощью профессионального агентства, потому что нужно было провести исследование на специфической аудитории.
· Функция Variation Set позволяет случайным образом распределить респондентов по нескольким сценариям теста.
· Можно узнать, как респонденты оценивают анимацию в интерфейсе, для этого достаточно загрузить анимированный элемент в формате GIF.
· Можно построить хитмапы.
· Можно сделать тест навигации на сайте или в мобильном приложении: задаем на всех экранах сайта/приложения зоны верных кликов, задаем путь к достижению цели (при верном клике респондент переходит на следующий экран) и фиксируем, сколько респондентов сделали верный клик на каждом шаге этого пути. Можно увидеть воронку прохождения по каждому заданию и сделать вывод о том, на каком шаге испытывают трудности большинство респондентов, делая неверный клик.
· Можно задавать открытые вопросы или вопросы с вариантами ответов.
· Сервис собирает информацию о среднем времени прохождения задания. Мы использовали этот показатель для косвенной оценки вариантов дизайна SMS-уведомлений: смотрели, работа с каким вариантом занимает у респондентов больше времени.
· Ответы на вопросы можно выгрузить в файл Excel. В самом сервисе UsabilityHub можно посмотреть процентное соотношение по вариантам ответов, это помогает быстро оценить, сколько респондентов дали верный ответ.
Минусы
· UsabilityHub не предоставляет видео- и аудиозаписи тестов. Это один из серьезных недостатков, из-за которого мы часто отказываемся от проведения тестов на этой платформе.
· Нет готовой инструкции для респондентов о том, как пройти тест, но есть шаблон, по которому можно сделать такую инструкцию. Его можно использовать и для создания инструкций о том, как выполнить конкретное задание.
· Названия всех кнопок управления тестом (начало/завершение задания и др.), а также краткие инструкции перед каждым заданием переведены на русский язык, однако часто перевод некорректный: респонденты отмечали, что инструкции кажутся им «странно сформулированными».
· Нам не удалось протестировать анимацию в прототипе, собранном в InVision, потому что система отказывалась ее отображать.
· Навигационный тест может подойти для тестирования интерактивных прототипов, но в UsabilityHub нет возможности создавать развилки для путей в прототипе. Если пользователь нажал на область за пределами отмеченной зоны верных кликов, то навигационное задание сразу заканчивается. Этот тип заданий мы не использовали в исследованиях, но есть вероятность, что в нем есть много ограничений.
Стоимость
Можно бесплатно провести тест длительностью до 2 минут. Стоимость платных пакетов начинается от 79 $ в месяц с ограничением времени прохождения теста до 5 минут. Есть профессиональный пакет за 199 $ (без ограничений) и пакет стоимостью от 330 $ для команды проекта от 4 человек (чем больше участников в команде, тем выше стоимость пакета).
Вывод
UsabilityHub — достаточно гибкая платформа. Доступны самые разные типы заданий, почти всегда можно найти подходящее решение для проверки гипотез. Нет видео- и аудиозаписи тестовых сессий, поэтому часто приходится отказываться от использования этого сервиса.
Loop11
Loop11 заинтересовал нас, потому что в нем большой выбор типов заданий, можно автоматически задавать верные ответы на вопросы теста, строить хитмапы, записывать и хранить видео- и аудиозаписи тестов (экран и лицо респондента).
Можно дать задание на время, указав ссылку на тестируемый сайт или загрузив изображение. По истечении указанного времени задание завершится автоматически.
Также можно создавать задания first-click: показываем пользователю страницу сайта или другой объект тестирования и просим нажать туда, куда он нажал бы в реальной жизни, чтобы выполнить определенную задачу (фиксируется только первый клик).
Сервис автоматически высчитывает метрику потери, если указать, сколько страниц необходимо пройти для достижения заданной цели. Если не указывать эту информацию, то платформа примет за эталон минимальное количество страниц, которое прошел респондент до заданной страницы в вашем исследовании.
С помощью Loop11 мы хотели протестировать некоммерческий сайт для туристов, которые планируют свой досуг в Москве. Основной целью было проверить навигацию на сайте и понятность его разделов, а также выявить ожидания респондентов по контенту сайта. Планировалось провести исследование на большой выборке, которая включала бы как русскоязычных, так и англоязычных респондентов. Однако возникло много сложностей. Тест загружался очень медленно. В техподдержке ответили, что это из-за медленной работы тестируемого сайта: в Loop11 задание со всеми установленными настройками не загружается, пока не подгрузится весь контент страницы.
Чтобы создать работающий тест, пришлось вместо сайта для туристов исследовать сайт одного из московских музеев, который загружается быстрее.
Плюсы
· Если задать ссылку, переход по которой является верным, сервис автоматически высчитывает успешность выполнения задания. Мы использовали эту возможность на этапе анализа результатов онлайн-тестирования сайта музея. Очень удобно смотреть, сколько респондентов дошли до заданной страницы, а также какие неверные переходы они совершали. В процессе анализа данных можно добавить новую порцию заданных ссылок, и сервис автоматически пересчитает результаты теста.
· Все кнопки на русском языке.
· Есть готовые шаблоны для опросников SUS (System Usability Scale) и NPS (Net Promoter Score), позволяющих оценить субъективную удовлетворенность респондентов и подсчитать Индекс лояльности.
· Можно настроить показ вариантов ответов на вопросы в случайном порядке, это обеспечит чистоту данных. Мы включали эту опцию при тестировании сайта музея.
· Можно экспортировать результаты тестирования в файлы CSV, Excel, XML и PDF. Это пригодилось нам при анализе ответов респондентов.
Минусы
· Задание, кнопки управления тестом и параметры задания, например таймер, загружаются только после полной загрузки страницы тестируемого сайта. Если какой-то контент на странице загружается долго, респондент просто видит сайт, но не может посмотреть текст задания или закончить задание. Это приводит к тому, что респонденты закрывают тест и исследователь несет большие рекрутинговые затраты.
· Еще был ряд технических проблем при создании теста, например, переставала работать опция «Изменить задание или создать копию опроса» или к заданию не прикреплялось новое изображение. Техподдержка отвечает достаточно оперативно и даже записывает поясняющие видео о том, как устранить возникшие сложности.
· Нет инструкции о том, как проходить тест (как начинать и заканчивать выполнение задания, как сворачивать окно с заданием и др.), ее нужно создавать самостоятельно.
· Чтобы пройти тест, респондент должен установить расширение платформы Loop11, это требует времени и определенной технической грамотности.
· Респондент должен предоставить доступ к своей веб-камере и микрофону. Мы столкнулись с тем, что не все респонденты готовы это сделать.
· Есть сложности с настройками записи видео и аудио. В интерфейсе для респондента эти настройки никак не отражаются, и у некоторых респондентов возникают вопросы о том, началась ли видеозапись их лица и экрана, идет ли аудиозапись их комментариев в ходе выполнения задания.
· При переводе шаблона опросника SUS на русский язык опросник отображается некорректно. Можно разбить оценку по каждому утверждению на отдельные вопросы, но это сильно увеличивает время прохождения опроса и нагрузку на респондента.
Стоимость
Есть несколько тарифов. Самый простой стоит 49 $ в месяц (3 теста в месяц). Стоимость тарифа с неограниченным количеством тестов — от 149 $ в месяц. Также есть командный тариф с дополнительными услугами по анализу данных, информацию о его стоимости высылают по запросу.
Вывод
Loop11 очень чувствителен к скорости работы тестируемых сайтов, и это критично для нас, потому что бывают «тяжелые» сайты с большим количеством контента. Такие сайты невозможно протестировать с помощью этого сервиса.
CanvasFlip
Когда мы готовили эту статью, выяснилось, что закрылся сервис CanvasFlip, который помог нам протестировать прототип одного из мобильных приложений. Задачи исследования были стандартными: проверить удобство навигации, понятность процесса выбора и подключения услуги, заметность некоторых элементов.
В CanvasFlip тестируемые прототипы собирались заново из загруженных экранов прототипа (аналогично тому, как это делается в InVision). Результаты представлялись в виде хитмапа по каждому экрану. Сохранялись видеозаписи тестов. Большим плюсом платформы была простота использования: чтобы принять участие в исследовании, респонденту нужно было только открыть ссылку на тест.
Общие проблемы сервисов для онлайн-тестов
Есть ряд проблем, с которыми можно столкнуться вне зависимости от того, на какой платформе запущен онлайн-тест. Вот некоторые из них.
· Во время прохождения теста респондент может отвлечься (например, перейти на другую вкладку, открыть свои страницы в соцсетях) — и никакие инструкции, запрещающие это делать, не помогут. В нашей практике был респондент, который после первого же задания перешел на соседнюю вкладку с онлайн-игрой и долго играл, забыв о тесте. Некоторые сервисы позволяют отключать бар браузера, но проблема все равно остается. Респондент может отвлечься на личные дела и не пройти запущенный опрос. В итоге записывается тестовая сессия, в которой есть аудиозапись того, что происходит у респондента, и нет ни одного его ответа.
· При использовании западных платформ есть вероятность, что из-за разницы во времени будет трудно общаться с техподдержкой: придется ждать ответ на срочный вопрос, не рассмотренный в стандартных FAQ. Иногда это очень критично.
· Не все платформы позволяют внести изменения в запущенный тест самостоятельно, минуя техподдержку. В ходе сбора данных может многое измениться, например, потребуется вставить новые ссылки для редиректа респондентов или что-то исправить в задании. Если техподдержка затянет с ответом на ваш запрос, тестирование придется приостановить.
· Часть сервисов закрывают доступ к результатам уже проведенных тестов, как только заканчивается действие подключенного тарифного плана. Это не всегда удается предусмотреть: бывает так, что надо спустя время вернуться к результатам теста, а доступ к ним уже заблокирован. Чтобы избежать таких ситуаций, необходимо сразу после теста скачивать и сохранять все полученные результаты.
Еще 6 сервисов на будущее
К сожалению, ни один сервис для удаленного немодерируемого тестирования не является совершенным в плане соотношения стоимости, функциональности и возможностей для рекрутинга респондентов. Поэтому мы постоянно изучаем рынок и находим новые потенциально полезные инструменты для онлайн-тестов. В результате мы нашли еще 6 сервисов, которые планируем использовать на реальных проектах, если появится подходящая задача.
Чтобы оценить, подходят ли нам эти сервисы, в каждом из них мы создали сценарий тестирования нашего корпоративного сайта, предварительно адаптировав его к возможностям платформы (добавили дополнительные типы вопросов, отредактировали формулировки заданий и др.). Далее мы выступили в роли респондентов и протестировали наш сайт. Так мы узнали, какие задачи можно решить с помощью каждого сервиса, что нужно сделать респонденту, чтобы начать тест (например, скачать приложение или установить расширение для браузера), и какие трудности могут возникнуть у него при выполнении заданий.
Вот краткий обзор этих сервисов.
Fabuza (Фабрика Юзабилити)
Одной из самых развитых в плане функциональности платформ для онлайн-тестов является российский сервис Fabuza (Фабрика Юзабилити):
· помимо удаленных немодерируемых тестов можно проводить и тесты с участием модератора, а также дневниковые исследования, опросы, глубинные интервью, тесты баннеров, контента, видео;
· основное достоинство системы — практически все можно адаптировать под задачи конкретного теста (включая стили, скрипты и т. п.). Если у вас есть особые требования к тому, как должны выглядеть инструкции, как должна быть устроена логика перехода между заданиями, какие действия респондента на сайте нужно зафиксировать, — все это можно настроить;
· сервис дает широкие возможности для анализа данных: детальные тепловые карты, пути респондентов и многое другое.
· в сервисе нет внутренней панели для набора респондентов, однако Fabuza сотрудничает с крупными онлайн-панелями (Omi, Tiburon, Русопрос, UXSSR) и берет задачу рекрутинга на себя.
Ограничения платформы:
Критичным ограничением может стать высокая стоимость тарифных планов: платформа ориентирована на сотрудничество с конечными клиентами, для которых онлайн-тесты являются основным форматом проведения исследований.
Вывод
Fabuza («Фабрика Юзабилити») — гибкий инструмент, который позволяет решать большой спектр задач удаленного юзабилити-тестирования, но требует заметных затрат на приобретение лицензии.
Validately
· Платформа Validately предоставляет стандартный набор инструментов для модерируемых и немодерируемых тестов, есть своя панель для набора респондентов (15 $ за ответ 1 респондента).
· Можно тестировать нативные приложения, сайты и прототипы. Набор инструментов для создания вопросов и заданий ограничен: есть 3 типа вопросов (рейтинг, выбор из нескольких вариантов, открытый вопрос) и задания со ссылкой, переход по которой является верным.
· Можно отключить бар браузера у респондента, чтобы он не мог переходить по другим ссылкам и вкладкам во время теста.
· Есть встроенный блок со скринирующими вопросами, чтобы автоматически отсеивать неподходящих респондентов.
· Потенциальные сложности могут возникнуть из-за того, что все управление тестом на английском языке. Респонденту придется самостоятельно переводить инструкции, чтобы разобраться, как установить приложение платформы и сделать часть настроек для теста.
· Стоимость от 249 $, есть несколько тарифных планов.
Вывод
У сервиса нет русскоязычного интерфейса, количество типов заданий ограничено, это сильно сужает возможности по созданию различных дизайнов экспериментов. Платформу можно использовать для тестирования сайтов на англоязычной аудитории.
Userlytics
· Важное преимущество сервиса Userlytics — можно задать названия кнопок на русском языке. Таким образом, не нужно писать специальную инструкцию для русскоязычных респондентов.
· В целом у платформы хорошие возможности для формулировки любых типов вопросов (например, есть шаблоны для опросников SUS и NPS) и для тестирования самых разных объектов, включая прототипы.
· Чтобы начать тест, респонденту нужно скачать и установить приложение (увы, инструкции о том, как это сделать, есть только на английском языке).
· Провести рекрутинг российских респондентов при помощи Userlytics, скорее всего, не получится (пока в базе их около сотни), но сервис предлагает много разных вариантов аутентификации респондентов, набранных другими способами (специальные коды, редиректы и пр.).
· Стоимость — 34–64 $ за 1 респондента (если респондентов много, предоставляются скидки).
· Тестовая сессия ограничена 15 минутами, за более длительные тесты взимают дополнительную плату.
По словам разработчиков Userlytics, в ближайшее время ожидаются существенные нововведения в части аналитических функций, поэтому мы продолжаем следить за развитием сервиса.
Вывод
Если вы планируете исследование с большим количеством участников, то его стоимость может получиться довольно высокой. В остальном Userlytics — хороший вариант для проведения удаленных немодерируемых тестов. Но гладкость интеграции сервиса с внешней рекрутинговой панелью еще предстоит проверить в реальных тестах.
Userfeel
· По функциональности сервис Userfeel во многом похож на аналоги, но в нем есть локализация для русскоязычных респондентов — они смогут пройти тест, руководствуясь инструкциями на русском языке.
· Еще одна потенциально интересная функция — автоматическая транскрибация всех комментариев пользователя (применяется технология Google API. Таким образом, обрабатывать результаты тестирования становится гораздо проще. Однако, по нашему опыту, системы автоматической транскрибации редко дают качественный результат, так что эту функцию нужно тестировать на практике. Кроме того, все данные можно экспортировать в файл CSV.
· Стоимость: 49 $ за тест на десктопе, 99 $ за тесты на планшете и смартфоне, вне зависимости от того, используете ли вы предоставляемую услугу рекрутинга. Если используете, то лимит теста будет равен 20 минутам, если планируете сами набирать респондентов — в вашем распоряжении будет 60 минут. Если внести предоплату заранее, можно получить скидку до 30%.
Вывод
Сервис подойдет для проведения компактных исследований (5–10 респондентов). Если респондентов много, тестирование становится слишком дорогим.
UX Army
· Самое привлекательное в сервисе UX Army то, что он абсолютно бесплатный, если вы планируете рекрутировать респондентов через свою панель.
· Если рекрутинг нужен, то придется за него заплатить (от 20 $ за 1 респондента), но делать это имеет смысл, только если вам вдруг важен азиатский рынок. Сервис изначально заточен под Юго-Восточную Азию и Индию.
· Есть видео- и аудиозапись теста (до 60 минут), правда, без записи лица респондента.
· Можно задавать критерии успешности выполнения заданий (верный переход по ссылке, ввод определенного слова/числа, лимит времени).
· По каждому респонденту создаются карта кликов, карта движений мыши, навигационное дерево.
· Можно сделать видеонарезку важных фрагментов теста, а также экспортировать данные в отдельный файл PDF или CSV.
Есть нюансы, из-за которых вы можете отказаться от проведения тестов с помощью UX Army:
· После выполнения каждого задания респонденту предлагается оставить обратную связь по нему в письменном виде, причем нет возможности пропустить этот шаг или написать пару слов формально — установлено ограничение на минимальное количество слов. При создании сценария теста нет возможности исключить вопросы с просьбой дать обратную связь. Нужно специально предупредить об этом респондентов и хорошо их замотивировать.
· Функциональность вопросов до и после теста, а также между заданиями невелика: придется сильно исхитриться, чтобы, например, встроить в сценарий тестирования опросник SUS.
· Стандартная проблема всех зарубежных сервисов: можно создать русскоязычные инструкции к тесту, но весь интерфейс будет на английском языке.
· Техподдержка сервиса практически не реагирует на просьбы о помощи.
Вывод
UX Army подходит для исследований с ограниченным или даже нулевым бюджетом, когда вам не нужны психометрические данные (SUS, SUM и пр.) и вы верите, что респонденты не закроют тест, столкнувшись с необходимостью давать детальную обратную связь.
UX Crowd
Молодая российская платформа UX Croud еще находится в процессе наращивания функциональности.
· Важные преимущества: все на русском языке, можно набирать респондентов с помощью сервиса (цена рекрута зависит от сложности требований) или проводить тестирование на самостоятельно набранных респондентах.
· Из бонусов: понятный интерфейс, гибкое ценообразование (есть несколько тарифов), много разных типов вопросов, которые можно вставлять в любую часть сценария (в том числе между заданиями).
· К сожалению, пока нет возможности просматривать карты кликов и тепловые карты, а также выгружать любую аналитику.
· Нет агрегации данных по заданиям, все нужно смотреть и размечать вручную.
· Количество респондентов ограничено десятью для панели UX Crowd и двадцатью — если вы набираете респондентов самостоятельно, однако эти требования можно обсуждать в зависимости от особенностей проекта.
Вывод
Сервис отлично подходит для случаев, когда нужно провести исследование, максимально приближенное к обычному очному юзабилити-тестированию с небольшим количеством респондентов и минимумом количественных показателей. Если респондентов много и нужно обработать большой массив данных, UX Crowd вряд ли вам подойдет.
Что делать, если вам не хватает возможностей выбранного сервиса
Как правило, задачи конкретного проекта не вполне соотносятся с функциональностью того или иного сервиса для онлайн-тестов. Бывает так, что нужно проверить что-нибудь специфическое, а такой функции нет ни в одном из подобных сервисов. Приходится проявлять изобретательность и комбинировать платформу для онлайн-тестов с другими сервисами (например, с SurveyGizmo, который мы используем для проведения опросов).
Мы продолжаем следить за новинками на рынке сервисов для удаленного немодерируемого тестирования и планируем сообщать о своих находках. Так что следите за нашими новыми публикациями на Facebook и Medium.
Над статьей работали: Александра Панкратова, Анна Паукова и Наталья Шмелева.
Агентство «Юзетикс» основано в 2001 году. Мы специализируемся на внедрении пользовательского опыта в интерфейсы цифровых продуктов и услуг. Работаем с российскими и зарубежными компаниями, проводим исследования по всей России.
Коллеги, если вы тоже проводили удаленные немодерируемые тесты, поделитесь, с какими проблемами вы сталкивались?
