Расходы на удаленные юзабилити-тестирования: модерируемые и немодерируемые
Существует два варианта удаленного юзабилити-тестирования: модерируемое (под контролем ассистента и с использованием приложения для обмена экранами) и немодерируемое (задачами управляет платформа для тестирования без участия ассистента).
Одной из причин того, что удаленное немодерируемое юзабилити-тестирование более популярно, чем модерируемое, является то, что его рассматривают как более дешевое и быстрое. Хотя немодерированное юзабилити-тестирование, на первый взгляд способно сэкономить немного денег и времени, эта экономия может оказаться не такой значительной, как вы думаете, — это станет очевидным, когда вы оцените результаты. Мы сравним типичные затраты для каждого типа исследования.
Факторы, влияющие на стоимость исследования
Два основных фактора, влияющих на стоимость вашего исследования, это кто ваши участники и как они будут набраны. Денежные затраты возрастут, если ваша пользовательская аудитория окажется очень занятой, редкой или слишком состоятельной — в этих случаях вам, вероятно, придется использовать более значительные вознаграждения. Точно так же, если вы нанимаете кадровое агентство для поиска и отбора своих пользователей, вы будете платить гораздо более высокую цену за каждого участника, чем если бы вы использовали панель. Эти оценки времени и денежных затрат предполагают, что исследовательская практика уже налажена в вашей организации. Предполагается, что временные затраты на тестирование окажутся больше, чем наши оценки, если:
• Заинтересованные лица или клиенты должны предварительно убедиться, что исследование необходимо.
• Четкие цели исследования еще не определены.
• Исследователи не знакомы с инструментами, используемыми во время тестирования, и должны тратить время на их изучение.
• Участников сложно найти и организовать.
Наши оценки также не включают в себя время, необходимое для проектирования и разработки продукта или прототипа для тестирования.
Кроме того, наша высшая цена подписки на платформу для немодерируемого тестирования составляет $100 в месяц. Организации могут потратить гораздо больше, чем это, в зависимости от выбранного инструмента. Некоторые крупные платформы с большим количеством функций и инструментов (например, UserZoom) могут стоить тысячи долларов в месяц.
Мы включили расходы на приложение для видеоконференций, но вам может не понадобиться добавлять его в свои собственные расчеты стоимости. В идеале, вы можете проводить много исследований за отдельный период времени, так что стоимость амортизируется по проектам. Кроме того, для модерируемых исследований в вашей организации, скорее всего, уже есть приложение для проведения видеоконференций, так что это не является новым расходом, специфичным для данного вида исследований. Вы можете не включать этот пункт при расчете своих расходов.
Оценки расходов на исследования
Это приблизительные оценки расходов для стандартного качественного юзабилити исследования с 5 участниками, проводимого в США. Скорее всего, вы обнаружите, что расходы могут варьироваться в разных местах, в особенности, необходимые вознаграждения.
Юзабилити-тестирование является чрезвычайно гибким и универсальным инструментом, поэтому иные варианты (например, количественное юзабилити-тестирование, требующее от 20 до 40 участников) будут иметь другие объемы расходов.
Таблица 1: Стандартные оценки затрат для удаленного модерируемого исследования с 5 участниками в США.
Таблица 2: Стандартные оценки затрат для удаленного немодерируемого исследования с 5 участниками в США.
Немодерируемые исследования могут включать в себя скрытые расходы
Руководствуясь этими приблизительными оценками, можно предположить, что немодерируемое исследование будет стоить на 20–40% меньше, чем модерируемое. Ваши исследователи также могут сэкономить около 20 часов времени.
Однако не забывайте о компромиссах, связанных с использованием немодерируемого исследования вместо модерируемого.
Если вы используете платформу — панель для немодерируемого тестирования, вы подвергаетесь риску встретить мошенников или «профессиональных» участников — людей, которые просто хотят получить деньги и уйти, или которые участвуют в исследованиях на постоянной основе. Возможно, вам придется отсеивать и заменять этих участников. Некоторые платформы придерживаются справедливой политики по замене слабых участников бесплатно для исследователя, но некоторые этого не делают. Чтобы обезопасить себя, мы, как правило, рекомендуем набирать участников чуть больше, чем требуется. Таким образом, вместо тестирования 5 участников немодерируемого исследования, вы можете решить протестировать 6.
Исследователи часто предпочитают немодерируемое тестирование, потому что им кажется, что оно сэкономит им время — не нужно проводить сессии. Но помните, особенно при качественном исследовании, вы все равно должны просматривать эти записи, чтобы проанализировать их. Вы можете обнаружить, что любое сэкономленное вами время при проведении сеанса будет перенесено на этап анализа проекта.
Обратите внимание на большую разницу между двумя приведенными выше оценками: модерируемые исследования запланированы как 60-минутные сеансы, а немодерируемые — 20 минут. Это потому, что большинство панелей для тестирования имеют ограничения по продолжительности сеансов. По этой же причине длинные сложные задачи могут не подходить для немодерируемого тестирования. И если вы планируете протестировать множество задач на одном сайте, вам потребуется набрать больше участников (каждый респондент выполняет только часть задач).
И, наконец, помните, что основным отличием между модерируемыми и немодерируемыми исследованиями является наличие или отсутствие ассистента. Модерируемые исследования чаще дают более сфокусированные результаты и большее понимание, чем немодерируемые, и это то, чего вы будете лишены при немодерируемом тестировании.
Учитывайте все расходы
Немодерируемое исследование может быть отличным вариантом для команд с ограниченными ресурсами. Хотя модерируемое тестирование и может быть немного дороже, эти расходы могут быть компенсированы ценностью результатов для некоторых команд.
Просто убедитесь, что вы учли все особенности вашей ситуации (инструменты, время, пользователи и рекрутинг) и соотнесите их с вашими исследовательскими целями, когда вы делаете свой выбор.
Перевод: Remote Usability-Testing Costs: Moderated vs. Unmoderated
