А как у других? Сравнительный обзор отчетов о юзабилити-исследованиях

Перевод статьи Даниель Кулей (Danielle Cooley) и Кэрол Барнум (Carol Barnum) How Do Other People Do It? A Comparative Review of Usability Study Reports.

В ходе новейшего исследования Рольфа Молича (Rolf Molich) CUE-10 (англ. Comparative Usability Evaluation studies — сравнительная оценка методов юзабилити-тестирования) 16 участников выполняли задание, предназначенное для «сбора реальных данных о том, как профессиональные UX-исследователи модерируют юзабилити-тесты». Каждая из команд провела по три сессии одного и того же юзабилити-тестирования (сайт и задания были одинаковыми) и предоставила записи, чтобы можно было сравнить разные практики модерирования.

В результате исследования было получено много инсайтов по процессу модерирования, однако мы обратили особое внимание еще на один аспект — отчеты о результатах исследования, которые подготовили участники.

Разумеется, мы не первые, кто решил подробнее изучить практики составления юзабилити-отчетов:

• UXQB опубликовал пример отчета с аннотациями ко всем разделам.
• Стандарт ISO 25062 устанавливает Общий отраслевой формат для отчетов о юзабилити-тестированиях.
• В 2012 году журнал User Experience Magazine опубликовал статью «Идеальный отчет» Ханны (Hanna) и Рисдена (Risden).
• В более раннем исследовании CUE (CUE-7) тщательно рассматривались вопросы представления рекомендаций в отчетах для заинтересованных лиц.
• UXPA опубликовала статью с выводами Молича (Molich), Хорнбека (Hornbaek), Круга (Krug), Скотта (Scott) и Джонсона (Johnson ) «Рекомендации по рекомендациям».
• Среди тех, кто затронул эту тему в своих книгах по юзабилити-тестированиям: Джо Дюма (Joe Dumas) и Джинни Редиш (Ginny Redish) (1999), Джеффри Рубин (Jeffrey Rubin) и Дана Чиснелл (Dana Chisnell) (2008), Стив Круг (Steve Krug) (2009) и Кэрол Барнум (Carol Barnum) (2010).

Но как узнать, отражаются ли в реальной практике написания отчетов те рекомендации и стратегии, которые представлены в статьях и книгах по этому вопросу? Хотя исследования CUE являются отличным источником информации для отчетов (включая коллекцию ранее опубликованных отчетов CUE-2, CUE-3, CUE-4, CUE-6, CUE-8 и CUE-9, которые находятся в открытом доступе), ни один из отчетов не был проанализирован системно, с точки зрения того, какой подход был выбран для представления результатов. После участия в воркшопе по итогам исследования CUE-10 мы обнаружили, что располагаем уникальной информацией — наблюдениями о подходах, которые наши коллеги использовали при написании отчетов.

Об исследованиях CUE

Рольф Молич, пионер в области юзабилити-исследований, проводит сравнительные исследования уже несколько десятилетий. Начиная с 1998 года, когда четыре UX-специалиста провели небольшое исследование программы-календаря, Молич и его коллеги публикуют результаты своих исследований в открытом доступе, чтобы продемонстрировать возможности универсального применения принципов и методов юзабилити. По мнению Молича, в профессии еще нет устоявшихся методологий, которые гарантированно приведут к конкретным результатам, вне зависимости от влияния исследователя на процесс. Публикации об исследованиях CUE внесли существенный вклад в формирование знаний о юзабилити и зачастую провоцировали оживленные дебаты среди UX-практиков о том, как можно интерпретировать и применять результаты этих исследований.

Об исследовании CUE-10

В ходе исследования CUE-10 16 специалистам-практикам было предложено провести юзабилити-тестирование сайта популярного европейского лоукостера Ryanair.com. Организаторы просили каждого участника следовать таким правилам:

• провести три сессии юзабилити-тестирования сайта Ryanair.com;
• использовать задания, сформулированные организаторами;
• разработать гайд для проведения тестовых сессий;
• записать каждую сессию на видео так, чтобы были видны и участник, и модератор, поскольку в фокусе исследования был именно процесс модерирования;
• завершить сессию максимум через 40 минут;
• написать отчет о результатах исследования;
• разместить видео, гайд и отчет в общей папке Dropbox.

В рамках воркшопа по итогам исследования, состоявшегося в Бостоне в мае 2018 года, каждый участник должен был:

• предварительно просмотреть видео трех других участников воркшопа;
• изучить отчеты каждого участника;
• сначала обсудить результаты в небольших группах, а затем со всеми участниками.

Воркшоп был почти полностью посвящен обсуждению стилей модерирования 16 участников. Отчеты обсуждались в меньшей степени, хотя некоторые участники неформально комментировали разнообразие стилей и подходов к их написанию.

Поскольку мы были особенно заинтересованы в более тщательном обсуждении подходов, которые используются при написании отчетов, мы, с согласия Молича и участников воркшопа, провели опрос на эту тему, а у некоторых участников взяли глубинное интервью.

Обзор

Отчеты, которые мы изучили, сильно различались по содержанию, структуре, стилю, формату, тону и уровню визуальной проработки. Вот некоторые примеры различий:

· 9 отчетов были в виде презентаций, а 7 — в виде документов;

· некоторые команды структурировали результаты по успешности, другие — по заданию или по категории;

· количество скриншотов в отчетах варьировалось от 0 до 47;

· ряд команд активно использовали цвета, в то время как другие придерживались черно-белого оформления.

Одним словом, отчеты действительно отличались друг от друга, это видно по небольшим эскизам страниц из различных отчетов (рис.1).

Рис. 1. Образцы скриншотов из 13 отчетов участников CUE-10 иллюстрируют разнообразие подходов к написанию отчетов

Но насколько эти отчеты сопоставимы с тем, что участники обычно делают в своей повседневной работе? Повлиял ли каким-то образом факт участия в исследовании CUE-10 на привычный способ создания отчетов? 13 команд, которые приняли участие в итоговом опросе, сказали, что их отчеты в среднем были на 61,5% похожими на их обычные отчеты (медиана = 70). Определенные ограничения CUE-10 повлияли на выбор формата отчетности некоторыми участниками. Например, поскольку каждая команда провела только три сессии тестирования, некоторые участники CUE-10 опускали часть количественной информации, которую они могли бы включить при бо́льших размерах выборки.

Вот другие специфичные для CUE-10 факторы, которые могли повлиять на выбор формата отчетности:

· работа в одиночку;

· фиксированная продолжительность сессии тестирования;

· фиксированный порядок выполнения заданий;

· требование к анонимности отчетов;

· отчеты были адресованы коллегам, а не реальному клиенту.

Наконец (и, возможно, это наиболее важно), в центре внимания на воркшопе был процесс модерирования, а не отчетность, поэтому для подготовки отчета некоторые участники выделяли доступное время по остаточному принципу.

Но насколько репрезентативны эти отчеты для отрасли в целом? Разумеется, 16 человек не могут представлять все сообщество UX-практиков, но в целом команды действительно наглядно иллюстрируют разнообразные сегменты профессии. В заявке на участие в CUE-10 указано, что «участники должны иметь как минимум два года релевантного практического опыта в юзабилити. Они должны были промодерировать как минимум пять юзабилити-тестов. Мы рассмотрим ограниченное количество заявок от людей, у которых меньше опыта, в том числе от студентов». Действительно, была одна студенческая группа, а остальные участники имели от 5 до 40 лет опыта. Участниками CUE-10 были специалисты из средних и крупных компаний, высших учебных заведений и консалтинговых фирм различного размера. У некоторых был преимущественно дизайнерский, а не исследовательский опыт.

Методология

Мы не только приняли участие в мероприятиях CUE-10 и презентовали собственные отчеты о проделанной работе, но и подробно рассмотрели все отчеты, представленные другими командами. Даниэль проанализировала отчеты и составила сравнительную таблицу (рис. 2). Кэрол провела качественный анализ отчетов в части «стиля»: использовался ли внутренний отраслевой жаргон, какими были особенности дизайна документов/презентаций и подходы к подсчету результатов (например, в процентах, в виде точных чисел или с помощью более общих понятий, таких как «некоторые, многие, большинство»), включались ли в отчет положительные результаты, а также предлагались ли решения выявленных проблем.

Рис. 2. Часть электронной таблицы показывает, по каким категориям анализировались отчеты

Мы опросили других участников исследования CUE-10, насколько их отчеты для CUE-10 похожи или отличаются от их типичных отчетов. Мы задавали следующие вопросы: «В целом насколько похож ваш отчет для CUE-10 на ваши обычные отчеты?» и «Для какой аудитории (например, для коллег-участников или для клиента — Ryanair) вы написали отчет по итогам CUE-10? Как это повлияло на ваш выбор формата отчета?» Нам удалось собрать ответы 13 из 16 команд. Затем мы взяли 20–60-минутные интервью у 5 команд: с каждой командой мы обсудили их отчет, ответы, которые они дали в рамках опроса, а также их наблюдения относительно отчетов других команд.

Анализ и наблюдения

Вот какие выводы мы сделали после анализа 16 отчетов:

· 7 отчетов были в формате документа (например, Word), а 9 — в формате презентации (например, PowerPoint, Keynote).

· В 11 отчетах были подробные выводы, в 5 — нет.

· 11 команд включили в отчет детальную информацию о респондентах; только 2 участника (авторы данной статьи) указали имена респондентов.

· 4 команды привели дословное описание заданий для тестирования в самом отчете или в приложении к отчету.

· 9 команд включили в отчет информацию об успешности выполненных заданий.

· 14 команд использовали в отчете скриншоты. Количество скриншотов (включая фрагменты скриншотов) варьировалось от 0 до 47 (среднее = 14,7, медиана = 8,5).

· 8 команд включили в отчет цитаты участников. Количество цитат варьировалось от 0 до 27 (среднее = 5,6, медиана = 0,5).

· 11 команд использовали разные варианты шкалы оценки сложности проблем: от 3-балльной до 6-балльной (среднее = 4, медиана = 4). 6 из них визуализировали градации сложности с помощью и цвета, и текста, а 5 — использовали только текст.

· 7 команд структурировали свои выводы по задачам, 3 — на основе смысловых категорий, 2 — по степени значимости. 3 команды использовали индивидуальные стили структурирования, которые отличались друг от друга и от стилей остальных отчетов. 1 команда прямо сказала, что в их отчете приводится «неупорядоченный список наиболее значимых проблем».

· Только в 3 отчетах были графики. В одном отчете было 15 графиков, а в двух других — по одному.

· 9 отчетов содержали рекомендации, но ни в одном из них не было визуального представления предлагаемых изменений.

· В 5 отчетах использовался профессиональный жаргон, например, такие слова как «гештальт-принципы» или «аффорданс».

· Только в 2 отчетах использовались видеоролики: в одном было 6 роликов, а в другом — 7. В 5 других отчетах были временные метки для видео. Временных меток было гораздо больше — от 24 до 50 (среднее = 32,6, медиана = 30). Но от одного участника CUE-10 мы услышали, что он включал временные метки в отчет только потому, что это был отчет для CUE, и мы полагаем, что это существенная методическая проблема данного воркшопа.

Обсуждение

Мы разделили отчеты участников CUE-10 на три основных типа и условно назвали их так: лаконичные (Lean), классические (Traditional) и визуальные (Visual).

Лаконичные отчеты

Из 16 отчетов для CUE-10 в эту категорию попали 6. В лаконичных отчетах, как правило, были представлены выводы и рекомендации, а информация о самом исследовании была минимальной или отсутствовала. Они могли быть оформлены в виде документа, презентации или даже электронного письма команды. Иногда краткие отчеты включали в себя несколько особенно наглядных скриншотов или цитат респондентов. Один из участников CUE-10, который подготовил такой отчет, описал его как «краткий конспект обсуждения по итогам проекта».

Главное преимущество лаконичных отчетов — экономия времени и человеческих ресурсов, которые потребовались бы для написания более развернутого отчета. Основной недостаток — отсутствие контекста и возможности воспроизвести исследование повторно: если заинтересованные лица будут просматривать отчет позже, они могут не разобраться в нем. Качество информации в отчете данного типа может оказаться недостаточным, если необходимо убедить руководство в том, что ценность работы соизмерима с деньгами, потраченными на ее выполнение.

Лаконичные отчеты хороши для совместной работы, когда участники тесно сотрудничают с заинтересованными лицами на протяжении всего исследования, при этом заинтересованные лица активно вовлечены в посещение тестовых сессий и обсуждение наблюдений. Если такие отчеты выполнены качественно, то они также могут быть достаточно информативными для людей, знакомых с проектом или продуктом, но не принимавших непосредственного участия в исследовании. Наконец, краткие отчеты могут подойти в случае, когда нет формальных требований к документации.

Традиционные отчеты

3 из 16 отчетов для CUE-10 относились к традиционным. В отличие от кратких отчетов они были объемными и подробными. В дополнение к детальным выводам и рекомендациям в этих отчетах содержалось много метаинформации о самом исследовании, например данные о распределении участников, дате и месте(ах) проведения. В основном такие отчеты были текстовыми и часто включали столько количественной информации, сколько было целесообразно собрать в ходе исследования. Общий отраслевой формат ISO 25062 можно считать золотым стандартом для отчетности о традиционных юзабилити-исследованиях. Три традиционных отчета для CUE-10 отличались по количеству скриншотов и цитат респондентов, но во всех было краткое описание основных результатов и использовалась шкала оценок, чтобы показать важность каждого вывода.

Потенциальные преимущества традиционных отчетов — возможность воспроизвести исследование и снижение рисков, связанных с ответственностью (liability risk). Недостатком является то, что для создания таких отчетов требуется значительное количество времени и усилий, и во многих случаях эти затраты будет сложно оправдать. Еще одним серьезным недостатком может стать то, что все эти усилия будут потрачены впустую, потому что люди, как правило, не читают такие отчеты полностью.

Традиционные отчеты наиболее уместны в ситуациях, когда важна достоверность данных или скрупулезность описания. Например, в такой регулируемой отрасли, как производство медицинского оборудования, компания должна продемонстрировать регулирующим органам, что она провела тщательное и всестороннее исследование своего продукта. Другим примером может быть отрасль с высокими рисками. Например, при управлении воздушным движением существуют юридические риски в случае, если компания не сможет доказать, что всесторонне изучила свой продукт. Традиционные отчеты больше подходят для итоговой оценки, чем для оценки на этапе разработки.

Визуальные отчеты

7 из 16 отчетов выделялись визуальным дизайном. Как правило, они описывали некоторый контекст исследования — хотя и не так детально, как в традиционном отчете, и включали подробные объяснения результатов, а также ряд рекомендаций. В визуальных отчетах было больше всего скриншотов и цитат респондентов (26,9 против 5,2 и 9,6 против 2,4 соответственно по сравнению с традиционными и краткими отчетами вместе взятыми). Графическое оформление часто применялось к таким составляющим отчета, как рейтинги, цитаты респондентов или рекомендации, чтобы визуально их выделить.

Аналогично тому, как визуальный дизайн является наиболее важным фактором обеспечения доверия к веб-сайту, а продуманная подача блюд делает еду более вкусной, хорошее оформление отчета может положительно повлиять на то, насколько полезным сочтут его заинтересованные лица. Однако на создание визуальных отчетов также требуется много времени, хотя шаблоны, как правило, позволяют ускорить процесс подготовки отчета.

Визуальные отчеты ценны, когда UX-практику нужно легко управлять вниманием и удерживать его, особенно в мире, где неспособность надолго сосредоточиться на чем-либо и высокие ожидания к качеству визуальной составляющей являются нормой. Визуальные отчеты также полезны, если необходимо представить результаты руководителям высшего звена. Большинство участников CUE-10, которые использовали этот вид отчета, имели или имеют опыт работы в качестве внешних консультантов. (Примечание: для CUE-10 оба соавтора статьи представили отчеты именно такого типа.)

Другие наблюдения участников

В своих интервью некоторые участники указали, что они выбирают тип отчета в зависимости от конкретных обстоятельств исследования. И хотя они отметили, что могут включить в свои будущие отчеты некоторые детали из других отчетов для CUE-10, но утверждали, что в целом их устраивает их привычный стиль отчетов и что они продолжат его использовать. Один участник — приверженец лаконичного стиля — сказал, что ему стоит больше продвигать этот стиль в индустрии, чтобы коллеги чаще его использовали.

Выводы

О чем говорят нам эти данные? Вы удивитесь, но это зависит от обстоятельств. Вы работаете с по-настоящему вовлеченной Agile-командой, которая часто проводит тестирования и понимает, что такое юзабилити? Вам подойдет стиль лаконичных отчетов.

Вы работаете в строго регулируемой отрасли? Существует вероятность получить судебный иск из-за того, что производители продукта проявили халатность в отношении юзабилити и в результате был нанесен серьезный ущерб? У вас есть данные о результатах тестирования продукта перед его запуском? Тогда традиционный отчет для вас.

Хотите, чтобы отчет лучше воспринимался за счет продуманного оформления? Вам подойдет визуальный отчет.

Так или иначе главное, что нам удалось узнать в результате сравнительного анализа отчетов, — это то, что существуют компромиссы между временными затратами и трудоемкостью отчета, и некоторые аспекты написания и дизайна отчета особенно трудоемки. Чтобы понять, чем обусловлен выбор того или иного стиля для отчета, мы изучили отчеты коллег, провели опросы и глубинные интервью и пришли к выводу, что единственного «правильного» способа составления отчета по итогам юзабилити-исследования не существует. Как и во многих ситуациях в UX, it depends.

***

Следите за нашими новыми публикациями и переводами на Facebook и Medium.

Над переводом работали: Виктория Нагорнова, Алена Сечина, Анна Паукова и Наталья Шмелева.