Показатели ux и usavility в одном словаре

Апдейт. Классный документ ISO/IEC 9126–2, загляните туда.

Я упоролась искать разные метрики в разных источниках, поэтому решила собрать их в одном списке (по крайней мере те, что известны мне).

Пока я не сделала ничего лучше, чем просто собрать метрики в списке и дать им примерную характеристику без описания подводных камней. Часть списала отсюда, часть нашла сама в статьях и просто где попало, расставила всё в алфавитном (возможно, не везде) порядке, без деления на комплексные и плоские показатели. Надеюсь это как-то разгрести со временем.

Список дополняется.

Adoption rate — процент новых пользователей функции. Чтобы посчитать, нужно разделить число новых пользователей функции на число пользователей.

ASQ (after — scenario questionnaire) — комплексный показатель сложности решения задачи. Высчитывается на основе ответов на вопросы об удовлетворенности уровнем сложности, удовлетворенности потраченным временем на решение, удовлетворенности поддержкой. Вопросы задаются после выполнения пользователем действий по сценарию. Методологию можно посмотреть здесь.

aNPS (actual Net Promoter Score) — уровень потребительской лояльности с поправкой на актуальность. Помогает проверить предыдущий опыт пользователя по распространению рекомендаций (см. про ожидаемый уровень рекомендаций NPS). Пользователей просят ответить на вопрос, рекомендовали ли они продукт кому-либо за последнее время. Считается в процентах.

CES (Customer Effort Score) — это такая же простая шкала, как и CSAT, только она строится чисто на вопросе об удобстве использования функции или какой-то другой составляющей продукта.

Completion rate — уровень, который базируется на показателе завершения (решения) задачи в ux-тесте. Для конкретного пользователя может принимать только два значения (решил или не решил). Переводится в проценты путем деления числа завершенных задач на количество незавершенных и умножения на 100%.

CSAT (Customer Satisfaction Score) — это просто вопрос о том, нравится клиенту или нет что-либо. Используется для конкретных элементов продукта. Вопрос задается после контакта пользователя с элементном. Можно показывать шкалу, можно равнозначные смайлы, можно что-нибудь еще.

CSUQ (Computer System Usability Questionnaire)— это опросник от IBM 1995 года, который включает 19 утверждений о работе компьютерной системы (!) Пользователь может согласиться с утверждением, а может и не согласиться. Ориентирован на типичный сценарий использования… эммм…ЭВМ?

Day active users — это доля людей, которые используют функцию в течение 1, 3, 7 и более дней подряд (опционально).

EUME (Expected Usability Magnitude Estimation) — комплексная оценка ux, которая отстраивается от ожидаемого уровня юзабилити и актуального уровня по итогам решения задачи. Помогает оценивать критичность проблемы. Сначала пользователя просят по описанию задачи оценить, насколько она может быть сложной в решении, а потом он решает задачу и по той же шкале оценивает, насколько это было сложно.

Importance score — уровень значения функционала продукта для пользователя. Оценивается от 0 до 10 по вопросу типа “Оцените, насколько для вас важна эта функция?” или по альтернативному вопросу.

Learnability — этот показатель измеряется по-разному разными исследователями. Кто-то понимает это как оценку пользователем простоты научиться что-то делать с продуктом, кто-то измеряет это оценивает легкость обучения временем, которое тратится на изучение продукта или его функции (см. Time on learn, показатель, который я придумала сама исходя из информации о Learnability).

Memorability — запоминаемость. Количество (иногда доля) текстов, изображений или других объектов, которые может вспомнить пользователь после решения задачи.

NASA Task Load Index — это метод оценки сложности решения задачи аж от NASA. Включает несколько вопросов, ответить на которые нужно по шкале оценки уровня сложности от никого к высокому. Включает измерение психологической, ментальной, временной и другой нагрузок. Посмотреть можно тут .

NPS (Net Promoter Score) — уровень потребительской лояльности. Пользователей просят ответить на вопрос, какова вероятность, что они порекомендуют сервис продукт своим знакомым по шкале от 0 до 10. Считается в процентах (но и не только, если вы любите странности, как я).

Number of Clicks — число кликов, которое сделал пользователь за время решения задачи.

Number of Errors — количество ошибок, которое возникает у пользователя при решении задачи (именно ошибок, которые совершает пользователь, но он может их делать из-за некорректности проектировки ux).

Opportunity Score — окно возможностей. Комбинированный показатель, состоящий из важности элемента (см. importance score) продукта и удовлетворенности (см. satisfaction score)его работой.

PSSUQ (Post-Study System Usability Questionnaire) —ориентированный на типовой сценарий использования продукта опросник, внутри 16–19 (на ваш вкус) утверждений, с которыми пользователь волен согласиться или нет. Как и SUS, подразумевает перевод ответов в шкалу от 0 до 100. Как и SUS, проще показать, чем объяснить.

Quantity of action per user — типичное количество действий, которое совершает пользователь продукта за определенный период времени.

QUIS (Questionnaire For User Interaction Satisfaction) — по сути это инструмент (опросник) для изменения субъективной пользовательской удовлетворенности. Предназначен для изменения именно удовлетворенности от взаимодействия “человек-машина”. Включает несколько пунктов, связанных с работой экрана, читаемостью текстов и т. д.

qXScore — комплексная “единая” метрика usability, которая выводится на основе двух блоков: 1. %пользователей, успешно справляющихся с задачей (behavioral data) 2. уровень удовлетворенности работой с продуктом (attitudinal data). Такая единая метрика должна упростить жизнь юзабилисту, но это настолько “просто”, что проще показать, чем рассказать формулу :)

Satisfaction score — взвешенный уровень удовлетворенности пользователей. Пользователю предлагается оценить уровень своего довольства, выбрав один их трех вариантов ответа. Удовлетворенный пользователь приравнивается к 1 баллу, частично удовлетворенный — к 1/2, неудовольный к 0. В итоге можно оценить, например, сколько людей из 100 удовлетворяет продукт.

SEQ (Single Ease Question) — показатель уровня сложности решения задачи пользователя. Вопрос задается после решения какого-либо задания (см. Task level satisfaction, разницы не обнаружено).

Steps to complete a task — количество шагов, которое нужно пройти пользователю, чтобы завершить задачу.

SUM (Single Usability Metric)— стандартизованный метод подсчета единого индекса юзабилити по трем основным юзабилити-­метрикам (эффективность, продуктивность и удовлетворенность). SUM рассчитывается путем усреднения данных по каждой метрике, а результатом является средний показатель по каждой задаче теста и общий показатель для всего теста. SUM приводит разнородные показатели к единому, что позволяет увидеть общую картину относительно всего интерфейса. Три шкалы с разными показателями, для них высчитывается z-значение.

SUMI (Software Usability Measurement Inventory) — это инструмент для оценки удовлетворенности от взаимодействия “человек-машина”, то есть скорее применим для тестов оборудования. Опрос проводится после теста. Похож на QUIS, но тут уже 50 вопросов. Проще один раз посмотреть, чем прочитать много объяснения.

SUPR-Q — еще одна комплексная оценка работы продукта, базирующаяся на нескольких основных блоках: собственно юзабилити, соответствие ожиданиям (доверие, значимость, комфортность), лояльность, внешняя привлекательность. Извините за мой вольный перевод этих слов. Отличается от SUS тем, что в опроснике меньше функциональных параметров оценки продукта и больше психологических.

SUS (System Usability Scale) — системная оценка юзабилити, в которую входят группы вопросов, которые связаны с эффективностью, количеством усилий, которые затрачивают пользователи на работу с продуктом, а также уровень удовлетворенности работы с продуктом. Метрика входит в стандарт ISO 9241, там можно почитать подробно, а также опросник в помощь. Пользователю предлагают ряд утверждений по каждому тематическому блоку, а потом просят с ними согласиться или нет. В итоге оценка получается по шкале от 0 до 100 баллов. Сюрприз-сюрприз! Есть аналогичный PSSUQ опросник, но он побольше и подразумевает то, что пользователь будет заполнять по сценарию работы с продуктом.

Task level satisfaction — это уровень удовлетворенности от решения задачи. Сразу после того, как пользователем была совершена попытка решить задачу во время ux-теста, ему предлагается ответить на вопрос о том, насколько сложно было решить задачу.

Task time — время на задачу = время конца теста — время начала теста. се просто. Считается во время выполнения задач в ux-тесте.

Time between action per user — показатель вовлеченности пользователей. Показывает, сколько дней обычно проходит между повторными обращениями к функции.

Time on learn — время, которое нужно пользователю, чтобы научиться решать задачу.

Time to click — показатель, который используется в first click testing. Это время, которое нужно респонденту от получения задачи до первого клика по подходящему (на взгляд пользователя) элементу.

Time to first action —время между попыткой использования продукта (установкой, открытием, регистрацией) и первым действием.

UMUX (Usability Metric for User Experience) — показатель удобства использования продукта в пользовательском опыте. Похожа на SUS, только попроще и покороче. Включает два положительных и два отрицательных суждения об удобстве продукта (этот продукт решает мою задачу, работа продукта разочаровывает, продукт легко использовать, мне нужно тратить слишком много времени на решение задачи с этим продуктом). Пользователю предлагают согласиться или нет каждым утверждением (уровень согласия отметается по шкале). В итоге все, как и в SUS, сводится в единую метрику.

UMUX-Lite (Usability Metric for User Experience Lite) — это краткая версия UMUX и еще более краткая версия SUS. Тут все проще, поэтому и Lite (если вы обратили внимание). Пользователя просят выразить согласие или несогласие по шкале с двумя утверждениями (этот продукт легко использовать, этот продукт решает мою задачу). Получается система координат из удобства и эффективности.

Users who performed action for the 1st time — доля пользователей, которые что-либо сделали впервые за определенный период.