Когнитивные искажения и пользовательские исследования

Когнитивные искажения могут свести на нет даже самое тщательно запланированное пользовательское исследование. Описываю, как их минимизировать при планировании, проведении, распространении результатов и общих практиках работы команды.

Когнитивные искажения — систематические ошибки в мышлении, которые отклоняются от нормативных правил или рационального суждения (Gilovich & Griffin, 2002).

• Когнитивные искажения случаются из-за опоры на соответствующие эвристики. (Tversky & Kahneman, 1974).
• Эти эвристики используются в ситуациях с ограниченными когнитивными ресурсами, внешними лимитирующими факторами или недостатком мотивации.
• В большинстве своём, эти эвристики полезны (быть всегда осознанными сложно и затратно для сознания), но в частных случаях могут и будут негативно влиять на процесс принятия решений.

Набор теорий, описывающих модель сознания с разделением между быстрым, «интуитивным» мышлением или осознанным, целенаправленным принятием решений описывается в академической литературе с 70-х и 80-х годов прошлого века (Evans, 1989, Wason & Evans, 1975).

Две системы обычно называют эксплицитной и имплицитной, или Системой 1 и Системой 2. (Evans, 1997, Stanovich & West, 2000). Важно понимать, что это концептуальные теории — напрямую к конкретному отделу головного мозга Система 1 или Система 2 не привязаны.

Система 1

• Бессознательное принятие решений
• Ощущения, интуиция, намерения, чувства
• Обрабатывает один поток информации
• Не включает логику и статистику
• Склонна ко всем искажениям сразу

Система 2

• Осознанное и «медленное» принятие решений
• Превращает ощущения и интуиции в убеждения
• Следит за вашим поведением
• Относительно многопоточная работа
• Делает целенаправленный выбор и действия
• Считает себя главной

Один сломал, второй потерял — народная эвристика (только у издания на русском)

Пользовательские исследования

Когнитивные искажения влияют на задаваемые UX-специалистами вопросы, на то, что исследователи слышат в этом процессе, а потом анализируют, и уж точно на ответы пользователей. Перефразируя антропологиню Маргарет Мид: люди говорят одно, делают второе, а говорят, что делают и вовсе что-то третье. Поэтому отношение и поведение будут разными, иногда противоречащими друг другу шкалами в отчёте. Из-за этого же советуют никогда не спрашивать у людей напрямую, сколько раз в неделю они употребляют алкоголь или занимаются спортом. Это было известно ещё до первых компьютеров, и к счастью для UX-специалистов, антропология, этнография, когнитивная психология и социальные науки составляют надёжный фундамент из лучших практик и методов проведения исследований, от опросов до контекстуальных наблюдений.

Что влияет на поведение пользователей?

• Контекст. В идеале, исследования «в поле» всегда предпочтительнее лабораторных, особенно в тех случаях, когда надо узнавать, как люди что-то делают или не делают. Каким бы ни было уютным пространство вашей лаборатории — пользователи уже пришли туда специально и находятся в изначально другом контексте происходящего.
• Предыдущий опыт в среде, опыт с вашим продуктом или конкурентами.
• Уровень технологической продвинутости и общего комфорта обращения с технологиями. Кстати, ошибочно считать их исключительно следствием демографических показателей — возраста или пола и можно просто перестать иллюстрировать мамами и бабушками.
• Социоэкономическое и географическое положение человека.
• Специфические пользовательские потребности и сценарии использования продукта — сфокусированность на задаче всегда будет менять поведение даже самого мечтательного и терпеливого человека.
• Собственные стереотипы и бессознательные искажения;
• Общественные нормы или ожидания;
• Маркетинг;
• Политический климат;
• Метод исследования. К сожалению, пока не изобретут способ надёжно читать мысли других, все методы исследований будут оказывать влияние на поведение людей. И это нормально.

Все мы имеем собственные искажения и предубеждения. Избежать их не выйдет — насколько бы умными или осознанными вы себя лично не считали. Можно сказать, что это всё делает нас людьми, это человеческая часть во взаимодействии пользователе и компьютерных систем. Нельзя полностью отменить ни свои, ни чужие “погрешности”, особенно в стрессовых или динамичных ситуациях, но на практике есть конкретные приёмы, которые помогают их обходить и уменьшать влияние на процесс и результат работы.

1. Планирование исследований

1. Выбор методов. Точно ли вы выбираете наиболее подходящий метод или идёте по пути собственного или командного наименьшего сопротивления?
2. Создание планов, прототипов и формулирование гипотез. Не пытаетесь ли вы неосознанно повлиять на ход эксперимента?
3. Кого мы набираем в тестируемую группу: точно ли выборка соответствует требованиям проекта, нет ли перекоса в сторону какой-то популяции? Точно ли никого не упустили?
4. Как мы набираем: по принципу минимальных усилий через соцсети, когда надо бы прибегнуть к вероятностной выборке? Наличие бюджета и возможности работать с отдельным агентством существенно упрощает этот вопрос, но всё равно даже в хорошую базу будут записываться люди, определенного типа, поэтому для некоторых исследований надо использовать ещё более сложные способы рекрутинга.

Искажения на этом этапе:

• Эффект знакомства с объектом. Многие наши предпочтения или симпатии основаны только на том, что мы с чем-то знакомы. Особенно это может вылезать на стадии выбора методов, но стоит помнить, что критерием выбора метода может быть только его соответствие целям исследования и баланс возможных негативных последствий.
• Предвзятость подтверждения. Поиск подтверждения нашей правоты и игнорирование свидетельств обратного. Это, возможно, искажение с самыми тяжёлыми последствиями, которое ещё и справедливо для всех частей процесса и, конечно, не случается специально. На стадии планирования это может быть игнорирование каких-то аспектов вопроса, так что они не попадают в проект. При проведении исследований это могут быть изначально неправильно сформулированные вопросы типа: «Оцените по шкале от 1 до 7 как часто вы будете пользоваться этой опцией в продукте?». При анализе и презентации это искажение проявляется в преуменьшении неудобных результатов, а то и вовсе игнорировании их в отчёте, намеренном или нет.
• Эффект Даннинга-Крюгера. Недостаточно квалифицированные люди переоценивают свои навыки и способности, в то время как эксперты недооценивают. Так и живём.
• Эффект якоря (привязки). Мы цепляемся за информацию, полученную в начале, которая искажает наши дальнейшие суждения и может мешать принять лучшее решение.
• Ошибка планирования. Мы чересчур оптимистичны, оценивая время на выполнение проектов и постоянно ошибаемся в этой оценке. Другими словами, изначально накидывайте времени сверху по максимуму. Хороший анализ результатов вряд ли выйдет за день, особенно если это бесконечные часовые интервью.

2. Проведение и анализ исследований

1. Какая информация исходит от нас: вопросы, их последовательность, объём.
2. Что мы получаем в ответ от пользователей?
3. Как мы разбираемся с данными: от записей в процессе до предварительного анализа.

Возможные когнитивные искажения:

• Предвзятая атрибуция враждебности. Пользователи могут переходить в режим «мы или они», если будут чувствовать себя, как будто на экзамене и вести себя враждебнее обычного.
• Фрейминг эффект: постановка вопроса обязательно повлияет на восприятие
• Эффект ожидания наблюдателя. Когда мы подсознательно манипулируем ходом эксперимента, чтобы получить желаемый результат. Рядом с этим можно упомянуть и искажение из-за ожиданий (экспериментатора) — склонность предпочитать данные, подтверждающие гипотезы и ожидания экспериментатора, опровергающим данным.
• Эффект социальной желательности. Повторюсь, но люди будут говорить то, что мы, по их мнению, хотим услышать. В это поведение существенную лепту вносит социокультурный аспект, поэтому преодолевать его непросто. Когда мы задаём вопрос «Как часто вы занимаетесь спортом?», в ответ прилетит что-то про разы в неделю, даже если люди тягают железо исключительно в своих мечтах. Пользователи бессознательно правят ответы, фильтруя и курируя их, чтобы выглядеть хорошо в глазах экспериментатора. Так что если вопросы включают в себя вещи и темы, в которых надо «признаваться», отвечающим надо эту возможность дать. Работает поменять форму вопроса — вместо количества раз в неделю в зале есть смысл попросить описать недавние походы туда, а потом уточнить, всегда ли так происходит. Ещё можно нащупать общую эмоциональную точку и показать, что всё нормально, но никогда при этом не врите пользователю — рискуете потерять раппорт и испортить интервью. Например, довольно юной участнице было ощутимо неловко признаться в собственной высокой организованности. С точки зрения общества, молодая женщина должна быть беспечной, а вовсе не увлекающейся табличками, приложениями и организацией чеков. После небольшой ремарки с моей стороны — мол, тоже уважаю порядочек, девушка сразу преобразилась и рассказала несколько историй, одна из которых оказалась бесценной для проекта.

3. Презентация и распространение результатов

1. Когда мы делимся результатами сделанного;
2. Как мы делимся результатами исследований;
3. Когда стейкхолдеры получают результаты исследований, и как они дальше работают с ними самостоятельно.

Что это может быть?

• Каскад доступной информации (эффект мнимой правды). Если повторить одно и то же несколько раз, вероятность того, что люди в это поверят становится сильно выше.
• Иллюзия кластеризации. Желание и склонность видеть закономерности там, где их нет, особенно в мелких частных случаях в большом массиве данных
• Ретроспективное искажение. Когда нам кажется, что события в прошлом можно было предсказать в той точке времени. Так и знали!
• Искажение отрицательности. Негативная информация влияет на нас намного сильнее, чем аналогичная по силе положительная
• Эффект дичи и юмора. Смешные и диковатые вещи, лучше запоминаются, чем условные стандартные и пресные. В презентации результатов исследования это особенно ценно. Есть прекрасный пост о коммуникации результатов исследований — как сделать, чтобы они не оказывались на кладбище результатов исследований. В частности, совет титульного слайда с котятами и лазерами оказался рабочим и эффективным не только внутри крупной технологической корпорации, но и хорошо принятым у разных клиентов от банков до стартапов.
• McNamara fallacy. Это склонность доверять числам и численным методам больше всего, часто игнорируя контекст, причины или качественные исследования полностью. На русский я бы перевела это как «Проклятье Макнамары» — люблю драматические жесты. Происходит от американского секретаря обороны Роберта Макнамара, который перенёс предыдущий опыт управления заводами Ford на армию, и во времена Вьетнамской войны считал показателем успеха количество погибших. Однако, не всё в мире можно посчитать — хаос и сложность вооружённого конфликта отличаются от предсказуемости конвейера; на бумаге Америка войну выигрывала, но в общественном поле она была полностью проиграна. Сейчас этим повально увлечены представители технических специальностей, только успевай уворачиваться. На деле это может влиять на каждый этап работы — иногда клиент требует добавить к исследованиям очевидно бессмысленное А/Б тестирование, а иногда это может стоить компании будущего, как в кейсе по ссылке про игнорирование этнографических исследований стейкхолдерами из Nokia.

4. Общие процессы работы команды:

• Обучайте коллег, помнить про искажения вместе, сделать чек-лист и проходиться по нему. Договоритесь внутри команды, пусть они будут задавать вам неудобные вопросы в процессе подготовки проекта. Помните, что одним из известных искажений является тенденция думать, что вас-то это не касается. Плюс склонность видеть искажения других людей, но не свои.
• Работайте с разными людьми. У всех есть любимые напарники, но чем более разнообразна команда исследователей, тем она сильнее и тем проще делать внутренние когнитивное пре-тестирование и пилотные тесты.
• Используйте собственные предположения для создания гипотез, а потом не пытаться экспериментами подтвердить дизайн, а наоборот, тестировать их на прочность.
• Помните, что смысл исследований — не доказать свою правоту, а узнать как можно больше о том, что делают люди и работает ли то, что вы строите.
• Записывайте все сессии на видео и проводите их хотя бы в паре — чтобы второй человек записывал заметки.
• Тщательно набирайте пользователей! Есть серийные посетители юзабилити-сессий, которые, конечно, не подходят, но отслеживать их требует как минимум отдельной проверки записавшихся, лучше двух: во-первых, включив соответствующие вопросы в скринер, а потом проверить имена и фамилии по внутренней базе участников, которую вы, надеюсь, ведёте. Или начнёте вести сейчас.
• Избегайте наводящих вопросов, которые подтолкнут людей к «правильным», по их мнению, ответам.
• Уравнивайте ваши эксперименты. Сложно что-то советовать конкретное — это основы теории и методов экспериментальных исследований. HCI-специализация на Coursera включает обстоятельный курс по составлению, проведению и анализу экспериментов, но он не самый простой, даже при моих предыдущих двух профильных высших образованиях.
• Используйте триангуляцию методов, дополняя интервью наблюдениями, особенно при исследовании сложного поведения, включающего в себя много принятия решений и умственной активности.
• Пусть все участники команды регулярно наблюдают, ведут заметки и присутствуют на дебрифинге хотя бы двух часов исследований раз в шесть недель. Два часа и шесть недель пришли из GDS, известной своими высокими стандартами исследований. Так все программисты и менеджеры будут поближе к продукту, да и я сама неоднократно была свидетелем, как всего пара часов наблюдения за потерянными пользователями в состоянии «где кнопки чтобы нажимать», преображали даже скептиков.
• Будьте скромнее и более открытыми к другим взглядам и мировоззрениям.

При попытке посчитать и систематизировать когнитивные искажения по разным источникам вышло чуть больше 170, а дочитав статью до конца, список рекомендаций может показаться нереализуемым на практике — как всё это держать в голове, и ещё не забывать активно слушать пользователя в процессе?! Это действительно отдельная огромная ветка навыков и пытаться охватить все искажения одновременно может стоить трезвого рассудка и душевного равновесия. Но даже проверка возможной предвзятости своих решений и склонности искать подтверждения желаемого результата может быть спасением отдельно взятого проекта.