Гемба, или как мы наблюдали за пользователем в естественной среде

Конспект выступления Дарьи Федотовой из Сбертеха на конференции IT Global Meetup #8 (23 июля 2016 г., СПб).

Гемба (яп.) —«реальное место», подход из методологии кайдзен. Пронаблюдать лично за проблемой и (желательно) сразу принять решение.

Даша проводила «гембу» на операторах «Сбербанка». Примеры в тексте будут из этого опыта.

Для чего нужна?

• для первичного исследования,
• эмпатии,
• подтверждения гипотез.

Как проводить?

• Проводить вдвоём (один спрашивает, другой записывает). Даша ходила с аналитиком. Больше — проблемно, отвлекает пользователей.
• Сфотографировать рабочее место. Многое можно не заметить вживую.
• Обратить внимание на шум и отвлекающую обстановку.
• Записывать на диктофон (с согласия респондента).
• Знать матчасть (на что смотреть).
• Предварительно подготовить вопросы.

1-й этап, знакомство

• Вопросы для поверхностного знакомства.
• Вопросы по процессу. Как вы считаете, логична ли система? Есть ли трудности? Пожелания? Полезно спросить, что хотели бы добавить.

2-й этап, собственно исследование

• Максимальное внимание на рабочую обстановку. Могут открыться факторы, которые заранее не узнать.
  Пример: операторам много звонили во время работы. После этого им было тяжело снова включиться в контекст.
• Внимательно обследовать рабочее место.
  Пример: операторы клеят стикеры, что делать, — и на них пишут сложные процедуры.
• Следить за респондентом. Крайне внимательно! Люди лгут, а когда работают, действуют на автомате. Говорят, что всё хорошо, а в процессе вскрываются трудности и неожиданности.
• Нельзя задавать вопросы. Иногда, впрочем, бывает полезно, чтобы узнать кое-что.
  Пример: операторы часто открывали какие-то другие страницы, чтобы узнать почтовый индекс. Его нет в документах клиента, но обязательное поле в системе. Он бы подставился сам по введенной улице, но поле индекса стояло перед улицей.

3-й этап, финальное анкетирование

• Как вы сейчас оцениваете логичность системы?
• Люди боятся, что это проверка, и лгут.
  «Вы же это никому не покажете?» — надо убедить, что информация никуда не уйдёт.
• Некоторые, кто с трудом работал, потом ставят высокую оценку.
  «Что же я такой идиот, никак не запомню!» — а это не его вина, а неудобной системы.

Что потом?

• Аналитика, вспомнить всё;
• Сравнение с эталонными метриками;
• Тестирование исправленной системы.

Чем помогло?

• Максимальная эмпатия;
• Учёт отвлекающих факторов;
• Полное погружение в процесс;
• Учёт скрытых ошибок;
• Идеи для новых фич.

Заметки (по вопросам из зала)

• Тратили примерно два часа на одного оператора;
• В отличие от обычного тестирования, для пользователей это привычный процесс в привычной обстановке;
• Результаты по исправленной системе получаем не сразу: пользователи сначала должны привыкнуть к новому интерфейсу (на это может уйти несколько месяцев);
• Подбирали людей с разным опытом использования системы. Люди с малым и большим опытом часто завышают оценки.