Экспериментальные Lean UX исследования в Яндексе

Disclaimer

Если использовать наш опыт про который я напишу в этом посте напрямую — тогда он может быть полезен достаточно небольшому количествую людей в России и применим в больших и средних компаниях, которые уже активно проводят интервью или юзабилити-исследования. Если ваши коллеги не практикуют исследования и у вашей компании нет привычки проверять новое, но перед вами стоит задача убедиться в жгучести идеи нового продукта, раскопать какое-то поведение пользователей или потребность — вы всё равно можете внедрить подобную практику. В конце статьи я предположу как можно это сделать

Предпосылки

Я работаю в отделе поиска картинок в Яндексе. Мой сервис называется “Яндекс.Картинки” — вот он yandex.ru/images. Ежедневно за поиском картинок к нам на сервис приходит 4 500 000 человек, при этом мы отвечаем картинками когда пользователь задаёт запрос на обычном поиске Яндекса и помогаем составить представление о том как что-то выглядит. Мы по-сути поддерживаем большой поиск решением одной из подпотребностей поиска. Чтобы пользователи выбирали именно Яндекс за счёт того что мы лучше Гугла ищем картинки, мы постоянно изучаем потребности пользователей и проверяем гипотезы новых продуктов или улучшений сервиса. В среднем за год мы лично общаемся со 100 людьми, и планируем увеличивать это число.

К экспериментальным Lean UX-исследованиям командой Яндекс.Картинок пришли с разных сторон и с разными мотивациями практически одновременно. Какие задачи мы хотели решить:

  1. В целом, для того чтобы держать руку на пульсе рынка хочется иметь поток разнородного фидбека про «картиночные» потребности наших пользователей, про отношение к нашему сервису и конкурентам
  2. Иметь возможность быстро проверять гипотезы функциональности, различных решений в развитии сервиса
  3. Мотивировать проверять больше идей

Что было раньше?

Вы можете пропустить эту часть если прекрасно знаете что такое коридорные опросы, юзабилити-исследования, inhouse-интервью итд

Перед нами постоянно стоят задачи проверки продуктовых гипотез и проверки качества интерфейсных решений. До текущего момента мы использовали следующие способы получения этой информации:

Коридорные опросы

выходишь в коридор, находишь коллегу не из твоего отдела, показываешь ему мокап/макет/прототип/бету и спрашиваешь его что он думает про новую функциональность или гипотезу продукта.

Плюсы:

  • очень быстро и сверхдоступно
  • если вопросы простые, за час можно опросить 10–15 человек

Минусы:

  • очень часто нерепрезентативно — сотрудники Яндекса точно не отражают распределение наших типичных пользователей. Какую-то одну персону можно найти, но не все
  • предвзято — сотрудники Яндекса в среднем относятся к спрашивающему (и к тому про что спрашивают) с большей теплотой, нежели приглашённый респондент к модератору.
  • некачественный способ разговаривать — вы не профессиональный модератор, который знает все тонкости и нюансы проведения интервью
  • сумбурно — вы вырываете человека из его текущей работы и мыслей. Вы сами торопитесь поскорее его отпустить, а он — вернуться к своим делам, из-за чего обычно общение проходит скомкано

Итого: супербыстро, подходит для проверки простых интерфейсных решений, но не подходит для достоверной проверки серьёзных гипотез.

Inhouse юзабилити-исследование/интервью

В Яндексе есть inhouse лаборатория для юзабилити-тестирований и выделенная служба, которая в формате заказа проводит юзабилити и UX-исследования для всех желающих сервисов внутри Яндекса. У них есть выделенный рекрутёр, который ищет людей по нужным для исследования требованиям и модераторы, которые подготавливают сценарий интервью и, собственно, проводят интервью или исследование.

Плюсы:

  • репрезентативно — выделенный рекрутер находит респондентов по изначально оговоренным требованиям
  • можно проверять как продуктовые гипотезы (чуть хуже), так и функциональности (отлично)
  • отличные условия — выделенная лаборатория с помещением для наблюдателей, в которое транслируется видео из комнаты и видео с экрана респондента, хорошая звукоизоляция — можно сразу обсуждать происходящее
  • как результат — хороший уровень качества информации — исследование готовится заблаговременно, итеративно пишется сценарий по гипотезам которые нужно проверить, интервью ведут профессиональные модераторы

минусы:

  • долго
  • в среднем, такое исследование от момента “хочу проверить XXXXXX” до получения результата занимает от двух недель до месяца
  • результаты готовит команда, которая проводит исследования (для наших задач это скорее минус)

Итого: качественное юзабилити-исследование или интервью, которое нужно планировать сильно заранее и долго ждать результата

Интервью с внешним маркетинговым агентством

Когда перед вами стоит задача очень глубоко раскопать какую-нибудь потребность или найти потребность — круто идти в серьёзное агентство и заказывать исследование у них.

плюсы:

  • суперрепрезентативно — рекрутингу уделяется значительно больше внимания и времени
  • отличные условия
  • высокое качество информации по проверке продуктовых гипотез и по раскапыванию потребностей

минусы:

  • кошмарно долго — в среднем, от полутора месяцев
  • не подходит для проверки функциональности
  • дорого (от 150 000 рублей)

Концепция

Решение мы нашли посередине между “коридорными опросами” и нашими inhouse-исследованиями. Идею мы забрали из книги Lean UX. Основной смысл звучал следующим образом:

Перед компанией Meetup стояла задача начать получать обратную связь по своим продуктам и проверять гипотезы новых или развития существующих. Исходя из идеи “Minimal Viable Process” (напоминаю, что это книга про Lean :), они ввели следующую практику: три раза в неделю в выделенное помещение в офисе компании приглашался респондент с которым модератор проводил интервью. При этом, модератор не был представителем какого-то из отделов и работал в формате заказа для других отделов в компании. Любой человек из компании мог прийти в день когда есть респондент, принести модератору набросок сценария интервью, через мессенжер корректировать интервью и через час получить результат. Спустя время процесс получил успех и развился до ежедневных интервью

Основные тезисы этого процесса, который мы хотели развернуть у себя, звучали следующим образом:

  1. Каждый день в лаборатории должен быть респондент
  2. Мы (менеджеры) должны сами проводить интервью по собственному наброску сценария
  3. Результаты мы интерпретируем сами
  4. Должна быть живая очередь на слоты общения с респондентами — мы организовали её табличкой на вики (“minumal viable process”, помните?)
  5. В слоты могут вставать любые желающие из Яндекса

Построив такой процесс, мы рассчитывали минимизировать время до получения информации по проверке продуктовых гипотез и функциональности. Конечно, мы были готовы к тому, что качество получаемой информации будет ниже, чем при заранее подготовленном исследовании со сценарием и с профессиональным модератором. Главный вопрос заключался в том — будет ли выигрыш во времени стоить потерь качества информации.

Процесс, ошибки и корректировки

До того, как заявить “каждый день есть респондент” мы спланировали загрузку по проверке разных идей. Обычно, у нас одну идею проверяет один или пара менеджеров, поэтому по-сути это было планирование недельных интервью между несколькими менеджерами из двух сервисов — Картинки и Яндекс.Видео.

Итак, мы запланировали исследования на две недели вперёд, начали приглашать респондентов (с этим нам помогает рекрутёр из отдела лаборатории) и общаться с людьми. В конце первой недели мы подвели первые результаты. У всех участников процесса было много положительных результатов и эмоций, и мы начали понимать что именно такого процесса можно получить и, конечно, нашли много нюансов и ограничений системы.

Нюансы:

  1. У всего этого процесса должен быть идеолог и заинтересованный в том, чтобы процесс жил и развивался.
  2. Если будет постоянный поток заказчиков — процессы будут сами избавляться от трения и получение информации благодаря такому исследованию через пару месяцев станет ещё проще и быстрее.
  3. Чем больше команд и людей используют такой тип исследований, тем быстрее информация распространяется в компании
  4. Удобнее если респондента приглашают на одно и то же время. У нас это 17:00. Тогда это становится ещё ожидаемее и мысли “сегодня может быть свободный человоек в 17:00, может мне есть что у него спросить” закрепиться легче
  5. Все интервью которые проводились в рамках такого исследования занимали максимум 40 минут — на одного человека можно было ставить два исследования, что увеличивает пропускную способность. Вообще, полчаса, кажется оптимальной длительностью — и не устаёшь и не перегружаешься информацией.
  6. Очень желательно вести вдвоём с коллегой. Например, вы ведёте, а ваш коллега наблюдает за интервью. В таком случае можно получить следующие бенефиты:
  • ваш коллега наблюдая со стороны видит недостатки сценария и того как вы разговариваете с человеком;
  • после каждого интервью вы можете обсуждать как спрашивать в следующий раз правильнее выше качество собранной информации, потому что вдвоём можно заметить значительно больше во время интервью вы можете сосредоточиться на диалоге и не разрываться между диалогом и тем чтобы записать самое интересное … вообще, в самом процессе проведения есть миллионы нюансов и подводных камней. Про это у меня будет следующая статья.

Проблемы:

Не всё так прекрасно и гладко. Ниже проблемы, которые есть у такого типа исследований

  1. “Я прекрасный модератор” — поскольку мы не профессиональные модераторы и у нас (практически) нет опыта общения с респондентами лично, ведём интервью мы не совсем (если не “совсем не”) правильно. При этом, после самого интервью ты чувствуешь себя чуть ли не богом — настолько тебе кажется ты был хорош. Отсутствие понимания того что есть недостатки не заставляет тебя задуматься о том что что-то можно улучшить.

Как решать:

  • просматривать видеозапись диалога. Открывает глаза и неприятно, но очень полезно.
  • вести интервью с коллегой, задача которого записывать интересное и замечать недостатки ведения диалога
  • читать статьи, книги, смотреть видео удачных интервью, проводить большое количество интервью — набираться опыта

2. ”Нужно лучше готовиться” — у такого типа исследования вылезла одна интересная проблема. Из-за кажущейся простоты процесса мотивация готовиться к интервью ниже и можно получить значительно меньше информации чем это возможно.

Как решать:

  • не считать это лёгкой прогулкой и набросать возможные развития диалога, разные контексты итд.. в зависимости от того про что вы говорите
  • прогнать один раз с коллегой или переработать после первого интервью

3.Если ведёшь один нужно записывать по ходу диалога — теряешь и фокус на диалоге и теряешь какую-то информацию

Как решать:

  • записывать видео или звук. Но тогда нужно тратить время на то, чтобы пересмотреть
  • вести с коллегой

4.Есть ограничения в сложности решаемой задачи — нельзя глубоко раскопать сложную потребность, потратив на подготовку полчаса и те же полчаса на диалог.

Как решать: — не считать это святым граалем и серебряной пулей для решения всех исследовательских задач

Что мы изменили?

  1. Поскольку просто среднестатистические пользователи нам не нужны, и нужно общаться со школьниками и бабушками — мы за неделю планируем с рекрутером каких людей нужно нанимать на следующую неделю с желающими провести интервью. В процессе идёт вялая торговля за то, какие люди нужны — у разных задач потребности в разных людях. Но обычно это решается.
  2. Внедрили этот процесс в привычный для всех workflow — через Джиру и wiki.
  3. Поняли что подготовке нужно отводить достаточное время
  4. Стараемся проводить интервью парами — один ведёт диалог, один слушает.

Как сделать такое исследование если нет денег и поддержки коллег/руководства?

Весь наш опыт можно воспроизвести в условиях без выделенной команды которая организует интервью, рекрутера и лаборатории. Что вам нужно для проведения таких интервью:

  • суперзаинтересованный в построении процесса человек (вы) и команда поддержки
  • комфортное для общения помещение
  • всё.

Вы сами можете искать людей (это не рокет саенс. Все рекрутёры агенств всегда начинают со знакомых, друзей, знакомых знакомых итд). Небольшой комнаты со столом и ноутбуком будет более чем достаточно. При наличии коллег, с которыми вы будете внимательно наблюдать за тем как идёт процесс и тщательно полировать, вы можете получать достаточно качественную информацию. Конечно, её уровень будет далёк от того что вы получите от агенства за сотни тысяч рублей, но это очень быстро, достаточно качественно и меняет сознание с “придумал > выкатил > понял работает или нет в продакшене” на “придумал > пойду-ка я спрошу про это у людей”.

Результат

Для нас этот эксперимент зажил и работает очень круто. Сейчас мы распространяем знание про него внутри компании (шутка ли — 6000 человек работает в Яндексе) и оптимизируем процессы.

Кстати, прямо сейчас у меня есть наброски новой функциональности, спрошу, пожалуй сегодня в 17:00 у студентки 4-го курса что она про это думает.


Originally published at zamesin.me on October 7, 2014.

Like what you read? Give Ivan Zamesin a round of applause.

From a quick cheer to a standing ovation, clap to show how much you enjoyed this story.