Как понять, что этому продакту от меня нужно?

Привет, меня зовут Дарья Хлопова, я исследователь пользовательского опыта. За годы работы у меня накопился кое-какой опыт взаимоотношения с продактами, я также провела небольшое исследования среди своих коллег-исследователей и теперь хочу поделится этой ценной информацией с широкой аудиторией.

Дисклеймер: идея статьи родилась, когда меня позвали на подкаст-батл «UX исследователь VS продакт». Ключевой предпосылкой выступило то, что продакты не всегда довольны взаимодействием с исследователями.

Если ты исследователь, то в этой статье ты 100% сможешь найти ответы на вопросы, которые до этого задавал сам себе, а также практические советы по выходу из конфликтных ситуаций.

Если ты продакт, то эта статья призвана развить в тебе чувство эмпатии к тому, чем мы занимаемся.

Есть претензии

Итак, начнём обозначения с топа претензий PO’шников к исследователя и разберём откуда у них «ноги растут».

Претензия по поводу сроков

Первое место занимает претензия к срокам исследования или «почему так долго? давай как-нибудь побыстрее всё сделаем?»

По моему опыту, продакты никогда не бывают довольны таймингом исследования. Но почему так происходит? К сожалению, часто в ситуации когда продакт постоянно требует ускорения виноват сам исследователь. Это случается из-за того, что продакт не понимает как устроен процесс исследования, за счёт ему кажется что всё можно провернуть намного быстрее.

Таблетка №1: часто банальная презентация процесса исследования решает эту проблему, так как продакт начинает понимать что кроется «под капотом». Расскажите про последовательность этапов исследования, какие риски сопряжены с каждым из них, приведите примерный тайминг базовых задач — такие как выгрузка аналитики, заказ респондентов. Расскажите где продакт может помочь ускорить процесс (например помочь с рекрутингом или выгрузкой аналитики). Это сделает вашу работу более прозрачной.

Но этот способ полечит будущие исследования, а что делать если перед вам уже стоит срочная задача, которую вы не силах выполнить к намеченному сроку?

Таблетка №2: приоритизация. Часто продакты кладут в одно исследование сразу несколько задач и вполне возможно, что не у всех задач будет один дедлайн. Задайте вопрос о том, как он планирует использовать результаты исследования — какие данные к какому сроку нужны. Возможно исходя из новых вводных вы придумаете способ как достать нужные данные быстрее. Также полезно пригласить на встречу других участников производственного процесса, возможно они смогут переприоритизировать свою работу и это высвободит вам больше времени.

Таблетка №3: а пусть он сам с этим … кхм, пусть сам поисследует! Если задача маленькая и исследование будет простое, то вы вполне можете делегировать его на самого продакта (или на дизайнера). Предложите свою помощь в написании дизайна исследования (гайд для интервью или сценарий для ю.теста), организации рекрутинга. Также полезно будет провести пару интервью вместе с неопытными ребятами, чтобы показать как это делается. Ну а дальше пусть сами поработают. В этом случае вы сможете убить двух зайцев одним выстрелом — закроете задачу, приобщите команду к проведению исследований.

Претензия про цифры где

Извечная проблема — продакт хочет получить цифры после качественника. Спрашивает, «какой процент респондентов столкнулись с этой проблемой на юзабилити-тесте?» и «сколько респондентов на интервью упомянули это…» и так далее.

Многие мои коллеги идут на компромисс и начинают называть эти цифры, надеясь хоть как-то убедить скептически настроенных продактов в полезности качественных данных. Но, к сожалению, корневую причину, а именно непонимание отличия качественных исследований от количественных это не решает.

Таблетка №1: проведите внутренний митап, где расскажете про качественные и количественные методы — в чем между ними разница, когда какой стоит применять. Дайте примеры того, как следует приоритизировать проблемы найденные в ходе качественного юзабилити-теста (спойлер: критичность).

Порой причина того, почему продакт хочет получить хоть какие-то цифры из качественного исследования в том, что он испытывает сложности с доступом к продуктовой аналитике — возможно, события не расставлены или аналитик загружен. Именно поэтому он хочет прикинуть количественное распределение исходя из «качественных» данных.

Ксения Куркова, PM@Яндекс.Еда

«Маленькая выборка качественных исследований не делает их неквантифицируемыми. Просто интерпретировать числа нужно правильно.

Например: доверительный интервал на маленьких числах очень широкий. Если с проблемой столкнулось 5/10 юзеров, на генеральной совокупности с ней может столкнуться от 20 до 70% юзеров и способ уточнить этот интервал — запустить количественник (количественное исследование)

При этом количество респондентов, необходимое для обнаружения XX% проблем в интерфейсе с заданным уровнем конфиденса тоже рассчитывается https://measuringu.com/problem_discovery/

Или можно посчитать на one-tail test, насколько вероятно заданное соотношение passed/total меньше ИЛИ больше ИЛИ равно бенчмарку https://measuringu.com/onep/»

Таблетка №2: подружитесь с продуктовым аналитиком и узнайте как в вашей компании устроена аналитика. Это не только будет вашим УТП-навыком (не так много UX-исследователей, которые разбираются в этом), но и поможет вам помогать продакту смотреть на данные. В случае, если продакт хочет заменить продуктовую аналитику вашими исследованиями — стоит начать открытый диалог о том, что так делать нельзя.

Претензия про ресурсы на рекрутинг

Мало того, что рекрутинг респондентов на исследования — это отдельная боль всех исследователей, так еще многие продакты не считают, что на эту активность стоит выделять дополнительный бюджет, считая что рекрутинг — это та «работа, на которую тебя нанимали». Обычно такая проблема возникает в компаниях, где исследования только зарождаются и руководство пока не понимает, что конкретно должен делать исследователь на рабочем месте.

Таблетка №1: скрупулёзно ведите учет часов, затраченных на рекрутинг (включая все звонки и напоминания) и конверсию «в интервью». Сделайте это на паре проектов и затем посчитайте сколько в итоге стоит рекрутинг вашими силами. Параллельно закиньте запрос на аналогичный рекрутинг в пару профильных агентств (например, в UXSSR) и сравните получившуюся стоимость и сроки. Скорее всего рекрутинг вашими силами выйдет дороже привлечения агентства. Также можете прикинуть чем более полезным вы могли бы заняться в освобождённое от рекрутинга время (например исследовать тренды в отрасли) и какую ценность это дало бы бизнесу.

Таблетка №2: организуйте процесс внутреннего рекрутинга — наладьте процесс выгрузки ID нужных вам пользователей, организуйте call-центр для обзона и приглашения для интервью (или используйте ресурсы имеющегося). Здесь важно продать идею того, что лично вам этим заниматься дорого и на обзвон нужно нанять отдельных людей. Хм, а пожалуй это тема для отдельной статьи, если вам интересно как я работала с внутренним рекрутингом в Циане — напишите об этом в комментариях.

Как вы видите, основная причина всех претензий — недопонимание. И, конечно, вы как исследователь должны происследовать причины этого недопонимания, чтобы устранить их наиболее экологичным способом. :-)

Как правильно «снять» задачу?

Важный этап взаимодействия с продактом — это брифинг, на котором исследователь должен понять, что продакту нужно на самом деле. Очень часто на брифинге у исследователей включается режим «сапожника без сапог» и они не могут нормально исследовать задачу, которую им ставят. Однако плохо проведенный брифинг всегда ВСЕГДА ВСЕГДА!!! ведёт к плохим результатам исследования. В лучшем случае исследование пойдёт в стол, в худшем — к неправильным выводам, за счет которых бизнес потеряет деньги.

Мой подход — относиться к брифингу как к интервью. Ключевая задача этого интервью — понять принятие каких бизнес-решений будет зависеть от данных, полученных в ходе исследования.

Ниже я собрала типичные косяки продактов, которые мешают исследователю понять цель исследования.

Типичный косяк №1. Хотят проверить миллион гипотез одним исследованием

Самая распространенная проблема, которая ведёт к раздуванию сроков исследования и распыления фокуса — это когда продакт хочет проверить все имеющиеся у него гипотезы в одном исследовании.

Если гипотезы мелкие, то такой бриф вполне имеет право на существование. Но если в рамках одного исследования продакт хочет проверить гипотезы УТП, выявить проблемы в разных сценариях клиентского опыта и выяснить отношения к конкурентам — это too much.

Таблетка: если продакт пришел к вам с 1000 и 1 гипотезой — объясните, что если вы пойдёте проверять их все сразу, то интервью с пользователем займёт 3 часа. Ваша задача выявить приоритеты продакта — какие запуски он планирует, какие KPI перед ним стоят, узнайте всё это и составьте roadmap исследований, которые будут постепенно закрывать все его потребности (в порядке приоритетов).

Типичный косяк №2. Хочет подтвердить гипотезу, а не проверить её

Часто, когда исследования спускаются сверху, продакты воспринимают их как «таможню» перед выводом идеи в prod. Это приводит к тому, что к исследователю приходят, что подтвердить правильность решения, а не для того, чтобы понять какое решение нужно пользователям.

Таблетка №1: если перед вами стоит задача развития исследований внутри вашей компании — очень важно обучить продактов КОГДА нужно приходить к исследователю, чтобы они воспринимали вас не как «таможню», а как боевого товарища и партнёра, который поможет с поиском идей для будущих решений.

Таблетка №2: не лишним будет спросить на брифинге «а что ты будешь делать, если твои предположения не подтвердятся?» — и если продакт ответит, что независимо от того какие даные он получит, он всё-равно будет следовать намеченному плану, то смело отказывайте в проведении этого исследования. Ну и конечно важно упомянуть, что для реализации этой «таблетки» порой нужно провести количественное исследование.

Таблетка №3: спросите как внедренные на базе исследования решения будут влиять на метрики продукта. Если продакт не может сказать как и на какие метрики будут влиять изменения, значит у него отсутствует «отправная точка». У таких исследований стоит понизить приоритет в вашем бэклоге и учитывать это при планировании, а то и вовсе не делать их — нет метрик, нет исследования.

Типичный косяк №3. Говорит тебе какой метод использовать

Вообще, если такое происходит — значит, что к тебе нет доверия и тебя в целом не считают профессионалом своего дело. Если продакт вместо бизнес-задачи говорит тебе «провести фокус-группу» или опрос, значит ты не сумел «продать» свою экспертизу.

В наше время существует много обучалок для продактов, которые маргинализируют исследования представляя их как что-то элементарное и шаблонное. Увы, но с этим тоже надо уметь работать.

Таблетка №1: проводите внутренние митапы — case study, где будете рассказывать как решали бизнес-задачу, почему выбрали именно этот метод, как этот метод позволил прийти к необходимым выводам. Постепенно ваши продакты будут видеть, что вы реальный эксперт, а на JTBD-интервью мир клином не сошелся. :-)

Таблетка №2: если у вас есть время — пойдите на поводу у продакта. Но здесь важно проявить хитрость. Скажите ему, что исходя из вашего экспертного опыта вы советуете использование другого метода, но так как он настаивает, то вы готовы попробовать сделать по его. В таком случае вы переложите ответственность за неуспех на самого продакта и заставите его задуматься хочет ли он брать эту ответственность на себя. Если все-таки продакт в первый раз возьмёт ответственность на себя — проведите исследования используя его методологию, но на каждом шаге объясняйте почему данным выводам верить нельзя. В 100% случаев в следующий раз этот продакт придёт к вам без пожеланий к использованию определённого метода.

Отдельно хочу отметить, что многие мои коллеги стремятся к тому, чтобы продакт согласовал выбранный ими метод исследования. Моё мнение, что так делать не нужно. Как человек без экспертизы в исследованиях может согласовывать вашу работу? Предлагая продакту решить как вы будете исследовать — вы понижаете свой профессиональный статус в его глазах.

Типичный косяк №4. «Мне просто любопытно…»

Очень часто продакт даёт исследователю задачу, которая не имеет за собой никаких предпосылок. Например, новый продакт пришёл в команду и вместо того, чтобы изучить wiki хочет, чтобы ему собрали свежую информацию. Спрашивается — чтобы что?

Таблетка №1: спросите какие решения будут приняты на основе полученных данных. Нет решений, которые зависят от полученных данных = нет смысла проводить исследование.

Таблетка №2: чтобы срубить на корню подобные запросы от вновь прибывших в ваше направление продактов — разработайте «онбординг в исследования». Подготовьте презентацию, в которую положите ключевые выводы из самых значимых исследований. Сделайте встречу с вами обязательным шагом адаптации новых продактов. Но не забудьте показать презентацию вашему CРО, возможно он скажет что какие-то данные не стоит показывать человеку не прошедшему испытательный срок.

Типичный косяк №5. «Ок, но я сделаю по своему»

Очень часто исследователи теряют мотивацию к своей деятельности, когда продакты не учитывают результаты исследований и те идут «в стол». Чаще всего так происходит из-за глубинного непонимания целей и задач продакта. Исследователи пишут многостраничные отчеты, которые продакты не читают или читаю по диагонали, и за счёт этого делают не те выводы.

Таблетка №1: делайте презентации исследований — рассказывайте сами какие выводы нужно сделать на основе полученных данных. После такой презентации сделайте ретро с продактом, синхронизируйте какие выводы сделал он — это поможет вам понять какие бизнес-акценты вам нужно сделать в следующих отчетах.

Таблетка №2: поисследуйте работу продакта — в чем она состоит, какие задачи и приоритеты стоят перед вашими продактами. Можно даже сходить на курсы для продактов. Воспринимайте продакта как своего «клиента/пользователя», вам необходимо понимать его потребности — только так вы сможете дать ему хороший продукт (отчёт).

Таблетка №3: пытайтесь внедрить «фактор UX» в приоритизацию задач и KPI, которые ставятся перед продактами. Для этого важно сначала наладить сбор клиентских метрик (NPS, CSI), и добиться того, чтобы эти метрики стали также важны как и другие. Для реализации этой таблетки вам 100% понадобится помощь аналитиков, так что дружите с ними. :-)

УБЕР-бриф

Чтобы избежать возникновения всех этих косяков я собрала небольшую анкету, которую будет полезно отправить продакту перед встречей по брифингу. В ней содержатся базовые вопросы, которые должны помочь выявить суть задачи на исследования и облегчить дальнейший диалог.

Чтобы исследователь мог лучше сфокусироваться на твою задачку, пожалуйста ответь на эти вопросы:

Кто заказчик исследования?

• Направление, продукт
• Имя, должность заказчика
• Другие стейкхолдеры: от кого еще будут зависеть решения принятые на базе данного исследования?
• Инфо о проекте: описание + ссылки ресурсы с доп. информацией по проекту
• Ссылки на прошлые исследования, которые могут пригодится

Цели исследования

• На какие вопросы хотите получить ответы?
• Какие свои предположения и гипотезы хотите проверить?
• Какие решения будут приняты на базе полученных результатов? Что будете делать в случае если предположения не подтвердятся?
• На какие продуктовые метрики будут влиять решения, принятые на базе данного исследования?
• Deadline принятия решений на базе данного исследования

Доп.вопросы

• Готовность участвовать в процессе исследования: Да/Нет — готов проводить интервью; Да/Нет — готов присутствовать на интервью; Да/Нет — готов принимать участие в интервью

Ссылка на google doc — UXR бриф

Кстати, не пугайтесь, если после того как вы отправите этот бриф продакт передумает проводить исследование. Это будет очень крутой показатель — значит, что вы только что сэкономили время и деньги компании на проведение бесполезного исследования. :-)

Давайте жить дружно

В качестве заключения хочу сказать, что я искренне верю в том, что исследователь и продакт должны работать в плотной связке и быть партнёрами в достижении бизнес-целей компании. Если в вашей команде сложилась атмосфера неприятия результатов исследования — проведите исследование, чтобы понять откуда у этой проблемы «растут ноги», проявите эмпатию к своим продактам, так как без понимания их задач вы не сможете качественно выполнять свою работу.

Большое спасибо Юле Кожуховой, Ксении Курковой, Диме Хими, Борису Юзефпольскому, Екатерине Кибиревой и Андрею Поддубному за помощь в подготовке этого материала.