Что делать с данными опроса: до, во время и после его проведения

Привет! Меня зовут Аня и я юзабилист в Контуре. Расскажу о том, что делать когда уже есть анкета или запущен опрос, но неясно, как быть дальше. Статья для тех, кто ни разу или давно не работал с данными опроса.

Немного теории

Есть качественные и количественные данные. В опросах чаще всего преобладают количественные данные.

Открытые вопросы с качественной информацией немногочисленны и скорее поясняют результаты количественных, а не являются самостоятельным предметом для глубокого анализа. Но у открытых ответов есть свой плюс в них кроются пожелания и инсайты, поэтому их тоже нужно анализировать.

Для целей юзабилиста почти всегда достаточно тематического анализа качественных данных и описательного анализа количественных данных. Остальные виды используются реже т.к. требуют более детальной проработки и могут быть излишним усложнением и торможением работы.

Подробно про тематический анализ качественных данных в UX пишет Мария Россала: статья и перевод.

О статистических методах анализа проще всего в книге В. Савельева “Статистика и котики”.

Что все-таки делать?

До и во время проведения опроса

Работа с данными начинается еще до публикации анкеты и не останавливается в процессе сбора ответов. Есть 2 момента, о которых полезно помнить.

1. Протестируй свою анкету

Ты можешь провести пилотное анкетирование на малой выборке, дать кому-то из команды заполнить анкету или попросить профессиональное ревью от коллеги-исследователя. Если нет возможности использовать что-то из перечисленного, то в два раза внимательнее следи за первыми ответами.

Убедись, что с твоим опросом все хорошо:

• везде правильная логика;
• опрос отображается так, как ты задумывал;
• данные о пользователях подтягиваются.

Это поможет тебе избежать ошибок в данных и даст возможность быстро поправить недостатки.

2. Останови опрос вовремя

Много ответов это хорошо, но больно для анализа и не всегда дружелюбно по отношению к твоей аудитории.

Останови опрос вовремя, чтобы получить ровно столько данных, сколько ты можешь унести = обработать. Особенно это касается открытых ответов, все это правда придется читать.

Пойми, сколько ответов тебе нужно, и в процессе опроса держать руку на пульсе. Если пользователей для опроса мало или они специфичны, не стремись охватить всех, достаточно репрезентативной выборки.

Понять, сколько тебе нужно ответов, поможет статья Жени Крупиной.

После проведения опроса

Данные собраны, опрос завершен. Как это все обработать?

Шаг 1. Вернись к цели опроса

Чтобы понять, какой анализ нужен, вернись в начало. Вспомни, какая была цель — для чего был нужен опрос. Это поможет не закопаться в данные и сохранить фокус на важном.

Цели опроса могут быть очень разными, в зависимости от них методы тоже будут отличаться. Чаще всего это даже микс методов.

Примеры цели и метода анализа:

Шаг 2. Выбери инструмент для анализа

Теперь можно зарываться в данные, но для начала определись с инструментом обработки данных. Какие бывают инструменты для анализа и что они позволяют сделать:

1. Сервисы для проведения опросов (Typeform, Surveymonkey, Google Формы и т.п.)

💡 Помогут только если анкету изначально делать в них.

Они автоматом делают простой описательный анализ — распределение ответов в процентах и абсолютных числах.

Подойдет, если опрос простой и гипотезу можно проверить описательным анализом.

2. Сервисы для обработки социологических опросов (Vortex, SPSS)

Они могут значительно больше: зависимости между данными (корреляции), статистически значимые различия, построение таблиц с % распределением ответов. Но требуют подготовки данных.

Подойдут, если данных много, они все разные, тебе хочется разобраться и нужно понять разницу между ответами. У них есть интерфейс, обучалки и в целом все изучаемо.

3. Excel

Может ровно столько, сколько ты знаешь формул. Подойдет, если с предыдущими двумя инструментами не сложилось.

4. Python и R

Самые гибкие инструменты, кажется, что с помощью них можно сделать все или почти все.

Выбирай их, если точно знаешь, что хочешь считать и не боишься сам прописывать формулы или команды для расчета.

Шаг 3. Подготовь сырые данные к анализу

После того как обозначена цель и выбран инструмент, надо сделать данные пригодными и удобными для анализа.

• удали ответы сотрудников, если они есть. Обычно они сильно искажают данные;
• удали анкеты, заполненные не до конца или неправильно;
• проверь логику — не противоречат ли ответы друг другу;
• закодируй ответы, если хочешь обрабатывать в Excel, Vortex, SPSS или на Python;
• добавь вторичные переменные, если они нужны;

💡 Вторичная переменная объединяет первичные в группы. Например, можно объединить ответы о заработной плате и закодировать как «Низкая от 0 до 10», «Средняя от 11 до 20», «Высокая больше 20».

• вынеси отрытые ответы отдельно от закрытых вопросов.

Все это поможет быстрее и чище обработать опрос.

Шаг 4. Магия анализа количественных и качественных данных

Тот момент, когда ты на самом деле копаешься в данных, делаешь выводы, считаешь проценты и разбираешь открытые ответы.

Помни про то, что метод анализа количественных данных зависит от цели опроса. Качественные данные стоит проанализировать по темам и отделить пожелания от мнений, эмоций. Так будет проще передать данные команде в контексте доработок или просто милых вещей.

💡 В открытых ответах на опрос бывают и благодарности.

Шаг 5. Представь данные команде

Ты классно посчитал все проценты, корреляции и даже разобрался с Python. Но есть еще один зверь — визуализация твоих прекрасных цифр для команды.

В целом нет каких-то четких правил визуализации результатов опроса — все на твой вкус и удобство команды. Но есть несколько моментов, которые помогут тебе донести данные понятнее и честнее:

1. Много цифр в таблице это хорошо, а в презентации плохо и не всегда понятно.

Старайся выносить только важные цифры, а лучше нарисуй инфографику. Но не переборщи: сплошные графики и диаграммы — это тоже тяжко.

2. Абсолютные и относительные величины выглядят и воспринимаются по-разному.

Подумай, что лучше использовать, чтобы получить более честную картинку.

Относительные лучше показывают структуру совокупности, а абсолютные фактическое число.

3. Шкалы и восприятие графиков.

Не размещай разные данные на одном графике, если они на порядок отличаются. Если их все же нужно сравнить, то лучше перекодировать в относительные величины по одной шкале.

Кажется, это все, что я хотела рассказать про обработку результатов опроса.

Помни о 2-х китах перед проведением опроса: пилотное исследование и объем данных. И не пренебрегай 5-тью китами после: цель, инструмент, подготовка данных, магия анализа и представление результатов. На них держится работа с данными опроса, они помогут тебе не потеряться в масштабах и снизить градус неопределенности.

Если остались вопросы приходи в телеграм, открыта к обсуждению.