Аналитика данных по-босяцки

Published in

DesignSpot

21 min readJun 6, 2022

или Введение в веб-аналитику для дизайнеров

Статья представляет собой попытку понять, что такое аналитика данных, но без всякой высокопарной воды. Обычно, это называют 101 — базовые знания. Но поверьте, всё, что кажется базовым, на поверку оказывается лишь верхушкой айсберга.

Что такое Веб-аналитика?

Пару месяцев назад мы пили кофе с моей удивительной коллегой Катей Карповой, которая возглавляет отдел дата-анализа у нас в компании. Слово за слово, речь так или иначе свелась к работе. Помню, я был ещё под впечатлением одного из таких интервью, где на конкретные вопросы даются очень прозрачно-размытые ответы. В частности мне запомнился один:

— Вы не могли бы рассказать, как проверяли валидность дизайн-решений?

— Ну, так это, вестимо, аналитику смотрели.

— А не могли бы дать больше деталей, что именно смотрели, зачем, к каким выводам пришли?

— Дык отож и ежу понятно, конверсия просела — пиши пропало, жди беды и откатывай билд.

И меня не покидало чувство, что эти поверхностные ответы вполне сходили за верные. В духе «чтобы наладить отношения с клиентом, я буду с ним общаться и налажу отношения». Звучит верно, но ответа-то нет.

И теперь, возвращаясь к нашим посиделкам с Катей. Раз уж мне подвернулась возможность расспросить человека, который не одного слона приговорил на этом поле, то я задал уже долгое время интересовавший меня вопрос: «Что из себя представляет профессия Дата-аналитика?» Но на мой вопрос Катя в шутку обиделась, и пояснила, что говорить «дата-аналитики» на всех и каждого не следует. Это словно называть всех дизайнеров «дизайнерами». У нас ведь тоже есть свои специальности: дизайнеры интерьеров, дизайнеры витрин, дизайнеры взаимодействия, дизайнеры одежды и так далее. Так и у дата-аналитиков есть свои специализации, между которыми пропасти могут быть глубже, чем Марианская впадина.

Профессионалы в команде Кати предпочитают называться «веб-аналитиками» или «digital-аналитиками». И если отбросить крючкотворство, то это люди, которые заняты анализом бизнес-моделей клиентов, разработкой правильной и эффективной измерительной стратегии (measurement strategy), её внедрением, настройкой и поддержкой. Всё нужно для того, чтобы принимать верные и эффективные бизнес-решения, а также точно оценивать изменения в бизнес процессах.

Много слов, порой слишком умных, но в остатке можно найти часть пересечений с работой дизайнера. Нам же тоже нужно шарить за метрики, хотя бы на базовом уровне, чтобы и решения правильные принимать и проверять, насколько они правильные. А если маячит перспектива стать лучшим профессионалом, то глаза сразу наливаются желанием узнать побольше. Тема меня так заинтересовала. Я подумал: «А что, если у Digital-аналитиков тоже есть своя настольная книга, коей для меня в своё время стала «About face» Алана Купера?» На вопрос я получил от Кати ответ, что такая книга есть и написал её какой-то Авинаш Кошик. «Уау! Так это я сейчас её быстренько осилю и подтяну свои хвосты получается» — подумал я прощаясь с хитрыми глазами, оставив Катю допивать кофе в гордом одиночестве. На лице её читалась лёгкая ухмылка, которая кричала мне в спину: «Куда ты лезешь, фраерок?», но я так ничего и не услышал.

Через несколько месяцев я приполз к ней, чтобы убедиться, что я всё понял правильно. И потому, я решил написать данное введение в анализ, чтобы помочь и другим желающим помочить ножки, перед погружением в океан данных.

Метрики и клики

Каждый утюг уже устал петь про Customer Development. Сколько статей об этом написано, сколько подкастов записано, сколько тренингов проведено, а интерес всё никак не сдохнет. И не мудрено, ведь так же поют светилы дизайнерской мысли, мол нужно смотреть на цифры, цифры не врут, а люди врут. Потому цифры надёжнее. И толпа вторит им «Да! Доставайте линейки, будем мерить!»

Но вот «что» измерять, «как», а главное «зачем» остаётся загадкой. Конечно, время от времени вспыхивают огоньки прозрения и на свет появляется очередной измерительный фреймворк, типа HEART. Но как только фреймворк начинает сбоить, или не подходит бизнес-модели, всё откатывается к стандартным настройкам, а то и аналитика выпадает за скоуп.

Как правило, уже после того, как весь дизайн готов, а разрабы на полпути к заветному релизу, дизайнер (наверное, от нечего делать) вспоминает про метрики. И на одном из спринтов и говорит: «Ребята, всё готово, давайте подумаем, как мы будем измерять наш успех! Мы делаем магазин сандалей, и я предлагаю измерять количество покупок, можно?» Все кивают головой и вешают ивент на чекаут. Всё! Измерялка готова.

Что вы на меня так смотрите? Спасибо, что хоть так, а где-то вообще ничего не происходит. Но это не всё. Потом команда меняется и у руля становится другой полярный индивид. На сей раз он, он эмоционирует, кидается фразами «Всё не так!» и «Как так можно?!», трёт рук как муха и шепчет «Нужно всё обвесить метриками, ВСЁ!!». И бедная команда разработки потрошит только что зашитое и начинает вкрячивать ивэнты на каждый пук. И через 4 месяца работы, ещё 6 месяцев сбора данных, дизайнер приходит на таунхолл с заказчиком, и начинает показывать презентацию на 300 слайдов, результатом которой будет только пара лопнувших капилляров. Знакомо?

Простите за красочные разъяснения, но я был и в первой и во второй группах (недожимал и пережимал), а также благодаря множеству контактов, интервью и всякого рода нетворкингу, я могу чуть-чуть аппроксимировать и сказать, что чаще всего, дизайнеры меряют, чтобы измерить. Дальше констатации фактов дело не идёт. На столах наших стейкхолдеров пылятся отчёты по 150 страниц о том, что покупок сегодня вот столько, а вот столько непокупок, но ни слова в них не сказано о том, что это значит.

Нам нужно изменить свой образ мыслей с «информирования» на «действия».

Хватит говорить о цифрах, давайте начнём их слушать и принимать на их основе правильные решения. Я говорю не о банальных вещах, типа «Конверсия упала — откатываем релиз», а о более продуманных выводах. Давайте перестанем царапать поверхность в страхе провалиться под лёд, а вместе разберёмся (хотя бы немного) с анализом данных и попробуем облегчить жизнь всем, кто будет читать наши отчёты.

Disclaimer! Я тут не супер-эксперт в применении анализа данных, а потому даже я себе на слово не верю. Поэтому я попросил Катю Карпову проверить за мной всю инфу, чтобы я тут лишнего не сболтнул. За это ей большое человеческое спасибо.

Основные метрики

Начнём, пожалуй, с самых основ, тех метрик, которые предоставляются из коробки и дальше которых, к сожалению, дело не доходит. Это не значит, что они плохие, ни в коем случае, просто их интерпретация бывает слишком узка. И вот наши первые игроки:

Посещения и посетители,
Время на сайте и время на странице,
Отказы,
Выходы,
Коэффициент конверсии.

Давайте с каждым из них познакомимся поближе, чтобы понять, что они из себя представляют.

👫 Посещения и посетители означают, хех, общее количество всех посещений, и количество пользователей эти посещения совершивших. Посещения могут быть уникальными и неуникальными. То есть каждый человек может зайти по разу на вашу страницу, но никто не мешает им повторять вход по многу раз на дню. Например, сейчас я как проклятый захожу на сайт министерства миграции в ожидании визы. В общем зачёте посещений мои действия могут считаться по-разному:

если считать все посещения, то зачтутся все 100500 моих входов (их ещё называют «визиты»),
если считаются только уникальные, то засчитается только 1 первый вход за период.

Веселуха с этим показателем начинается, когда мы не можем подтвердить уникальность: у многих людей не один девайс, с которого они могут совершить вход, или я, как параноик, запретил использовать куки или JS-скрипты. Тогда сказать на 100% что я из браузера, и я вон с той мобилы — это один и тот же человек, увы практически невозможно. Так что в показателе всегда будет какая-то погрешность. И не стоит пугаться, если ваши инструменты аналитики (если у вас их несколько) показывают разные результаты.

⏰ Время на сайте и время на странице показывают сколько времени человек провёл на сайте или на конкретной странице. Всё очевидно, проблема лишь в том, что счётчики не знают, когда пользователь «завис»: открыл вкладку и пошёл заваривать чай, печь торт и мыть ноги. А мы думаем: «Чего они все тут так тупят?».

🏃‍♂️ Отказы и Выходы. Эти две метрики похожи на братьев Уизли — их все часто путают, даже решения для сбора данных, например Google Analytics может считать их по-другому, чем Amplitude. Сейчас поймёте почему. Показатель отказов, он же Bounce rate, показывает процент пользователей, покинувших страницу сразу после её загрузки. Зачастую, это когда вы нажимаете на ссылку «Рецепт бабки», переходите на сайт каннибалов и не успел ещё прогрузиться баннер Авиасейлс, как вы тычите в стрелку назад с криком «Я на такое не подписывался!» Как мячик, вы отскочили от стены так ничего и не сделав. Показатель выходов, в свою очередь, показывает сессии, завершившиеся на данной странице. Когда вы прочитали рецепт, отложили его в избранное и закрыли страницу — вышли из сценария. Чувствуете разницу? А многие сервисы не чувствуют, особенно, если это происходит быстро.

🤑 Коэффициент конверсии. Ну это вообще наш хлеб с маслом. Сейчас сложнее найти дизайнера, который не знает, что такое конверсия. «Отношение пользователей, совершивших целевое действие к общему числу пользователей» звучит на каждом собеседовании. Но с этим инструментом тоже есть вопросики, например, что делать, если на сайте нет целевого действия? Обычно, вопрос ставит соискателей в тупик: «Как нет конверсии? А зачем тогда делать сервис?». Давайте помаринуем эту мысль немного, и вернёмся к ней в следующих разделах.

Здесь, кстати, мы можем перечислить ещё немного влиятельных метрик, на которые частенько смотрят при анализе:

удержание (Retention) — показатель возвратов пользователя,
уходы (Attrition) — сколько пользователей покидают вас навсегда,
вовлечение (Engagement) — насколько пользователи погружены в процесс,
… что-то ещё? Пишите в комментах.

Но если вы заметили, многие метрики здесь — комплексные, то есть используют в себе другие, примитивные показатели. Так что задачу можно свести к ранее решённой.

Давайте потренируемся! «О чём нам это говорит?»

Представим, что у вас в распоряжении есть вот такие данные:

Посещения / посетители: 123 442 / 3 445
Ср. время на сайте: 1:45 сек
Ср. время на странице: 24 сек
Bounce rate: 34%
Коэффициент конверсии: 0.45

О чём нам говорят эти данные? Давайте подумаем. Не спешите. Ну? Ни о чём. Верно.

Это нейтральные цифры. Те, кто скажут: «Но тут зашкаливает bounce rate!», — или, «Время на странице очень низкое!» просто высказывают своё мнение, забывая добавить «мне кажется». А такие слова c data-driven как-то не вяжутся. На самом деле — мы не знаем ничего. Это статика, а нам нужно смотреть на любой показатель в динамике, чтобы понимать его суть. Давайте исправим ситуацию.

Теперь можем делать выводы относительно положения дел: что-то стало лучше (посещений стало больше), что-то стало хуже (bounce rate увеличился), а что-то непонятно что. И тут лежит первый капкан.

Эти метрики, что рассмотрены выше, уже дают нам более-менее объективную картину происходящего. Однако эти примитивные указатели бросают нас прямиком к макро-выводам относительно работы всей системы. А это неправильно. Если мы видим, что с новым релизом у нас возросло время пребывания на странице, то это может означать как и то, что пользователям нужно больше времени на то, чтобы разобраться, так и то, что они залипли на новую фичу. В любом случае — это не повод откатываться. Можно рассматривать эту динамику, как одну из реакций на изменение.

Да и средние метрики и значения не очень-то заслуживают доверия, чтобы полагаться на них в принятии хоть каких-то решений. Ну вырос bounce rate, как его опустить-то? Строим воронку!

Воронки

Ох, это один из самых популярных инструментов анализа. И немудрено, ведь построив такую модель потока трафика мы сможем увидеть не только показатели всего сервиса, но и по каждому перевалочному пункту пользователей. Таким образом мы сможем сказать, что к примеру с главного экрана приложения 44% людей уходит в каталог продуктов, 36% идут в корзину, а 20% в тупую отваливаются. Ну не круто-ли? А мы можем строить путь дальше: для каталога продуктов 35% людей идут в корзину, 50% на карточку товара, а ещё 15% отваливаются. Блеск! Ведь так мы можем выявить шаги, которые являются «бутылочным горлышком» и останавливают пользователей от покупок. Да! да? Дима, только не говори, что нет… Заткнись! Мы любим воронки!

Что не так с воронками?

Давайте я расскажу вам историю одного проекта, где я работал, чтобы мы вместе порассуждали, что именно не так с нашими любимыми и несравненными вороночками. Я бы не сказал, что это был какой-то плохой проект, что там всё было не так и он какой-то из ряда вон. Нет. Простой проект, где старались принимать решения основанные на данных. Потому потратили много сил на интеграцию аналитики и настройку воронок. Однако, когда начинаешь полагаться только на данные и отбрасываешь здравый смысл, решения получаются странными. Так например, в воронке «Homepage → Catalog → Product page» на последнем шаге возрастал Exit rate (коэффициент выходов), немедленным выводом следовало «Переделать страницу!». Хотя по факту пользователь дальше никуда пойти не мог. Это был конец его пути (покупать ничего нельзя было, это был каталог). Всё. Но нет. Наверное он должен был бы остаться на странице навсегда, и не дай бог браузер перезагрузится.

Ещё пример всё того же слишком дата-дривен подхода. На воронки описанные выше, наложили ещё сбор показателя NPS (Net Promoter Score). Обычно, эта метрика показывает субъективную удовлетворённость от использования продукта. Когда вас, например, спрашивают «От 1 до 10, насколько вероятно, что вы порекомендуете наш сервис другу?» — это собирают NPS. Такие опросы резонно проводить в завершение сценария или без привязки к сценарию вовсе.

«А, если наложить этот опрос на воронку, представляете, что мы получим? Люди скажут нам, какие страницы им нравятся, а какие нет, и мы будем править то, что нужно! ДА!», — думали уважаемые стейкхолдеры. Но если пользователи выплёскивали свой гнев на определённой странице — это не означало, что страница плоха, возможно плох весь предыдущий опыт. Однако, кости падали иначе. И стейкхолдеры впивались в эти «факты», как вампир к шее с первой отрицательной: «Это же ДАННЫЕ! Как ты смеешь с ними спорить?!»

Ещё и анализ кликов

Веселье продолжалось, когда каждый шаг воронки потрошили и препарировали при помощи анализа кликов. Да, вы верно вспомнили здесь heatmaps, но вот обычно доверия к ним у серьёзных аналитиков нет, вместо этого действия-триггеры вешают на каждый интерактивный элемент, чтобы точно знать, куда тыкнул пользователь без оглядки на ширину экрана, девайс и т.д. Так вот, наши дорогие стейкхолдеры могли посмотреть на распределение кликов по элементам и сказать: «О, люди тыкают в сайдбар, значит он им нужен или нравится, давайте сделаем его виднее, лучше, да вообще, уберём всё остальное, ибо туда никто не кликает!» Перепутали причину и следствие — может никто не кликает на всё остальное, потому, что все видят только сайдбар. Но это никого не интересовало. Данные, bitch!

Анализируя эти и другие истории мы можем сделать несколько выводов о том, почему воронки могут не работать:

Мы всех гребём под одну гребёнку. Если мы рассматриваем посещения людей, как одну большую реку трафика, то рискуем потерять в ней смысл. А мы помним, что нам важно не констатировать факт, что с какой-то страницы уходит 20% людей, а нам важно сделать вывод, который позволит принять максимально эффективные меры. Так что важно понять, кто именно у нас отваливается и что с ними в принципе происходит.
Мы смотрим на воронку только здесь и сейчас. Анализ данных в статике в принципе плохая затея. Как мы можем сказать, хорошо что-то или плохо, если мы смотрим только на текущее положение дел. Это словно ответ на самый главный вопрос — 42. Если подумать, то и динамика не всегда бывает информативной. Например, за последний месяц показатель конверсии вырос с 0.2 до 0.21. Это хорошо или плохо?
Мы анализируем количество кликов, а не намерения. Этот пункт уже касается детального анализа каждого шага воронки. Например, мы видим, что люди отваливаются на странице каталога и заходим внутрь, чтобы посмотреть, что они там делают. Прекрасная тепловая карта показывает нам, куда больше всего кликают люди. И что дальше? Начинаются засосы с пальцем и конспирологические теории, а ответ на вопрос, почему люди уходят так и не найден.
Ещё проблемка с анализом плотности кликов. Часто мы делаем вывод об используемости функционала по количеству кликов по нему. Не кликают → не используют → можно выпилить. Или наоборот кликают → используют → нужно сделать заметнее, ведь это наша основная функция. Хотя по-факту, такие выводы поспешны: если в тик-токе повалит новый тренд в использовании вантуза, как музыкального инструмента, это не значит, что нужно будет срочно перепозиционировать вантуз, так как креативной молодёжи больше, чем использующих его по назначению сантехников.

Левелапим наш анализ

Далее, я хочу привести некоторые рекомендации, которые помогли бы вам избежать капканов данных.

👉 Смотрите на то, что было до и после

При строительстве воронок, делайте им «крылышки», то есть смотрите на взаимодействие на один шаг до, и на один шаг после. Так, голый коэффициент конверсии скажет вам неправду, если вы не примете во внимание посещения, предшествовавшие целевому действию. Иногда, люди просто не готовы сразу купить ваш товар, скачать вашу книгу или посмотреть видео: у них может не быть времени, денег, разрешения супруги, да мало ли чего. Поэтому, целевое действие, или конверсия, может происходить не с первого, второго и даже не с третьего захода. С зарплаты купят. А потому, не совсем честно говорить о плохом взаимодействии, когда конверсия не совершается с первого раза. Лучше поставить на пользователя «жучок» и посмотреть, как дела будут обстоять дальше. Возможно, это просто особенность бизнеса, когда потребность носит спорадический характер (я не знаю, откуда всплыло это слово).

👉 Оцените источники трафика

Помимо того, что происходит с пользователем после выхода, нам бы было неплохо посмотреть, откуда он пришёл. Оценить источники трафика и результаты, которые они предоставляют. Вам не нужно пока вдаваться в детали слишком глубоко, достаточно посмотреть на три большие категории: прямой трафик (Direct), трафик с поиска (Search), непрямой трафик со ссылок на других ресурсах (Indirect).

Самым приятным в этой тройке будет прямой трафик, ведь это означает, что люди запоминают вас, кладут в закладки, записывают на листочках, а значит проявляют лояльность. У такой аудитории и конверсия выше, так что нужно всегда стремиться повышать этот показатель. Его низкая доля в пропорции с двумя другими категориями может говорить о проблемах.

Две другие категории могут указать вам на ряд проблем, но уже в других областях бизнеса: SEO и SMM. Сюда входит и анализ ключевиков в поисковых движках, и распределение конверсии по источникам привлечения. Если уж вы берётесь анализировать конверсию в воронке, то посмотрите, откуда к вам пришли самые покупающие клиенты и самые отваливающиеся. Вполне может быть, вы сможете урезать расходы на рекламу, так как она генерирует мусорный трафик, и направить эти денежки на удержание лояльных клиентов.

👉 Сегментируй или умри пытаясь

Мы уже вскользь касались этой стратегии. Как видно из проблемы, где мы чешем всех под одну гребёнку, усредненный результат не даст нам ничего дельного, только среднюю температуру по больнице. Если же мы хотим каких-то действий, нам нужно детальнее разобраться в том, кто и что делает, и к чему приходит. Например, мы видим, что Bounce rate у страницы 54%, но вместо того, чтобы сразу бросаться её «чинить», давайте выделим сегмент из этих пользователей и отследим, что они делали до этого. Вполне может оказаться, что большинство из них пришли на страницу продающую носки, с баннера на сайте ваших партнёров, который обещал «тепло в доме». Так получается, что со страницей всё ОК, нужно только дать пинка вашему рекламному партнёру.

Сегментация — это вообще основная стратегия анализа данных, где мы хотим докопаться до сути. Вместо того, чтобы смотреть на средние значения и молиться, выделяйте сегменты и анализируйте их поведение. Прищучьте их!

👉 Обеспечьте чистоту данных

Это ещё один бич анализа, особенно на маленьких выборках, которые используются в немодерируемых тестах. Вот представьте, вы стартуете тест и хотите проверить, насколько эффективно пользователь будет выполнять задачи — будете смотреть на Success Rate и время прохождения теста. На выходе, вы получаете, казалось бы довольно приятные цифры: 85% success rate и среднее время, ну допустим 1:48, что вы могли бы посчитать хорошим результатом. Но вы уже знаете, что средние значения — отстой полный и смотрите в данные детальнее. И что ж это получается, плохие и неприятные люди, которые дропнулись сразу после открытия страницы оставили после себя время прохождения сценария 0:00. А это знаете-ли, очень быстро. Почистив выборку от таких плохишей, вы видите ещё одну аномалию: людей, которые открыв тест перешли в другую вкладку, заказали себе пиццу, а потом вернулись и в развалочку закончили тест. У них счёт идёт уже на часы. И когда и эти флуктуации будут вычищены, вы посмотрите на оставшиеся 2 записи, среднее из которых составляет 0:56, и отправитесь за новой партией подопытных.

Это всё конечно, лирическое представление решения, но это не умаляет его значимости: если не чистить данные перед их анализом, существует риск прийти к неверным выводам.

Измерение успеха

Окей, с основными метриками мы разобрались, воронки починили, данные подготовили и нашинковали. Всё? А вот и нет. Все данные выше не ведут нас к каким-то действиям. Они просто констатируют.

Чтобы всё заработало, осталось ответить на очень серьёзный вопрос (в разных формах): «Как понять, что дела идут хорошо?» или «Как проверить, насколько эффективно ваше решение?» или «Может пора закрывать проект?» Ответы на эти вопросы сейчас всё больше аппелируют к данным. Но если вы прочитали огромную простыню выше, то уже должны догадаться, что собрать данные — это одна история, а вот верно их интерпретировать — совсем другая. Мы уже говорили с вами о такой интересной вещи, как конверсия и даже слегка поцарапали поверхность знаний о том, откуда она берётся, и что зачастую, смотреть только на этот показатель нерационально. И тут нам на помощь приходят KPI (key performance indicators) Что это такое? По сути — это любые метрики отображающие успешность работы сервиса или его части.

Например, для посадочной страницы — это будет наша пресловутая конверсия, а вот для CRM-систем количество целевых действий становится неважным, вместо этого на передний план выходит скорость работы и безошибочность. Для моего любимого таск-треккера Asana, тоже глупо смотреть на количество закрытых мною задач, вместо этого лучше отслеживать удержание.

Как выявлять такие показатели? Нужно отвечать на примерно такие вопросы:

Для решения какой наиболее важной задачи люди используют ваш сервис?
Знаете-ли вы о какой-то угрозе, которая может нанести вам существенный вред? Как её отследить?
Если бы вы могли по одному показателю сказать, что с вашим бизнесом что-то не так, что бы это был за показатель?
Это «хорошо бы знать» или «нужно знать»?

Принцип, я думаю, вы уловили — найдя такой критерий и проверив его на необходимость, заносите над ним кадило и шепчете: «Сим, нарекаю тебя KPI».

Примеры важных показателей

Отвечая на вопросы можно немного скатиться в ответ «покупки», «покупать» и не выйти за рамки привычного нам круга метрик. Я призываю вас не останавливаться на этом а думать, и возможно, вы придёте не к таким тривиальным решениям. Вот примеры того, на что стоит обратить внимание:

Процент выполнения задачи. Success rate — отношения всех успешно завершённых сценариев ко всем начатым, чем-то напоминает конверсию, только в контексте процесса. Помогает рассредоточить своё внимание на всём пути, вместо того, чтобы смотреть только на кнопку, которую нужно нажать в конце.
Распределение трафика. А это уже не так очевидно. Взглянув на источники трафика хотя бы в тех трёх категориях, о которых мы говорили выше (Direct, Search, Referral), вы можете оценить насколько хорошо люди вас запоминают, а также как хорошо дела идут с поисковым продвижением. Если трафик хоть и медленно, но растёт, можно принять это за положительную динамику. НО! Так ли быстро он растёт? На этот вопрос вам поможет ответить конкурентная разведка, то есть сравнение себя с конкурентами.
Лояльность и Недавность. Двух братьев лучше не разлучать. Первый ответит на вопрос «Сколько раз миссис Перк посетила мой сайт?», а второй измерит интервал между двумя визитами. Так вы сможете оценить поведение пользователей в долгосрочной перспективе.
Продолжительность и Глубина посещения. Эти метрики могут быть полезны, когда у вас нет прямой конверсии, например на медийных ресурсах, а успех измерять нужно. Тут вам в пору смотреть на то, сколько времени люди проводят на сервисе и сколько статей за посещение читают. Но стоит быть осторожными и правильно считать «прочтения», подключив сюда метрику прокрутки, иначе могут всплыть «забываки» или «отскочившие».
Альтернативные каналы потребления. Тут я могу рассказать прям историю. Когда я пишу статьи, я использую количество прочтений, как KPI, дабы понять, до скольки людей я донёс свои мысли. Клэпы мне конечно тоже нравятся, но смотреть на прочтения честнее. И вот в один момент, мой KPI начал падать, хотя статья вроде была востребованной и интересной. Чуть было не закурив, я понял, что ввёл фичу рассылки статей прямо в почту подписчикам, то есть для совершения задуманного мной, они на Medium вообще не заходили, а значит и прочтения трекать не получалось (такие читатели попадали во Views вместо Reads). Осознание факта наличия альтернативных источников потребления вытеснило неуверенность. Ещё одна статья за моими плечами, а значит я всё делаю правильно… Telegram, кстати, тоже имеет функцию Instant view, что позволяет читать статьи прямо в мессенджере, так что плакала моя метрика. Или придумаю новую, или нужно будет агрегировать множественные источники.
% важных выходов. Как мы помним, вышедшими пользователями считаются те, кто покинул ваш сервис — перешёл по внешней ссылке или закрыл страницу. Случается, что именно такие выходы и будут для вас самой важной метрикой. Например, если вы делаете рекламный сайт или агрегатор, где целевое действие происходит за границами вашего сервиса, а вы просто предоставляете информацию.
Так… теперь ваша очередь. Подумайте о своём проекте/продукте в контексте KPI. Проскрольте выше, там есть вопросики. Копайте глубже простых нажатий на кнопки, стройте логические связи, но только не увлекайтесь слишком сильно — чем сложнее метрика, тем вероятнее, что в ней что-то сломается. Или результат будет непрозрачным. 42.

Е-коммерс — это не только конверсии

В качестве примера для нахождения альтернативных метрик, давайте ещё больше сгустим краски и поговорим о классической модели e-commerce. Да, там где можно покупать, отношение покупок к посещениям всегда было золотым стандартом, но так ли он хорошо работает? Вот некоторые альтернативные метрики, которые могут пролить ещё немного света на положение дел:

🛒 Отказы от корзины или оплаты. Мало просто понимать, сколько человек купило. Нужно понимать, сколько не купило и почему. А чтобы сделать это, нужно выделить сегмент пользователей, которые были готовы к покупке, нахватав себе носков по акции, но по какой-то причине покинули магазин или не перешли к оплате. Как только сегмент будет готов, его можно отследить на всём сценарии и посмотреть, что пошло не так.
⏱ Время и посещения до целевого действия. Как я уже говорил, почти всегда целевое действие не происходит одномоментно. Даже, если мужик хочет купить кроссы, он скидывает их сперва на апрув жене / другу / маме, и только потом покупает. И может пройти не один день, прежде, чем он решится выложить кровные. Потому, важно знать, сколько визитов и времени проходит перед покупкой и сегментировать выборку по этому показателю.
🪐 Объём заказа. Купить стельки за €3 или три пары кроссовок за €150? Очевидно, что разница для бизнеса имеется, так почему их нужно считать, как эквивалентные конверсии? Сегментируем!
🎯 Основная цель пользователя. Не все приходят на ваш магазин, чтобы купить. Есть те, кто ищет информацию, есть те, кто хочет обратиться в саппорт, есть те, кто просто хочет почитать последние обзоры. Нужно ли учитывать такие посещения, ведь у них другая цель? При помощи косвенных признаков потребляемого контента, такие сегменты можно выделить и исключить из рассмотрения.

Оценка вклада

Как вы прекрасно помните, на сайте / сервисе / в приложении может быть несколько конверсий, но не все они одинаково полезны. Существуют основные желательные действия, критичные для бизнеса (макроконверсии), и вспомогательные, направленные в основном на увеличение лояльности (микроконверсии). В примере с основной целью пользователя, описанном выше, покупка или подписка — макроконверсия, а получение помощи, чтение статей — микроконверсии. Но что интересно, так это экономический эффект всех наших микроконверсий, трансформирующийся в макроконверсию.

То есть, допустим, человек очень любит обзоры, которые делает интернет-магазин. И вдруг у него ломается мотор в надувной лодке (с каждым же такое было). Он заходит на свой любимый ресурс и начинается смотреть обзоры моторов. Смотрит один, другой, третий, потом советуется с Палычем на работе. Потом получает на почту рассылку о том, что пора брать мотор по низкой цене. Советуется с женой и решается на покупку.

В этом сценарии вы же не будете считать конверсию, как получившуюся из ниоткуда? Каждое звено маркетинговой цепочки «Обзоры → Рекомендация → Рассылка → Конверсия» внесло свой вклад в совершение целевого действия. И ключевым вопросом от заказчика будет «Как нам посчитать этот вклад?» Вопрос вполне резонный, так как возможно он потратил $10000 на е-мэйл рассылку и хочет знать, насколько она окупилась. И здесь у вас есть несколько стратегий.

По последнему клику, ведь именно он привел к конверсии.
По первому клику, ведь именно он инициировал интерес пользователя.
Равномерно размазать между всеми звеньями.
Поделить прибыль пополам между последним и предшествующими действиями, ведь чем дальше, тем влияние ослабевает.
И индивидуально оценить вес вклада для каждого звена.

Откровенно говоря, серебряной пули тут нет и не будет, стратегию оценки вы выбираете сами. Я лишь скажу, что индивидуальный подход не всегда окупается. Вам лучше взглянуть на карту трафика вашего сервиса и сегментировать её по группам подвергнутым влиянию. Возможно, так вам станет понятнее, кто какой награды достоин и вы сможете лучше донести необходимость правильных действия до вашего стейкхолдера.

Выводы, рекомендации, грехи

Ну вот и всё, я вас от души поздравляю, вы дошли до завершения! 👏 Здесь я хотел бы вспомнить всё, о чём мы говорили, а также упомянуть ряд вещей, которых делать никогда нельзя.

Грехи:

Цифры ради цифр вне закона! Констатацию фактов оставьте другим, а сами предлагайте конкретные действия, чтобы принести больше пользы.
Для использующих одну «золотую» метрику есть специальный котёл. Выделяйте критичные метрики. Не все они одинаково полезны, выделяйте главное, остально оставляйте на саппорт.
Откажитесь и от использования комплексных и вычислительных метрик. «У нас всё хорошо, ибо значение 3.12» — звучит бредово. Нам нужно принимать решения и понимать, где и что пошло не так, а значит нам нужны показатели по отдельности, которые можно покрутить и по… верно… посегментировать. Хотите упростить восприятие — делайте выводы ведущие к действиям, а если попросят, объясняйте, как вы к этим выводам пришли. Только так.
Использование усредненных значений категорически запрещено. Это может скорее запутать и ввести в заблуждение, чем принести пользу. Вместо этого сегментируйте.
Процентные показатели в ту же топку. «80% пользователей с успехом прошли сценарий» или «4 из 5 пользователей с успехом прошли сценарий». 80% звучит посолиднее, но это обман. Манипулирование сознанием. Используйте проценты, только если они прямые фигуранты дела.

Заключение

И в завершении, я хочу ещё раз отметить, что я не являюсь экспертом в области анализа данных, я лишь прогоняю через себя информацию, которую получаю извне, подвергаю её критическому анализу и выливаю в выводы. Верить им или оспаривать — решение за вами. Но прошу, если я где-то не прав — поправьте меня в комментариях, чтобы я мог оперативно обновить статью, и лишь чёткие факты разносились по свету и оседали в умах юных дизайнеров.

Надеюсь, это было интересно и заставило вас подумать. Оу, и обязательно прочтите книгу Авинаша Кошика «Веб-аналитика 2.0 на практике». Она легла в основу этой статьи, но там ещё куча всего того, что не попало в этот и без того длинный опус.

По старой доброй традиции, оставляю здесь ссылку на свой канальчик в телеге, где нет рекламы и только мысли и отборный контент.

Раскланиваюсь в реверансах. Счастья-здоровья и корабль любви всем вам. 🛳❤️