Иерархия метрик VS Пирамида метрик. А также что такое North Star Metrics (метрики Всевластия) — учим матчасть

Elena Seregina
Apr 20, 2019 · 5 min read

Сейчас очень популярно работать с данными и метриками. В том числе строить иерархии метрик. Однако “Пирамида метрик”, “Иерархия метрик”, “North Star Metrics” — не просто слова. Это названия мощных методик. И если Вы их неправильно понимаете, или пытаетесь придумать заново, вероятнее всего Вы тратите время не достаточно эффективно.

Image for post
Image for post
Конспект моей лекции во ВШЭ одной из студенток (февраль 2019)

Иерархия Метрик

Кто придумал? Бессмысленно спорить. Ребенок примерно в 9–14 месяцев решает, что ходить прямо — круто, и идет. Менеджер digital-продукта примерено через то же время работы с аналитикой понимает, что следует привести метрики в порядок и делает это. Так появляется его Иерархия Метрик. Она есть почти во всех продуктах, где старший возраст дэшборда более года.

Image for post
Image for post

Кроме шуток. В допещерные времена (в случае Аналитики в России речь идет о временах 5–10 лет назад) Иерархию Метрик делали только в технически развитых конторах (например, Яндекс) и только для флагманских продуктов (например, для Поиска). Зачем?

Дело в том, что если у Интернет-магазина игрушек например какая-нибудь кнопочка после релиза изменит свою конверсию с 0,12% на 0,11% вряд ли кто-то что-нибудь заметит в плане не только месячной, но и даже годовой выручки. А вот в Amazon заметят, причем быстро. А там еще акционеры. И будет совсем больно.

Именно поэтому в массовых продуктах, где любой релиз — это огромные риски, есть приемка релизов. Нельзя просто так взять и выкатить в продакшен. Ребята из Яндекса про это уже рассказывали наружу (есть на Youtube). Я не говорю ничего нового. Для приемки релизов придумали и создали Иерархию Метрик.

Зачем? Иерархия Метрик позволяет

  1. локализовать причины изменений на графиках важных метрик (“расследовать аномалии”)
  2. не выкатывать изменения, которые могут навредить всей компании (правило: метрики верхнего уровня не должны просесть, даже если целевая метрика релиза выросла).

Иерархия Метрик — это больше, чем древовидная структура метрик. В 2012 году я впервые услышала об Иерархии Метрик на втором потоке ШМЯ (Школы Менеджеров Яндекса) от большого ученого (математика) и руководителя качества Поиска на тот момент — Дениса Расковалова. Честно скажу, но даже мое физтеховское образование не помогло. За 10–15 минут понять эту тему глубоко не удалось.

Многие сейчас пропагандируют Иерархию Метрик. Но это просто древовидные структуры. “Вот смотрите LTV, он зависит от Retention, определим между ними связь”. Я смею утверждать, что это немного не то. Таким образом выстроенная Иерархия Метрик — не более, чем мыслеобраз. Хотя для Интернет-магазина игрушек — уже не плохо.

Если вы уже как Amazon или движетесь в его сторону, придется применить научный подход к построению Иерархии Метрик. Сразу признаюсь, никогда не делала Иерархию Метрик как у Дениса. Но её построение означает, что вы не просто обозначите связи между дублирующими друг друга по смыслу и не выдерживающими критики метриками, а как минимум

1) докажете эти связи по данным,

2) изучите чувствительность метрик,

3) сделаете ревью метрик (глазами людей, которые умеют писать и проверять формулы).

Пирамида Метрик

Кто придумал? Я придумала Пирамиду Метрик в 2017 году и была довольна собой. Пока не погуглила. Оказалось, к парадигме “Пирамида метрик” приходят многие (читай все) аналитики. Ровно так же, как примерно к двум годам ребенок начинает собирать пирамидку из 3–5 колец.

Image for post
Image for post
Разнообразные “пирамиды метрик” глазами Google

Что такое Пирамида Метрик?

Пирамида Метрик — это Иерархия и Классификация метрик.

Если продукт — не Amazon, то иерархия значит хотя бы обозначить связи между метриками или создать некую древовидную структуру. Так как это редко дает значимые эффекты для порядка в аналитике или управлении изменениями на основе данных, то мы добавляем классификацию.

Зачем нужна классификация?

Во-первых, классификация помогает убрать гиперфокусировку команды на одном из множества процессов. Во время аудита метрик и дэшбордов мы можем выяснить, что команда думает только об изменении микроэкономических показателей или только об интерфейсе.

Image for post
Image for post
мой воркшоп по аналитике на ProductSense 2019

Во-вторых, классификация помогает создать базовую иерархию, так как слои Пирамиды Метрик выставлены в иерархическом порядке.

Image for post
Image for post
переписка в чате аналитиков Лёши Никушина

В-третьих, классификация здорово помогает очертить зоны ответственности за рост показателей, грамотно выбрать KPI и собрать дэшборды каждой команде в компании, не заставляя их растить некую бессмысленную для всех подряд Метрику Всевластия.

Есть и другие бенефиты, но пока остановимся на трех.

Image for post
Image for post
Image for post
Image for post

North Start Metrics (метрики Всевластия)

North Start Metric (NSM) — это метрика Всевластия, или такая крутая метрика, глядя на которую Вы неминуемо придете к успеху. Есть хорошая статья про NSM на VC — https://vc.ru/flood/26005-north-star-metric

На самом деле, несмотря на то, что NSM — отчасти утопия, для конкретной фичи или задачи можно найти не просто хорошую, а очень хорошую метрику (NSM, метрику Всевластия). У меня были такие кейсы в практике.

Но что важно знать про NSM. Метрика Всевластия — это гипотеза, начиная от того, что её можно найти и формализовать, и заканчивая тем, что это Вам поможет. Если все круто, и Вам однажды хорошо помогла одна метрика, NSM, главное не превратить работу всей компании BDSM по росту NSM. Что лично я и наблюдала, активно занимаясь консультациями по аналитике в некоторых ИТ-компаниях .

Как North Start Metric связана с пирамидой метрик и иерархией метрик?

Как Вы наверное уже догадались, прежде всего и практические только словом “метрика”. NSM можно найти с помощью любой системы метрик. Хотя скажу по секрету, это не самый простой и успешный путь.

Делать Иерархию или Пирамиду метрик вокруг NSM можно, но надо понимать, что это уже другие Иерархии или Пирамиды. Пирамида метрик помогает не допустить возникновения гиперфокуса, который несет опасность для развития компании. Пирамида метрик вокруг NSM работает наоборот.

Большое спасибо за внимание. Ставьте лайки и подписывайтесь на канал: https://tele.gg/close2sense (там пока мало инфы, но буду развивать и писать там интервью с моими коллегами — готово к публикации уже 6 интервью!). А еще приходите на наши воркшопы по продуктовой аналитике http://datalatte.ru/close2sense

Продолжение в статье https://medium.com/@elenest/metrics-frameworks-d7c800f91246

Welcome to a place where words matter. On Medium, smart voices and original ideas take center stage - with no ads in sight. Watch

Follow all the topics you care about, and we’ll deliver the best stories for you to your homepage and inbox. Explore

Get unlimited access to the best stories on Medium — and support writers while you’re at it. Just $5/month. Upgrade

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store