Как выбрать метрики для фичи

Меня часто спрашивают, как выбрать метрики, на которые надо смотреть в эксперименте и затем мониторить, для новой фичи. Я для себя составила очень простой список из очень простых вопросов, которые помогают это сделать, — причем независимо от типа продукта и компании, где вы работаете:

1. Что изменится для компании и продукта, когда фича будет зарелизена в продакшн? (Меряем в эксперименте)
2. Что изменится для пользователя, какую проблему мы решим?
   (Меряем в эксперименте)
3. Как мы поймем, что фича не сломана? (Мониторим)
4. Как мы поймем, что фича приносит ожидаемую пользу и не деградирует? (Мониторим)

Примеры ответов:

1. Что изменится для компании и продукта, когда фича будет зарелизена в продакшн? — Вырастет количество новых и активных пользователей.
2. Что изменится для пользователя, какую проблему мы решим? — Уменьшится время, затрачиваемое на регистрацию.
3. Как мы поймем, что фича не сломана? — Скорость загрузки страницы не изменится.
4. Как мы поймем, что фича приносит ожидаемую пользу и не деградирует? — конверсия в регистрации сохраняется на прежнем уровне; время на регистрацию сохраняется на прежнем уровне.

После экспериментов (а затем релиза) вы просто добавляете сюда получившиеся цифры.