Децильный метод или сокращение дисперсии
Качественный эксперимент — это не только достаточное кол-во наблюдений, но и нешумные данные. Но часто бывает так, что метрика изначально имеет большую дисперсию. И один из таких примеров — деньги, мы уже много про это говорили тут и тут.
Один из самых популярных методов сокращения дисперсии — это удаление выбросов. Но в случае с деньгами, выбросы встречаются крайне редко, чаще всего это пользователи, которые покупают редкие и большие чеки.
Просто удалить таких пользователей из выборки в пользу сокращение дисперсии — мягко говоря некорректно. Может потеряться достаточно большой процент наблюдений и результат будет искажен.
В этой статье мы разберем, как децильный анализ может помочь при сокращении дисперсии и увеличении чувствительности метрики.
Дециль делит исходную совокупность на 10 равных частей. Например: второй D делит исходную совокупность в соотношении 2/10 : 8/10; девятый D делит исходную совокупность в соотношении 9/10 : 1/10.
Исходная выборка с чеками пользователей имеет следующее распределение и описательные статистики
Если обратить внимание на хвост распределения и описательные статистики, то сразу видно, что дисперсия достаточно большая.
Наблюдения внутри каждого дециля имеют меньшую размерность, т.к. объединяются в рамках чеков определенного размера. Следовательно, дисперсия внутри децили будет значительно меньше, а метрика станет чувствительнее.
Зная это, мы можем выбрать следующую последовательность действий.
- Каждому чеку мы присваиваем номер децили, которой он соответствует
- Оцениваем величину отклонения внутри каждой децили
- Считаем a/b тест внутри каждой децили и валидируем результаты
В итоге мы получает следующее
Как видно, внутри каждой децили дисперсия, меньше чем в изначальном распределении.
Дальше мы можем посчитать эксперимент внутри к при помощи bootstrap и получить pValue равный пересечению плотностей распределений. В данном случае bootstrap не панацея, можно использовать как критерии так и другие методы валидации.
Что в итоге
- Если есть задача посчитать эксперимент на деньгах, то децильный метод крайне эффективен. Стоит держать в голове, что чек пользователей может зависеть в том числе и от поведенческих паттернов, а следовательно таких пользователей нужно считать отдельно.
- Очевидно, что на маленьком объеме данных такой метод будет применять достаточно проблематично.
- Данный метод не забирает много времени и его легко автоматизировать.
- Нельзя забывать про поправку на множественное сравнение, иначе будет увеличиваться ошибка.
Интенсив по математической статистике и a/b тестам ExperimentFest 7 и 8 декабря — experiment-fest.ru/ab_course
