Автоматизация результатов A/B тестирования
Многие компании уже делают A/B тесты, некоторые из них делают их часто. Иногда приходится неоднократно тестировать одни и те же элементы продукта. А визуализация результатов специализированных сервисов не всегда подходит по разным причинам.
Хочу поделиться собственным решением визуализации результатов тестирования в Google Analytics с использованием моего калькулятора для A/B тестов.
Нам понадобится инструмент для деления аудитории, который помечает пользователей при разделении.
Google Optimize к примеру создает cookie с названием _gaexp и примерным содержанием:
Cookie может содержать несколько Cookie ID, поэтому все ее содержание будем передавать в Custom Dimensions.
Теперь, когда у нас есть все необходимые настройки, можем выгружать данные любыми инструментами. Покажу на примере с Google BigQuery. Для этого нужно установить дополнение для Google Spreadsheets OWOX BI BigQuery Reports (Спасибо компании OWOX!).
Допустим, мы тестируем страницу продукта с целевым действием - просмотр конверсионной страницы, например “Спасибо за заявку”.
Пример SQL-запроса с динамическими параметрами для данного примера будет выглядеть так:
Динамические параметры нужны для того, чтобы можно было задавать cookieID эксперимента и диапазон дат без правки самого SQL-запроса:
В результате выполнения запроса у нас будет создана отдельная вкладка с такой таблицей:
где ds — дата, cookieID — метка пользователя контрольной/тестовой группы 0/1 соответственно, viewersLanding — количество пользователей, просмотревших страницу продукта, а ConversionPage — количество пользователей, посетивших конверсионную страницу.
Выделим таблицу и создадим Pivot table:
Осталось автоматизировать появление результатов в калькуляторе для A/B тестов (для этого лучше всего подойдет функция GETPIVOTDATA).
Для получения результатов в калькуляторе A/B тестов нужно указать cookieID эксперимента и диапазон дат в OWOX BI BigQuery Reports, после этого обновить отчет.
В итоге, если эксперимент не даст положительных результатов, можно запустить новый A/B тест. Новую визуализацию результатов можно получить просто указав cookieID нового эксперимента, диапазон дат и обновив отчет.
Полезные материалы по теме:
Инструкция по использованию OWOX BI BigQuery Reports
