Привет, Хабр!
Меня зовут Максим Шевченко и последние два года я занимаюсь развитием платформы экспериментов в Okko, одном из ведущих онлайн-кинотеатров в России. Наша команда разрабатывает инструменты, которые позволяют продуктовым командам самостоятельно проводить А/В тесты и анализировать их результаты. Мы отвечаем за весь цикл экспериментов – от помощи в дизайне и выдаче пользователям разного опыта до предоставления рекомендаций по принятию решений.
Когда речь заходит об А/В-тестах, первыми в голову приходят статистические методы: различные параметрические или непараметрические критерии и многое другое. Но если взглянуть шире, становится понятно, что статистика – лишь часть экспериментов. Довольно важная часть, но не единственная. В контролируемых онлайн-экспериментах также важны сплитование трафика, удобное управление изменениями пользовательского опыта, обработка данных, дашборды, система мониторинга и многое другое.
В этой статье я поделюсь опытом и результатами организации процесса экспериментов в компании, где нет собственной платформы для экспериментов или она только начинает развиваться. Если в вашей компании есть собственная платформа экспериментов и вы собаку съели на A/B-тестах, я вряд ли смогу вас удивить. Всех остальных интересующихся темой милости прошу под кат.
Зрелость А/В платформ
Прежде чем переходить к обсуждению различных деталей, хотелось бы понять, для каких компаний подойдет обсуждаемый в статье подход. Для этого обратимся к литературе: коллеги из ряда зарубежных компаний в 2018 году опубликовали настольную статью о зрелости культуры экспериментов в компаниях.
В ней авторы выделили 4 этапа зрелости, грубо можно разделить компании по частоте запусков экспериментов:
на этапе Crawl компания проводит эксперимент раз в месяц (примерно 10 экспериментов в год);
на этапе Walk – раз в неделю (примерно 50 экспериментов в год);
на этапе Run – ежедневно (примерно 250 экспериментов в год);
на этапе Fly – более 1000 экспериментов в год.
Количество экспериментов является условным показателем при определении этапа зрелости компании в проведении А/В-тестов. Более четкое разделение основывается на некоторых важных свойствах компаний, таких как: наличие команды платформы экспериментов, возможности автоматического расчета метрик, распространенности экспериментов в компании, самодостаточность продуктовых команд в проведении экспериментов, влияние экспериментов на компанию и другое. Если ваша работа связана с проведением А/В-тестов, то я рекомендую к прочтению данную статью.
На мой взгляд, организацию процесса на коленке, предлагаемого в рамках данной статьи, может подойти компаниям, находящимся на этапах Crawl, Walk и, возможно, ранних стадиях Run.
Точка отсчета
До создания отдельной команды платформы экспериментов процесс проведения экспериментов практически отсутствовал. Один человек (привет, Влад
Интересные статьи
Интересные статьи
