Это руководство поможет вам понять все, что нужно для начала работы с A/B-тестами. Вы увидите способы запуска тестов, расстановки приоритетов гипотез, анализа результатов и лучшие инструменты для экспериментов с помощью A/B-тестирования.
Все курсы и материалы бесплатны.
Курсы
Курсы предлагают структурированный подход к изучению A/B-тестирования. Они позволяют получить фундаментальные знания, научиться использовать инструменты для проведения тестов.
Курсы на русском языке:
Курс «A/B-тестирование» (Hippo Insurance и Dynamic Yield)
A/B тесты в играх модуль 1, А/Б тесты в играх модуль 2, А/Б тесты в играх модуль 3 (devtodev)
А/б тестирование сайта или лендинга — практическое руководство (Tilda)
А/B тестирование с помощью Python (Skypro)
Курсы на английском языке:
A/B тестирование (курс в коллаборации с Google)
A/B тестирование для бизнес аналитиков (Udacity)
A/B тестирование & оптимизация (XP2)
Расширенный курс по провидению экспериментов (XP2)
Практика лучших компаний
Блоги и публикации от известных компаний представляют собой ценные источники информации о передовых практиках и инновационных подходах в A/B-тестировании. Они рассказывают о современных инструментах, методах анализа данных и особенностях проведения тестов, основанных на реальном опыте.
Примеры от компаний на русском языке:
A/B тесты и как мы их готовим (Яндекс Практикум)
Зачем нужна платформа А/Б, Как проходят эксперименты в Авито, Метрика в бакетах, Статистический критерий, видео (Авито)
Как разрабатывать сотни A/B экспериментов (Циан)
Как же мощно я провел A/B-тест, или почему не стоит сравнивать наблюдаемый аплифт с MDE (Lamoda)
Как определить размер выборки для бутстрэпа старым дедовским способом (Lamoda)
Как устроено A/B-тестирование в Авито, статья (Авито)
Руководство по статистическим тестам (VK)
Статистика в А/Б. Мифы и реальность (Авито)
Проверка корректности А/Б тестов (X5 Ритейл Групп)
Switchback-эксперименты в Ситимобил. Эпизод 1: Скрытая сила switchback
Как в Учи. ру построили платформу для анализа A/B-тестов на ClickHouse (Учи. ру)
Как у нас устроено A/Б-тестирование. Лекция Яндекса (Яндекс)
Инфраструктура А/Б-экспериментов в большом Поиске. Доклад Яндекса (Яндекс)
Как перестать беспокоиться и начать верить A/B-тестам (Badoo)
Практика компаний на английском языке:
Метод последовательного тестирования в экспериментах A/B (Uber)
Эксперименты в Airbnb (Airbnb)
Фреймворк для дизайна экспериментов (Airbnb)
Что такое А/Б тест (Netflix)
Это все A/Bout-тестирование: экспериментальная платформа Netflix (Netflix)
Как Netflix использует данные, опросы и A/B-тестирование для совершенствования своего алгоритма рекомендаций (Netflix)
Увеличьте свои шансы с A/B тестами (Microsoft)
Новая платформа для проведения экспериментов в Spotify и как мы ее используем (Spotify)
А/Б тестирование и квантили (Spotify)
Экспериментальный анализ в Lime (Lime Engineering)
Примеры проектов с кодом
Изучение готовых проектов по A/B-тестированию позволяет увидеть реальные примеры реализации тестовых сценариев и анализа результатов. Вы можете изучить код, методику и подходы, которые другие люди использовали в своих проектах, и применить их в своей работе.
Примеры А/Б тестирования с кодом и пояснением на английском:
Подробный гайд по а/б тестированию внедрения новых технологий в игру с помощью Python
А/Б-тестирование с помощью Python
Гайд по А/Б тестированию с помощью Python в 3 частях: Part 1/3(AA-test), Part 2/3(AB-test), Part 3/3(relationship metrics).
11 примеров A/B-тестирования из реального бизнеса (Hubspot)
A/B-тестирование: пошаговое руководство с использованием Python (DataArt)
A/B-тестирование и как его реализовать на Python, используя всего несколько строк кода (Analytics Vidha)
Пример а/б теста с Python (пользователь Google Colab)
Пример а/б теста с Python (пользователь Kaggle)
Статистика
Знание статистики необходимо для A/B-тестирования, чтобы проводить корректные и надежные анализы результатов тестов, определять статистическую значимость различий между вариантами и делать обоснованные выводы на основе данных.
Статистика на английском языке:
Статистическое мышление и анализ данных(MIT)
10 статистических ловушек А/Б тестирования (CXL)
Введение в статистику (Stanford University)
Статистика для экспериментов от Harvard University
Вероятность и статистика в науке о данных с использованием Python (SanDiego University)
Статистическое мышление для Data Scientist и аналитиков данных от (Columbia University)
Некоторые из этих курсов - на платформе "Coursera", даже если платформа пишет, что нужно оплатить 7дневный период, курсы можно получить бесплатно. Подробнее в посте и особенно в комментариях под постом я расписывала подробно.
Статистика на русском языке:
Основы статистики на Stepik: 1 часть, 2 часть, 3 часть.
Дополнительные материалы
Контролируемые онлайн-эксперименты и A/B-тесты (Ron Kohavi, Roger Longbotham)
Блог с полезными статьями по тестированию
Статьи по А/Б тестированию (XP2)
Математика A/B-тестирования на примере кода Python
Тестирование методов лечения: лучшие исследования для лучшего здравоохранения Imogen Evans, Hazel Thornton, Iain Chalmers, Paul Glasziou
Гайд по А/Б тестированию (CXL)
А/Б тесты для нематематиков, видео (Involta)
А/Б тестирование в R (Elea McDonnell, доцент в LeBow College of Business at Drexel University)
Краткое руководство по реализации А/Б тестов на Python
Нежное введение в математику, лежащую в основе A/B-тестирования
А также в своем телеграм-канале Аналитика и Growth mind-set делюсь полезными материалами по аналитике данных, в том числе по А/Б тестированию.
