👨‍💻DEV [Валерий Бабушкин, Николай Назаров] [karpov.courses] Симулятор A/B тестов. Базовая версия (2023)

[Odyvanchik]

[Валерий Бабушкин, Николай Назаров] [karpov.courses] Симулятор A/B тестов. Базовая версия (2023)

Базовая версия

ДЛЯ КОГО ЭТОТ КУРС:

1. Продакт-менеджер - Работаете над развитием продукта и хотите научиться принимать решения на основе data-driven подхода.

2. Аналитик - Занимаетесь анализом бизнес-метрик и хотите на практике разобраться во всех тонкостях A/B-тестирования.

Подойдёт всем, кто хочет разобраться в A/B-тестировании без погружения в программирование и математическую статистику.

Чему Вы научитесь:

1. Разрабатывать оптимальный дизайн онлайн и офлайн экспериментов

2. Применять современные методы повышения чувствительности A/B-тестов

3. Проверять гипотезы со сложными метриками, для которых стандартные тесты не работают

4. Проводить множество экспериментов параллельно

Какие задачи будем решать:
1. Дизайн эксперимента

Разработчики провели рефакторинг кода и подготовили обновление бэкенда сайта.

Ожидается, что новая версия будет более надёжной и масштабируемой.

Подготовь дизайн эксперимента для проверки скорости ответа бэкенда на запросы клиентов.

2. Анализ метрики отношений

Менеджеры хотят заменить транспорт курьеров, чтобы ускорить доставку.

В качестве метрики будем использовать среднее время доставки, для которой обычные тесты не работают.

Выбери подходящий метод и проанализируй полученные результаты.

3. Чувствительные тесты

Есть несколько гипотез, которые вряд ли сильно повлияют на наши метрики, но даже небольшие улучшения для нас важны.

Попробуй с помощью разных методов повысить чувствительность тестов, чтобы они могли замечать маленькие эффекты.

4. Множественное тестирование

У нас накопилось очень много гипотез, но проверять их отдельно слишком долго.

Придумай, как запустить несколько экспериментов одновременно, иначе мы до них никогда не доберёмся.

ПРОГРАММА КУРСА:

Представьте, что вы устроились аналитиком в пиццерию, которая активно переходит в онлайн и проводит эксперименты для повышения качества сервиса. Вам предстоит определить, какая версия сайта работает лучше, что изменилось после рефакторинга бэкенда и удалось ли отделу логистики ускорить доставку.

Модуль 1 - Основы статистики

* Изучим основы статистики, которых будет достаточно для прохождения курса.

Модуль 2 - Знакомство с платформой A/B-тестирования

* В первый рабочий день в новой компании познакомимся с данными и платформой А/B-тестирования.

* Выдвинем гипотезы, оценим результаты первого эксперимента.

Модуль 3 - Проверка гипотез

* Узнаем, как появилась идея проверять гипотезы.

* Создадим собственный критерий принятия решений.

* Рассмотрим популярные критерии для типичных метрик и поговорим об их ограничениях.

Модуль 4 - Дизайн эксперимента

* Научимся подбирать оптимальные параметры для запуска эксперимента: продолжительность, размер выборки и минимальный эффект, который возможно обнаружить.

* Узнаем, зачем нужно проводить синтетические A/A- и A/B-эксперименты на исторических данных.

Модуль 5 - Доверительные интервалы

* Познакомимся с методом бутстрэп.

* Научимся строить доверительные интервалы для произвольных метрик и узнаем, как принимать решения на основе доверительных интервалов.

Модуль 6 - Повышение чувствительности тестов

* Рассмотрим актуальные способы повышения чувствительности A/B-тестов и применим их на практике.

* Научимся сокращать размер выборки, необходимый для проведения эксперимента.

Модуль 7 - Выбор метрик

* Выбрать метрику для эксперимента не всегда просто.

* Разберёмся, какие бывают метрики, научимся выбирать наиболее подходящие для эксперимента и узнаем, как отслеживать «здоровье» A/B-теста.

Модуль 8 - Cuped и стратификация

* Научимся применять Cuped и стратификацию — продвинутые методы повышения чувствительности A/B-тестов, основанные на использовании дополнительной информации.

Модуль 9 - Множественное тестирование

* Когда гипотез слишком много, нам может не хватить наблюдений, чтобы проверить их все одновременно.

* Познакомимся с техниками множественного тестирования и одновременным проведением большого числа экспериментов.

Модуль 10 - Анализ метрик отношения

* При проверке гипотез о равенстве метрик отношения (например, CTR) обычные тесты применять некорректно, так как наблюдения не являются независимыми.

* Изучим подходы для проверки таких гипотез и закрепим новые знания на практике.



—————————————————————————

🔗 Продажник:

📥 СКАЧАТЬ КУРС:

Для просмотра содержимого вам необходимо Войти или Зарегистрироваться.

🔐 Хотите получить доступ?

Чтобы увидеть скрытые ссылки и ставить лайки, активируйте VIP-статус.

💎 ПОЛУЧИТЬ ДОСТУП Наш Telegram канал