Управление трафиком: группы взаимоисключений и контрольные группы

Управление трафиком нужно, когда экспериментов много. Группы взаимоисключений гарантируют, что пользователь попадает только в один из тестов группы, а контрольные группы позволяют честно измерить накопительный эффект всех экспериментов.

Когда нужно управление трафиком

  • несколько команд проводят тесты на одной аудитории, и тесты могут влиять друг на друга;
  • нужно доказать бизнесу суммарный эффект программы экспериментов за квартал или год;
  • часть пользователей не должна получать никаких изменений, например по требованиям регулятора.

Два инструмента

ИнструментЧто делаетВопрос, на который отвечает
Группа взаимоисключенийДелит трафик на слоты: пользователь участвует только в одном тесте группыКак вести несколько тестов на одной аудитории, чтобы они не мешали друг другу?
Контрольная группа (Holdout)Оставляет часть пользователей без изменений всех тестов группы или всей программыЧто дала вся программа экспериментов?

Оба инструмента настраиваются на странице Эксперименты → Управление трафиком и работают для Web-экспериментов и фича-флагов. Пока групп нет, страница предлагает создать первую группу взаимоисключений или глобальную контрольную группу.

Страница «Управление трафиком» до создания групп: создать группу взаимоисключений или глобальную контрольную группу
Страница «Управление трафиком» до создания групп: создать группу взаимоисключений или глобальную контрольную группу

Главы

Главы идут от общей схемы распределения трафика к инструментам: группам взаимоисключений и контрольным группам.

Глава 1Готово

Уровни распределения: контрольные группы, группы взаимоисключений, правила кампании. Когда параллельные тесты нужно разводить.

4 раздела · 8 мин
Глава 2Готово

Слоты группы: как запустить несколько тестов на одной аудитории без пересечений.

4 раздела · 10 мин
Глава 3Готово

Глобальная и групповая контрольная группа, отчёт Holdout и накопительный эффект экспериментов.

4 раздела · 10 мин