Фичу раскатывают 5% → 25% → 50% → 100%, а потом каждый день открывают отчёт и ждут, пока метрика «прокрасится». Выглядит безобидно, но при таком подходе ошибка первого рода растёт с 5% до 30–40%, а тесты с p = 0.07 «дожидаются» значимости в половине случаев даже без всякого эффекта. Разбираем…