Практика · 02
Пороги дрейфа без магии
Что означают PSI 0,1 и 0,25 и почему эти числа — отправная точка, а не стандарт.
§1 Как считается PSI
Значения эталона делятся на десять бинов по децилям, партия раскладывается по тем же границам. Для каждого бина разность долей умножается на логарифм их отношения, результаты складываются.
Пустой бин заменяется долей 0,0001, иначе логарифм не определён. Для категорий бинами служат значения эталона плюс общий бин «другое».
§2 Откуда 0,1 и 0,25
Это распространённое эмпирическое правило: до 0,1 сдвиг обычно считают небольшим, выше 0,25 — существенным. Это соглашение, а не закон статистики.
Величина PSI зависит от числа бинов и размеров выборок. Прежде чем доверять порогам, посчитайте PSI между несколькими заведомо нормальными историческими партиями и посмотрите, какой разброс даёт обычный шум.
§3 Почему не p-value
На больших партиях статистические тесты находят «значимую» разницу почти всегда, даже когда для модели она не важна. Мера расстояния с порогом отвечает на практический вопрос: насколько сдвинулось.
Малые партии, наоборот, дают шумный PSI. На сверочном столе колонка, в которой меньше 100 заполненных значений, помечается «мало данных» и в долю дрейфа не входит.