Документация
Справочник оси
Короткие определения понятий сверочного стола. Слева термин, справа — как он считается на образце.
Словарь
- эталон
- Партия, на которой модель уже обучалась и вела себя как ожидалось. Из неё берутся схема, диапазоны, наборы значений и границы бинов.
- партия
- Новая выгрузка, которую сверяют с эталоном перед обучением. На столе — один из четырёх образцов или вставленный CSV.
- профиль колонки
- Для числовой колонки — число значений, пропуски, уникальные, минимум, p25, медиана, p75, максимум и среднее; для категориальной — частоты значений.
- ожидание
- Проверяемое утверждение о данных с параметрами, например «заполнено не меньше 98 % значений weight_kg». Результат — число нарушений.
- доля заполнения
- Отношение непустых значений колонки к числу строк. Пустые значения в CSV — это поле без символов.
- диапазон и набор значений
- Диапазон задаёт минимум и максимум числовой колонки; набор — список допустимых категорий. Нарушение считается по строкам.
- бины по децилям эталона
- Числовые значения эталона делятся на десять частей по децилям (p10…p90). Партия раскладывается по тем же границам; значение на границе идёт в верхний бин.
- PSI
- Мера расхождения долей по бинам: Σ (b−r)·ln(b/r), где r и b — доли эталона и партии в бине, не меньше 0,0001.
- «заметно» / «сильно»
- Уровни PSI: «заметно» — от порога 0,10, «сильно» — от порога 0,25. Пороги можно менять на столе.
- доля дрейфа и правило набора
- Доля колонок с уровнем не ниже «заметно» среди оценённых. Если она не меньше порога набора (по умолчанию 50 %), набор считается сдвинутым.
- «мало данных»
- Колонка, в которой меньше 100 непустых значений партии. PSI показывается, но в долю дрейфа она не входит.
- вердикт
- Учебная сводка по видимым правилам: «передать в обучение», «разобрать» или «остановить». Решение о партии принимает человек.
- отпечаток прогона
- SHA-256 канонического JSON отчёта без полей run и fingerprint. Одинаковые входные данные дают одинаковый отпечаток.
Три шага сверки
Выберите эталон
Эталон — партия, на которой модель уже обучалась и вела себя как ожидалось. От неё берутся схема, диапазоны, наборы значений и границы бинов.
Сверьте новую партию
Проверьте схему, ожидания и распределения по одним и тем же правилам. Нарушения и сдвиги видны у каждой колонки, а не одной строкой в конце.
Решите и сохраните
Прочитайте вердикт, разберите причины и сохраните отчёт. В отчёте только агрегаты, поэтому его можно приложить к задаче без исходных строк.