MLPipeline

СВЕРКА ПАРТИИ ПЕРЕД ОБУЧЕНИЕМ

Эталон знает, какой должна быть партия. Партия показывает, какая она есть.

Сначала сверка, потом обучение

Учебный инструмент и методика: новая партия данных сверяется с эталонной по схеме, ожиданиям и распределениям до того, как попасть в обучение модели. Образцы генерируются и проверяются прямо в браузере.

Открыть сверочный стол Шесть шагов для начала

Рис. 1

Одна ось, две партии

Рисунок строится в браузере из образца.

Рис. 1. Эталон (600 строк) и сценарий «Сдвиг расстояний» (600 строк). Образец, построен в браузере тем же генератором, что и сверочный стол.

Числа сцены считаются в браузере и появляются здесь после загрузки страницы.

Открыть этот сценарий на столе

Схема · ожидания · распределение · вердикт

Четыре вопроса на оси

  1. колонки и типы эталона
    Схема
    колонки и типы новой партии

    Первый вопрос — та ли это таблица. Пропавшая или переименованная колонка, лишняя колонка, текст в числовом поле останавливают сверку раньше любой статистики.

  2. полнота, диапазоны, допустимые значения
    Ожидания
    что нарушено и в скольких строках

    Ожидание — проверяемое утверждение о данных, записанное фразой с параметрами: «заполнено не меньше 98 % значений weight_kg». Результат называет число нарушений, а не просто «ошибка».

  3. бины эталона по децилям
    Распределение
    доли партии в тех же бинах

    Партия может пройти все ожидания и всё равно отличаться: расстояния выросли, вечерних слотов стало меньше. PSI по общим бинам показывает, где и насколько сдвинулась каждая колонка.

  4. видимые правила вердикта
    Учебный вердикт
    передать, разобрать или остановить

    Итог собирается из правил, которые видны на столе: нарушенное ожидание останавливает, сильный дрейф отправляет на разбор. Решение остаётся за человеком, вердикт объясняет свои причины.

Как читать ось

Слева эталон, справа партия

Бины — децили эталона, одни и те же для обеих сторон. Слева столбцы эталона (сине-зелёные), справа — столбцы партии (шафрановые); высота столбца — доля строк в бине. Значок PSI стоит на оси. Пороги 0,10 «заметно» и 0,25 «сильно» — примерные значения по умолчанию, их можно менять на столе. Кармин по контуру — нарушено ожидание, серая штриховка — мало данных (меньше 100 значений).

  • в пределах — PSI меньше порога «заметно»
  • заметно — PSI от 0,10 до 0,25, шафрановая штриховка
  • сильно — PSI не меньше 0,25
  • нарушено — ожидание не выполнено, кармин по контуру
  • мало данных — меньше 100 значений, в долю дрейфа не входит

Практика

Разборы вдоль оси

  • Как выбрать эталонную партию

    Эталон задаёт всё, с чем сверяется новая партия. Неудачный эталон делает сверку бессмысленной.

    Читать разбор

  • Пороги дрейфа без магии

    Что означают PSI 0,1 и 0,25 и почему эти числа — отправная точка, а не стандарт.

    Читать разбор

  • Проверки из профиля — только черновик

    Выведенные из эталона диапазоны и наборы значений экономят время, но их нужно пересмотреть до первой сверки.

    Читать разбор

  • Когда ломается выгрузка, а не распределение

    Переименования, смена единиц, новые написания категорий и дубли ключей — поломки, которые не нужно путать с дрейфом.

    Читать разбор

Все разборы

Вопросы

Вопросы и ответы

Это размещённый сервис?

Нет. Это учебный сайт: образцовые партии генерируются и сверяются в вашем браузере. Учётных записей, подписки и тарифов нет, данные никуда не отправляются.

Можно проверить свои данные?

Можно вставить CSV со схемой образца — до 5000 строк и 300 КБ. Разбор и расчёт выполняются на странице и исчезают после перезагрузки. Не вставляйте персональные и конфиденциальные данные.

Почему PSI, а не статистический тест?

На больших партиях тесты почти всегда находят «значимую» разницу. PSI с видимым порогом отвечает на вопрос «насколько сдвинулось». Пороги 0,1 и 0,25 — эмпирическое правило, их можно поменять на столе.

Вердикт — это решение?

Нет. Вердикт — учебная сводка по видимым правилам. Он перечисляет проверки и сдвиги, которые к нему привели, а решение о партии принимает человек.

Чем сверка отличается от мониторинга модели?

Сверка смотрит на данные до обучения: пришла ли та таблица и похожа ли она на эталон. Качество предсказаний модели здесь не измеряется.