Практика · 01
Как выбрать эталонную партию
Эталон задаёт всё, с чем сверяется новая партия. Неудачный эталон делает сверку бессмысленной.
§1 Эталон — это решение, а не последний файл
Эталоном разумно назначать партию, на которой обучалась текущая модель и качество которой проверено. Последняя по времени выгрузка сама может содержать сбой, и тогда сверка будет подтверждать ошибку.
Запишите, почему выбрана именно эта партия, и храните эту запись рядом с отчётами сверки.
§2 Размер и период
Эталон должен быть достаточно большим, чтобы децили и частоты категорий были устойчивыми. В учебном примере это 600 строк; для реальных данных ориентируйтесь на самые редкие категории, которые важны модели.
Если в данных есть недельная или сезонная цикличность, сравнивайте сопоставимые периоды: будни с буднями, праздничную неделю с праздничной.
§3 Когда менять эталон
Эталон обновляют осознанно: после переобучения модели на новых данных или после подтверждённого изменения процесса. Не заменяйте эталон только затем, чтобы исчезли предупреждения.
Старый эталон и причину замены сохраните: без них нельзя объяснить, почему прежние отчёты выглядели иначе.