Accuracy выросла, очередь на ручную проверку сократилась — кажется, новую ML-модель можно выпускать в продакшен. Но за улучшением общих метрик может скрываться серьёзная просадка качества на отдельных сегментах данных. На примере классификатора объявлений разбираем, как выявлять такие проблемы…
Средняя метрика скрывает провал редкого сегмента: проверяем ML-модель на срезах
Это краткое изложение. Полный текст материала доступен на сайте источника.