Eval показывает 96% качества, тесты проходят, а после релиза LLM‑ассистент допускает критическую ошибку. Проблема может скрываться в самой системе оценки, которая пропускает опасные ответы и создаёт ложное ощущение надёжности. Разбираем семь ошибок тестирования LLM‑функций и способы построить eval…
Тестирование LLM‑фичи: можно ли верить своему eval
Это краткое изложение. Полный текст материала доступен на сайте источника.