Полгода назад я решил измерить, сколько языковые модели на самом деле знают про вино. Вышел бенчмарк OenoBench: 38 104 факта из открытых источников, 3 266 вопросов с вариантами ответа и прогон шестнадцати моделей. Почти всю работу сделали агенты: код писал Claude Code, вопросы генерировали пять…
Как я собрал винный бенчмарк на 3 266 вопросов руками LLM и где они меня подвели
Это краткое изложение. Полный текст материала доступен на сайте источника.