Авторы MaxxBench взяли 89 задач кодингового бенчмарка DeepSWE и немного поменяли требования: медианный прирост эталонного патча составил всего 17 строк. Модели с почти одинаковыми 74% на DeepSWE разошлись на 23 пункта, а в трассах нашлись рассуждения вроде «риск теста с такими числами минимален» и…
[Перевод] Агент написал верный код, а потом удалил его ради скрытых тестов: что показал MaxxBench
Это краткое изложение. Полный текст материала доступен на сайте источника.