Авторы MaxxBench взяли 89 задач кодингового бенчмарка DeepSWE и немного поменяли требования: медианный прирост эталонного патча составил всего 17 строк. Модели с почти одинаковыми 74% на DeepSWE разошлись на 23 пункта, а в трассах нашлись рассуждения вроде «риск теста с такими числами минимален» и…