Идея была простая, почти наивная: если попросить модель в конце ответа честно написать, уверена она в своём коде или нет, можно ли по этой метке заранее отлавливать плохие решения? Не гонять тесты, не читать код глазами, а просто смотреть на последнюю строку. Я прогнал 20 небольших задач на Python…
Все 179 ответов были SURE. Четыре из них не прошли тесты
Это краткое изложение. Полный текст материала доступен на сайте источника.