Humanize MLE Agents (HMA) досяг результату, достатнього для медалі, у 78,2% із 75 задач Kaggle в MLE-bench — на 8,0 відсоткового пункту більше за найсильніший відкритий baseline, за даними arXiv.

Які обмеження одного агента виявили автори?

Автори виявили, що зі збільшенням тривалості однієї сесії інтенсивність міркувань агента знижується, а прогрес сповільнюється. Вони назвали цей ефект long-horizon deceleration.

Друге спостереження — harness staleness: переваги кастомних обв’язок, які керують інструментами, навичками й накопиченим досвідом агента, зникають із поліпшенням базової моделі. Це ставить під сумнів збереження їхньої користі між версіями моделей і спонукало авторів дослідити чергування агентів між сесіями.

Як Humanize MLE Agents організовує роботу?

Humanize MLE Agents чергує двох агентів у спільному робочому просторі: кожна сесія містить не більше k експериментів, а між сесіями контекст скидається. Метод не додає обв’язки під конкретну задачу чи попередніх знань.

Наступний агент продовжує роботу на основі результатів попереднього. Автори описали ці сесії через context-reset semi-Markov decision process (CR-SMDP), встановили достатні умови, за яких чергування перевершує результати одного агента, та вивели явну межу бюджету експериментів. Значення k у наданій анотації не вказано.

Що показали випробування?

HMA досяг any-medal rate 78,2% на 75 задачах Kaggle у MLE-bench за чверті часового бюджету найсильнішого відкритого baseline. Результат цього baseline становив близько 70,2%: 78,2% − 8,0 відсоткового пункту = 70,2%. Співвідношення бюджетів не означає, що фактична тривалість роботи скоротилася в стільки ж разів.

HMA також покращив any-medal rate порівняно з базовими результатами агентів, які входили до пар, у середньому на 6,4 відсоткового пункту. Автори перевірили шість конфігурацій із п’ятьма різнорідними парами агентів.

Додаткове випробування з оптимізації ядра дало результат 878 циклів — у межах 1,6% від результату лідера рейтингу спільноти.

Чого бракує для оцінки витрат?

Надана анотація не називає моделей у парах і вартості запусків у доларах. Вона повідомляє співвідношення часових бюджетів, але цих даних недостатньо, щоб оцінити грошові витрати на відтворення результату.