18 ноября OpenAI опубликовала обновлённый анализ использования кодирующих агентов в своих исследовательских командах. По оценке компании, с марта по октябрь агенты стали самостоятельно выполнять 46% задач, на которые исследователю потребовалось бы от двух до четырёх часов; в марте показатель составлял 23%.
Для задач на четыре–восемь часов доля успешного выполнения выросла с 13% до 35%. Это внутренняя оценка OpenAI, а не сравнение разных ИИ-инструментов.
Результаты зависят от операции: агенты успешно мониторили обучающие запуски в 79% случаев, запускали их — в 35%, писали код для систем инференса и обслуживания моделей — в 25%.
В октябре медианные расходы исследователя на агентные инструменты, рассчитанные по публичным тарифам API, достигли 2400 долларов в день — на 62% больше, чем в сентябре. У исследователей на 90-м процентиле оценка составила 23 000 долларов в день, рост — 105%.
Среднее время работы агентов увеличилось с 0,5 до 5,7 условного рабочего дня на исследователя за календарный день. В методике OpenAI один такой день равен восьми часам работы агента. Показатель отражает продолжительность работы, но не учитывает изменения возможностей моделей и может не включать автоматизированные процессы.
В отдельном внутреннем опросе исследователи оценили, чем готовы пожертвовать ради доступа к передовым агентам на три месяца: медианный ответ составил 30% вычислительных ресурсов команды. На отдельный вопрос о численности команды медианный ответ — 40%. Это ответы участников опроса, а не планы OpenAI.