OpenAI: агенты выполняют 46% исследовательских задач на 2–4 часа

OpenAI: агенты выполняют 46% исследовательских задач на 2–4 часа

Технологии

Автор материала

Павел Дубровский

Исследует усадьбы, замки и малые города, помогает превращать исторические справки в удобные маршруты.

18 ноября OpenAI опубликовала обновлённый анализ использования кодирующих агентов в своих исследовательских командах. По оценке компании, с марта по октябрь агенты стали самостоятельно выполнять 46% задач, на которые исследователю потребовалось бы от двух до четырёх часов; в марте показатель составлял 23%.

Для задач на четыре–восемь часов доля успешного выполнения выросла с 13% до 35%. Это внутренняя оценка OpenAI, а не сравнение разных ИИ-инструментов.

Результаты зависят от операции: агенты успешно мониторили обучающие запуски в 79% случаев, запускали их — в 35%, писали код для систем инференса и обслуживания моделей — в 25%.

В октябре медианные расходы исследователя на агентные инструменты, рассчитанные по публичным тарифам API, достигли 2400 долларов в день — на 62% больше, чем в сентябре. У исследователей на 90-м процентиле оценка составила 23 000 долларов в день, рост — 105%.

Среднее время работы агентов увеличилось с 0,5 до 5,7 условного рабочего дня на исследователя за календарный день. В методике OpenAI один такой день равен восьми часам работы агента. Показатель отражает продолжительность работы, но не учитывает изменения возможностей моделей и может не включать автоматизированные процессы.

В отдельном внутреннем опросе исследователи оценили, чем готовы пожертвовать ради доступа к передовым агентам на три месяца: медианный ответ составил 30% вычислительных ресурсов команды. На отдельный вопрос о численности команды медианный ответ — 40%. Это ответы участников опроса, а не планы OpenAI.

Читайте marshryt.by в Google

Добавьте сайт в свои источники — материалы будут чаще попадаться вам в выдаче и в ленте новостей.

Добавить в источники

Последние новости и статьи