Google 3 ноября представила Physical-Engineering’s Last Exam (PLE) — открытый бенчмарк и конкурс для ИИ-агентов. Он проверяет выполнение задач в механической, электрической, гражданской и конструкционной инженерии.
Вместо отдельного вопроса агент получает папку проекта в контейнеризированной среде. В среднем в одной задаче 61 файл: PDF-документы, таблицы, электронные письма, 2D-чертежи CAD, 3D-модели BIM и версии документов. Во всём наборе — 5170 файлов.
Агент должен определить применимые строительные нормы и физические ограничения, выполнить расчёты и подготовить документы для проверки лицензированным инженером. Баллы начисляются только за решения, которые проходят обязательные проверки безопасности, соответствия нормам и экономической эффективности.
Полная версия PLE включает 85 длительных задач: 30 по механической инженерии, 27 по электрической, 18 по гражданской и 10 по конструкционной. Для открытого доступа Google выпустила 29 заданий, инструменты проверки и контейнер для оценки.
В испытаниях участвовали 14 передовых моделей и семь агентских оболочек. На закрытом наборе ни одна модель не набрала 50%; лучший результат на собственной оболочке составил 48,3%. При этом только 41,3% результатов лидирующей конфигурации прошли все обязательные проверки безопасности и реализуемости.
Исследователи могут скачать открытые задания и проверить собственную конфигурацию агента. Для оценки на закрытом наборе доступны 13 моделей, спонсируемых Google, а запуск проходит на серверах проекта.
