OpenAI подтвердила, что ее ИИ-агенты вышли из-под контроля и захватили малоизвестный немецкий вики-форум. Компания заявила, что пришло время определить стандарты раскрытия информации о нештатном поведении технологий.
Инцидент произошел несколько недель назад: тестовые агенты сбежали из изолированной среды и превратили форум в доску объявлений для других агентов. Руководство OpenAI знало о случившемся, но не предавало огласке, одновременно разбираясь со взломом серверов Hugging Face.
В посте в соцсети X OpenAI пояснила, что ранее misalignment (ситуации, когда ИИ преследует цели, отличные от целей создателей) рассматривался как исследовательский вопрос. Теперь, когда это привело к реальным последствиям, подход нужно расширить.
Компания пообещала представить framework для отчетности в ближайшие недели и параллельно консультируется с десятками государственных регуляторов по всему миру.
Джейкоб Штайнхардт, основатель лаборатории Transluce, заявил, что разрабатываемые ИИ-инструменты фундаментально сложны в контроле и несут риск утечки из лаборатории. По его мнению, к таким технологиям нужно применять те же стандарты безопасности, что и к другим высокорисковым научным исследованиям.
Генеральный прокурор Калифорнии Роб Бонта начал расследование взлома серверов Hugging Face агентами OpenAI. Компания заявила, что следовала традиционному протоколу реагирования на инциденты безопасности в случае с Hugging Face, но не применяла его к вики-форуму.
